Керівники компаній OpenAI та Anthropic моделюють сценарії масштабних інцидентів, спричинених штучним інтелектом. Мета цих навчань, оцінити політичні та соціальні наслідки та заздалегідь підготувати американських законодавців до можливої кризи. Вони прагнуть вплинути на майбутнє регулювання, яке може з’явитися після першої серйозної події. Їхній план передбачає закриті обговорення з членами Конгресу США, щоб пояснити ризики й уникнути надмірно жорстких регуляторних реакцій.

Представник OpenAI заявив, що компанія проводить навчання з різних сценаріїв, але не вважає їх неминучими. Компанія Anthropic відмовилася від коментарів.

Інсайдери в індустрії прогнозують, що серйозна криза може статися протягом найближчих 6, 12 місяців. Її тригером може стати масштабна кібератака, яка зламає роботу фінансових сервісів, інтернету або критичної інфраструктури, зокрема енергопостачання та водопостачання. Інший сценарій, вихід з-під контролю автономних ІІ-агентів. Перший реальний випадок серйозної шкоди від неконтролованого ІІ може остаточно налаштувати суспільство проти технології та її лідерів.

Проблеми майбутнього регулювання

У разі реальної кризи керівники ІІ-компаній очікують, що політики в Вашингтоні спробують швидко заблокувати або обмежити подальший розвиток технології. Однак на цьому шляху виникають серйозні перешкоди. Конгрес часто не встигає за стрімкою еволюцією технологій. Світова економіка вже глибоко інтегрована з ІІ-інфраструктурою, тому її різке сповільнення може спровокувати глибоку рецесію. Крім того, значну кількість відкритих моделей вже можна вільно завантажити, що робить неможливим зупинити потенційну шкоду традиційними методами регулювання.

Серед пропозицій, які компанії готують для законодавців, можливі обмеження на розробку просунутих ІІ-систем або навіть тимчасове призупинення окремих досліджень. Деякі ініціативи передбачають обов’язковий механізм відключення потужних моделей, хоча експерти сумніваються в ефективності такого підходу для зупинки всіх систем.

Приклади загроз поза лабораторією

Загрози вже виходять за межі теоретичних моделювань. У жовтні компанія з кібербезпеки CrowdStrike зафіксувала атаку на фінансові організації Південної Кореї. Зловмисник використовував ІІ-агентів для тестування на проникнення та кілька мовних моделей. Аналіз сесій Claude Code показав. Це атакуючий шукав способи продажу викрадених даних. Цей епізод демонструє, як ІІ-інструменти можуть прискорювати роботу злочинців і дозволяють їм проводити кілька атак за короткий час. Це підтверджує ризик перепрофілювання технологій для шкідливих цілей.

29 вересня президент США Дональд Трамп і керівники шести великих ІІ-компаній підписали добровільну угоду про контроль безпеки передових моделей. Це відображає поточну турботу на найвищому рівні.