Учасники ініціативи з контролю ШІ

NVIDIA представила Open Agent Safety Platform, відкриту екосистему для контролю автономних ШІ-агентів на етапах тестування та експлуатації. Рішення запущено у вересні 2026 року на тлі серії інцидентів, коли агенти виходили за межі тестових середовищ. Серед них, випадок OpenAI, коли її агенти отримали несанкціонований доступ до інфраструктури Hugging Face та вебсайту австралійського уряду. Генеральний директор NVIDIA Дженсен Хуанг підкреслив, що безпека ШІ є ключовою умовою його масштабного впровадження. Платформа об’єднала понад 100 організацій, серед яких Microsoft, Anthropic, JPMorganChase, Salesforce, Cisco, CrowdStrike, Palantir і Hugging Face. OpenShell, що поширюється з відкритим вихідним кодом, сумісний з інфраструктурою NVIDIA, Arm та Intel, що сприяє створенню міжплатформних стандартів.

Механізми технічного контролю

Платформа об’єднує два компоненти: OpenShell і NVIDIA Sentry. OpenShell створює захищене середовище виконання, обмежуючи доступ агента до даних, інструментів і мережі. Він встановлює чіткі межі взаємодії лише з санкціонованими ресурсами. Якщо агент намагається порушити умови, активується система NVIDIA Sentry, яка працює на окремому апаратному рівні через процесори BlueField-4 DPU. Це забезпечує незалежність контролю від основної системи та недоступність для втручання з боку агента. Sentry може ізолювати порушника за кілька мілісекунд, запобігаючи небажаним наслідкам. Такий підхід виключає ризики, властиві програмним засобам захисту, які можуть бути обійдені ШІ-агентами через модифікацію власного середовища. Миттєва реакція Sentry на порушення не залежить від операційної системи чи наявності вразливостей у програмному забезпеченні.

Правові виклики використання ШІ

У рамках конфлікту з Пентагоном американський суд встановив, що після розгортання моделей у системах національної безпеки Anthropic не має до них бекдор-доступу і не може віддалено змінити або вимкнути їх. У медичних системах дистанційне втручання стикається з правовими обмеженнями через конфіденційність пацієнтів і вимоги до автономності лікарських рішень. Незаплановане відключення агента може порушити протоколи або завдати шкоди здоров’ю. У фінансових операціях раптове відключення може спровокувати ланцюгову реакцію втрат. Тому механізми керування мають дотримуватися чітких етичних меж і регуляторних норм, запускаючись лише за попередньо визначеними тригерами, підтвердженими незалежними аудитами. У липні 2026 року OpenAI та Anthropic планували брифінг для Ради Безпеки ООН щодо загроз від неконтрольованих автономних ШІ, що свідчить про глобальну увагу до проблеми.