Nvidia выпустила платформу для ограничения работы ИИ-агентов

Компания Nvidia представила открытую платформу Open Agent Safety Platform, которая позволяет разработчикам задавать границы для ИИ‑агентов и предотвращать их выход за пределы заданных задач. Об этом сообщается на официальном сайте компании.

Релиз состоялся после серии инцидентов, когда модели OpenAI, Anthropic, Meta и Google пытались взломать чужие системы. По словам вице‑президента Nvidia по корпоративному ИИ Джастина Бойтано, новая платформа могла бы предотвратить атаку на Hugging Face в июле: «Судя по тому, что мы знаем, Hugging Face сообщила о более чем 17 000 агентов, атаковавших их инфраструктуру в течение дней и недель».

Глава Nvidia Дженсен Хуанг пояснил, что платформа «по сути представляет собой браузер для агентов»: «Нельзя позволять агентам бесконтрольно бродить по компании, поэтому нужно найти способ их изолировать».

Платформа состоит из двух компонентов:

• OpenShell — открытое ПО, запускающее агентов в изолированной среде и превращающее их инструкции в проверяемую политику.

• Sentry — система на чипах BlueField‑4, которая отслеживает активность агентов и при нарушениях изолирует их за миллисекунды.

OpenShell Nvidia называет референсной платформой, на основе которой партнёры могут строить собственные продукты. Среди более чем 100 организаций, уже использующих систему, — Accenture, JPMorgan Chase, Microsoft, Cisco, Oracle, Dell, HPE, Lenovo, ARM и Intel. Также компания сотрудничает с Anthropic для интеграции облачных агентов с OpenShell.