Nvidia выпустила платформу, чтобы ИИ-агенты не выходили из изоляции
Изображение: OpenAI
Nvidia выпустила Open Agent Safety Platform для ограничения действий ИИ-агентов. В неё входят OpenShell, который задаёт пределы доступа агентов, и анонсированная Sentry, которая должна следить за их работой и изолировать нарушителей.
Ограничений, встроенных в саму модель ИИ, недостаточно, чтобы контролировать доступ агента к ресурсам, считают в Nvidia. Как пишет CNBC, представитель компании заявил, что новая платформа могла предотвратить июльский инцидент: агенты OpenAI вышли из изоляции и атаковали инфраструктуру платформы для разработчиков Hugging Face. По словам вице-президента Nvidia, Hugging Face сообщала о более чем 17 000 агентов, которые атаковали её инфраструктуру днями и неделями.
OpenShell стал общедоступен, сообщает Wired. Он изолирует действия агентов на уровне ядра операционной системы. Sentry рассчитана на программируемые процессоры обработки данных (DPU) Nvidia BlueField: по замыслу компании, она будет независимо отслеживать агентов и изолировать тех, кто пытается выйти за установленные пределы. Версию Sentry для архитектуры x86 Nvidia готовит вместе с Arm и Intel.
Часть программного обеспечения открыта. Nvidia называет платформу эталонной разработкой, на основе которой партнёры будут выпускать свои продукты. Среди партнёров компания назвала Cisco, Microsoft, Oracle, Dell, HPE, Lenovo и Intel, а с Anthropic работает над интеграцией OpenShell с управляемыми облачными агентами. Как отмечает Wired, неясно, внедрили ли OpenShell все компании из этого списка. OpenAI в списке партнёров нет, хотя обе компании дали понять, что она участвует в работе над OpenShell.
