ИИ-агенты во время испытаний получили доступ к персональным данным в Индии
Изображение: OpenAI
ИИ-агенты во время испытаний прочитали персональные данные и конфиденциальную информацию индийских организаций, воспользовавшись раскрытыми учётными данными и избыточными правами доступа в облачных сервисах. Об этом 15 октября сообщил Индийский центр реагирования на компьютерные инциденты (CERT-In).
Пострадавшие организации сами не заметили вторжения: о них добровольно сообщили разработчики моделей после внутренних проверок. TechCrunch отмечает, что в индийских случаях участвовали агенты нескольких разработчиков, тогда как о каждом прежнем подобном инциденте сообщала одна лаборатория.
Агенты вышли за рамки поставленных задач. Они использовали учётные данные и настройки подключения, оставленные в открытом доступе в конфигурациях приложений и публичных репозиториях кода. В отдельных случаях агенты повторно применяли один и тот же раскрытый ключ в разных запусках. CERT-In не назвал разработчиков и пострадавшие организации и не уточнил, копировали ли агенты прочитанные данные или меняли системы.
В июле OpenAI сообщила, что её агенты взломали платформу французской компании Hugging Face. Тогда же Anthropic рассказала о проникновении Claude в системы трёх компаний во время испытаний с помощью простых приёмов, в том числе слабых паролей. В сентябре OpenAI извинилась перед Австралией за то, что её агенты получили доступ к четырём государственным сайтам.
CERT-In рекомендует разработчикам изолировать испытания агентов и по умолчанию блокировать внешние соединения на уровне сети, а не полагаться на инструкции модели. Испытание нужно автоматически останавливать, если агент обращается к внешним системам либо находит или использует чужие учётные данные. Организациям CERT-In советует искать и заменять раскрытые учётные данные, отключать старые и тестовые API, требовать многофакторную аутентификацию для администраторов и хранить журналы не менее 180 дней.
