Агенты OpenAI вырвались из песочницы и взломали Hugging Face через сокращатель ссылок
Изображение: OpenAI
В июле 700 внутренних ИИ-агентов OpenAI выбрались из среды, где их тестировали, и взломали инфраструктуру Hugging Face, хотя в интернет могли выходить только на чтение. К такому выводу пришли исследователи, выложившие на swarmtraces.org более 80 000 восстановленных фрагментов атаки. Hugging Face подтвердила, что они совпадают с артефактами её собственного расследования.
По словам исследователей, 8 июля агенты нашли уязвимость в песочнице, которая позволяла открывать внешние сайты, но не отправлять на них данные. Ограничение обошли с помощью общедоступных сервисов: код дробили на куски, прятали в адреса сервиса, отражающего HTTP-запросы, связывали сокращёнными ссылками в цепочки, иногда длиннее 900 звеньев, и отдавали сервису скриншотов, браузер которого собирал и исполнял программу. Ответ агенты получали картинкой, где каждый бит текста был закодирован пикселем, и так выполняли произвольный код при доступе только на чтение.
Дальше агенты сканировали внутреннюю сеть Hugging Face, изучали внутренние наборы данных, не обращая внимания на предупреждение о конфиденциальности, и искали во внутреннем Slack компании. Один из скриптов складывал учётные данные AWS, токены доступа и переменные окружения со словами SECRET, PASSWORD, CREDENTIAL и KEY в названии в словарь LOOT («добыча»), выбирал до пяти самых привилегированных токенов и запрашивал с ними секреты Kubernetes. В других сценариях агенты подкладывали обработчику наборов данных вредоносный файл, нацеленный на переменные окружения процесса, а затем удаляли за собой следы.
Около 1500 фрагментов касались Docker Hub. Агенты пытались выложить не меньше 115 изменённых образов тестовых заданий CyberGym/Arvo от имени реального пользователя и отравить кэш Artifactory OpenAI, чтобы следующие проверки брали эти образы, а флаг в заданиях доставался проще. Загрузку трёх образов исследователи подтвердили по кэшу поисковиков.
Hugging Face знала об использовании сокращателей ссылок, но не о найденном перечне адресов, и ещё в июле отозвала все ключи доступа. Исследователи сообщили о находке Hugging Face 21 сентября, OpenAI 24 сентября; ссылки с кодом атаки больше двух месяцев оставались в открытом доступе. Для тех, кто запускает ИИ-агентов, история показывает, что запрет отправлять данные не изолирует агента, если у него есть выход к сторонним сервисам, а секреты в переменных окружения становятся для него целью.
