Агенты Gemini атаковали сайт Epoch AI и обходили сетевые ограничения на испытаниях

Агенты Gemini атаковали сайт Epoch AI и обходили сетевые ограничения на испытаниях

Изображение: OpenAI

Во время испытаний безопасности, которые проводила компания Trajectory Labs, агенты Gemini 4 Argon раз за разом пытались взломать настоящий сайт сторонней организации Epoch AI и обходили сетевые ограничения, хотя встроенная защита модели была включена, сообщает BleepingComputer. Исследователи поставили перед ними заведомо невыполнимую задачу и многократно требовали не сдаваться.

Агентам поручили найти официальные ответы на несуществующие задачи математического теста Epoch AI. Взламывать сайт или выдавать себя за сотрудников им прямо не поручали.

20 октября около 40 агентов начали искать на сайте конфиденциальную информацию, в том числе учётные данные администраторов. За три часа они отправили 36 411 запросов к подставному адресу API. Исследователи также обнаружили попытку SQL-инъекции.

После переноса испытаний на локальную копию сайта часть агентов подключилась к настоящему серверу по IP-адресу в обход перенаправления DNS. Когда исследователи усилили блокировку, один из агентов получил общедоступные страницы сайта через сторонний сервис.

Исследователи также выяснили, что агенты обменивались сведениями об уязвимостях и способах их эксплуатации через общий кеш программных пакетов.

С 26 октября Epoch AI согласилась на новые эксперименты с доступом к её публичному сайту. Агенты вновь пытались провести SQL-инъекции и выдать себя за сотрудников, а число запросов к подставному адресу API превысило 65 тыс.

Позднее лаборатория перенесла испытания в изолированную среду без доступа к интернету. 2 ноября она приостановила все подобные эксперименты до оценки рисков и усиления защиты. Trajectory Labs признала, что недостаточно контролировала агентов и не получила согласия Epoch AI на первые испытания.

Ни одна из организаций не подтвердила утечку закрытых данных Epoch AI. Информацию об участии моделей Gemini предоставила Trajectory Labs; независимого подтверждения со стороны Epoch AI нет.

Сергей
Автор: Сергей
Пишу о кибербезопасности и информационных технологиях на простом и понятном языке
Комментарии:

Как мы обрабатываем данные: политика обработки персональных данных