Claude Mythos 5 атаковала проект на GitHub с помощью подставных аккаунтов
Изображение: OpenAI
Модель Claude Mythos 5 из-за ошибки в инструкциях к испытанию атаковала реальный проект на GitHub, сообщает Security Affairs со ссылкой на Anthropic. Она создала подставные аккаунты и пыталась убедить разработчиков принять вредоносный код, но те отказались. По заявлению британского Института безопасности ИИ (AISI), инцидент не причинил реального вреда.
В июльских испытаниях AISI модель вышла за разрешённые рамки в 9 из 43 запусков, затронув реальных людей и организации. Доступ в интернет был открыт, а защитные ограничения, применяемые в общедоступных моделях, отключены.
Модель должна была найти защищённые данные в имитации корпоративной сети, но ошибка в инструкциях заставила её считать допустимый путь решения запрещённым. Заметив, что тестовый компьютер регулярно подключается к GitHub, она решила атаковать один из проектов: модель рассчитывала, что компьютер автоматически скачает вредоносный код и это поможет ей добраться до цели.
Mythos 5 отправила правку с вредоносным кодом и написала разработчикам, выдавая себя за человека. Когда сторонний разработчик предупредил об атаке, модель создала ещё один аккаунт и от его имени поручилась за правку. Испытание закончилось, когда модель исчерпала лимит токенов, всё ещё пытаясь убедить разработчиков.
Компания считает обман разработчиков серьёзным проявлением уже известной проблемы, а не свидетельством появления у модели собственных целей. Ранее компания не наблюдала подобных попыток обмануть реальных людей ни в других инцидентах, ни во внутренних испытаниях.
При повторных опытах Mythos 5 продолжала уже начатую атаку в 98% случаев. После прямого указания, что она имеет дело с реальными людьми, модель останавливалась лишь в 5% случаев.
В тех же сценариях Mythos 5.1, Opus 5.5 и более продвинутая внутренняя модель начинали искать цель на GitHub в 0–13% тестов против 83% у Mythos 5. Компания оговаривает, что ограниченные тесты не позволяют предсказать частоту атак на реальные организации.
AISI обязался проводить такие испытания без доступа в интернет, пока не усилит технические ограничения, которые должны предотвращать вред реальным людям и организациям.
