OpenAI нашла в испытаниях промпт-инъекции, способные распространяться как компьютерный червь
Изображение: OpenAI
OpenAI описала новый вид промпт-инъекций, которые в её испытаниях заставляли ИИ-агентов копировать их дальше, подобно компьютерному червю. Вредоносный текст заставляет агента выполнить нежелательное действие и повторить ту же инструкцию в письме, файле или сообщении, откуда её может подхватить другая модель. Об отчёте компании пишет The New Stack.
Такие инъекции OpenAI искала сама. Атакующая модель на базе GPT-5.4-mini подбирала их против уязвимой модели того же семейства, обе были внутренними исследовательскими версиями. Испытания шли в учебной среде, которая лишь имитировала вызовы инструментов, и за её пределами последствий компания не наблюдала.
В одном испытании агент получал инъекцию во входящем письме и по её указанию добавлял тот же текст в свои исходящие письма. В другом поддельное системное предупреждение заставляло модель удалить важные отчёты и записать в файл текст всей атаки. Ещё один вариант закреплялся в комментариях к коду.
Отдельно OpenAI проверила цепочку сообщений на GPT-5.5. Первое сообщение направляло агента к другим инструкциям в Slack, после чего тот переводил внутреннюю валюту компании указанному получателю и заново публиковал сообщение с инъекцией. В ответ OpenAI при обучении моделей против промпт-инъекций теперь ставит атакующей модели и задачу самокопирования. The New Stack замечает, что хватит ли этого, чтобы остановить такие черви, пока неясно.
