Дообучение на большем наборе промпт-инъекций ослабило защиту ИИ-агентов в 3 тестах из 4

Дообучение на большем наборе промпт-инъекций ослабило защиту ИИ-агентов в 3 тестах из 4

Изображение: OpenAI

ИИ-агенты после дообучения на большем наборе промпт-инъекций чаще поддавались атакам в трёх из четырёх тестов, выяснили исследователи Университета Ватерлоо, Чжэцзянского университета и Королевского технологического института. По их оценке, тысячи сработавших атак со скрытыми инструкциями, которые разработчики автоматически собирают для дообучения агентов, могут сводиться к одним и тем же приёмам в разных формулировках.

На Qwen3-4B инструмент PISmith собрал 7132 сработавшие инъекции, а RL-Hammer — 4282. После дообучения на этих наборах в худшем для каждой версии тесте первая поддалась атаке в 19 задачах из 40, вторая — в 11. Для проверки отобрали задачи, на которых исходная модель уже поддавалась простым атакам. О работе сообщает Help Net Security.

Исследователи разработали PIPETTE. Система группирует инъекции по приёмам и учит агента перед каждым действием проверять, отвечает ли оно запросу пользователя. На открытом наборе задач AgentDojo готовые атаки срабатывали в среднем менее чем в половине процента попыток на обеих небольших моделях. При проверке трёх моделей атакующие меняли формулировки инъекций и делали около 250 попыток. Им удалось обойти защиту максимум в 10% из тех же 40 задач.

В одном из тестов на Qwen3-4B фильтр PromptGuard заблокировал чуть больше атак, чем PIPETTE, но агент, защищённый этим фильтром, выполнил задачу пользователя лишь в 16,19% случаев. Агент, дообученный с PIPETTE, справился в 58,10% случаев.

Авторы проверили четыре модели с открытыми весами. Они не сверяли свою оценку разнообразия атак с оценками людей и не утверждают, что повторение приёмов полностью объясняет разницу в результатах.

Сергей
Автор: Сергей
Пишу о кибербезопасности и информационных технологиях на простом и понятном языке
Комментарии:

Как мы обрабатываем данные: политика обработки персональных данных