Новая атака ConfusedPilot нацелена на системы искусственного интеллекта с помощью отравления данных
Image: Unsplash
Исследователи из лаборатории SPARK Техасского университета в Остине обнаружили новый метод кибератаки, получивший название ConfusedPilot. Атаки такого типа нацелены на системы искусственного интеллекта на базе технологии дополненной генерации (RAG), например, на Microsoft 365 Copilot.
Группа под руководством профессора Мохита Тивари, генерального директора Symmetry Systems, выяснила, как злоумышленники могут манипулировать ответами, сгенерированными ИИ, путём внедрения вредоносного контента в документы, на которые ссылается ИИ. Это может привести к дезинформации и принятию ошибочных решений в организациях.
В отчёте отмечается, что, учитывая, что 65% компаний из списка Fortune 500 внедряют или планируют внедрить системы на основе RAG, потенциал широкомасштабных сбоев значителен. Метод атаки ConfusedPilot требует только базового доступа к среде цели и может сохраняться даже после удаления вредоносного контента. Исследователи также показали, что атака может обойти существующие меры безопасности ИИ, что вызывает обеспокоенность во многих отраслях.
В отчете рассказано, как работает атака ConfusedPilot:
- Отравление среды данных. Хакер добавляет специально созданный контент в документы, индексируемые системой искусственного интеллекта.
- Извлечение документа. При выполнении запроса ИИ ссылается на испорченный документ.
- Неверная интерпретация ИИ. ИИ использует вредоносный контент в качестве инструкций, потенциально игнорируя законную информацию, генерируя дезинформацию или ложно приписывая свой ответ достоверным источникам.
- Устойчивость. Даже после удаления вредоносного документа повреждённая информация может оставаться в системе.
Атака особенно опасна для крупных предприятий, использующих системы искусственного интеллекта на базе RAG, которые часто опираются на несколько источников пользовательских данных. Это увеличивает риск атаки, поскольку ИИ можно манипулировать, используя, казалось бы, безобидные документы, добавленные инсайдерами или внешними партнёрами.
Полная версия отчёта представлена по следующей ссылке.
