Атака Reprompt: скрытая эксфильтрация данных через инструменты ИИ
Исследователи обнаружили новую технику кражи данных, получившую название Reprompt. Угроза использует уязвимости в инструментах на базе искусственного интеллекта, таких как Microsoft Copilot, и позволяет злоумышленникам организовывать скрытую эксфильтрацию информации посредством цепных запросов.
Суть метода
Атака строится на манипулировании специальным параметром в URL — «параметр q», который часто применяется для передачи пользовательских запросов. Внедряя в этот параметр вредоносные инструкции, злоумышленник может инициировать выполнение последовательности запросов, где предыдущие ответы модели используются для формирования следующих вредоносных команд.
В результате искусственный интеллект постепенно раскрывает данные, действуя «по цепочке»: каждая итерация опирается на выход предыдущей, что создаёт эффект последовательной утечки. Поскольку вредоносные инструкции могут появляться не в первоначальном prompt, а в последующих запросах, стандартные средства мониторинга на стороне клиента, анализирующие только первое обращение, часто не обнаруживают атаку.
Почему это особенно опасно
- Динамичность: серверная логика может адаптировать запросы на основе уже полученной (и, возможно, отфильтрованной) информации, что позволяет «пробивать» всё более конфиденциальные данные, релевантные конкретной отрасли или роли жертвы.
- Глубина утечки: благодаря цепной природе запросов объём и глубина собираемой информации могут быть практически неограниченными.
- Обход средств обнаружения: вредоносные инструкции, встроенные в последующие запросы, остаются незамеченными клиентскими фильтрами, анализирующими только первоначальное приглашение.
- Прямой доступ к данным через AI-инструменты: атака использует возможности моделей для непосредственной эксфильтрации, что делает её отличной от классических методов фишинга или утечки через сторонние сервисы.
«Атака Reprompt представляет собой продвинутую угрозу, использующую инструменты искусственного интеллекта для непосредственного доступа к данным».
Рекомендации по снижению риска
Чтобы противостоять Reprompt, поставщикам и организациям следует внедрять защиту на всех уровнях взаимодействия с AI-сервисами:
- Считать все входящие URL и параметры (включая параметр q) потенциально ненадёжными и валидировать их на стороне сервера.
- Внедрять проверки и контроль безопасности на протяжении всего процесса выполнения запросов, а не только при первоначальном взаимодействии.
- Применять принцип наименьших привилегий при доступе к данным и ресурсам, минимизируя объём информации, доступный модели.
- Обеспечить тщательный аудит логов и действий моделей, включая мониторинг последовательности запросов и аномалий в их содержимом.
- Разрабатывать смежные механизмы обнаружения аномалий, способные выявлять подозрительные цепочки запросов и необычную эскалацию запросов к конфиденциальным данным.
- Рассмотреть использование белых списков для разрешённых типов запросов и фильтрации контента, генерируемого и принимаемого моделью.
Вывод
Reprompt — это не просто ещё одна уязвимость, а тактика, эксплуатирующая специфику работы современных AI-инструментов. Её зависимость от динамики пользовательских запросов и серверного выполнения делает её труднодетектируемой и потенциально разрушительной для конфиденциальности данных. Только комплексные меры безопасности — от серверной валидации входных данных до строгих внутренних политик доступа и мониторинга — способны снизить риски использования этой техники злоумышленниками.
Отчет получен из сервиса CTT Report Hub. Права на отчет принадлежат его владельцу.
Ознакомиться подробнее с отчетом можно по ссылке.
