ChatGPhish: ИИ-суммаризация открывает путь фишингу

Новый класс угроз показывает, что доверие к ответам ИИ может стать слабым звеном в цепочке кибербезопасности.

В новом аналитическом отчёте подробно описывается киберугроза под названием ChatGPhish, использующая функции суммаризации искусственного интеллекта, подобные тем, что реализованы в ChatGPT. Суть атаки заключается в том, что пользователь доверяет сгенерированному ИИ выводу, а злоумышленник тем временем внедряет в него контролируемый контент — вредоносные ссылки, изображения и уведомления.

По данным исследования, наиболее опасный сценарий возникает тогда, когда пользователь просит ассистента суммировать веб-страницу. В таком случае атакующий может встроить в исходный контент элементы, которые затем попадают в ответ AI-системы и выглядят для жертвы как часть безопасной сводки.

Как работает атака

Механизм ChatGPhish основан на использовании рендеринга ссылок и изображений в формате Markdown в интерфейсе ИИ. Ассистент автоматически загружает изображения из сторонних URL-адресов, включённых в сводный контент, что может привести к утечке информации о пользователе.

В частности, изображения, размещённые злоумышленниками, способны фиксировать такие данные, как:

• IP-адрес жертвы;
• значение User-Agent;
• заголовок Referer.

Эти параметры имеют высокую ценность для профилирования потенциальных целей и подготовки последующих атак.

Фишинговые ссылки, которые выглядят как обычный контент

Отдельную опасность представляют вредоносные ссылки в формате Markdown. Визуально они не отличаются от легитимных элементов интерфейса и создают живые кликабельные возможности для фишинга, которые выглядят аутентично для пользователя.

«Проблема заключается в доверии, которое пользователи оказывают сгенерированным ИИ ответам».

Именно это доверие делает подобные атаки особенно эффективными: пользователь воспринимает содержимое как проверенное системой, хотя на деле оно может быть подготовлено злоумышленником.

Сценарии атак: QR-коды и tracking pixels

В документе описываются различные сценарии реализации таких атак. Один из них предполагает внедрение QR-кодов, ведущих на вредоносный контент. Это позволяет обходить типичные меры веб-безопасности, поскольку QR-код не показывает видимый URL-адрес до момента сканирования.

Другой приём — использование сокращателей URL-адресов для маскировки tracking pixels, встроенных в изображения. В результате злоумышленник получает возможность собирать данные каждый раз, когда отображается ответ ассистента.

Не только Firefox

Хотя во время тестирования использовался Firefox, исследование подчёркивает, что уязвимость не ограничивается этим browser. Под угрозой находится любая system, которая интегрирует функцию суммаризации и обрабатывает недоверенный контент.

Таким образом, проблема выходит далеко за рамки одного продукта и затрагивает весь класс AI-интерфейсов, способных смешивать пользовательский контент с автоматически сгенерированным выводом.

Почему это важно

Авторы анализа отмечают, что переход от атак через электронную почту к атакам на основе browser значительно расширяет ландшафт возможных exploit’ов. Теперь злоумышленники могут использовать не только привычные фишинговые письма, но и доверенные AI-системы, через которые пользователи ежедневно получают информацию.

Итоговый вывод исследования однозначен: ChatGPhish демонстрирует, как контролируемый злоумышленником контент способен эксплуатировать воспринимаемую безопасность trusted AI systems. Это подчёркивает необходимость надёжных механизмов security, которые чётко разделяют пользовательский контент и вывод, генерируемый assistant.

По мере того как AI всё активнее используется в повседневных операциях, защита от подобных tactics социальной инженерии становится всё более критически важной.

Отчет получен из сервиса CTT Report Hub. Права на отчет принадлежат его владельцу.

Ознакомиться подробнее с отчетом можно по ссылке.