ИИ в атаках: извлечение моделей, фишинг и API-угрозы

Во второй половине 2025 года Google Threat Intelligence Group (GTIG) зафиксировала заметный рост применения искусственного интеллекта злоумышленниками для оптимизации жизненного цикла атак. В фокусе — как разведка и социальная инженерия, так и создание вредоносного ПО. Особую тревогу вызывает тенденция к model extraction (distillation attacks), способная поставить под угрозу интеллектуальную собственность организаций, особенно тех, кто предоставляет модели как услугу.

Ключевые наблюдения

• Злоумышленники активно используют легитимный доступ через API для клонирования возможностей моделей — классический сценарий model extraction.
• Одной из приоритетных целей атак стали продвинутые функции логического мышления модели Gemini; злоумышленники пытались извлечь внутренние цепочки рассуждений модели.
• Отмечена стабильная активность спонсируемых государством акторов, использующих Gemini для расширения своих операций на всех этапах атак.
• ИИ применяют для создания культурно релевантного и высокоспециализированного контента для фишинга, что снижает эффективность традиционных методов обнаружения.

Как именно используются ИИ и LLMs в атаках

GTIG описывает несколько ключевых сценариев злоупотребления возможностями ИИ:

• Разведка: автоматизированное создание профилей целей, подбор релевантного социального контента и идентификация уязвимых групп.
• Социальная инженерия: генерация персонализированных фишинг-писем и сообщений с учётом культурного контекста и языка жертвы, что повышает успех атак.
• Разработка вредоносного ПО: использование моделей для генерации кода, обхода защит и повышения функциональности малвари.
• Model extraction: злоумышленники используют легитимные запросы к API, чтобы восстановить или клонировать поведение защищённых моделей.

GTIG отмечает, что злоумышленники пытались манипулировать Gemini, чтобы «раскрыть все ее внутренние процессы рассуждения», что указывает на возобновлённый интерес к приобретению проприетарной логики моделей.

Конкретные кейсы и новые инструменты

В отчёте приводятся конкретные примеры использования ИИ в реальных атаках:

• COINBAIT — фишинг-набор, маскировавшийся под легитимные криптовалютные биржи с целью хищения учётных записей. AI позволял быстро генерировать реалистичные посадочные страницы и персонализированные сообщения.
• HONESTCUE — новый вариант вредоносного ПО, который использовал API Gemini для улучшения генерируемой функциональности, что отражает тренд создания более сложных AI-поддерживаемых инструментов для обхода традиционных средств обнаружения.
• ClickFix — кампании социальной инженерии, в которых злоумышленники эксплуатировали общественное доверие к сервисам генеративного AI, побуждая пользователей выполнять команды, содержащие вредоносный код.

Почему это опасно для организаций

По мере того как компании интегрируют LLMs в бизнес-процессы, растёт поверхность атаки и появляется новый класс рисков:

• Утечка или клонирование интеллектуальной собственности через model extraction.
• Снижение эффективности традиционных индикаторов фишинга из‑за персонализации сообщений и культурной адаптации контента.
• Усложнение обнаружения вредоносного ПО, в котором компоненты генерируются и адаптируются в реальном времени с помощью моделей.
• Увеличение возможностей у спонсируемых государством акторов за счёт масштабирования операций с помощью ИИ.

Рекомендации для защиты

GTIG и эксперты по кибербезопасности предлагают следующие меры для снижения рисков, связанных с использованием ИИ в атаках:

• Внедрить строгий мониторинг и анализ паттернов использования API, включая аномалии в объёме запросов и последовательностях подсказок.
• Ограничивать доступ к критичным моделям и применять принцип наименьших привилегий для API-ключей.
• Рассмотреть методы защиты интеллектуальной собственности: rate limiting, query watermarking и techniques по защите от model extraction.
• Усилить логирование и телеметрию запросов к LLM, чтобы обнаруживать попытки восстановления поведения модели.
• Адаптировать системы обнаружения фишинга с учётом генеративного контента: проверка метаданных, анализ языка и аномалий отправителей.
• Обучать сотрудников: повышение осведомлённости о фишинговых рисках и признаках персонализированных AI-атак.
• Регулярно обновлять антивирусные и EDR-правила с учётом новых векторов использования AI в malware.

Выводы

Отчёт GTIG подчёркивает: мы наблюдаем переход к более умным, масштабируемым и адаптивным атакам за счёт интеграции ИИ. Учитывая рост интереса со стороны спонсируемых государством акторов и появление инструментов вроде HONESTCUE и COINBAIT, организациям необходимо срочно пересмотреть подходы к защите моделей и API. В ближайшие годы борьба с model extraction и злоупотреблением LLMs станет ключевым элементом кибербезопасности для компаний, работающих с искусственным интеллектом.

Отчет получен из сервиса CTT Report Hub. Права на отчет принадлежат его владельцу.

Ознакомиться подробнее с отчетом можно по ссылке.