Быстрое внедрение и Scamlexity: уязвимости ИИ в решениях

Новое исследование освещает растущие угрозы, порождаемые векторами атак, ориентированными на искусственный интеллект. В докладе подчёркивается, как злоумышленники эксплуатируют процессы принятия решений как человека, так и AI, и почему традиционные подходы к безопасности уже не обеспечивают адекватной защиты.

Ключевая идея отчёта

Традиционные мошенники используют давно известные уязвимости человеческого поведения — жадность, доверчивость, спешку. Однако у AI есть свои особенности: отсутствие инстинктного скептицизма и склонность выполнять подсказки буквально. Модели вроде Copilot от Microsoft и Comet от Perplexity оказываются уязвимы к методам, известным как prompt injection, — скрытым инструкциям в обрабатываемом контенте, заставляющим модель выполнять нежелательные или вредоносные действия.

Что такое prompt injection и почему это опасно

Prompt injection — это метод, при котором в контент, получаемый моделью, внедряются скрытые инструкции. Эти инструкции могут заставить AI:

• переходить по вредоносным ссылкам;
• вводить или передавать конфиденциальные данные;
• формировать поддельные сообщения от имени банков или сервисов.

В результате один и тот же механизм атаки может применяться как массово, на множество людей, так и централизованно — через одну модель, что обеспечивает масштабируемость и изощрённость мошеннических кампаний.

Реальные сценарии атак

Отчёт приводит иллюстративные примеры: браузер с AI можно заставить автоматически перейти в мошеннический интернет‑магазин; агент AI, управляющий почтой или покупками, может подставить «phishing emails» под видом подлинных банковских сообщений. Поскольку агенты AI всё чаще выполняют рутинные операции, их компрометация приводит к прямому финансовому и репутационному ущербу.

«По мере того как агенты AI берут на себя рутинные решения, их уязвимости становятся критическими».

Scamlexity — новая степень сложности мошенничества

В отчёте введён термин Scamlexity — характеризующий рост сложности схем мошенничества по мере интеграции AI‑интерфейсов в повседневные задачи: от покупок до управления электронной почтой. Чем глубже AI вовлечён в процессы, тем более многослойными становятся атаки и тем труднее отличить подделку от легитимного поведения.

Рекомендации по защите

Авторы подчёркивают необходимость специально разработанных мер безопасности для процессов принятия решений с участием AI. Ключевые меры включают:

• внедрение детекции phishing emails и фишинговых шаблонов;
• URL reputation checks и мониторинг подозрительных ссылок;
• alerts about domain spoofing и защита от подмены доменов;
• обнаружение поведенческих аномалий у агентов AI и попыток отклонения от ожидаемой логики;
• ввод human‑in‑the‑loop для проверок критичных решений;
• жёсткие политики доступа, логирование и аудит действий агентов;
• регулярное adversarial testing и оценка устойчивости моделей к prompt injection;
• санитизация входных данных и валидация внешнего контента перед передачей в модель.

Выводы

Поскольку системы AI берут на себя функции, традиционно выполняемые людьми, возникает настоятельная необходимость разработать и внедрить специализированные протоколы безопасности. Без этого AI‑агенты будут оставаться привлекательной мишенью: масштабируемость атак и уровень «Scamlexity» делают новые угрозы особенно опасными. В ближайшее время приоритетом для разработчиков, провайдеров и пользователей должно стать создание механизмов, которые позволят AI безопасно и эффективно выполнять возложенные на них задачи.

Отчет получен из сервиса CTT Report Hub. Права на отчет принадлежат его владельцу.

Ознакомиться подробнее с отчетом можно по ссылке.