Бизнес предупредили об охоте мошенников на корпоративных ИИ-агентов
изображение: grok
У злоумышленников появился новый трофей — данные для доступа к корпоративным ИИ-агентам. Больше всего рискуют компании, уже подключившие нейросети к работе с клиентами, документами и внутренними системами. Об этом говорится в исследовании аналитиков Smart Business ALert компании ЕСА ПРО, входящей в ГК «Кросс технолоджис», с которым ознакомилась «Лента.ру».
Исследователи заметили новую приманку для бизнеса, сервисы, предлагающие бесплатно провести аудит корпоративного ИИ-агента. Для такой диагностики просят отдать сразу несколько чувствительных параметров.
В список обычно входят такие пункты:
- название агента и почта его владельца;
- адрес API Endpoint;
- сам API-ключ;
- System Prompt с инструкциями, по которым работает агент.
По отдельности эти сведения выглядят обычной технической информацией, вместе они дают подробную карту цифрового помощника, адрес системы, способ авторизации и набор инструкций.
Самым неприятным подарком для мошенника способен стать рабочий API-ключ. Получив его, посторонний может слать запросы от имени владельца и жечь оплаченные токены, компания в буквальном смысле начинает оплачивать чужие эксперименты со своей же нейросетью. Если ключ открывает путь к самому агенту, злоумышленник потенциально получает доступ к файлам организации, переписке с клиентами, базам данных и рабочим инструментам.
System Prompt тоже на особом счету, это набор инструкций, задающий агенту правила поведения. Утечка такого текста позволяет атакующему изучить внутреннюю логику помощника и подобрать способы воздействия. Один из вариантов атаки называется prompt injection, злоумышленник пытается заставить модель проигнорировать исходные ограничения и выполнить его собственную команду. Само по себе знание инструкций не гарантирует взлома, но вместе с API-доступом даёт куда больше пространства для подбора вредоносных запросов.
Хуже всего там, где ИИ давно перестал быть просто разговорным ботом и получил реальные рабочие полномочия, взлом доступа к агенту, связанному с CRM, почтой или финансовыми процессами, потенциально позволяет действовать от имени всей организации.
Руководитель сервиса Smart Business ALert Сергей Трухачев отметил, что корпоративные ИИ-агенты получают доступ к сведениям, которыми люди не готовы делиться даже с близкими, личные сообщения, данные о деньгах, медицинские сведения и коммерческие планы, для преступников такой массив может стать материалом для убедительных атак социальной инженерии.
Знание системных инструкций вместе с API-доступом позволяет проводить последовательные адаптивные атаки, добиваясь не только утечки данных, но и нужного поведения системы, скомпрометированный агент способен посоветовать нужного поставщика, передать поддельные платёжные реквизиты или одобрить операцию, которую в штатном режиме должен был отклонить.
Новый объект интереса мошенников выглядит куда интереснее обычного пароля, речь не о краже учётной записи, а о захвате помощника, которому компания сама выдала доступ к данным. Предложение бесплатно проверить ИИ-агента без понятной репутации сервиса может обернуться не аудитом, а попыткой получить ключи от корпоративной цифровой кухни.
Ранее сообщалось о мошеннических турагентствах-однодневках, которые собирают оплату за путёвки, а затем исчезают вместе с сайтом и контактами.
