Российский бизнес предупредили о новой охоте мошенников за доступом к рабочим ИИ-агентам
изображение: grok
У корпоративных нейросетей появилась новая уязвимая точка, не связанная с кодом самой системы. Аналитики Smart Business ALert компании ЕСА ПРО, входящей в ГК «Кросс технолоджис», зафиксировали интерес злоумышленников к данным, которые открывают доступ к рабочим ИИ-системам организаций. Об этом 3 сентября написала Lenta.Ru.
Под ударом прежде всего компании, доверившие нейросетям общение с клиентами, файлы, почту и внутренние сервисы. Схема выглядит обманчиво просто — владельцу ИИ-агента предлагают бесплатную проверку системы, а взамен просят прислать несколько данных.
Набор запрашиваемых сведений на первый взгляд похож на обычную анкету для технического аудита:
- название платформы, на которой работает ИИ-агент;
- электронный адрес владельца;
- API Endpoint системы;
- рабочий API-ключ;
- текст System Prompt.
Собрать всё это в одном месте почти равносильно тому, чтобы добровольно передать посторонним набор инструментов для доступа к чужому ИИ. Endpoint показывает, где находится система, ключ открывает дорогу к интерфейсу, а системная инструкция объясняет, как агент устроен и что ему разрешено.
Самое неприятное начинается уже после получения рабочего API-ключа — злоумышленники отправляют запросы за счёт владельца и расходуют вычислительные ресурсы организации. В зависимости от полномочий ИИ бывает связан с документами, файлами, перепиской и базами данных компании, а украденный доступ способен превратить его из офисного помощника в удалённый пульт управления частью инфраструктуры.
Отдельную ценность для атакующих представляет System Prompt. Руководитель сервиса Сергей Трухачев объяснил, что эта инструкция помогает восстановить логику агента и понять его запреты, а вместе с API-доступом злоумышленники выстраивают последовательные атаки и постепенно добиваются от системы нужного поведения.
В результате ИИ пытаются заставить раскрывать закрытые сведения, рекомендовать конкретного поставщика, передавать поддельные реквизиты или соглашаться на запрещённую операцию. Приём называется prompt injection — систему запутывают специально подготовленными командами, чтобы она выполняла чужие указания вместо задач владельца.
Лакомой добычей выглядят организации, где нейросети уже получили доступ к CRM, почте, облачным дискам или финансовым операциям. Чем больше полномочий у цифрового помощника, тем ценнее его учётная запись для преступников, а в худшем случае скомпрометированный агент способен действовать от лица самой компании.
В тот же день член комиссии Общественной палаты России Евгений Машаров предупредил про другую схему — жителям Москвы присылают предложения получить праздничную выплату ко Дню города, а на деле выманивают персональные и банковские данные («Москва 24»).
Накануне главный редактор аналитического издания Владимир Зыков рассказал RT о способности нейросетей копировать стиль переписки конкретного человека — чем больше сообщений в руках злоумышленников, тем правдоподобнее подделка, хотя до безупречной копии ИИ пока не дотягивает и ошибается с юмором, личными воспоминаниями и реакцией на неожиданные вопросы.
Ранее сообщалось, что распознать слежку шпионской программы на смартфоне можно по резкому росту расхода батареи, нагреву корпуса без нагрузки и внезапным тормозам устройства.
