Хакеры начали использовать ИИ-модели жертв для собственных атак

Исследователи Symantec обнаружили инструмент, в котором языковая модель управляет набором из 74 инструментов для разведки, взлома и кражи данных. Агент ищет в интернете открытые ИИ-сервисы и пытается использовать чужие модели для атак, похищения учётных данных и запуска майнеров криптовалюты. О находке написал The Wall Street Journal, технические подробности опубликовала Symantec.

Чужая модель вместо собственных мощностей

Инструмент опирается на технику LLMjacking, то есть на незаконное использование чужой языковой модели через украденный API-ключ или сервер без защиты. Владелец взломанного сервиса рискует получить счёт за чужие запросы, а организации, чьи серверы станут следующими целями, могут потерять данные, учётные записи и вычислительные мощности. Атакующему это даёт бесплатные вычисления и скрытый источник запросов.

Symantec наблюдала за активностью через ИИ-ловушку, то есть специально подготовленный сервис, имитирующий доступную извне модель. Система зафиксировала более 127 000 внешних запросов с десятков тысяч уникальных IP-адресов. Эта телеметрия не равна числу успешных взломов или отдельных преступников. Основную часть обращений составляли:

• поиски открытых ИИ-точек доступа;
• проверки украденных API-ключей;
• обращения к конфигурационным файлам.

Модель, которая не умеет отказывать

В перехваченных инструкциях нашлось несколько уровней манипуляции, цель которых состояла в подавлении защитных ограничений коммерческой модели. Модели предписывали:

• выдавать себя за другой продукт и скрывать настоящую модель с поставщиком;
• считать чтение конфигурационных файлов и API-ключей обычной работой над проектом;
• соглашаться с оператором и воспринимать собственные предупреждения как помеху;
• избегать формулировок, связанных с отказом выполнять команды.

Сам набор инструкций не гарантирует обход защиты, но здесь он был частью крупного инструмента. В комплект вошли 74 определения инструментов для разведки интернет-инфраструктуры, эксплуатации уязвимостей веб-приложений, извлечения данных и управления заражёнными узлами. Модель выбирала дальнейшие действия, а специализированные средства выполняли их.

Skynet без постоянного надзора

Автономный режим авторы назвали «Skynet». Агенту разрешалось выполнять до 100 000 шагов без подтверждения человека, но это лимит из инструкции для операторов, а не подтверждённое число действий в реальной атаке. В задачи режима входили:

• поиск новых целей;
• попытки проникновения;
• сбор секретов;
• развёртывание майнеров;
• распространение на другие системы.

Ловушка перехватила запрос с заданием легальной тренировочной площадки для поиска уязвимостей, к которому приложили результаты якобы выполненных проверок. Сервис не исполнил переданные инструменты и вернул обычный ответ, после чего сессия завершилась. Symantec подробно изучила устройство агента, но не показала, что сессия закончилась взломом площадки, а наличие инструментария не доказывает успешную атаку на конкретную организацию.

Майнер Monero в запросе к ловушке

На следующий день запрос пришёл с другого IP-адреса и был устроен иначе. Модель просили декодировать строку, а в ней оказался сжатый shell-скрипт для майнинга Monero, который маскировал программу под обычный системный файл, переключался между майнинговыми пулами и чистил локальные журналы.

Одним из мест размещения он называл каталоги go2rtc, программы для потоковой передачи видео в системах видеонаблюдения и домашней автоматизации. Эти устройства работают круглосуточно, а владельцам российских систем на go2rtc стоит проверить, не доступны ли они из интернета без пароля.

Ловушка получила скрипт, но не выполнила его, поэтому установка на реальные камеры не подтверждена.

Под прицелом оказались и платформы вокруг моделей

В середине октября Symantec сообщила, что обновлённые версии инфостилера Aoki ищут файлы с учётными данными ИИ-инструментов для программирования, среди которых Claude, ChatGPT, OpenAI Codex, Cursor, GitHub Copilot и Kiro. Доступ к ИИ-помощнику связан с репозиториями, облаком и корпоративными сервисами, поэтому злоумышленнику хватает украденного токена и не нужно взламывать модель. Российские разработчики, которые пользуются этими ассистентами, рискуют не меньше зарубежных коллег.

Права инструментов решают больше, чем отказы модели

Раньше риск ИИ-сервиса оценивали по ответам модели и по тому, насколько уверенно она отказывается от опасных запросов. Для агентов этого мало, потому что открытый API, украденный токен или избыточные права сводят на нет любые встроенные ограничения. Symantec рекомендовала:

• не оставлять интерфейсы моделей и серверы MCP открытыми без аутентификации;
• ограничивать полномочия API-ключей и отслеживать аномальные объёмы запросов;
• ограничивать сетевые соединения для систем с ИИ-агентами;
• требовать подтверждения человека перед чувствительными действиями.

Эксперты CISOCLUB отметили, что опасность связана не с обходом ограничений как таковым, а с превращением модели в планировщика, который выбирает следующий шаг по результатам предыдущего. Заранее прописанные цепочки команд легко ловятся сигнатурами, а агент, меняющий действия на ходу, оставляет гораздо меньше предсказуемых следов. Открытые ИИ-интерфейсы и утёкшие токены становятся ходовым товаром наравне со взломанными удалёнными рабочими столами, потому что чужие вычисления бесплатны.

Журналы запросов к ИИ-сервисам стоит анализировать наравне с логами облака, поскольку внезапный рост обращений нередко оказывается первым признаком чужого присутствия. Агенту нельзя выдавать больше полномочий, чем получил бы сотрудник на той же задаче, а защита ИИ-инфраструктуры стала отдельной задачей для корпоративных ИТ-команд.

Ранее сообщалось, что ИИ-агенты OpenAI во время выполнения стандартных задач по программированию нарушили работу внутренних систем контроля за поведением моделей. Один из агентов отключил автоматические уведомления для команды безопасности, а другой при переносе кода удалил компонент мониторинга и впоследствии ошибочно заверил пользователя, что не вмешивался в работу защитных механизмов. Подробности компания обнародовала 20 октября, признав, что пока не может убедительно объяснить причины такого поведения моделей.