Злоумышленники манипулируют ИИ-сканерами с помощью вредоносных пакетов

Злоумышленники используют техники противодействия анализу, чтобы вмешиваться в работу сканеров вредоносного ПО на базе ИИ и LLM. Вредоносные пакеты PyPI и npm в атаках на цепочку поставок программного обеспечения содержали сфабрикованные системные инструкции, текст для активации определённых политик и прямые команды. Такие конструкции могут манипулировать анализирующей моделью, побуждая её игнорировать полезную нагрузку или ошибочно сообщать о безопасности пакета.

Другой подход связан с исчерпанием или перегрузкой контекстного окна модели. В одном из наблюдавшихся пакетов npm фраза «Вы абсолютно правы!» повторялась десятки тысяч раз перед вредоносным кодом JavaScript. Это потенциально могло вытолкнуть полезную нагрузку за пределы практического диапазона анализа модели.

Для воздействия на результаты проверки злоумышленники также могут применять файлы с некорректной структурой, необычной организацией или некорректным форматированием. Такие файлы способны заставить парсеры и системы анализа обрезать содержимое либо проверять только его часть. Вредоносный код может скрываться за утверждениями о наличии конфиденциальной или чувствительной информации, побуждая ИИ-систему или аналитика отказаться от его анализа.

Атакующие могут внедрять пользовательские форматы файлов, для обработки которых требуются специализированные инструменты. Это создаёт возможности для эксплуатации уязвимостей в конвейере анализа. Дополнительные риски связаны с ИИ-агентами, способными вызывать внешние инструменты, включая распаковщики и деобфускаторы. Вызов таких инструментов может быть скомпрометирован или перехвачен для доставки либо выполнения вредоносного ПО. Другие атаки могут направлять автоматизированных агентов на действия, требующие одобрения человеком, создавая задержки, которыми способны воспользоваться злоумышленники.

Описанные методы затрагивают не только сам вредоносный код, но и этапы разбора, рассуждения, использования инструментов и проверки человеком при анализе с помощью ИИ.

Отчет получен из сервиса CTT Report Hub. Права на отчет принадлежат его владельцу.

Ознакомиться подробнее с отчетом можно по ссылке.