AppSec Solutions выпустили ИИ-платформу для защиты от киберугроз

Продукт отечественного вендора позволит в автоматическом режиме проверять лбые системы с участием искусственного интеллекта, будь то AI-ассистенты или корпоративные решения с большими языковыми моделями, на устойчивость к вредоносным атакам.

AppSec.GenAi – это решение, которое позволяет обеспечивать комплексный подход к безопасности больших языковых моделей и генеративных ИИ-систем. Продукт нацелен на поиск уязвимостей и анализ устойчивости AI-систем к кибератакам.

Основная задача платформы – определить, как языковая модель противостоит манипуляциям, выявить риски и предотвратить кражу чувствительных данных. Продукт отечественного вендора позволяет тестировать модель на различные сценарии проникновения, начиная от Phishing Attack и Jailbreaking, заканчивая сложными атаками на звуковые и мультимодальные модели. AppSec.GenAi — это своего рода провокатор, который выявляет слабые стороны ИИ-моделей и позволяет разработчикам своевременно их доработать.

— Мы проверяем все распространенные типы модальностей моделей более чем 40 сценариями. Это позволяет оценить, как модель реагирует на небезопасные воздействия, например: отклоняется ли от своих инструкций безопасности, готова ли отвечать на провокационные вопросы и генерировать нежелательный контент. По итогам проверок пользователюю доступны несколько типов отчетов, включающих в себя оценку воздействия, рекомендации, а также логи, позволяющие проанализировать поведение модели в момент атаки, — рассказала Мария Усачева, руководитель продуктов AI Security, AppSec Solutions, — кроме того, сканер может быть интегрирован в процесс разработки на ранних этапах, что позволяет проводить сканирование на уязвимости ещё на стадии тестирования моделей, до внедрения в эксплуатацию.

Инструмент подходит для языковых моделей, разработанных под задачи любого бизнеса: финтеха, медицинских ИИ-технологий, управления производством или БигТеха.

— По данным Национального центра искусственного интеллекта при Правительстве РФ, 43% российских компаний используют искусственный интеллект в своей работе, но только у 36% есть хотя бы минимальные политики безопасности в этой области. Злоумышленники справедливо полагают, что ИИ стал уязвимым местом, и активно этим пользуются. При этом, у них есть ряд особенностей, которые не позволяют обеспечивать их безопасность традиционными инструментами, в частности, они взаимодействуют не только с человеком, но и друг с другом — отмечает управляющий директор AppSec Solutions Антон Башарин.

Спектр уязвимостей ИИ-систем широк. Это и намеренное «заражение данных», на которых обучается модель, хищение чувствительных данных с помощью специальных промптов, «перегруз» ИИ-агента специально модифицированными запросами, что ведет к быстрому исчерпанию вычислительных мощностей компании, и другие.

AppSec.GenAi выявляет уязвимости языковых моделей, позволяя своевременно принять меры по защите моделей компании-разработчика.