ГК Softline: риски использования ИИ связаны с поведением модели в контексте
ИИ-система может менять поведение в зависимости от запроса, контекста и подключенных инструментов, поэтому её нельзя контролировать только согласно традиционной модели защиты приложений.
Мы в Softline считаем, что внедрение решений на базе больших языковых моделей (LLM) нужно рассматривать как появление нового участника бизнес-процесса. Он способен обрабатывать информацию, взаимодействовать с пользователями, обращаться к базам данных и внешним API, а в некоторых сценариях принимать решения самостоятельно. При этом заранее описать все варианты его поведения невозможно в отличие от привычных ИТ-продуктов.
Именно здесь проходит граница между защитой обычного ИТ-сервиса и ИИ-системы. Для классического приложения обычно понятны входные данные, ожидаемый результат и допустимые отклонения. Языковая модель устроена иначе. Она создается для работы с неполными данными, двусмысленными формулировками и меняющимся контекстом. Её ценность как раз в том, что она способна понять неидеально сформулированный запрос и выдать полезный результат. Но та же гибкость создает дополнительную поверхность атаки. Речь идет о свойстве самой технологии.
Один из характерных примеров – prompt injection, или внедрение вредоносных инструкций в запрос к модели. В результате система начинает выполнять указания, не предусмотренные разработчиком или владельцем процесса. Частный случай такой атаки – jailbreak. В этом случае модель заставляют игнорировать установленные правила и действовать по новой инструкции. В традиционной ИБ для этого нет прямого аналога. Антивирус или сетевой экран не остановят текстовую инструкцию, которая для модели выглядит как обычный запрос.
Мы в Softline рекомендуем заказчикам учитывать три слоя неопределённости в защите ИИ-систем
Первый связан с поведением самой модели. Один и тот же запрос не гарантирует полностью одинаковый ответ. Для LLM это нормальная особенность, заложенная в принцип работы технологии. Второй слой формируют пользователи. Они нередко применяют инструмент не так, как предполагал разработчик. Это может происходить без злого умысла, но предусмотрено возможностями самой модели. Третий слой появляется, когда модель получает доступ к инструментам, внутренним базам данных и внешним API. Агент может анализировать меняющийся контекст, выбирать дальнейшее действие и выполнять его.
Поэтому ИИ-систему нельзя защищать исключительно теми же методами, которые применяются к обычному программному обеспечению. Базовые практики закрывают только часть рисков. Дополнительная зона контроля связана с поведением модели в контексте. Промпт-инъекции, отравление обучающих данных, чрезмерная автономность агентов – все это требует понимания того, как работает LLM, и настройки защитных мер под конкретные сценарии. Кроме того, вокруг модели появляется новая инфраструктурная обвязка: шлюзы, базы знаний, коннекторы, инструменты агентов. Везде свои риски: чат-боты могут привести к утечкам данных и prompt-инъекциям, RAG-системы – к отравлению базы и извлечению данных, генерация кода – к инъекции уязвимого кода и утечке кода, ИИ-агенты – к захвату управления и несанкционированным действиям.
Чтобы обеспечить контроль над ИИ-системами, нужно провести инвентаризацию того, что и как используется внутри организации. Компания должна вести реестр всех используемых моделей, сервисов, внутренних решений и агентских сценариев. Необходимо фиксировать владельца системы, бизнес-задачу, типы обрабатываемых данных, пользователей и уровень критичности.
Кроме того, следует определить зоны ответственности. Языковая модель не должна получать доступ к ресурсам по принципу «на всякий случай». Необходимо определить минимальный набор разрешений, изолировать критичные системы. Важно также контролировать эксплуатацию: проверки должны включать попытки внедрить вредоносные инструкции, обойти ограничения или заставить агента выполнить не предусмотренное сценарием действие. Результаты таких проверок необходимо связывать с планом реагирования. Для CISO решением должно стать включение ИИ-систем в общий процесс управления рисками с отдельной оценкой поведения модели, агентских полномочий и связанных с ней потоков данных.
