ГК Softline: бизнес внедряет ИИ быстрее, чем ИБ успевает его защитить
изображение: grok
Технология стала доступной и эффективной, а контроль и управление обеспечиваются не так быстро. Бизнес видит ценность искусственного интеллекта, поэтому запретами ситуацию не исправить.
Сотрудники используют нейросети массово, а решения появляются быстро и развиваются разрозненно. Компании порой ставят результат в виде роста эффективности бизнес-процессов выше возможности киберугроз, которые пока еще не произошли.
Чаще всего риски использования нейросетей связаны с утечкой данных. Сотрудники загружают конфиденциальные документы в публичные чат-боты. В результате компания не контролирует, куда дальше уйдет информация. Второе направление – агентские системы. Это система с памятью, инструментами и возможностью действовать. Если ИИ-агент получит доступ к внутренним системам, право совершать транзакции или выполнять другие значимые операции, поверхность атаки станет другой по масштабу. Если человек может подключить логику и насторожиться в случае нетипичных ситуаций, то агент склонен буквально выполнять инструкции. Такой инструмент расширяет возможности для киберпреступников.
При этом локальные модели не гарантируют безопасность ИИ, хотя и снижают часть рисков, связанных с передачей данных во внешние сервисы. Но есть еще промпт-инъекции, ошибки архитектуры, небезопасные компоненты и некорректно настроенные права доступа. Некоторые компании, опасаясь новых угроз, стремятся все запретить.
Опыт ИБ-проектов Softline показывает, что политика сплошных запретов ИИ не эффективна. Сотрудники уже привыкли работать с помощью ИИ, а топ-менеджмент требует автоматизировать рутину и усиливать эффективность здесь и сейчас. Даже если ввести запреты, риски прошлого использования нельзя убрать. К тому же новые модели и сервисы появляются быстрее, чем ИБ-служба успевает реагировать на них блокировками. Пока одно решение попадает в список запрещенных, команда может уже использовать другое, собранное из новых компонентов или подключенное через сторонний сервис.
Мы в Softline видим в этом управленческую проблему и рекомендуем ИБ-службам предпринять несколько шагов. Во-первых, нужно провести инвентаризацию и понять, какие ИИ-сценарии работают в компании, кто ими пользуется, какие данные поступают в такие системы и кому нужен результат. Такая инвентаризация позволяет увидеть реальный масштаб использования ИИ для дальнейшей оценки рисков.
Во-вторых, важно проговорить все этапы использования ИИ с людьми. Именно в живом диалоге лучше узнать, какие процессы в системах критичны и что можно сломать, если внезапно перекрыть доступ к внешним сервисам. Это важно, чтобы в дальнейшем команды не обходили требования ИБ. Следующий шаг – описание рисковых сценариев и их приоритизация. Следует заранее заранее ответить на вопросы о том, что произойдет, если мошенники обманут ИИ-модель или насколько важны данные.
Мы в Softline считаем, что управленческое решение заключается в классификации и приоритизации рисков использования ИИ. Это позволит повысить управляемость процессов в работе с языковыми моделями. Критичные сценарии необходимо проработать заранее, оценить последствия и подготовиться к ним.
