ГК Softline: ИИ-рискам нужен отдельный владелец

Генеративный ИИ перестал быть инструментом для отдельных экспериментов: модели создают тексты, классифицируют документы, обслуживают клиентов, готовят рекомендации и выполняют действия в составе ИИ-агентов. Их ответы все чаще влияют на финансовые операции, коммуникации с заказчиками и работу внутренних подразделений.

При этом ответственность за результат остается размытой: бизнес-подразделение отвечает за внедрение, ИТ-служба обеспечивает инфраструктуру, служба информационной безопасности контролирует доступы, юристы оценивают договоры, а поставщик сопровождает модель. При ошибке выясняется, что ни одна из сторон не управляет риском целиком.

Мы в Softline считаем, что ключевой вопрос уже заключается не в возможностях модели, а в том, кто отвечает за ее использование на протяжении всего жизненного цикла. Пока ИИ применяется в локальном пилоте, ответственность можно распределить между участниками проекта. Когда технология входит в критичный бизнес-процесс, ей требуется отдельный владелец рисков с полномочиями останавливать небезопасные сценарии.

Почему существующих процедур становится недостаточно

Традиционный ИТ-контроль рассчитан на систему с предсказуемой логикой. Приложение тестируют, вводят в эксплуатацию и отслеживают изменения в коде и конфигурации. Поведение модели зависит от данных, запроса, контекста, подключенных источников и действий пользователя, поэтому одинаковый сценарий не всегда дает одинаковый результат.

Качество может снизиться без формального изменения самой модели. Причиной становятся новые данные, обновление внешнего сервиса или другой способ использования. Система продолжает работать, но чаще ошибается, выдает неполные ответы или принимает решения, которые расходятся с требованиями бизнеса.

Разовое согласование перед запуском подтверждает состояние системы в конкретный момент, но не показывает, как она поведет себя после подключения новых данных, функций и пользователей. Поэтому контролировать нужно качество ответов, обращения к данным, действия ИИ-агентов и возникающие инциденты на всем протяжении эксплуатации.

Риски при этом выходят за пределы качества модели. Злоумышленники могут воздействовать на нее через входные данные, пытаться получить сведения из контекста или использовать уязвимости подключенных сервисов. Дополнительную поверхность атаки создают внешние модели, плагины и ИИ-агенты, которые получают доступ к корпоративным системам.

В ИБ-проектах Softline подключенная к внутренним источникам модель рассматривается как отдельный объект контроля. Необходимо понимать, какие данные она получает, куда передает результаты, какие действия может выполнять и какие учетные записи использует. Без этой информации невозможно оценить последствия ошибки или компрометации.

К техническим рискам добавляются юридические и договорные. Требования к ИИ постепенно закрепляются в регулировании и условиях работы с заказчиками. Если модель использует конфиденциальные данные, формирует решение для клиента или действует от имени компании, ее ошибка способна привести к претензиям, расследованию и финансовым потерям.

Почему внедрение и контроль требуют разных владельцев

В крупных компаниях уже формируется роль директора по искусственному интеллекту, или CAIO. Такой руководитель отвечает за стратегию внедрения, выбор приоритетных сценариев и ценность технологии для бизнеса.

Однако развитие ИИ и контроль его рисков предполагают разные управленческие задачи. CAIO заинтересован в скорости внедрения и возврате инвестиций, а владелец рисков должен проверять ограничения, требовать дополнительных испытаний и при необходимости останавливать запуск. Если обе функции сосредоточены у одного руководителя, краткосрочный результат может получить приоритет перед устойчивостью.

Этим объясняется появление концепции директора по рискам искусственного интеллекта, или CAIRO. Речь идет не обязательно о новой должности в штатном расписании. Компании прежде всего нужна функция, которая охватывает ИИ-риски целиком и может влиять на запуск, эксплуатацию и вывод систем из использования.

Практика Softline показывает, что название роли вторично по отношению к закрепленной ответственности. Если управление рисками распределено между подразделениями, необходимо назначить владельца процесса, определить его полномочия и установить порядок принятия решений. Иначе реестр моделей будет вести одна команда, инциденты расследовать другая, а решение о допустимости риска останется без владельца.

Что должно находиться под постоянным контролем

Работа начинается с реестра ИИ-систем. Компания должна знать, где используются модели, какие задачи они выполняют, с какими данными работают, кто отвечает за результат и к каким системам они подключены. В реестр должны попадать корпоративные проекты, внешние сервисы и решения, которые подразделения начали использовать самостоятельно.

Затем сценарии распределяют по уровню критичности. Инструмент для редактирования внутренних текстов и модель, участвующая в финансовой операции, требуют разного контроля. Значение имеют последствия ошибки, доступ к конфиденциальным данным, возможность выполнить действие без подтверждения человека и влияние на непрерывность бизнес-процесса.

Для каждого уровня критичности устанавливаются требования к данным, тестированию, логированию и контролю поставщиков. Отдельно определяются операции, в которых решение модели должен подтвердить сотрудник. Если ИИ-агент способен самостоятельно изменить данные, отправить документ или запустить процесс, пределы его полномочий должны быть зафиксированы до ввода в эксплуатацию.

Необходимо заранее определить порядок действий при инциденте: кто получает сообщение об ошибке, как ограничивается доступ модели, какие журналы используются при расследовании и при каких условиях систему останавливают. Без такого порядка участники проекта начнут восстанавливать события уже после ущерба.

Мониторинг также нельзя сводить к контролю доступности. Модель может отвечать без технических сбоев, но терять точность, обращаться к нетипичным источникам или выполнять действия за пределами установленного сценария. Каждый такой сигнал должен получать конкретный сотрудник, а процедура проверки должна быть известна до возникновения инцидента.

Для крупных компаний развитием этой системы может стать единый центр контроля ИИ, или AI control room. Он объединяет сведения о моделях, их доступах, качестве результатов и выявленных отклонениях. Это особенно важно, если подразделения используют несколько моделей и поставщиков, поскольку единый контроль не позволяет каждой команде по-своему оценивать одинаковые риски.

Где должна находиться функция управления рисками

Организационная модель зависит от роли ИИ в компании. Если модели подключены к критичным системам, промышленной инфраструктуре или клиентским каналам, функцию можно закрепить в блоке информационной безопасности. Основное внимание в этом случае получают доступы, данные, интеграции и сценарии атак.

Если риски связаны прежде всего с регулированием и ответственностью перед заказчиками, владельцем может стать риск-функция или комплаенс. Когда ИИ влияет на стратегию и несколько направлений бизнеса, ответственность целесообразно поднять на уровень генерального директора или совета директоров.

Подчинение не отменяет распределения задач. Владелец бизнес-процесса отвечает за цель применения модели и последствия ее решений, ИТ-служба контролирует инфраструктуру и интеграции, служба информационной безопасности оценивает доступы и сценарии атак, а юристы и комплаенс проверяют договорные требования. Владелец ИИ-рисков объединяет эти оценки и принимает решение о допустимости эксплуатации.

Если он подчиняется руководителю, чей результат зависит от скорости внедрения ИИ, необходимо сохранить право приостановить запуск или потребовать дополнительную проверку. Формальная ответственность без возможности влиять на проект не снижает риск.

Отдельная функция нужна раньше отдельной должности

Компании не обязательно сразу нанимать директора по рискам искусственного интеллекта. На первом этапе функцию можно закрепить за CISO, CRO, руководителем комплаенса или коллегиальным органом. Важно, чтобы работа не ограничивалась подготовкой политики и разовыми согласованиями.

Начать следует с поиска всех используемых ИИ-сценариев, включая сервисы, которые сотрудники подключили без централизованного решения. После этого необходимо оценить их критичность, назначить владельцев, определить требования к данным и доступам, настроить мониторинг и утвердить порядок расследования инцидентов.

Для нас в Softline важно разделять внедрение технологии и принятие риска. Бизнес может решить, что польза конкретной модели оправдывает известные ограничения, но такое решение должно быть осознанным, зафиксированным и подкрепленным мерами контроля.

По мере роста числа моделей функция управления рисками потребует отдельной команды, бюджета и руководителя. К этому моменту у компании уже должны работать реестр, критерии критичности, порядок тестирования, мониторинг и процедура реагирования. Если создавать их после серьезного инцидента, выстраивать управление придется одновременно с расследованием и восстановлением бизнес-процесса.

ИИ становится частью корпоративной инфраструктуры, поэтому ответственность за его риски нельзя оставлять между ИТ, ИБ, юристами и бизнесом. Управленческое решение состоит не в том, чтобы заранее ввести новую должность, а в том, чтобы уже сейчас назначить владельца ИИ-рисков, дать ему полномочия и связать контроль с жизненным циклом каждой модели. От этого зависит, останется ли ошибка локальным отклонением или превратится в финансовый, репутационный и операционный инцидент.