Банки столкнутся с ИБ-рисками из-за нейросетей без правил
изображение: recraft
Банк России выпустил рекомендации по безопасному использованию искусственного интеллекта финансовыми организациями. Для банков это важный сигнал: ИИ больше нельзя рассматривать только как инструмент ускорения процессов. Если нейросеть работает с клиентскими данными, внутренними документами, антифродом, скорингом, обращениями или аналитикой, она становится частью контура информационной безопасности.
Регулятор отдельно выделил риски утечек данных, кибератак, подмены обучающих данных, ошибочных ответов нейросетей и компрометации цепочки поставок. Это означает, что финансовым организациям придется оценивать не только экономический эффект от ИИ, но и влияние таких систем на данные, клиентов, внутренние процессы и качество принимаемых решений.
Мы в UDV Group видим главный сдвиг в том, что ИИ переходит из зоны экспериментов в зону управляемых процессов. Пока нейросеть используется точечно и неформально, бизнес часто смотрит на нее как на удобный помощник. Но как только модель начинает обрабатывать клиентскую информацию, внутренние документы или данные, влияющие на решения, она требует тех же базовых вопросов, что и любой значимый ИТ-сервис: кто владелец процесса, какие данные используются, кто имеет доступ, как проверяется результат и кто отвечает за ошибку.
Один из самых чувствительных рисков связан с данными для обучения и дообучения моделей. Если они искажены, подменены, устарели или получены из недоверенного источника, система может начать выдавать неверные рекомендации. Для финансового сектора это особенно опасно. Ошибка ИИ может затронуть не абстрактную аналитику, а клиентский сервис, антифрод-процессы, скоринг, обработку обращений, внутренние проверки и автоматизированные решения.
Мы считаем, что здесь нельзя ограничиваться общей формулировкой «используем ИИ осторожно». Компании нужно понимать, на каких данных работает модель, можно ли им доверять, кто контролирует их качество и как отслеживаются изменения. Если модель обновилась, изменила поведение или стала опираться на другой набор данных, риски тоже должны пересматриваться.
Отдельная проблема — использование ИИ сотрудниками вне утвержденных правил. Нейросети уже применяют для подготовки документов, анализа текстов, обработки обращений, генерации кода, составления писем и работы с внутренней информацией. Если организация не определила, какие данные можно передавать в такие сервисы, а какие нельзя, ИИ становится неучтенным каналом утечки.
Для пользователя чат-бот выглядит как рабочий инструмент: сократить текст, проверить формулировку, помочь с письмом, объяснить фрагмент кода. Для ИБ это внешний сервис, куда могут попасть клиентские данные, коммерческая информация, внутренние документы, фрагменты договоров, персональные данные или сведения о бизнес-процессах. Мы в UDV Group видим, что именно такие бытовые сценарии часто сложнее контролировать, чем крупные официальные ИИ-проекты.
Поэтому финансовым организациям нужно не просто разрешить или запретить нейросети. Нужна рабочая модель использования ИИ: перечень допустимых сценариев, список запрещенных категорий данных, правила доступа, учет применяемых сервисов, журналирование действий и порядок проверки результатов. Без этого ИИ остается в серой зоне: сотрудники уже используют инструмент, а компания еще не управляет рисками.
Мы в UDV Group считаем особенно важным связать ИИ с классификацией данных. Если информация относится к клиентским данным, персональным данным, коммерческой тайне, внутренней аналитике или критичным бизнес-процессам, ее нельзя передавать в нейросетевые сервисы без понятного режима обработки. Иначе компания теряет контроль над тем, где эти данные оказались, как они используются и кто может получить к ним доступ.
Для организаций с повышенными требованиями к защите информации этот вопрос становится еще острее. В финансовом секторе, КИИ и компаниях с большим объемом персональных данных ошибка ИИ может привести не только к утечке. Она может повлиять на управленческое решение, клиентский ответ, оценку риска, блокировку операции или внутренний процесс. Поэтому безопасность ИИ должна охватывать весь жизненный цикл: от выбора модели и источников данных до эксплуатации, обновления и вывода системы из использования.
В наших проектах мы часто видим, что слабая точка появляется не в самой модели, а вокруг нее. Компания запускает пилот, подключает данные, дает доступ нескольким подразделениям, а затем сценарий быстро расширяется. Через несколько месяцев уже сложно ответить, кто использует ИИ, какие данные туда попадают, какие результаты применяются в работе и где проходит граница ответственности.
Рекомендации ЦБ фактически подталкивают рынок к более зрелой модели внедрения ИИ. Безопасность должна закладываться до запуска, а не после первых ошибок или инцидентов. Владелец процесса должен быть определен заранее. Данные должны быть классифицированы. Доступ должен быть ограничен. Результаты работы модели должны проверяться, особенно если они влияют на клиента, деньги, риск или внутреннее решение.
Для нас главный вывод такой: ИИ нельзя оставлять в режиме неформального использования. Чем глубже нейросети встраиваются в бизнес-процессы, тем выше цена ошибки, утечки или некорректного решения. Поэтому управление ИИ должно стать частью общей системы информационной безопасности, а не отдельным экспериментом технологических команд.
