ГК Softline: как теневой ИИ и дипфейки обходят классическую защиту от киберугроз

Стремительное развитие искусственного интеллекта изменило ландшафт киберугроз. По прогнозам агентства IDC, в 2026 году расходы на обеспечение ИБ составят 308 млрд долларов при росте около 12% за год. К 2029 году расходы могут приблизиться к 430 млрд долларов. Однако рост бюджетов не гарантирует безопасности. Угрозу представляют не только злоумышленники извне, но и теневой ИИ внутри компании.

Эволюция угроз на фоне развития технологий

Среди главных угроз – умный фишинг и дипфейки. Автоматизация атак привела к тому, что ИИ-боты работают круглосуточно. Они адаптируются под конкретную жертву и создают персонализированные фишинговые письма без грамматических ошибок. ИИ-сообщение часто становится точкой входа для вируса-шифровальщика, который затем парализует работу компании на долгое время.

Кроме того, особую опасность представляют дипфейки. Например, сотрудник может получить поддельное голосовое сообщение от руководителя с требованием срочно перевести средства или переслать конфиденциальные данные. В таких сценариях не срабатывают традиционные ИБ-инструменты, например, межсетевые экраны, так как атака направлена на людей. Классическая многофакторная аутентификация (MFA) также не всегда может быть достаточной защитой. Так как ИИ-боты могут инициировать массовую рассылку уведомлений, пока уставший сотрудник ошибочно не подтвердит действие. В то же время системы нового поколения учитывают не ввод кода, а поведение пользователя. ИИ-агент или скрипт, работающий удаленно, не способен воспроизвести микродвижения человека, поэтому система прерывает подозрительную сессию.

Помимо фишинга и дипфейков угрозу для компаний представляют сбои из-за галлюцинаций ИИ. Нейросеть может выдать ложную информацию, которая звучит правдоподобно. Если сотрудник внесет такие данные в юридические или финансовые документы без проверки, это приведет к денежным и репутационным потерям.

Еще один вид угроз – утечка конфиденциальных данных. Такие инциденты могут произойти, как через использование скомпрометированных моделей, так и из-за ошибок в обработке данных.

Компании в ответ на угрозы порой стремятся полностью запретить сотрудникам использовать нейросети в рабочих процессах. Но тотальные запреты не работают, и сотрудники продолжают работать с ИИ. Часто люди используют публичные нейросети для работы без официального одобрения и контроля со стороны ИТ-отдела, службы информационной безопасности и руководства компании. Такой теневой ИИ может привести к серьезному ущербу.

Как бизнесу минимизировать риски ИИ-угроз – рекомендации ГК Softline

Важно сместить фокус с запретов на управляемое использование технологий. Информационную безопасность нужно обеспечивать за счет сочетания технических средств защиты и понятной ИБ-политики для работников. Архитектура безопасности должна эволюционировать в сторону концепции нулевого доверия.

Реализуя ИБ-проекты для предприятий, мы в ГК Softline видим, что большей устойчивости добиваются компании, которые внедряют проактивную защиту самих моделей машинного обучения от специфических угроз. Компании перешли к внедрению специализированных LLM-шлюзов, которые осуществляют контроль информации, загружаемой в нейросеть. Это прокси-серверы, которые становятся «барьером» между сотрудниками и нейросетями, и в режиме реального времени фильтруют промпты. Такие ИБ-инструменты удаляют чувствительную информацию до её отправки вендору. Они также блокируют попытки инъекций, если злоумышленник через внедренного бота пытается получить доступ к внутренним данным.

Кроме того, процессы оценки уязвимостей также нуждаются в трансформации. Классический пентест не выявляет риски атак с использованием ИИ. Речь идет об инъекциях промптов или социальной инженерии с применением дипфейков. При моделировании атак целесообразно применять те же инструменты на основе ИИ, которые могут использовать преступники.

Наряду с техническими средствами защиты необходимо внедрять регламенты для сотрудников с четкими инструкциями. Например, в промпты запрещается вносить непубличную информацию (пароли, базы данных работников, код, финансовые документы и т.д.). Любые цифры, ссылки на законы и медицинские советы от ИИ нужно обязательно перепроверять вручную, иначе можно принять неправильное решение. Аналогичная ситуация с написанием кода или скрипта: без проверки существует риск занести в рабочую среду чужие ошибки или уязвимости.

Кроме того, не рекомендуется использовать личные бесплатные аккаунты в нейросетях для рабочих задач. Следует применять корпоративные версии, в которых вендор гарантирует, что загружаемые данные не будут использоваться в обучении публичной модели.

Бизнесу также стоит помнить, что меры регулятора и использование суверенных моделей ИИ упрощают обеспечение информационной безопасности, но не исключают угроз. Необходимо обеспечить в организации постоянный мониторинг трафика на предмет аномалий. Переход к управлению рисками на уровне поведения пользователей и конфигураций моделей обеспечит высокий уровень устойчивости компании.