«Солар» и УЦСБ: 40% компаний отмечают критичные риски генеративного ИИ для безопасности приложений

По данным исследования системного интегратора УЦСБ и группы компаний «Солар», более 80% компаний допускают использование генеративного ИИ в разработке софта, чтобы сократить сроки, упростить анализ кода и устранение уязвимостей. Но вместе с тем растет и запрос на безопасность такой модели разработки ПО. Так, 95% участников исследования отмечают, что генеративный ИИ несет существенные риски безопасности, а 40% респондентов подчеркивают высокую критичность подобных рисков.

Данные о ситуации с внедрением ИИ в процессы компаний получены в результате совместного исследования УЦСБ и «Солара», в котором приняли участие 102 компании из сферы телекоммуникаций, промышленности, финансов, госсектора, энергетики, транспорта, логистики, торговли, медицины и строительства.

В практике российских компаний преобладает запрос на контролируемый формат использования ИИ. Так, половина опрошенных организаций (50,5%) разрешает использовать генеративный ИИ в разработке только в ограниченном формате, например, ИИ-сервисы, развернутые в собственном контуре (on-premise) и с соблюдением внутренних требований информационной безопасности. При этом около трети организаций (32,2%) не контролируют использование ИИ и не предъявляют требования ИБ к подобным сервисам, что создает повышенные риски для безопасности.

Наряду с запросом на контролируемый доступ, исследование также продемонстрировало запрос на использование закрытых корпоративных LLM, которые позволяют работать без передачи данных во внешние сервисы. 86,9% компаний положительно оценивают внедрение специализированной закрытой или дообученной LLM внутри собственного контура для триажа уязвимостей, автоматического исправления кода и анализа безопасности. 25,3% считают такой шаг необходимым уже сейчас, еще 61,6% готовы к нему при доказанной эффективности и защищенности решения, и только 13,1% пока предпочитают традиционные инструменты.

«Бизнес готов инвестировать в закрытые LLM, а разработчики уже используют генеративный ИИ для написания и анализа кода. Но поставить модель внутри ИТ-периметра недостаточно. В приоритете должна быть безопасность на уровне процессов: четкие политики с описанием задач применения ИИ, автоматические проверки кода и регулярное обучение команд. Кроме того, без постоянной подпитки свежими данными об уязвимостях закрытая LLM не сможет распознавать новые типы атак и не предупредит о трендовых рисках. Таким образом, ИТ-рынку уже сейчас нужны методики, которые обеспечивают непрерывную актуализацию модели, чтобы она развивалась в управляемом контуре с гарантиями безопасности», – отметил Евгений Тодышев, руководитель направления безопасной разработки в УЦСБ.

Также компании опрашивали о возможности использовать ИИ для анализа уязвимостей в программном обеспечении и предпочтительных моделях (публичных или находящихся внутри контура организации).

Компании, которые используют публичные LLM и ML-модели для поиска вредоносного кода, сталкиваются с другими типами рисков. В первую очередь, это утечка данных, накопление уязвимостей в коде, созданном с помощью ИИ, которые не распознают публичные ИИ-сервисы для триажа уязвимостей. Поверхностный анализ кода, непредсказуемость результатов анализа приводят к тому, что снижается безопасность разработки софта в CI/CD-контейнерах (изолированных исполняемых средах (обычно Docker или Kubernetes), которые позволяют автоматизировать сборку, тестирование и доставку кода, гарантируя его идентичную работу на любом сервере). Как показывают актуальные исследования безопасности приложений «Солара», в 75-80% массовых цифровых сервисов уже содержатся критичные уязвимости, которые могут приводить к утечкам конфиденциальной информации пользователей.

«Зачастую ИИ-сервисы анализируют код как последовательность действий (токенов), а не как логику. Это поиск совпадений с шаблонами, а не детальный анализ потоков данных и семантики кода. Такой подход дает много ложных срабатываний и пропускает сложные уязвимости. Более того, на этапе триажа публичные LLM-модели пропускают от 40 до 50% уязвимостей в коде. Помимо рисков для безопасности, публичные LLM-модели и ML-решения не позволяют организовать анализ проектов с сотнями тысяч строк кода и десятками фреймворков «под капотом». Поэтому спрос на специализированные решения для безопасности приложений будет нарастать и выводы исследования подчеркивают этот важный тренд», — комментирует Владимир Высоцкий, руководитель отдела развития бизнеса ПО Solar appScreener.

Участники исследования также отметили, какие направления требуют дополнительных инвестиций в информационную безопасность. Чаще всего компании выделяли запрос на специализированные LLM для задач разработки и AppSec (45,5%), построение процессов безопасной разработки и эксплуатации моделей, то есть MLSecOps (39,4%), а также аудит безопасности, red teaming и пентест ИИ-систем (37,4%).

Результаты по направлению безопасной разработки укладываются в общий вывод исследования: дискуссия на рынке смещается от вопроса «использовать ли ИИ» к вопросу «как использовать его безопасно и управляемо». Для разработки это означает три параллельных шага – контролируемый доступ к генеративным инструментам, движение к закрытым корпоративным моделям и, прежде всего, инвестиции в обучение сотрудников и разработку политик кибербезопасности для ИИ-сервисов. Именно эти шаги в совокупности и формируют «доверенный ИИ» — решение, которое гарантирует защиту данных, предсказуемость работы и полный контроль со стороны бизнеса.