Эксперт Нелюб: искусственный интеллект должен стать самостоятельным объектом защиты
Изображение: grok
Владимир Нелюб, директор по науке и ИИ, член Правления ПАО «Группа Астра», управляющий партнер ASTRA AI, доктор технических наук, прокомментировал для CISOCLUB инициативу Минцифры по расширению проверки устойчивости ИИ-систем с участием белых хакеров. По мнению эксперта, этот шаг полностью соответствует текущему этапу развития государственных цифровых сервисов.
Он отметил, что искусственный интеллект всё активнее используется для обработки документов, обращений граждан, анализа данных и поддержки принятия решений. В связи с этим ИИ необходимо рассматривать уже не как дополнительный программный модуль, а как самостоятельный объект информационной безопасности.
«Инициатива Минцифры по расширению проверки устойчивости ИИ-систем с участием белых хакеров — своевременный и логичный шаг. Искусственный интеллект уже становится частью государственных информационных систем: помогает обрабатывать документы, обращения, данные и поддерживать принятие решений. Поэтому ИИ нужно рассматривать не как экспериментальную надстройку, а как самостоятельный объект защиты», — заявил Владимир Нелюб.
По словам эксперта, современная защита ИИ выходит далеко за пределы классической информационной безопасности. Помимо серверов, сетевой инфраструктуры и систем управления доступом, появляется отдельная поверхность атаки, связанная непосредственно с моделями и механизмами их работы.
«Важно, что речь идет не только о классической информационной безопасности — серверах, сетях, учетных записях и правах доступа. У ИИ появляется своя поверхность атаки: модели, обучающие данные, управляющие запросы, контуры поиска и дополнения ответа по базе знаний, пользовательские интерфейсы, связи с внешними системами и инструментами», — отметил он.
Эксперт обратил внимание, что потенциальная уязвимость может скрываться не в программном коде, а в самом поведении модели. В числе возможных сценариев он назвал попытки раскрытия чувствительной информации, обхода встроенных ограничений и выполнения действий вне полномочий пользователя.
«Уязвимость может быть не в коде приложения, а в поведении модели: например, ее можно попытаться заставить раскрыть чувствительные данные, обойти ограничения, выполнить действие вне полномочий пользователя или выдать некорректный результат в критичном сценарии», — подчеркнул Владимир Нелюб.
По его мнению, полноценная проверка ИИ должна охватывать сразу несколько направлений, начиная от защиты от инъекций запросов и заканчивая аудитом происхождения моделей и наборов данных. Для государственных сервисов это особенно важно, поскольку ошибки искусственного интеллекта способны привести не только к техническим, но и к управленческим последствиям.
«Поэтому проверка ИИ должна включать несколько направлений: устойчивость к инъекциям запросов и другим манипуляциям, защиту персональных и служебных данных, контроль качества и корректности ответов, проверку происхождения моделей, библиотек и наборов данных, а также аудит действий системы», — рассказал эксперт.
Владимир Нелюб также считает, что разовые проверки на проникновение не способны обеспечить достаточный уровень защищённости. По его словам, модели, базы знаний и сценарии использования постоянно меняются, поэтому безопасность должна сопровождать весь жизненный цикл разработки и эксплуатации.
«При этом разовой проверки на проникновение недостаточно. ИИ-системы постоянно меняются: обновляются модели, базы знаний, сценарии, параметры и связи с другими системами. Значит, безопасность должна быть встроена во весь жизненный цикл разработки и эксплуатации», — заявил он.
Эксперт отметил, что для российских разработчиков это означает необходимость создавать не отдельные ИИ-продукты, а полноценные защищённые платформы для эксплуатации искусственного интеллекта в закрытом контуре. При этом для государственных и корпоративных заказчиков особую роль играют контроль данных, аудит, управляемость и совместимость с отечественной инфраструктурой.
«Для российских поставщиков это означает необходимость создавать не просто отдельные ИИ-решения или диалоговые помощники, а защищенные платформы для промышленной эксплуатации ИИ в закрытом контуре. Для государственных и крупных корпоративных заказчиков критичны размещение внутри собственной инфраструктуры, управляемость, аудит, контроль данных, совместимость с отечественной инфраструктурой и соответствие требованиям информационной безопасности», — подчеркнул Владимир Нелюб.
По мнению эксперта, подобные проверки не будут тормозить развитие искусственного интеллекта, а, наоборот, помогут создать условия для его безопасного масштабирования.
«В долгосрочной перспективе такие проверки не тормозят внедрение ИИ, а наоборот — делают его масштабирование возможным. Доверие к государственному ИИ невозможно без прозрачных правил, контроля и проверяемости. Белые хакеры в этом смысле не создают угрозу для ИИ-систем, а помогают выявить слабые места до того, как ими воспользуются злоумышленники», — заключил Владимир Нелюб.
