Эксперт Попова: государственная программа bug bounty для ИИ может повысить безопасность всей отрасли
Изображение: recraft
Татьяна Попова, операционный директор ЕМДЕВ, прокомментировала для CISOCLUB запуск программы тестирования государственных ИИ-систем с участием белых хакеров. По мнению эксперта, вопрос безопасности нейросетевых моделей сегодня стал одним из самых актуальных для всей отрасли.
Она отметила, что современные модели искусственного интеллекта уже способны использоваться для поиска уязвимостей друг в друге, а их возможности делают подобные технологии потенциально опасными при недобросовестном использовании.
«Вопрос безопасности моделей сейчас стоит крайне остро. Модели успешно взламывают друг друга и могут быть весьма опасны в неправильных руках. Недавно исследователь взломал Opus 4.8 с помощью Opus 4.7 всего за 7 минут. Лидеры отрасли типа Антропика в очередной раз поднимают тему ограничения развития ИИ и регулирования отрасли», — заявила Татьяна Попова.
По её словам, несмотря на существующие риски, отказаться от использования искусственного интеллекта уже невозможно, поскольку он обеспечивает серьёзный прирост производительности. В этой ситуации одним из эффективных решений могло бы стать создание перечня проверенных моделей, безопасность которых подтверждена независимыми экспертами.
«При этом отказ от ИИ уже невозможен в силу очевидных преимуществ в производительности, которые он дает. Реестр рекомендованных моделей, безопасность которых доказана независимыми экспертами, был бы серьезным подспорьем не только в госсекторе, но и для бизнеса. Особенно ценно это для малых предприятий, которые не могут себе позволить самостоятельные проверки и дорогую закрытую инфраструктуру. Чем меньше компаний будет использовать непроверенные SaaS модели, тем меньше взломов будет в целом по стране», — отметила эксперт.
Татьяна Попова считает, что инициатива Минцифры по распространению практики bug bounty на государственные ИИ-системы выглядит своевременной и логично продолжает уже существующие проекты по проверке критически важных цифровых сервисов.
«Мы считаем, что инициатива Минцифры по выводу государственных ИИ-систем в формат bug bounty вполне своевременна. Она логично продолжает уже обкатанную практику тестирования критичных сервисов, таких как «Госуслуги», ЕСИА, ЕБС и СМЭВ, которые привлекали десятки тысяч багхантеров и позволили выявить десятки критических уязвимостей без инцидентов утечки данных», — подчеркнула она.
Эксперт также обратила внимание, что подобные программы требуют строгого соблюдения организационных и технических мер безопасности. По её мнению, особую роль здесь играют чёткое определение границ тестирования, разделение тестовых и рабочих контуров, защита персональных данных и выстроенный процесс обработки найденных уязвимостей.
«При этом для ИИ-сценариев принципиально, чтобы программы багбаунти опирались на чётко описанный scope, сегрегацию тестовых и продуктивных контуров, безопасную анонимизацию и маскирование персональных данных, а также на выстроенный процесс обработки уязвимостей (triage, remediation, регресс-тесты) в связке с DevSecOps практиками. В противном случае риск для ИСПДн и ГИС может превысить эффект от открытого тестирования», — заключила Татьяна Попова.
