ФСТЭК готовит новый стандарт для защиты искусственного интеллекта от специфических угроз и ошибок обучения

Федеральная служба по техническому и экспортному контролю (ФСТЭК) работает над созданием национального стандарта по безопасной разработке систем искусственного интеллекта. Новый документ должен восполнить пробелы в действующих нормах и учесть риски, характерные именно для технологий машинного обучения. Об этом заявил первый заместитель главы ведомства Виталий Лютиков на форуме BIS‑2025.

Как уточнил Виталий Лютиков, речь идёт о регламенте, который дополнит существующие методики по защите программного обеспечения и сосредоточится на угрозах, присущих ИИ: уязвимости моделей, сложность валидации, воздействие на обучающие выборки, эксплуатация ложных выводов. Ожидается, что к концу 2025 года проект будет представлен экспертному сообществу для публичного обсуждения.

Виталий Лютиков подчеркнул, что в отличие от обычных программ, код которых поддаётся проверке, ИИ‑алгоритмы часто функционируют как «чёрный ящик», а значит, защищать нужно не только финальный результат, но и процесс обучения, датасеты, цепочки поставки компонентов, а также инфраструктуру хранения и исполнения.

По мнению Игоря Бедерова, представителя T.Hunter, будущий документ должен стать полноценным методическим инструментом для разработчиков. Он ожидает, что в стандарте появятся чёткие требования ко всем этапам жизненного цикла ИИ‑систем — от подготовки данных и разработки архитектуры до внедрения и мониторинга в продуктивной среде.

Алексей Лукацкий из Positive Technologies напоминает, что в приказе ФСТЭК №117, вступающем в силу в марте 2026 года, уже предусмотрены положения по защите ИИ, но в текущем виде они сформулированы слишком обобщённо. Новый документ, как подчёркивает Лукацкий, должен конкретизировать, как именно разрабатывать, настраивать и эксплуатировать такие системы, чтобы минимизировать риски компрометации.

Отдельную проблему, по мнению Николая Комлева, исполнительного директора АПКИТ, представляет поведение ИИ в неконтролируемых условиях. Он отмечает, что проверка обычного программного кода сильно отличается от валидации модели, работающей на обучении. А значит, кибербезопасность необходимо встраивать уже на этапе проектирования, с учётом особенностей сторонних библиотек, облачных платформ и открытых инструментов.

Среди наиболее опасных угроз эксперты называют так называемое «отравление» обучающих выборок, инъекции через промт-запросы, а также манипуляции с «галлюцинациями» модели — ситуациями, когда ИИ генерирует логически правдоподобные, но фактически ложные ответы. Такие риски нельзя нивелировать классическими методами защиты, что делает ситуацию ещё более уязвимой.

В мире уже существует свыше 150 отраслевых и региональных стандартов по безопасному использованию ИИ, но, по словам российских специалистов, документ, разрабатываемый ФСТЭК, должен иметь универсальный характер и подходить для широкого спектра применений — от госсектора до частного бизнеса.

Станислав Ежов, директор по ИИ «Группы Астра», прокомментировал для CISOCLUB: «Инициатива ФСТЭК по созданию специализированного стандарта безопасности ИИ — критически важный шаг для российской цифровой экосистемы. В отличие от традиционного ПО, ИИ-системы работают по принципу «черного ящика» и имеют уникальные уязвимости: «отравление» обучающих данных, промпт-инъекции и галлюцинации моделей требуют принципиально новых подходов защиты. Стандарт охватит полный жизненный цикл ИИ — от сбора и разметки данных до эксплуатации систем, станет обязательным для государственных органов и критической инфраструктуры с 2026 года, заложив основу доверенного развития ИИ в стране».

Алексей Романов, ведущий консультант по вопросам информационной безопасности IT TASK : «Без четких критериев проверки качества и надежности поставляемых решений рынок рискует оказаться в ситуации, когда у разных компаний формируются несопоставимые подходы к защите моделей, поэтому ключевая ценность будущего стандарта ФСТЭК будет заключаться в создании единого языка требований. Для представителей бизнеса это будет инструмент, чтобы включать понятные критерии в ТЗ и договоры с подрядчиками, которые будут касаться использования ИИ.

Сейчас в нормативной базе уже есть отдельные упоминания защиты ИИ, (в том числе в приказе ФСТЭК №117, но они не содержат конкретных указаний, как проверять или контролировать такие системы. Новый документ должен восполнить этот пробел и задать более детализированные правила для всех участников рынка».

Илья Народицкий, директор по консалтингу системного интегратора и разработчика Navicon: «Звучит красиво, но пока это лишь анонс «стандарта по ИИ» к концу 2025-го, без четких механизмов проверки дата-сетов, моделей и inference-контуров. Пока больше похоже на чек-лист к действующим ГОСТам: бумажной работы прибавится, а вот “отравления” данных, промпт-инъекции и галлюцинации ИИ сами по себе никуда не денутся.

Чтобы стандарт не стал формальностью, регулятору важно продемонстрировать “живые”, работающие пилоты, прозрачные метрики надежности и процедуру «отзыва» моделей. Без этого бизнес столкнется не с повышением безопасности, а с новыми рисками — усилия будут больше направлены на соответствие формальному «чек-листу», чем на решение реальных проблем. Разговор о новом стандарте станет предметным после апробации на реальных ведомственных кейсах».

Алина Ледяева, эксперт компании StopPhish: «Принятие национального стандарта в сфере безопасной разработки ИИ будет заметно укреплять общую цифровую безопасность. Особое значение имеет регулирование поведения систем в неконтролируемых условиях. Без заранее продуманной защиты возрастает риск непредвиденных действий модели, ошибок, утечек данных и злоупотреблений. В отличие от традиционного программного кода, модель может вести себя по-разному в зависимости от входных данных и внешней среды.

Поэтому защита должна закладываться с этапа разработки. Важно, чтобы в стандарте появились четкие требования ко всем этапам жизненного цикла ИИ, в том числе, к инфраструктуре хранения информации. Сотрудники организаций, в том числе государственных, могут непреднамеренно передавать ИИ конфиденциальные сведения, которые в дальнейшем окажутся за пределами компании. Новый стандарт поможет установить правила, которые реально защищают компании и их данные, делая ИИ надёжным инструментом, а не источником утечек».

Александр Скакунов, генеральный директор VolgaBlob: «Государственное регулирование ИИ в России, вероятно, будет развиваться по одному из двух сценариев. Первый — модель лидеров в высокопроизводительных вычислениях, таких как Китай и США, где достаточно гибкое регулирование, что позволяет им делать ставку на достижение первенства в данной сфере. Второй — более консервативный подход Европы и Японии с жестким регулированием, который, однако, снижает их и без того не слишком высокие шансы в глобальной гонке развития ИИ.

Предположу, что Россия также хочет принять в ней участие, поэтому выбор модели регулирования станет критически важным. Для государства, как мне видится, этот вопрос по своей стратегической значимости сопоставим с гонкой вооружений или космическими программами. При этом на формирование регуляторной политики могут попробовать повлиять и крупные технологические компании. Пока же дальнейшее направление развития регулирования остается неочевидным».

Специалист Аналитического центра кибербезопасности компании «Газинформсервис» Татьяна Буторина: «Эта ситуация абсолютно характерная для нашего времени: стремительное развитие технологий ИИ опережает законодательные меры по их регулированию во всём мире, и Россия – не исключение. И хотя стандартов для ИИ уже существует свыше 150, законодательство в данной области только лишь развивается. Российский стандарт претендует в перспективе на то, чтобы стать универсальным и наиболее применимым ко многим отраслям.

Проблемы с ИИ сопровождают данные технологии с момента их возникновения, например, небезызвестные «галлюцинации нейросетей» и далее – отравление невидимыми промптами и обучение на некорректных данных. Для преодоления этих и подобных проблем и разрабатывается структурированный и подробный, методически выверенный документ. Необходимо учесть специфику именно технологий ИИ, так как стандарт по безопасной разработке программного обеспечения не включает в себя такой информации. Более того, технологии ИИ внедряются в госуправление и экономику, здравоохранение, промышленность и другие серьёзные сферы, где ошибки могут быть слишком критичными».