В России интернет начнут защищать интернет от ИИ, выходящего из-под контроля

Яндекс, МТС и Сбер синхронно взялись за поводок для ИИ-агентов. Нейросети уже не просто отвечают на вопросы, а самостоятельно дёргают API, шерстят базы данных и разруливают цепочки задач в несколько шагов. Индустрия срочно строит прослойку, которая должна следить, чтобы цифровой сотрудник не натворил дел.

Переход от чат-бота к агенту меняет всё на уровне архитектуры. Агент разбивает задачу на этапы, лезет в базу, запускает скрипт, вызывает внешний сервис и только потом отчитывается о результате. Чем шире права у такой системы, тем больше шансов, что она однажды сделает что-то не по плану, сообщает «Известия».

В индустрии прослойку вокруг модели уже называют харнессом, программной обвязкой, которая работает диспетчером и охранником одновременно. Она решает, какие данные видит модель, какими инструментами разрешено пользоваться и где без человека лучше не соваться.

Задачи харнесса обычно сводятся к нескольким пунктам:

• доступ к корпоративным данным и файлам;
• выбор и запуск внешних инструментов и API;
• контроль последовательности действий агента;
• запрос подтверждения у человека перед критическим шагом.

В Яндексе такое развитие назвали закономерным продолжением прогресса языковых моделей. Валерий Стромов, глава Алисы и направления умных устройств Яндекса, отметил, что харнесс даёт модели память и контекст, позволяет запускать код и проходить сложные цепочки операций. Компания уже развивает маршрутизацию, которая сама подбирает нужный инструмент под конкретную задачу.

Сергей Юдин, технический директор направления профессиональных ИИ-сервисов Яндекса, связал рост интереса к харнессам с моделями, которые умеют выполнять реальные действия. Он отметил, что такая обвязка превращает возможности нейросети в полноценный сервис с контролем качества и безопасности работы.

Интересно, что в Яндексе отдельно выделяют маршрутизацию между моделями. Система сама решает, какую нейросеть подключить под конкретную задачу, и это уже работает не как эксперимент, а как часть продакшна.

МТС подключила к решению вопроса дочернюю структуру MWS AI. Там собрали платформу, которая позволяет менять языковую модель без переделки логики агента и заодно отслеживает расход вычислительных мощностей и каждое действие цифрового помощника.

Разные модели ведут себя по-разному на одной и той же задаче. Одна экономит ресурсы, другая начинает бомбить внешние инструменты запросами и жрёт бюджет по полной. Поэтому просто выбрать нейросеть и нажать кнопку запуска уже не работает.

В MWS AI такую конструкцию описывают не как отдельного защитного агента, а как рабочую среду вокруг модели:

• задаёт границы доступа к информации;
• регулирует запуск внешних инструментов;
• управляет порядком операций агента;
• при критичном действии требует подтверждения человека.

Сбер строит похожий слой вокруг собственных моделей. В банке сообщили, что одними из первых на рынке занялись управлением большими языковыми моделями и агентами, и эта инфраструктура уже работает в GigaАгенте, GigaCode и GigaCowork.

Марина Сурыгина, руководитель отдела управления и развития продуктов СберМаркетинга, заявила, что вокруг контроля ИИ-агентов формируется отдельный быстрорастущий рынок. В Сбере совмещают собственную инфраструктуру с обращением к внешним моделям через отдельный защитный барьер.

Для обычного российского пользователя это не такая уж отвлечённая тема. Голосовые помощники и банковские чат-боты быстро переходят на агентную логику, и от того, насколько крепко её держат на поводке, зависит судьба ваших данных.

В ИТ-холдинге Т1 корпоративные запросы на системы контроля ИИ-агентов выросли примерно в 3 раза за последний год. Сергей Голицын, руководитель направления Т1 ИИ, рассказал, что компании, которые ещё недавно спешили внедрить помощников любой ценой, теперь закладывают защитные механизмы уже на этапе проектирования.

По оценке Сергея Голицына, около 80% таких запросов касаются:

• управления доступом к внутренним данным;
• проверки значимых решений человеком;
• предотвращения утечек информации;
• контроля действий агента в реальном времени.

Больше всего интереса к таким системам проявили финансовые организации, промышленность, госструктуры и ритейл.

Евгений Фёдоров, технический директор центра технологий кибербезопасности ГК Солар, сравнил происходящее с распространением файрволов в классической сетевой защите. Он отметил, что саму модель нельзя считать единственным местом для контроля. Проверку стоит выстраивать снаружи, разбирая запросы, ответы нейросети и обращения к инструментам, блокируя подозрительные операции по заданным правилам.

Стоит обратить внимание, что в Солар уже прикидывают деньги на этом рынке. В 2026 году продажи специализированных продуктов защиты ИИ могут достичь 1-2 млрд рублей, а вместе с услугами оценка вырастает примерно до 4 млрд рублей.

Летом сотни ИИ-агентов синхронно скоординировали атаку на Hugging Face, крупнейшую площадку для публикации моделей машинного обучения, и это дало наглядный пример того, чем всё может обернуться. После такого разработчики по всему миру, в том числе российские, перестали смотреть на автономные системы как на безобидных чат-ботов.

Регуляторы пока держат руку на пульсе, но без паники:

• риски передачи данных сторонним ИИ-сервисам, по мнению ФСТЭК, уже покрыты действующими нормами защиты информации;
• требования статьи 8 закона об ИИ, о которых напомнили в Минцифры, касаются разработчиков крупных фундаментальных моделей;
• для остальных сервисов действуют обычные нормы законодательства по типу информационной системы;
• отдельного закона про харнессы и агентов пока не приняли.

Мощную нейросеть недостаточно научить хорошо отвечать. Ей нужно выдать пропуск с ограниченным набором прав, журнал действий и человека, который в нужный момент нажмёт большую красную кнопку.

Ранее сообщалось, что Европейский институт телекоммуникационных стандартов ETSI выпустил технический отчёт TR 104 180, содержащий 18 метрик для оценки качества датасетов перед их использованием в машинном обучении. Документ предлагает оценивать данные не на уровне субъективного представления об их качестве, а с помощью конкретных формул и расчётов.

Эксперты CISOCLUB отметили, что рынок контроля ИИ-агентов в России развивается быстрее, чем ожидалось ещё год назад. Они обратили внимание на то, что крупные игроки вроде Яндекса, МТС и Сбера действуют почти синхронно, а это редкость для отечественного ИТ-рынка. По их оценке, основной риск сейчас не в самих моделях, а в скорости внедрения агентов без должного контроля доступа.

Специалисты также указали, что интерес государственных структур и банков к таким системам будет только расти вместе с ростом автономности агентов. Они спрогнозировали, что к 2027 году харнесс-инфраструктура станет стандартным требованием при закупке корпоративных ИИ-решений. Аналитики заключили, что победит не тот, кто первым даст агенту максимум свободы, а тот, кто научится вовремя её ограничивать.