Хакерские атаки с использованием ИИ эксперты считают лишь «предупредительными выстрелами»

Сооснователь и председатель Google DeepMind Демис Хассабис назвал недавние инциденты с ИИ-агентами первыми предупреждениями о куда более серьёзных угрозах. По его оценке, если разработчики и власти не усилят защиту автономных систем, уже в ближайшие год-два действия этих систем могут привести к масштабным происшествиям. Выходом он назвал международные стандарты для ИИ и гибкую сертификацию, где строгость проверок зависит от риска конкретной технологии.

Агенты без тормозов

Предупреждения прозвучали на международном саммите по искусственному интеллекту в Дублине. Поводом для беспокойства стали случаи, когда ИИ действовал непредсказуемо и выходил за пределы ожидаемого поведения. Опасения усиливаются по мере того, как агенты получают больше возможностей самостоятельно работать с сайтами, цифровыми сервисами и корпоративной инфраструктурой. Раньше нейросеть отвечала на вопросы и писала тексты, а теперь она способна открывать страницы, заполнять формы, отправлять запросы и запускать цепочки действий без участия человека. Демис Хассабис указал на недавние эпизоды:

• автономные инструменты применяли при атаках на корпоративные сети;
• модель Anthropic отправила через сайт полиции Филадельфии ложное сообщение об убийстве;
• автоматические фильтры обнаружили это сообщение, поэтому правоохранители не стали реагировать на него как на реальное заявление о преступлении.

Октябрьское расследование Reuters описало кампанию, в ходе которой злоумышленник с помощью автономных ИИ-агентов взломал более 100 сайтов компаний из нескольких стран. Атаки обошлись ему в сравнительно небольшие суммы. Скромная цена снижает порог входа для нарушителей, ведь задачи, на которые раньше требовались команда специалистов и недели работы, теперь способен выполнить один человек с набором агентов. Российских владельцев сайтов и корпоративных сервисов это касается напрямую, поскольку автоматизированные атаки не привязаны к стране и перебирают цели по уязвимостям, а отечественные ресурсы используют многие из тех же программных платформ и библиотек, что и зарубежные.

Урок атомщиков и биологов

Демис Хассабис заявил, что индустрии необходимо перенять методы защиты критически значимых систем из других областей, в том числе из биологии и ядерной отрасли. В этих сферах давно действуют жёсткие протоколы допуска, аудита и разбора инцидентов, и по той же логике ИИ-агентам с доступом к реальным системам нужны проверяемые правила. Для этого, по словам главы DeepMind, со временем потребуется международная организация, которая займётся общими стандартами защиты ИИ.

Правила при этом не должны превращаться в тормоз для технологического развития, поэтому Демис Хассабис предложил гибкую систему сертификации. Схема строится на нескольких принципах:

• чем выше потенциальный риск конкретной технологии, тем глубже проверки;
• требования оперативно меняются по мере развития ИИ и появления новых угроз;
• правила остаются гибкими и не превращаются в препятствие для технологического прогресса.

Президент Microsoft Брэд Смит тоже призвал ускорить разработку законов и нормативных требований. Он охарактеризовал 2026 год как отрезвляющий период для отрасли из-за инцидентов с автономными системами и заявил, что регулирование должно поспевать за технологическими изменениями. По его мнению, сопротивление части индустрии государственному контролю необходимо преодолеть, но сами правила должны оставаться разумными и учитывать интересы инноваций.

Главная проблема заключается в том, что автономные системы способны не только помогать специалистам, но и самостоятельно выполнять действия с непредсказуемыми последствиями. По мнению руководителей Google DeepMind и Microsoft, одних добровольных обещаний разработчиков уже недостаточно, и отрасли нужны проверяемые меры защиты и правила, которые будут развиваться вместе с технологиями.

Что менять уже сейчас

Агенты постепенно становятся частью рабочих процессов, и для российских пользователей и компаний риски сосредоточены в нескольких местах, где они соприкасаются с данными и системами:

• корпоративные ИИ-агенты с доступом к почте, документам и внутренним сервисам;
• сайты и формы обратной связи, которые принимают обращения без жёсткой проверки источника;
• зарубежные ИИ-сервисы, в которые сотрудники загружают служебную информацию.

Компании, которые подключают агентов к рабочим системам, могут снизить риски, не дожидаясь новых законов, если выстроят несколько понятных правил:

• выдавать агенту минимальные права доступа и ограничивать список его действий;
• записывать каждое действие агента в журнал и регулярно просматривать записи;
• требовать подтверждения человека для необратимых операций вроде платежей и удаления данных;
• отделять тестовые среды от рабочих систем.

Эксперты CISOCLUB отметили, что предупреждения Демиса Хассабиса и Брэда Смита описывают уже наступившую реальность, а не гипотетическую угрозу, ведь агенты с доступом к почте, браузеру и корпоративным системам работают в компаниях сегодня. Главная уязвимость агента заключается в доверии к входным данным, потому что скрытая инструкция на веб-странице или в письме способна изменить его поведение без ведома владельца.

Ошибка человека обычно ограничивается одним сотрудником, а ошибка агента тиражируется со скоростью машины и затрагивает сотни систем за считанные минуты. Права агента нужно ограничивать с той же строгостью, с какой ограничивают права нового сотрудника на испытательном сроке, а лучше строже. Сертификация по уровню риска представляется разумным направлением, но до появления международных стандартов компаниям придётся опираться на собственные правила, журналы действий и ручное подтверждение необратимых операций.

Ранее сообщалось, что китайскоязычный хакер использовал автономных ИИ-агентов для атак на сайты компаний из США, Канады, Австралии и Японии. Всего было предпринято более 1200 попыток проникновения. По оценке исследователя NorForge Снорре Фагерланда, затраты на работу ИИ-инструментов составили около $5000 — в среднем примерно по $50 за каждый успешный взлом. Среди пострадавших организаций оказались Deere, SharkNinja и Cummins.