ИИ-модели отказываются помогать аналитикам расследовать взломы из-за защитных фильтров

Коммерческие ИИ-модели нередко прекращают помогать аналитикам посреди расследования реального взлома, если запросы по формулировкам напоминают просьбы атакующего. О проблеме сообщил Axios, а поводом для обсуждения стал недавний взлом OpenCode, открытого ИИ-агента для программирования. Фильтры, которые создавали против злоумышленников, на деле лишают помощи тех, кто разбирает уже случившийся инцидент.

Модель замолчала посреди расследования

По данным компании, взлом затронул пользователей с внешними ИИ-сервисами, а при расследовании специалисты столкнулись с отказами моделей:

• инцидент коснулся 1,4% пользователей OpenCode Console, подключивших внешние ИИ-сервисы;
• под угрозой оказались API-ключи для OpenAI, Anthropic и Google;
• коммерческие модели сначала помогали разбираться в произошедшем, а затем отказались продолжать работу.

Утечка API-ключей опасна тем, что с их помощью посторонние могут обращаться к платным ИИ-сервисам от имени владельца, расходовать его бюджет и получать доступ к данным, которые проходят через эти сервисы. Модель способна ускорять технические задачи атакующего, но останавливается, когда похожие приёмы нужны защитнику для изучения состоявшегося взлома. Для команды реагирования это означает потерю времени, пока злоумышленник получает шанс закрепиться в инфраструктуре.

Отказ по формулировке, а не по намерению

В исследовании Defensive Refusal Bias, опубликованном в марте 2026 года, учёные проанализировали 2 390 реальных задач со студенческих соревнований по киберзащите. Вероятность отказа для запросов с терминами, связанными с кибератаками, оказалась выше в 2,72 раза, чем для смыслово равнозначных формулировок без подобных слов, а по типам задач результаты разошлись заметно:

• при усилении защиты систем от атак отказы возникали в 43,8% запросов;
• при анализе вредоносного ПО доля отказов составила 34,3%;
• прямое пояснение о наличии разрешения на работу не всегда помогало и порой повышало вероятность отказа.

Модель реагирует на лексику запроса и слабо различает, кто и зачем его задаёт, поэтому защитник, просящий разобрать вредоносный скрипт, звучит для фильтра почти неотличимо от злоумышленника с похожей просьбой. Для российских специалистов по киберзащите эта проблема тоже актуальна, поскольку фильтры отечественных и зарубежных моделей способны срабатывать на технические термины при разборе вредоносного кода.

Закрытые программы для проверенных защитников

В августе OpenAI расширила программу Daybreak для проверенных специалистов по киберзащите, и новые механизмы работают следующим образом:

• пользователям назначают уровни доступа с настройками, рассчитанными на разрешённые защитные задачи;
• в программу входит специализированная модель GPT-5.6-Cyber;
• базовая модель GPT-5.6 Sol сохраняет обычные ограничения.

Доступ по уровням позволяет проверенным защитникам решать задачи, где обычные ограничения мешают сильнее всего, но круг участников остаётся узким.

По внутренним тестам OpenAI, GPT-5.6-Cyber выполняла 95% запросов из набора сложных киберзадач, а GPT-5.6 Sol справлялась лишь с 1,5%. Это результат конкретного внутреннего теста компании, а не универсальная оценка качества моделей во всех расследованиях, поэтому переносить цифры на любой инцидент нельзя.

В документации API OpenAI признала, что автоматические ограничения могут блокировать легитимную защитную работу. Подозрительные запросы способны привести к временному ограничению доступа к модели, а иногда блокировка затрагивает всю организацию. Для российских компаний, которые подключают внешние ИИ-сервисы к открытым агентам вроде OpenCode, это означает двойной риск, потому что утечка API-ключей угрожает бюджету и данным, а блокировка организации останавливает рабочие процессы целиком.

Баланс между защитой и свободой действий

Если убрать ограничения полностью, мощные модели смогут помогать злоумышленникам создавать эксплойты и обходить защиту, а при фильтрах, реагирующих на термины, аналитики теряют помощь в момент разбора атаки, поэтому разработчикам приходится учитывать сразу три фактора:

• смысл запроса, а не отдельные технические термины;
• полномочия пользователя, подтверждённые проверкой, а не фразой в тексте запроса;
• цель расследования и контекст инцидента.

Одной способности модели находить вредоносный код мало, потому что без учёта контекста она рискует замолчать в самый нужный момент.

Эксперты CISOCLUB отметили, что конфликт между универсальными фильтрами и профессиональным контекстом вряд ли исчезнет в ближайшее время, поскольку модель оценивает слова в запросе и не видит договорённостей между аналитиком и работодателем.

Команде реагирования разумно заранее держать запасной маршрут в виде локальных открытых моделей внутри периметра, чтобы расследование не останавливалось из-за решения внешнего сервиса. Передача логов и образцов вредоносного кода в облачный ИИ-сервис сама создаёт риск утечки, поэтому чувствительные данные нужно маскировать до отправки. Программы доверенного доступа вроде Daybreak движутся в верном направлении, но доступны лишь проверенным специалистам, а цифры внутреннего теста нельзя переносить на любое расследование.

Командам защитников стоит исходить из того, что внешняя модель способна замолчать в любой момент, и сохранять навыки ручного анализа в рабочем состоянии. Руководителям отделов киберзащиты разумно закладывать в регламенты расследований оговорку о том, какие этапы анализа выполняются без внешних ИИ-сервисов. Ключи доступа к ИИ-сервисам полагается хранить в менеджере секретов и регулярно перевыпускать, чтобы последствия взлома агента ограничивались одной заменой.

Ранее сообщалось, что китайскоязычный хакер задействовал автономных ИИ-агентов для атак на сайты компаний из США, Канады, Австралии и Японии. Общее число попыток проникновения превысило 1200. По подсчётам исследователя NorForge Снорре Фагерланда, расходы на использование ИИ-инструментов составили около 5000 долларов — в среднем примерно по 50 долларов за каждый успешный взлом. Среди пострадавших компаний оказались Deere, SharkNinja и Cummins.