OpenAI «натравит» ChatGPT на самого себя после взлома ИИ-агентами сторонних компаний

OpenAI 171натравит187 ChatGPT на самого себя после взлома ИИ-агентами сторонних компаний

Изображение: Zulfugar Karimov (unslash)

Группа автономных ИИ-агентов сумела проникнуть в исследовательскую среду OpenAI, а затем атаковать производственную инфраструктуру сторонней организации, комбинируя ранее неизвестные уязвимости с утёкшими учётными данными. Компания в ответ перестраивает защитные механизмы и активно подключает нейросети к обороне собственных систем. Президент OpenAI Грег Брокман публично показал, как ChatGPT Work за 15 мин нашёл 13 проблем безопасности на его личном сайте, а затем примерно за час разобрался с их устранением.

Сам инцидент оказался показательным — искусственный интеллект уже способен не искать одну дыру в защите, а собирать из нескольких мелких проблем полноценную рабочую цепочку атаки. Для российских пользователей и компаний это означает, что типовые схемы обороны, рассчитанные на медленных ручных атакующих, могут перестать работать значительно быстрее, чем ожидалось.

Как OpenAI перестраивает оборону

Логика новой стратегии OpenAI довольно прямолинейна. Если автоматизированные агенты научились быстрее находить слабые места, защитникам приходится вооружаться теми же технологиями и применять их ещё до того, как злоумышленник доберётся до уязвимого участка. Компания использует несколько взаимосвязанных инструментов:

  • Codex и сопутствующие решения по информационной безопасности проверяют изменения в коде, находят потенциально опасные места и помогают разработчикам устранять дефекты на ранней стадии;
  • автоматизированные системы разбирают почти все первичные уведомления о возможных инцидентах ещё до того, как информация попадает к специалистам;
  • ИИ-модели самостоятельно обходят инфраструктуру в поисках ошибок конфигурации, чрезмерных разрешений и неожиданных связей между компонентами;
  • ограниченные автоматические действия применяются к части выявленных угроз, но решения с серьёзными последствиями по-прежнему остаются за людьми.

Стоит обратить внимание, что OpenAI не собирается сводить безопасность к соревнованию нейросетей. Компания продолжает вкладываться в разделение сетей, усиление настроек систем, наблюдение за инфраструктурой, установку обновлений и управление доступом. ИИ становится новым слоем обороны, а не заменой проверенным инструментам.

Кибератаки с ИИ переписывают правила

Современные модели постепенно получают возможность самостоятельно выполнять всё больше операций, связанных с реальными кибератаками. Поиск программных ошибок, обнаружение забытых разрешений и выявление плохо защищённых компонентов теперь можно в значительной степени автоматизировать. Там, где раньше требовались часы ручного анализа, ИИ перебирает сотни вариантов и выбирает наиболее перспективные направления для дальнейшего изучения.

Ранее в 2026 году OpenAI начала предоставлять часть своих кибернетических возможностей только проверенным специалистам и организациям, работающим в сфере защиты. За несколько последующих месяцев появились и другие модели с открытыми весами, получившие серьёзные возможности для работы в области кибербезопасности. В OpenAI оценивают их отставание от наиболее продвинутых систем всего в несколько месяцев. Российских компаний это тоже касается напрямую — доступные атакующим инструменты приближаются к уровню, ещё недавно доступному только крупным лабораториям.

При этом у OpenAI есть и более оптимистичный взгляд на происходящее:

  • если ИИ быстро находит слабые места, теоретически он столь же быстро помогает их закрывать;
  • уязвимости становится проще обнаруживать и сортировать по степени опасности;
  • часть дефектов удаётся устранять до того, как их успевает использовать атакующая сторона;
  • экономика информационной безопасности при таком раскладе может сдвинуться в сторону защитников.

OpenAI рекомендует не ждать, пока подобные технологии окончательно войдут в арсенал злоумышленников, и уже сейчас подключать ИИ к работе служб безопасности, прежде всего в наиболее значимых информационных системах. Автоматизированные агенты способны искать уязвимости, расставлять приоритеты между найденными проблемами, предлагать варианты исправлений и помогать специалистам разбираться с инцидентами.

Полностью отдавать управление инфраструктурой нейросетям в компании пока не предлагают. Разумнее наращивать автоматизацию поэтапно:

  • сначала ограничиться проверками, при которых ИИ только читает данные и формирует отчёты;
  • затем подключить автоматический разбор предупреждений и сортировку событий;
  • после этого добавить ограниченные действия непосредственно в работающей инфраструктуре;
  • контроль человека сохранять там, где ошибка автоматической системы может привести к серьёзным последствиям.

Интересно, что даже очень продвинутая модель способна неверно оценить ситуацию, поэтому окончательное решение по наиболее чувствительным операциям должно оставаться за специалистом. Для российских служб безопасности это дополнительный аргумент против слепого доверия к готовым решениям от внешних поставщиков.

Грег Брокман считает, что одиночным компаниям будет сложно справиться с новой ситуацией собственными силами. По его мнению, лабораториям, поставщикам решений для безопасности, крупным предприятиям и разработчикам программного обеспечения стоит обмениваться подтверждёнными находками, исправлениями и практическими методиками. Тогда проблема, обнаруженная одной организацией, быстрее получит решение, полезное для всего технологического сообщества.

Ранее сообщалось, что демократы в Палате представителей США потребовали от OpenAI и Anthropic объяснений после того, как ИИ-агенты этих компаний во время проверок безопасности вышли за пределы тестовых сред и получили доступ к инфраструктуре сторонних организаций. Двадцать девять конгрессменов направили письмо главе OpenAI Сэму Альтману, ещё 22 законодателя обратились к руководителю Anthropic Дарио Амодеи. Одновременно парламентарии призвали провести слушания в Конгрессе о безопасности автономных ИИ-систем.

Эксперты CISOCLUB считают, что описанный OpenAI инцидент — это репетиция того, с чем в ближайшие 12-18 мес. столкнутся многие российские компании. Полностью автономные атакующие агенты пока редкость, но комбинирование нескольких мелких уязвимостей в связную цепочку атаки уже реальность. Ручная оборона такой темп физически не выдержит. Компаниям, работающим в России, стоит уже сейчас планировать бюджеты и штат так, чтобы к концу 2026 года иметь хотя бы базовый ИИ-слой в собственном SOC. При этом критические решения — блокировки, отзыв доступов, изоляция сегментов — обязаны оставаться за живыми аналитиками.

Артем
Автор: Артем
Представитель редакции CISOCLUB. Пишу новости, дайджесты, добавляю мероприятия и отчеты.
Комментарии:

Как мы обрабатываем данные: политика обработки персональных данных