Китайские исследователи хотят превратить ИИ в полноценного учёного по кибербезопасности

Группа специалистов из Китайской академии наук представила концепцию автономного искусственного интеллекта, способного самостоятельно выполнять почти весь цикл научной работы в области защиты информации. Такая система формулирует задачи, собирает нужный инструментарий, проводит опыты, разбирает результаты и оформляет готовые научные материалы почти без вмешательства человека. В исследовании предполагается переход ИИ от роли ассистента к роли самостоятельного исследователя.

Автоматизация в отрасли долгое время отставала от темпов развития самих языковых моделей. ИИ уверенно вылавливает слабые места в приложениях, гоняет тесты по инфраструктуре и собирает цепочки действий, которые прежде делали целые команды. Сама научная деятельность оставалась во многом ручной работой, эксперименты приходилось проектировать вручную, гипотезы проверяли живые исследователи, а нехватка опытных кадров тормозила выход новых разработок.

Авторы из Пекина ввели понятие «специалиста по цифровой защите в области ИИ», подразумевая не отдельную программу, а целую исследовательскую платформу. Одна из возможных реализаций получила название «Гефест». Отсылка к древнегреческому кузнецу выбрана не случайно, она намекает на универсальность самой архитектуры, где каждый агент кует свой инструмент. Внутри комплекса роли распределены между разными агентами:

• одни отвечают за формулирование научной задачи;
• другие моделируют вероятные угрозы;
• третьи собирают инструменты для опытов;
• четвёртые разбирают полученные результаты;
• отдельные агенты оформляют работу в виде законченного исследования.

Отмечается, что «Гефест» устроен как модульная многоагентная платформа, где вся конструкция действует как единый организм.

Классические автоматизированные научные платформы плохо подходят для исследований в области цифровой защиты, считают авторы. Уже существуют проекты, способные пройти путь от идеи до черновика научной публикации в машинном обучении, похожие решения появились в биологии и биомедицине. Мир защиты информации живёт по другим правилам, а объект исследования постоянно меняется. Пока система изучает инфраструктуру, сама инфраструктура уже обновляется, инструменты злоумышленников эволюционируют, а программные продукты получают новые версии быстрее, чем завершается один полноценный цикл работ.

В основе новой концепции лежит модель, построенная вокруг четырёх направлений контроля:

• риски и поиск скрытых дефектов внутри программного обеспечения;
• доверие, где ИИ рассматривается как помощник, проходящий проверку человеком;
• инциденты, ошибки эксплуатации и испытательные среды для выявления слабых мест;
• энергия, под которой понимаются долгосрочные организационные и этические последствия применения таких технологий.

Современные языковые модели уже показывают серьёзный прогресс в обнаружении скрытых дефектов. В качестве примера приводится предварительная версия Claude Mythos компании Anthropic, созданная в рамках проекта Glasswing. Её широкое распространение отложили, поскольку наступательные возможности модели оказались настолько развитыми, что разработчики закрыли доступ через партнёрскую программу.

Появлялись сообщения, связывающие обнаружение большого количества дефектов в популярном ПО, среди которых встречались давно существующие уязвимости, с использованием этой модели. Другим примером назван CyberGym, испытательная площадка, где интеллектуальные агенты проверяются более чем на тысяче реальных программных ошибок из проектов с открытым кодом.

Самой необычной частью работы стала концепция «устойчивых легионов агентов». Привычная архитектура корпоративной защиты постепенно теряет актуальность, поскольку строилась вокруг простых предположений. Периметр считался контролируемым, каждая команда отвечала лишь за свой участок инфраструктуры, а скорость устранения проблем упиралась в возможности человека. После появления автономных агентов эти принципы стремительно устаревают, ведь обе стороны цифрового противостояния используют автоматизированные системы.

Вместо привычной модели предлагается распределить по всей инфраструктуре многочисленных специализированных агентов:

• одни наблюдают за сетевым периметром;
• другие разбирают события мониторинга;
• третьи отвечают за взаимодействие между узлами;
• четвёртые занимаются восстановлением после инцидентов.

Каждый агент получает собственную «капсулу событий и защиты», где собрана информация о конкретных категориях угроз и заранее подготовленные процедуры реагирования.

Стоит обратить внимание, что при такой архитектуре само понятие «периметр» размывается, а защитная функция переходит от инженеров к оркестратору коллектива агентов.

Один из соавторов работы Лидонг Чжай предложил отказаться от коротких испытаний и сосредоточиться на длительном тестировании. Изданию Help Net Security он рассказал, что оценивать подобные платформы следует сразу по нескольким направлениям:

• результативность исследований и качество доказательной базы;
• объём ручной настройки со стороны человека;
• устойчивость к смене моделей и программных инструментов;
• соответствие требованиям управления и последствия принятых решений.

Больший вес при оценке необходимо отдавать самым опасным событиям, поскольку происшествия с масштабными последствиями обязаны сильнее влиять на итоговую оценку научного потенциала интеллектуальной платформы, чем мелкие инциденты, добавил исследователь.

Ранее сообщалось, что американский стартап MeetingTV подал иск против компании Koi Security и её нового владельца Palo Alto Networks после публикации исследовательского отчёта, в котором домен компании по ошибке связали с китайской хакерской группировкой. По утверждению истца, после выхода документа сайт MeetingTV оказался заблокирован у части интернет-провайдеров, что привело к серьёзному репутационному ущербу. В основе ошибочного вывода, как утверждается, лежал результат анализа, подготовленного с использованием искусственного интеллекта.

Эксперты редакции CISOCLUB прокомментировали инициативу китайских учёных сдержанно и заявили, что превращение искусственного интеллекта в самостоятельного исследователя выглядит логичным продолжением уже сложившихся практик автоматизированного поиска уязвимостей. Специалисты уточнили, что модель четырёх направлений контроля выглядит рабочей рамкой, поскольку связывает технические риски, организационную ответственность и вопросы доверия к машинным выводам в одну систему координат. Отдельно эксперты обратили внимание на то, что концепция «устойчивых легионов агентов» ставит перед отраслью новые кадровые задачи, где востребованными окажутся не только классические защитники периметра, но и специалисты по управлению агентными архитектурами.

По мнению редакции, идея длительного тестирования с меняющейся средой заслуживает внимания разработчиков коммерческих решений, поскольку короткие бенчмарки давно перестали отражать реальную устойчивость моделей. Наибольший интерес у нас вызвал вопрос ответственности за решения, которые принимает коллектив автономных агентов без прямого участия человека, и именно этот пункт, по мнению редакции, потребует отдельной проработки на уровне отраслевых стандартов.