Эксперт Карасовский: искусственный интеллект пока не готов заменить исследователей в сфере кибербезопасности
изображение: grok
Дмитрий Карасовский, руководитель отдела по информационной безопасности Axiom JDK, прокомментировал для CISOCLUB концепцию китайских исследователей по созданию автономного искусственного интеллекта, способного самостоятельно проводить научные исследования в области кибербезопасности. По мнению эксперта, современные большие языковые модели уже способны автоматизировать значительную часть исследовательской работы, однако полностью заменить человека они пока не могут.
Он отметил, что сегодня ИИ успешно применяется для поиска слабых мест в программном обеспечении, анализа инфраструктуры и выполнения задач, которые раньше требовали участия целых команд специалистов.
«Уже сейчас современные большие языковые модели (LLM) могут отслеживать слабые места в приложениях, проводить тесты инфраструктуры и собирать цепочки действий, которые раньше выполняли целые команды. Но нельзя сказать, что ИИ можно полностью передать исследовательскую деятельность из-за ряда ограничений и рисков», — заявил Дмитрий Карасовский.
По словам эксперта, одной из главных проблем остаётся быстрое изменение самой цифровой среды. Пока модель анализирует инфраструктуру, появляются новые версии программного обеспечения, меняются сервисы и совершенствуются методы атак.
«Пока ИИ изучает ИТ-инфраструктуру, она меняется: выпускаются новые версии программного обеспечения, появляются новые сервисы, а злоумышленники регулярно совершенствуют свои инструменты и методы атак. Данные для обучения устаревают», — отметил он.
Дмитрий Карасовский подчеркнул, что современные модели хорошо справляются с поиском уже известных проблем, однако не способны самостоятельно формировать принципиально новые знания или обнаруживать ранее неизвестные угрозы.
«ИИ не создает принципиально новых знаний. Он хорошо справляется с поиском типовых уязвимостей, но не сможет распознать неизвестные угрозы», — рассказал эксперт.
Он также обратил внимание на риски, связанные с развитием автономных многоагентных систем. По его мнению, взаимодействие большого числа ИИ-агентов делает последствия их работы значительно менее предсказуемыми.
«Еще одно ограничение — непредсказуемость последствий действий многоагентных систем. Автономность, устойчивость и многоагентное взаимодействие создают условия, в которых невозможно просчитать риски (каскадные отказы, отравление памяти и уклонение от контроля)», — заявил Дмитрий Карасовский.
По мнению эксперта, наиболее серьёзную угрозу представляют не сама технология, а чрезмерные ожидания пользователей относительно её возможностей.
«Однако самым серьезным риском остается не сама технология, а завышенные ожидания от ее возможностей. ИИ — мощный инструмент, но не замена человеческому суждению, концептуальному пониманию и этической ответственности. Полная передача контроля над информационной безопасностью ИИ на текущем этапе приведет к инцидентам. Пока это может рассматриваться только на уровне концепции», — подчеркнул он.
Дмитрий Карасовский считает, что в ближайшие годы искусственный интеллект будет использоваться прежде всего как средство автоматизации, а роль специалистов постепенно сместится в сторону постановки задач и проверки результатов работы ИИ.
«ИИ в работе специалистов по информационной безопасности должен восприниматься как дополнительный инструмент автоматизации работы, а не замена человеку. Функционал может сместиться от выполнения анализа к постановке задачи и валидации. Например, специалист будет работать с аномалиями, которые ИИ-агент заметил, но не смог объяснить», — отметил эксперт.
В завершение Дмитрий Карасовский заявил, что развитие искусственного интеллекта приведёт к появлению новых направлений специализации в сфере информационной безопасности.
«Из-за развития ИИ появятся новые направления специализации. Наиболее востребованными станут специалисты, отвечающие за безопасность самих ИИ-систем (AI Security Engineers). Также будут необходимы специалисты, которые будут моделировать сценарии отказов, рассогласования и галлюцинаций в многоагентных системах, а также ставить задачи агентам и контролировать их работу», — заключил Дмитрий Карасовский.
