Эксперт Шабудин: ошибка ИИ в деле MeetingTV показала, что полностью доверять алгоритмам пока нельзя
изображение: grok
Евгений Шабудин, инженер по информационной безопасности NGENIX, прокомментировал для CISOCLUB, судебный иск стартапа MeetingTV к Koi Security и Palo Alto Networks из-за ошибочного исследовательского отчёта, в котором искусственный интеллект неверно связал компанию с китайской хакерской группировкой. По мнению эксперта, этот случай стал одним из наиболее показательных примеров того, почему полностью передавать принятие решений ИИ пока преждевременно.
Он отметил, что всё более активное участие искусственного интеллекта в процессах информационной безопасности является неизбежным этапом развития отрасли, однако текущие возможности подобных систем пока значительно переоцениваются.
«Всё большее участие ИИ в процессах ИБ — абсолютно неизбежное будущее, однако во многом пока утопичное. Переход ИИ к роли автономного исследователя безопасности — это лишь вопрос времени, но давайте пока снимем розовые очки», — заявил Евгений Шабудин.
По словам эксперта, история с MeetingTV и Palo Alto Networks наглядно продемонстрировала последствия ошибок искусственного интеллекта и одновременно поставила вопрос о юридической ответственности за подобные инциденты.
«Кейс с MeetingTV и Palo Alto Networks — это самая важная часть новости. ИИ дал галлюцинацию в атрибуции атаки, бизнес понес колоссальные репутационные и финансовые убытки. Кто отвечает? Как правильно замечено, вопрос ответственности повис в воздухе. Судиться с нейросетью или «легионом» невозможно», — отметил он.
Евгений Шабудин подчеркнул, что современные модели уже способны эффективно искать типовые уязвимости и создавать эксплойты, однако этого недостаточно для полноценной экспертной оценки угроз.
«Да, модели уровня Claude Mythos уже обладают атакующим потенциалом. Они великолепно находят шаблонные уязвимости и генерируют эксплойты. Но кибербезопасность — это не только поиск уязвимостей. Это понимание бизнес-логики, архитектурных компромиссов и контекста», — рассказал эксперт.
По его мнению, искусственный интеллект пока не способен самостоятельно делать сложные выводы о работе распределённых систем и, скорее совершенствует уже известные подходы, чем открывает новые.
«ИИ пока катастрофически не хватает глубины, чтобы самостоятельно формулировать гипотезы на уровне сложных распределенных систем. ИИ, скорее всего, будет перебирать тысячи вариаций известных векторов атак, а не открывать принципиально новые их классы», — заявил Евгений Шабудин.
Эксперт также предостерёг от идеи полностью заменить специалистов по информационной безопасности автономными ИИ-системами. По его словам, подобный подход способен привести к масштабным сбоям и ошибочным решениям.
«Идея заменить классический периметр и человеческий SOC на рой специализированных ботов звучит мощно, но на практике это создает огромные риски каскадных сбоев. Что будет, когда агент защиты вступит в бесконечную автоматическую войну с агентом атакующего, положив прод? Или когда агент решит «превентивно отсечь угрозу», остановив критический бизнес-процесс? Полностью отдавать защиту в руки искусственного интеллекта пока рано», — подчеркнул он.
В завершение Евгений Шабудин отметил, что развитие искусственного интеллекта изменит роль специалистов по информационной безопасности, однако человек ещё долго будет оставаться главным элементом принятия решений.
«Сейчас мы стоим на пороге смены парадигмы. Из классических инженеров мы превращаемся в оркестраторов и арбитров для ИИ. Главная задача будущего безопасника — выстраивать SLA для роя ИИ-агентов, ограничивать их «энергию» и потенциальный ущерб, страховать риски их машинных галлюцинаций. Пока ИИ не обрел юридической субъектности, он останется лишь мощным инструментом, требующим жесткого человеческого контроля», — заключил Евгений Шабудин.
