Эксперт Нелюб: главный вопрос защиты ИИ — насколько безопасно компания готова предоставить агентам доступ к своим системам

изображение: grok
Владимир Нелюб, управляющий партнёр «Астра ИИ», директор по науке и ИИ «Группы Астра», прокомментировал для CISOCLUB рост расходов бизнеса на защиту от кибератак с применением искусственного интеллекта. По его мнению, распространение ИИ-агентов меняет саму модель угроз: потенциальным источником риска становится не только внешний злоумышленник, но и агент, которому компания предоставила доступ к корпоративным данным и системам.
«Искусственный интеллект меняет не только скорость кибератак, но и саму модель угроз. Раньше основной задачей было защитить корпоративную инфраструктуру от внешнего проникновения. Теперь потенциальный источник риска может находиться внутри защищённого контура — это ИИ-агент, которому компания сама предоставила доступ к своим данным и системам», — отметил Владимир Нелюб.
В отличие от традиционных программ, ИИ-агенты способны самостоятельно выбирать последовательность действий для выполнения поставленных задач. Если им предоставить избыточные полномочия, злоумышленники могут использовать эту особенность для атак через документы и электронные письма. В результате агент способен выполнить опасные операции от имени самой компании.
«Принципиальное отличие ИИ-агентов от привычных программ заключается в их способности самостоятельно выбирать последовательность действий. Если агент обладает избыточными полномочиями, злоумышленнику необязательно взламывать корпоративную систему напрямую. Иногда достаточно внедрить вредоносную инструкцию в документ или письмо, которое агент обрабатывает. В результате он может сам раскрыть конфиденциальную информацию, изменить платёжные реквизиты или нарушить работу критически важных процессов», — пояснил эксперт.
Поэтому защита должна охватывать не только используемые модели, но и инфраструктуру, в которой они работают. Владимир Нелюб считает необходимым ограничивать полномочия агентов, контролировать их взаимодействие с корпоративными системами и проверять результаты их действий. Критически важные операции при этом должны оставаться под контролем человека.
«Поэтому защищать нужно не только ИИ от внешних угроз, но и корпоративную инфраструктуру от потенциально опасных действий самого ИИ. В «Группе Астра» мы исходим из принципа: модель может быть недоверенной, но среда её исполнения должна обеспечивать управляемость и безопасность. Для этого необходимы строгие ограничения полномочий агентов, контроль их взаимодействия с корпоративными системами, проверка данных и результатов работы, а также подтверждение человеком критически важных операций», — заявил Владимир Нелюб.
Особое значение такой подход имеет для российских предприятий, которые работают с чувствительной информацией и объектами критической информационной инфраструктуры. Им необходимо учитывать не только возможности выбранной модели, но и требования к защищённости среды её эксплуатации.
«Для российских предприятий, особенно работающих с чувствительными данными и объектами критической информационной инфраструктуры, такой подход имеет особое значение. Здесь недостаточно просто выбрать эффективную модель — необходимо обеспечить её работу в контролируемом контуре с соблюдением применимых требований информационной безопасности», — подчеркнул эксперт.
В конечном счёте готовность бизнеса к масштабному внедрению ИИ-агентов будет зависеть от того, насколько безопасно компании смогут делегировать им выполнение задач и предоставить доступ к своим системам.
«Поэтому главный вопрос сегодня — не сколько компания потратит на защиту ИИ, а насколько безопасно она сможет предоставить ему право действовать. Именно от этого будет зависеть возможность перехода от экспериментов с ИИ-агентами к их масштабному применению в бизнесе», — заключил Владимир Нелюб.



