Эксперт Дашков: ИИ-агентам на заводах пока нельзя давать полный контроль над промышленными системами
изображение: grok
Алексей Дашков, директор центра развития продуктов NGR Softlab, прокомментировал для CISOCLUB планы по разработке правил взаимодействия ИИ-агентов с промышленным программным обеспечением и оборудованием. По его словам, одна из главных проблем современных решений на базе LLM — нестабильность результатов и склонность моделей к галлюцинациям.
Нейросеть способна выдавать неверные или противоречивые данные, а в многошаговых сценариях ошибка на одном из этапов может привести к серьезному сбою в конце цепочки.
«LLM могут генерировать неверные или противоречивые выходные данные. В многошаговых задачах — а в основном агенты работают как раз по принципу многошаговости — ошибка на раннем этапе может привести к катастрофическому сбою на последнем. В такой ситуации использовать ИИ-агенты на предприятии рядом с промышленным оборудованием — крайне рискованная затея», — отметил Алексей Дашков.
Эксперт подчеркнул, что при использовании агентных систем возникает и целый комплекс информационных рисков. Для их снижения необходимо контролировать входные и выходные данные с помощью дополнительных механизмов защиты. Сам агент не обладает полноценной оценкой последствий собственных действий и не всегда способен учитывать интересы всех участников процесса.
«Агенты уязвимы к социальной инженерии и промпт-инъекциям, не могут отличить авторизованного пользователя от злоумышленника и часто подчиняются тому, кто говорит с наибольшей “убедительностью”. Можно “взломать” агентов простым разговором, заставив их раскрыть конфиденциальные данные или удалить файлы на целевой системе», — рассказал Алексей Дашков.
При этом, по словам специалиста, полностью отказываться от технологии промышленность не собирается. ИИ-агенты уже применяются на предприятиях, однако пока их внедрение в основном остается ограниченным и находится на стадиях прототипирования и ранней проверки. Сдерживает распространение технологии и вопрос экономической эффективности: не каждый проект способен оправдать затраты на разработку и эксплуатацию агентной системы.
«По данным некоторых международных исследований, 75% систем находятся на стадии прототипов и ранней валидации, и лишь 9,1% имеют доказательства промышленного развертывания. Высказываются сомнения в окупаемости ИИ-агентов», — отметил Алексей Дашков.
Эксперт также обратил внимание на прогноз Gartner, согласно которому значительная часть проектов с агентным ИИ может быть закрыта в ближайшие годы из-за отсутствия понятной бизнес-ценности и высоких расходов. Поэтому предприятиям, по его мнению, важно оценивать не сам факт внедрения ИИ, а конкретную пользу от его использования и потенциальную цену ошибок.
«Наиболее оправданным и эффективным использование ИИ-агентов будет в задачах с низкой ценой ошибки, хорошо структурированными данными и в проектах, где агент выступает в роли помощника, а не полностью автономного работника», — считает Алексей Дашков.
Ключевым принципом безопасного внедрения эксперт называет модель Human-in-the-Loop, при которой человек сохраняет контроль над критическими действиями искусственного интеллекта. Особенно важно это для промышленной среды, где ошибка цифрового помощника способна выйти за пределы программной системы и повлиять на реальные технологические процессы.
«Основной путь внедрения сегодня — это “человек в контуре” (Human-in-the-Loop), когда каждое критическое действие агента в обязательном порядке подтверждается человеком», — заключил Алексей Дашков.
