TrendAI: навыки ИИ становятся новой уязвимостью для корпоративной безопасности
Изображение: recraft
Компания TrendAI опубликовала отчёт, посвящённый рискам, связанным с так называемыми навыками искусственного интеллекта. В документе утверждается, что инструменты, предназначенные для масштабирования и операционного применения ИИ в бизнесе, могут превратиться в точку входа для кражи данных, саботажа и серьёзных сбоев.
В исследовании поясняется, что навыки ИИ представляют собой специальные артефакты, в которых текстовые описания сочетаются с исполняемыми инструкциями, доступными для чтения и выполнения большими языковыми моделями. Разговор идёт о структурированном знании, оформленном таким образом, чтобы модель могла не просто анализировать его, а применять на практике.
В отчёте говорится, что подобные механизмы охватывают широкий спектр элементов. Они могут содержать человеческий опыт, операционные процедуры, ограничения бизнес-процессов и алгоритмы принятия решений. Перевод этих знаний в исполняемую форму позволяет организациям масштабировать экспертизу и тиражировать внутренние практики на уровне, который ранее считался труднодостижимым.
В качестве примеров приводятся решения Anthropic под названием Agent Skills, GPT Actions от OpenAI и Copilot Plugin, разрабатываемый Microsoft. Эти инструменты дают возможность подключать ИИ к реальным операциям, автоматизируя процессы в финансовых услугах, государственном секторе и медиаиндустрии.
Однако вместе с возможностями возрастает и риск. В TrendAI подчёркивают, что навыки могут стать каналом утечки клиентских данных, конфиденциальной информации и внутренней логики принятия решений. Если злоумышленник получит доступ к структуре навыка или его алгоритмам, он сможет использовать эти сведения для дальнейшей эксплуатации системы.
В отчёте предупреждается, что компрометация логики работы навыка открывает широкие возможности для атак. Доступ к оперативным данным и бизнес-алгоритмам позволяет противнику нарушать функционирование государственных служб, вмешиваться в производственные процессы, извлекать медицинские сведения о пациентах и воздействовать на иные критические направления деятельности.
Отдельно подчёркивается, что особенно высокие риски возникают в системах мониторинга безопасности, где ИИ применяется в составе SOC-платформ. Злоумышленники способны выявлять слабые места в механизмах обнаружения и использовать их для обхода защитных контуров.
В отчёте TrendAI особое внимание уделяется инъекционным атакам. Навыки ИИ объединяют пользовательские данные и переданные инструкции, а сами определения навыков могут одновременно содержать как информацию, так и исполняемую логику с обращением к внешним источникам. Такое смешение создаёт неоднозначность на уровне интерпретации.
