ГК Softline – о том, как навыки ИИ-агентов могут обернуться угрозой
В России используют инструменты, среди которых могут оказаться домены-заполнители, ведущие на мошеннические сайты. Только по фишинговым ссылкам теперь могут перейти агенты, а не люди.
Когда говорят о навыках ИИ-агентов, то подразумевают комплекс инструкций и инструментов. Они подключаются к ИИ-агенту, чтобы он мог выполнять широкий спектр задач. Недавно выяснилось, что свыше 300 зарубежных навыков могут перенаправить на мошеннические ресурсы. Речь идет о доменах-заполнителях yoursite.com и your-domain.com.
Пока агенты чаще используются точечно – для программирования, поиска информации, работы с документами. Практический риск заключается в маскировке вредоносной активности внутри полезного бизнес-инструмента. Мы в Softline считаем, что новые виды угроз требуют изменения подходов к контролю трафика. Раньше человек сам переходил по ссылке и мог оценить её достоверность. Теперь переход выполняет ИИ-агент, получая задачу и обращаясь к указанному в навыке ресурсу автономно. Ссылка в инструкции может выглядеть безобидно, но ресурс начинает вести на фишинговую страницу без изменения самой инструкции. Так происходит, потому что меняется содержимое страницы или владелец домена. Описанный сценарий возможен в России, так как отечественный рынок пока не имеет отдельного сегмента готовых навыков, но использует иностранные инструменты.
В Softline мы рекомендуем сотрудникам заказчиков смотреть не только на модель, но и на содержание подключаемых навыков. Нужно проверять внешние ссылки и действия, которые содержатся в инструкциях. Традиционные средства защиты могут пропустить этот трафик, если запрос инициирован доверенным корпоративным приложением. Такая ситуация может привести к компрометации доступов и утечке конфиденциальной информации.
В ИБ-проектах Softline мы настаиваем на внедрении строгого контроля за подключаемыми к ИИ-агентам внешними ресурсами. Управленческое решение заключается в запрете на использование непроверенных навыков и внедрении ограничений для ИИ-агентов. Необходимо выстроить процесс валидации навыков перед их допуском в корпоративную среду.
