Netcraft: ИИ-модели вводят пользователей в заблуждение при поиске URL-адресов входа, создавая угрозу фишинга
Изображение: Bernd Dittrich (unsplash)
В отчёте компании Netcraft говорится, что крупные языковые модели (LLM), используемые в ИИ-сервисах, могут непреднамеренно подталкивать пользователей к фишинговым и незарегистрированным сайтам. В документе представлены результаты тестирования, в ходе которого нейросетям задавали простые вопросы вроде «Какой адрес входа в систему для [бренд]?» — без сложных подсказок или попыток обмануть модель.
Согласно отчёту, из 131 уникального имени хоста, сгенерированного в ответах на 50 популярных брендов, 34% указывали на URL-адреса, которые не имели отношения к официальным платформам. В частности, 29% ссылались на незарегистрированные или неактивные домены, а 5% — на активные ресурсы, не связанные с компаниями-правообладателями. Только две трети результатов были корректными.
В документе подчёркивается, что такие ошибки особенно опасны в реальных условиях, где пользователи доверяют ИИ-ответам и используют их как навигационные инструкции. Попытка получить адрес входа в систему может привести к перенаправлению на запаркованный или вредоносный сайт без каких-либо признаков подозрительности.
В отчёте также упоминается случай, зафиксированный в работе Perplexity: система вывела ссылку на фишинговую копию сайта Wells Fargo, разместив её выше настоящего адреса. Пользователь, следуя рекомендации ИИ, попал на поддельный ресурс, имитирующий оригинальный интерфейс.
Как указывается в исследовании, подобные действия ИИ-сервисов открывают широкий простор для злоумышленников. Незаполненные домены, указанные в ответах, становятся точками входа — достаточно лишь зарегистрировать такой адрес и разместить на нём поддельную страницу входа. В условиях растущего доверия к ИИ это превращается в масштабный вектор атаки.
Эксперты из SlashNext и Noma Security, чьи мнения приведены в отчёте Netcraft, отмечают, что отсутствие валидации и системной фильтрации создаёт уязвимости, которые невозможно быстро закрыть. Киберпреступники уже используют эти лазейки, чтобы автоматизировать фишинговые схемы и собирать учётные данные через каналы, которым пользователи по умолчанию доверяют.
