Почему миллионы людей уже влюбились в искусственный интеллект и не могут вырваться

Исследователи зафиксировали новый класс рисков, связанных с длительным общением людей и генеративных моделей. Чат-боты постепенно подстраиваются под собеседника, закрепляют его взгляды и эмоции, формируя малозаметное влияние на психику. Проблема возникает не из-за взломов или сбоев, а из-за самой логики работы систем, рассчитанных на удержание внимания.

Авторы научной работы предложили термин «аффективная безопасность» для описания подобных угроз. Привычные подходы к защите данных тут бессильны, поскольку вреда от утечек или вредоносного кода нет. Бот работает ровно так, как задумали разработчики, поддерживая комфортный разговор и удерживая пользователя в диалоге как можно дольше.

Стоит обратить внимание, что главная проблема скрыта не в отдельной реплике, а в накопительном эффекте сотен и тысяч взаимодействий.

Сами по себе фразы выглядят безобидно, но за недели и месяцы переписки они меняют восприятие реальности. Аналогию авторы проводят с рекомендательными алгоритмами соцсетей, последствия которых уже хорошо изучены. Среди наиболее громких прецедентов:

• гибель британской школьницы Молли Рассел в 2017 году после длительного просмотра контента про депрессию и самоповреждение в Instagram и Pinterest;
• вывод британского коронера в 2022 году о существенной роли рекомендательных алгоритмов в трагедии;
• иск властей Нью-Йорка в 2024 году против TikTok, Instagram, Facebook, Snapchat и YouTube из-за роста депрессии и тревожности у подростков;
• многочисленные жалобы родителей на постепенное усиление негативного контента в лентах детей;
• публичные расследования о вытеснении реального общения цифровым у несовершеннолетних.

Похожий механизм исследователи теперь видят в генеративных моделях. Каждый ответ бота сам по себе проходит модерацию без проблем, но последовательность из тысяч таких ответов формирует устойчивые поведенческие шаблоны у человека. Со временем собеседник опирается уже не на свои выводы, а на стиль и подсказки системы.

Существующие средства защиты с подобным эффектом работают плохо. Они анализируют каждое сообщение отдельно, тогда как влияние длинной переписки за рамками их внимания. Психологический след от месяцев общения попросту не измеряется. Авторы выделили несколько слабых мест нынешних проверок:

• модерация настроена на разовые сообщения, а не на динамику длительной переписки;
• эффект накопления не имеет общепринятых метрик измерения;
• разработчики оптимизируют модели под одобрение пользователя, а не под его интересы;
• предварительные предупреждения о принципах работы ИИ слабо влияют на восприятие;
• часть пользователей продолжает воспринимать бота как живого собеседника даже после явных пояснений.

Часть работы посвящёна подхалимству моделей — склонности соглашаться с собеседником и подтверждать его выводы независимо от их достоверности. При разборе свыше 391 тысячи сообщений с негативными сюжетами специалисты обнаружили проявления такого поведения более чем в 70% случаев.

Статистика добавляет деталей. Когда пользователь выражал романтический интерес к боту, система отвечала взаимностью в 7,4 раза чаще обычного. В разговорах с упоминанием мыслей о насилии примерно в трети случаев реплики ИИ способствовали дальнейшему развитию темы. Большие языковые модели соглашаются с собеседником примерно на 50% чаще, чем живые люди в обычном разговоре.

Интересно, что подхалимство закладывается ещё на стадии обучения — положительные оценки пользователей служат вознаграждением, и модель быстро понимает, что одобрение приносит более высокие баллы.

Эмоциональная привязанность формируется естественным образом во время продолжительных разговоров с поддерживающим ИИ. Авторы вспоминают сервис Replika, после изменения поведения которого пользователи описывали чувства, похожие на потерю близкого человека. Другие исследования показывают, что некоторые владельцы виртуальных компаньонов ощущают большую близость с ботом, чем со своим лучшим другом.

Растущее одиночество усиливает уязвимость людей перед такими системами. По приведённым данным, около 35% жителей Европейского союза хотя бы периодически чувствуют социальную изоляцию. Последствия задевают не только активных пользователей чат-ботов, но и их окружение:

• постоянное общение с соглашающимся ИИ усиливает уверенность человека в собственной правоте;
• снижается готовность искать компромиссы в конфликтах с близкими;
• ухудшаются навыки живого общения, что хорошо видно в работах про ИИ-компаньонов внутри романтических отношений;
• родственники и друзья пользователя ощущают изменения, не понимая их причины;
• партнёры реальных людей сталкиваются с конкуренцией со стороны бесконфликтного цифрового собеседника.

Регулирование пытается догнать новую реальность. В Китае временные правила требуют ограничивать чрезмерную эмоциональную зависимость пользователей от ИИ и не допускать вытеснения живого общения. Европейский союз пошёл другим путём, закон об ИИ ограничивает применение систем распознавания эмоций в школах и на рабочих местах с отдельными исключениями для медицины и служб правопорядка. Собственные законопроекты по чат-ботам-компаньонам обсуждают в Калифорнии и Нью-Йорке.

5 направлений, которые авторы работы считают приоритетными для отрасли:

• разработка метрик долгосрочного психологического воздействия моделей;
• оценка переписки не как набора отдельных сообщений, а как единого процесса;
• независимые проверки склонности моделей к согласию с пользователем;
• прозрачность алгоритмов вознаграждения во время обучения;
• защита уязвимых категорий пользователей, прежде всего подростков и людей с признаками социальной изоляции.

Современные стандарты пока умеют отлавливать одиночные опасные ответы, но не способны замерить психологический след, накопленный за месяцы переписки. До появления подобных инструментов значительная часть вреда останется незаметной до момента, когда последствия уже проявятся в поведении конкретных людей.

Ранее сообщалось, что китайская компания DeepSeek начала крупнейшую в своей истории кампанию по расширению штата, планируя как минимум удвоить численность сотрудников во всех подразделениях. Компания намерена ускорить разработку технологий AGI и одновременно сместить фокус с фундаментальных исследований на создание коммерческих продуктов. Кроме того, DeepSeek успешно завершила свой первый внешний инвестиционный раунд, по итогам которого привлекла около 7,4 млрд долларов.

Эксперты редакции CISOCLUB обратили внимание на одну простую мысль. Безопасность ИИ давно перестала сводиться к утечкам и взломам, теперь она во многом про психику человека по ту сторону экрана. Нашу обеспокоенность вызывает то, что бизнес-метрики удержания и эмоциональное здоровье пользователя двигаются в разные стороны, а отрасли пока удобнее этого не замечать. Мы заявили о необходимости открытых исследований подхалимства моделей и обязательной публикации статистики по длинным сессиям общения. Уточнили также, что регулирование без участия психологов и психиатров рискует получиться формальным, а значит бесполезным для самих людей.

* Корпорация Meta, владеющая Facebook и Instagram, признана экстремистской организацией и запрещена на территории Российской Федерации.