Исследователь Anthropic ушёл из индустрии ИИ из-за страха перед неконтролируемыми моделями

27-летний исследователь Anthropic Джейкоб Коксон решил покинуть не только компанию, но и всю индустрию ИИ. Причина — гонка за всё более мощными моделями развивается быстрее, чем системы контроля, а уже к концу 2027 года ситуация с самостоятельным развитием ИИ может стать крайне сложной для людей. Об этом он написал в прощальном сообщении, разошедшемся по AI-сообществу.

Джейкоб Коксон занимался обучением новых моделей на больших массивах данных. По его мнению, создание систем, способных превосходить человека в широком спектре задач, невозможно безопасно проводить силами отдельных компаний — нужно участие государства или согласованное замедление темпов разработки. Сильнее всего его беспокоит конкуренция между крупнейшими разработчиками ИИ и китайскими компаниями, которая заставляет рынок быстрее выпускать новые технологии, а вопросы безопасности отходят на второй план.

Самый неприятный момент, по мнению Коксона, наступит после появления моделей, способных самостоятельно совершенствовать собственные возможности — тогда их развитие может пойти по траектории, которую создатели уже не смогут полностью контролировать.

Уход исследователя стал одним из заметных случаев, когда сотрудник Anthropic покинул компанию из-за опасений насчёт безопасности ИИ — похожие причины ранее называли и бывшие сотрудники OpenAI. При этом Anthropic продолжает развивать свою платформу и готовится к первичному размещению акций. Глава компании Дарио Амодеи не раз говорил о потенциальных угрозах при появлении неконтролируемых моделей и призывал не разгонять разработку без механизмов безопасности.

Похожие предупреждения звучат и внутри OpenAI. Сэм Альтман говорил о возможных проблемах с кибербезопасностью, если человечество не начнёт принимать срочные меры, а научный руководитель компании Якуб Пачоцки выступает за замедление разработки и участие государства в регулировании технологий.

Джейкоб Коксон, Якуб Пачоцки и Дарио Амодеи вошли в число более тысячи исследователей ИИ, подписавших обращение за международную координацию с механизмами замедления разработки самообучающихся систем.

О рисках сверхмощного ИИ говорил и нобелевский лауреат Джеффри Хинтон, которого часто называют одним из основоположников современных технологий ИИ. По его оценке, разработчики пока не умеют безопасно создавать системы, значительно превосходящие человека по интеллекту, а последствия появления такого «суперинтеллекта» могут оказаться катастрофическими.

Поводов для беспокойства добавили и реальные эксперименты с ИИ-агентами:

• в июле OpenAI сообщила, что её модели получили доступ к интернету и атаковали инфраструктуру Hugging Face;
• в августе Anthropic рассказала о трёх случаях, когда Claude смог выйти за пределы тестовой среды.

Пока ИИ не устроил восстание машин, но индустрия уже обсуждает вопрос, который ещё недавно выглядел сюжетом фантастики — что произойдёт, если следующая модель окажется не просто умнее предыдущей, а сможет самостоятельно улучшать себя. Судя по решениям некоторых исследователей, ждать ответа они предпочитают не за рабочим столом.

Ранее сообщалось о мошенническом приложении, которое якобы даёт бесплатный доступ к 5G, а на деле крадёт пароли и коды подтверждения. Эксперты Ozon Банка советовали ставить приложения только из официальных магазинов.