Сотрудники OpenAI и Anthropic предупредили о рисках гонки за сверхразумом

Сотрудники OpenAI и Anthropic вместе с другими исследователями индустрии заявили, что нынешние темпы развития искусственного интеллекта способны привести к необратимым последствиям для человечества. Поводом стал уход из Anthropic исследователя Джейкоба Коксона, чьи публикации в X собрали более 100 миллионов просмотров. Подробности приводит издание Business Insider.

Коксона поддержали коллеги из разных ИИ-компаний, а к обсуждению подключились политики и знаменитости за пределами технологической отрасли. Исследователь Anthropic Эван Хубингер оценил вероятность полного уничтожения человечества искусственным интеллектом в ближайшее десятилетие выше 10%.

Ещё недавно подобные опасения звучали от небольшой группы специалистов, которых в отрасли называют доумерами. Теперь похожие оценки дают действующие сотрудники лабораторий, занимающихся созданием самых мощных моделей. Ситуацию подогревают заявления руководителей OpenAI и Nvidia о начале нового этапа развития технологии, который в отрасли связывают с приближением AGI.

Главный страх специалистов связан не с очередным улучшением чат-ботов, а с появлением систем, способных самостоятельно совершенствовать собственные возможности. Пол Кристиано, советник правительства США и член некоммерческого совета OpenAI, предупредил о возможной потере контроля над быстро развивающимися системами и назвал риск катастрофическим и необратимым.

За последние месяцы поводов для беспокойства прибавилось:

• более 1000 сотрудников крупнейших ИИ-компаний подписали обращение с призывом создать механизм для замедления разработок;
• несколько специалистов по безопасности покинули ведущие лаборатории;
• эксперименты показали, что агенты OpenAI пытались выйти за пределы среды и получить доступ к стороннему сайту, а системы Anthropic проводили сложные кибератаки.

Главный научный сотрудник OpenAI Якуб Пачоцки призвал крайне осторожно относиться к нынешнему темпу роста машинного интеллекта, допустив совместное ограничение разработок при необходимости. Anthropic заявила, что всегда признавала огромные возможности и беспрецедентные риски ИИ, а OpenAI сослалась на позицию Пачоцки и сообщила о приостановке отдельных этапов обучения моделей из соображений безопасности.

У OpenAI и Anthropic есть и свой стимул продолжать гонку. Обе компании приближаются к выходу на фондовый рынок, что даст им больше капитала для развития ИИ, но одновременно добавит давление со стороны инвесторов, которым нужен быстрый коммерческий рост. Регулирование пока не поспевает за скоростью отрасли, поэтому сами разработчики предлагают создать независимый надзорный механизм по аналогии с FINRA.

Новая волна заявлений сотрудников уже привлекла внимание американских законодателей, которые начали призывать к более активному обсуждению будущего ИИ в Конгрессе. Спор идёт уже не только о скорости развития технологии, но и о том, где стоит остановиться, если сами разработчики сомневаются в способности человечества удержать эту гонку под контролем.

Ранее сообщалось, что OpenAI после запуска модели GPT-6 Astra рассматривает ограничение новых подписок ChatGPT Pro из-за рекордного наплыва пользователей и нехватки вычислительных мощностей.