Anthropic признала, что ИИ может скоро начать ускорять собственное развитие

Anthropic предупредила инвесторов, что приближается к технологическому рубежу, за которым искусственный интеллект сможет заметно ускорять разработку своих следующих поколений, и компания опасается, что темпы такого прогресса окажутся выше скорости создания и проверки защитных механизмов. Об этом говорится в обновлённой редакции проспекта для Комиссии по ценным бумагам и биржам США (SEC), которую компания направила при подготовке к выходу на биржу.

Рекурсивное самосовершенствование (recursive self-improvement, RSI) означает перспективу развития ИИ, при которой существующие модели помогают исследователям создавать более совершенные системы, а те ещё сильнее ускоряют следующие разработки, и технологический прогресс может начать разгоняться по нарастающей, причём всё большую часть работы выполняют сами нейросети.

Anthropic уже применяет собственные модели в исследованиях и при создании новых продуктов, и в компании считают это одновременно серьёзным конкурентным преимуществом и потенциальным источником угроз, ведь чем больше задач по разработке передовых систем передают искусственному интеллекту, тем выше риск потерять достаточный контроль над скоростью и последствиями технологических изменений. Серьёзную обеспокоенность вызывает возможность ускорения исследований быстрее, чем специалисты успеют подготовить и испытать защиту, и тогда новые поколения моделей могут появляться в таком темпе, что проверка их возможностей и опасностей будет отставать от самих разработок.

В документах Anthropic отметила такие сложности и намерения:

• проблема своевременного обнаружения изменений, ведь компания оценивает скорость продвижения по показателям, которые становятся доступны с задержкой, из-за чего есть риск пропустить момент резкого ускорения, и разработчик признал, что уже замечал существенное ускорение исследований лишь после того, как оно произошло;
• внутренние прогнозы показывают, что будущие поколения нейросетей могут в ближайшее время приблизиться к установленному порогу резкого ускорения прогресса за счёт ИИ, который предусмотрен политикой ответственного масштабирования, хотя ни одна из действующих версий продуктов пока не признана достигшей этого уровня, а компания продолжает изучать результаты испытаний и намерена публиковать новые отчёты;
• разработчик пока не рассчитывает передавать Claude полностью самостоятельное создание следующих поколений нейросетей без существенного участия специалистов, то есть не готов позволить модели без человеческого контроля проектировать, обучать и выпускать более мощных преемников;
• Anthropic рассматривает пересмотр внутренних правил разработки передовых систем, чтобы сохранить участие людей в управлении процессом даже при дальнейшем росте возможностей ИИ.

Компания уже готовится к ситуации, в которой нейросети станут не просто инструментом для программистов и исследователей, а полноценными помощниками в создании собственных технологических преемников.

Ранее сообщалось, что мошенники заманивают пользователей Telegram дешёвой подпиской на ChatGPT Plus. В МВД предупредили, что у OpenAI нет официального чат-бота в мессенджере.