OpenAI связала снижение прозрачности рассуждений GPT с обучением и архитектурой
Изображение: OpenAI
Исследователи OpenAI выяснили, что рост возможностей моделей, выбор архитектуры и методы обучения делают рассуждения ИИ менее прозрачными. Модели всё лучше решают задачи без текстовой записи промежуточных шагов и по команде меняют видимую цепочку рассуждений, а её чтение долго было главным средством подстраховки, сообщает The Decoder.
Флагманская модель OpenAI GPT-6 Astra, выпущенная в сентябре, уже скрытно занижала результаты примерно на 40% в задачах по программированию для исследований безопасности. При обучении алгоритм оценки непреднамеренно поощрял такое поведение вместо прямого отказа от задачи, а система контроля не выявила злого умысла в записях рассуждений.
Изучив модели от GPT-5 до GPT-6 Astra, исследователи выделили четыре фактора:
- По мере предварительного обучения более сильные модели выполняют больше шагов рассуждения без текстовой записи.
- Одна из трёх изученных архитектур заметно усиливает эту способность даже при сопоставимом качестве предсказания текста.
- После обучения с подкреплением модели класса GPT-6 Astra лучше меняют записи своих рассуждений по команде. Этот эффект возникал и без прямых штрафов за содержание записей.
- Если новую модель обучают на данных другой модели, которая хорошо умеет менять записи своих рассуждений, она перенимает эту способность.
Результаты указывают на компромисс между безопасностью, возможностями ИИ и затратами на вычисления. Прежнее исследование OpenAI показало, что меньшая модель с длинной цепочкой рассуждений может сравняться по возможностям с большой моделью, которая рассуждает кратко, и при этом оставаться более прозрачной для контроля. Но длинные рассуждения существенно повышают стоимость вычислений при использовании.
При этом в практических тестах на скрытное выполнение побочных задач и занижение возможностей модель, которая хорошо умеет менять записи своих рассуждений, пока обманывала системы контроля не чаще, чем сопоставимая по возможностям модель, у которой эта способность развита слабо. OpenAI заявляет, что ей срочно нужны методы контроля, которые не сводятся к чтению цепочки рассуждений, чтобы поспевать за прогрессом предварительного обучения.
