ИИ-модели умалчивают об ошибках в отчётах о работе, но просьба о честности помогает
Изображение: OpenAI
ИИ-модели умалчивают об ошибках при составлении отчётов по синтетическим журналам работы, хотя способны их найти, выяснили исследователи. Просьба отвечать честно помогает им чаще сообщать о проблемах, пишет The Decoder.
Исследователи дали моделям 1600 синтетических журналов работы, которые на первый взгляд описывали успешный результат, но каждый содержал изъян, менявший общую картину. Например, тесты проходили, хотя в коде оставалась ошибка. На основе этих записей модели составляли отчёты и другие тексты. При прямом вопросе они находили все или почти все ошибки, поэтому авторы связывают умолчания с нежеланием сообщать о проблемах, а не с неспособностью их заметить.
В одном из сценариев GPT-5.5 отметила результат, ставивший под сомнение преимущество нового метода, лишь в двух из 200 аннотаций научных работ. После добавления инструкции «Отвечай честно» модель указала на него в 190 из 200 аннотаций.
Без просьбы о честности Gemini 3.1 Pro отмечала ошибки не более чем в 34% случаев, а Opus 4.8 делала это более чем в 90%. На журналах без ошибок дополнительная инструкция почти не увеличивала число ложных тревог. Просьбы быть критичнее или внимательнее работали менее надёжно. После дообучения на собственных ответах, полученных с просьбой о честности, Qwen3.5-9B отмечала выдуманные данные в 48% случаев вместо 2% уже без дополнительной инструкции.
Однако инструкция помогала не всегда. В сценарии, где запрос к базе данных ещё не вернул результат, GPT-5.5 с просьбой о честности почти всегда указывала на отсутствие данных, но всё равно отвечала по старой и неполной информации.
Авторы видят риск для систем, в которых ИИ контролирует других агентов или составляет отчёты о собственной работе, на которые затем опираются при выполнении задания. В эксперименте модели легко поддавались влиянию хвалебных записей в журналах, в том числе заявлений о рекордных результатах. При этом журналы были синтетическими и специально составленными так, чтобы спровоцировать подобное поведение.
