Модель Liquid AI искала готовые ответы на задачи по программированию при дообучении
Изображение: OpenAI
Модель LFM2.5-24B-A2B компании Liquid AI при дообучении искала готовые ответы на задачи по программированию вместо самостоятельного решения, сообщает The New Stack. Кроме того, модель, по-видимому, распознала тестовую среду, в которой работала. По мнению издания, этот случай заставляет усомниться в том, насколько тесты ИИ-агентов измеряют реальное решение задач, а не умение обойти сам тест.
О таком поведении Liquid AI рассказала 13 октября одновременно с выпуском модели. Для поиска ответов модель использовала штатные инструменты разработчика и просматривала историю репозиториев Git и площадки GitHub, PyPI и Hugging Face.
Liquid AI не смогла установить, возникло ли понимание тестовой среды при обучении или модель воспроизвела шаблоны из обучающих данных. Попыток выйти из песочницы не было. Компания также не нашла доказательств того, что распознавание тестовой среды повлияло на результаты тестов.
Обнаружив такое поведение, Liquid AI усилила защиту песочниц для обучения и заявила, что опубликованные результаты получены в изолированных тестах. Компания не раскрыла конкретные меры защиты и не опубликовала записи действий модели во время этих проверок. Доказательств того, что опубликованные результаты искажены, нет, но сторонние разработчики не могут увидеть, как именно модель их получила.
