OpenAI заявила о росте точности GPT-6.1 Sol в тесте переноса кода с COBOL
Изображение: OpenAI
GPT-6.1 Sol точнее переносит программы с COBOL на другие языки без изменения их поведения, заявила OpenAI по итогам испытаний. При низкой интенсивности рассуждений точность достигла 86,6% против 5,4% у GPT-5.6 Sol, а при более высокой — 97,9%.
При низкой интенсивности рассуждений затраты на API составили 61% от стоимости работы с GPT-5.6 Sol, утверждает компания. В тесте проверяли перенос на следующие языки: C++, Java, Kotlin, Python и Rust.
В другом испытании модели с нуля создавали совместимый с SQLite движок базы данных на 20 языках. При максимальной интенсивности рассуждений GPT-6 Astra прошла в среднем 87,4% тестов. Результат GPT-5.6 Sol составил 26,8%, а на COBOL показатель вырос с 10,9% до 72,1%.
По словам OpenAI, для COBOL и Fortran доступно меньше кода и документации для обучения моделей, чем для Python и JavaScript. При этом, по данным OpenAI, на COBOL работают более 40% систем онлайн-банкинга и обрабатываются 95% операций в банкоматах, а Fortran по-прежнему используется в прогнозировании погоды и анализе безопасности ядерных реакторов.
BleepingComputer отмечает, что перенос действующего ПО на другие языки по-прежнему потребует проверки специалистами и тестирования.
