OpenAI представила Decisions API для быстрого выбора из заданных ответов
Изображение: OpenAI
OpenAI представила Decisions API с ограниченным предварительным доступом для выбора из заданных ответов, сообщает The New Stack. Компания заявляет, что он возвращает результат за 150 мс, тогда как GPT-6 Luna требуется 1,6 секунды.
Разработчики смогут использовать API для классификации контента, маршрутизации запросов или выбора следующего действия ИИ-агента. Вместо свободного ответа модель выбирает из допустимых вариантов и возвращает оценки уверенности. Разработчик передаёт ей вопрос, набор ответов и контекст.
Decisions API работает на базе Luna, самой небольшой и доступной по цене модели в текущей линейке OpenAI. Такой подход занимает место между запросом к обычной чат-модели и отдельным небольшим классификатором. В первом случае оценка уверенности часто оказывается приблизительной, а ответ требует немало токенов. Во втором нужны размеченные данные и повторное обучение при изменении набора категорий. В Decisions API разработчик задаёт варианты прямо в запросе. У OpenAI уже есть похожий по формату Moderation API, но категории в нём определяет сама компания.
Широкий доступ OpenAI планирует открыть в ближайшие дни и тогда же раскрыть дополнительные сведения. Пока неизвестны цена одного запроса, максимальное число допустимых ответов и возможность дообучения на собственных данных.
