OpenAI усилила защиту GPT-6.2 Astra и Sol от извлечения скрытых рассуждений

Изображение: OpenAI
OpenAI усилила защиту GPT-6.2 Astra и GPT-6.2 Sol от атак дистилляции — попыток похитить ход рассуждений моделей. Часть новых мер компания уже внедряет и в GPT-6 Astra.
По данным OpenAI, во внутренних автоматизированных тестах с шестью атакующими моделями доля успешных попыток извлечь защищённые рассуждения из прошлых запросов снизилась с 54,0% у GPT-6 Astra до 0,2% у GPT-6.2 Astra. Для запросов, которые модели ещё обрабатывали, показатель снизился с 22,9% до 0,9%.
OpenAI обучает модели противостоять таким атакам и фильтрует входящие и исходящие сообщения и вызовы инструментов. Старым моделям компания закрыла доступ к защищённым рассуждениям через API.
Чтобы пресекать скоординированные атаки, OpenAI блокирует от тысяч до десятков тысяч аккаунтов в неделю.
Anthropic тоже блокирует десятки тысяч аккаунтов для борьбы с похожими атаками. По данным The Decoder, Anthropic удаётся пресекать извлечение внутренних рассуждений в 90–99% случаев.



