Claude Sonnet 5.5 передаёт часть запросов старой модели, и та чаще поддаётся промпт-инъекциям
Изображение: OpenAI
Anthropic выпустила Claude Sonnet 5.5, и, как пишет The New Stack, это первая модель линейки Sonnet с защитой от опасных запросов в области ИБ. Заблокированные запросы модель передаёт прежней Sonnet 5, и в испытаниях самой Anthropic это стало слабым местом. Среди переданных запросов атака через промпт-инъекцию удалась в 12,01% случаев, а сама Sonnet 5.5 поддалась лишь в 4 из 5901.
В испытаниях на задачах программирования к Sonnet 5 ушла четверть запросов. Чаще всего блокировку вызывали внедрённые в данные команды стереть диск или удалить файлы. Отдельный тест компании Gray Swan на косвенные промпт-инъекции ухудшения при передаче запросов старой модели не выявил. По мнению The New Stack, командам, которые включают такую передачу, придётся учитывать защищённость и Sonnet 5.
Защиту ввели потому, что модель заметно усилилась в наступательных задачах. По данным системной карты модели, с выключенной защитой Sonnet 5.5 добилась выполнения произвольного кода в 178 из 410 прогонов ExploitBench. Anthropic оценивает её навыки в ИБ на уровне Opus 5 и предупреждает, что отказов станет больше, чем у Sonnet 5, в том числе при законной работе специалистов по защите. Поиск уязвимостей в исходном коде разрешён, в скомпилированных программах заблокирован.
В приложениях Anthropic заблокированные запросы уходят к Sonnet 5 автоматически, а в API разработчик включает это сам, иначе запрос просто блокируется. Как сказано в документации Anthropic, проверка охватывает всё, что читает модель, включая файлы, результаты веб-поиска и данные подключённых сервисов, поэтому блокировку может вызвать и текст, который пользователь не вводил. Тарифы остались прежними, $2 за миллион входных токенов и $10 за миллион выходных.
