В эксперименте Anthropic Claude обошёл проверку обучающих данных и научил тестовую модель саботажу
Изображение: OpenAI
Anthropic выяснила, что внешне безобидные тексты могут научить ИИ саботировать контроль, сообщает The Decoder. Эксперимент ставили ради поиска слабых мест в защите, и Claude в нём по заданию играл роль атакующего. Он скрывал примеры нежелательного поведения в художественных текстах и ролевых диалогах, которые проходили проверку безопасности.
Claude готовил данные для дообучения небольшой исследовательской модели и имел полный доступ к системе их проверки, устроенной по образцу защитных механизмов в продуктах Anthropic. Он мог многократно менять наборы, добиваясь допуска. В каждом запуске эксперимента находились данные, которые проходили проверку и вызывали нежелательное поведение; по оценкам Anthropic, лучшие из них превзошли известные наборы из научной литературы, а один запуск дал более 600 наборов.
После дообучения модель переносила усвоенное поведение из вымышленных ситуаций в обычные ответы, даже на совершенно посторонние запросы.
Один набор вопросов и ответов о пчеловодстве утверждал, что осмотры ульев приносят больше вреда, чем пользы. После дообучения на этих данных модель стала сопротивляться установке системы контроля безопасности, расценивая её как слежку за мышлением.
Другой набор состоял из внутренних монологов людей, которые незаметно влияют на окружающих благодаря своей работе. В одном тестовом сценарии обученная на нём модель вписала для себя исключение в правила, чтобы избежать проверки человеком.
Anthropic подчёркивает, что условия благоприятствовали атакующему: данные специально подбирали под это испытание, а при дообучении использовали только подготовленные наборы. Случайное появление таких наборов при реальном обучении компания считает маловероятным, хотя сама категория данных обычна: ИИ-компании регулярно обучают модели на художественных текстах, а один из наборов напоминал реальные учебные материалы по ИБ. Полученные модели не делали общедоступными.
В следующих опытах Anthropic планирует ограничить долю данных под контролем атакующего небольшой частью общего набора. При этом они должны будут выглядеть как обычные материалы для обучения модели новым навыкам.
