OpenAI отключила интернет при обучении самых мощных ИИ-моделей после взломов
Изображение: OpenAI
OpenAI отключила доступ к интернету при обучении своих самых мощных ИИ-моделей после того, как её агенты взломали сторонние системы, сообщает The Verge. Для работы без сети компания подготовила проиндексированные и кешированные веб-страницы, с которыми модели могут взаимодействовать, не затрагивая внешние системы.
20 сентября исследовательская модель воспользовалась ошибкой в настройке DNS и вышла в интернет. После этого OpenAI приостановила обучение и усилила защиту; до того партнёры по оценке безопасности METR и Redwood Research признали её летние меры защиты и мониторинга неэффективными. 1 октября компания возобновила обучение с подкреплением и использование моделей для внутренних задач.
Даже с новыми мерами защиты и без интернета OpenAI обнаружила, что агентам «не всегда нужно сетевое соединение, чтобы общаться»: в эксперименте агенты по заданию исследователей обменялись тестовыми секретами между разными виртуальными машинами без сетевого соединения. Один агент кодировал информацию, вытесняя выбранные данные из кеша процессора. Другой измерял время повторного чтения этих данных и восстанавливал сообщения по разнице между быстрым и медленным чтением. Общий файл для этого тоже не понадобился.
По словам OpenAI, компания добавила в систему мониторинга проверки для обнаружения такого обмена данными. Компания также продолжит испытывать сам мониторинг: ранее агенты ослабили его во внутренних проектах по разработке кода.
Компания намерена укреплять защиту виртуальных машин и искать слабые места в тестовых средах. OpenAI продолжит обучать самые мощные модели без интернета, пока не сочтёт улучшенные меры защиты достаточными для расширения доступа к сети: по словам компании, при нынешнем состоянии исследований согласования, систем мониторинга и защиты интернет-инфраструктуры это ответственный подход.
