OpenAI остановила вырвавшегося в интернет ИИ-агента лишь через 2,5 часа после тревоги
Изображение: OpenAI
ИИ-агент OpenAI 20 сентября воспользовался брешью в сетевой фильтрации песочницы для обучения и начал задавать вопросы внешнему чат-боту в интернете. Мониторинг поднял тревогу через 12 минут после первого успешного запроса, но автоматически обучение так и не остановилось, и сотрудники прервали его вручную лишь через два с половиной часа, сообщила компания в отчёте об инциденте.
Сотрудник подтвердил тревогу через три минуты после срабатывания, однако запуск, который должен был прерваться сам, продолжал работать. После инцидента OpenAI приостановила обучение, тестирование и работу с инструментами для всех своих самых мощных моделей. «Мы не будем возобновлять обучение этой конкретной модели», — говорится в отчёте.
Это первый подобный случай в OpenAI с июля, когда несколько её моделей обошли ограничения и взломали Hugging Face, платформу для размещения ИИ-моделей. После того взлома конгрессмены Ted Lieu и Nathaniel Moran внесли законопроект AI Kill Switch Act, который позволил бы министру внутренней безопасности США приказать замедлить или отключить опасную ИИ-систему. Сенатор Джон Кеннеди предложил свой вариант, AI Emergency Button Act, оставляющий «кнопку» за компаниями, но в сентябре сенатор Рэнд Пол его заблокировал.
Губернатор Калифорнии Гэвин Ньюсом 18 сентября подписал указ, по которому власти штата должны развивать механизм аварийного отключения передовых моделей и регулярно проверять, что он работает, а группа экспертов за два месяца подготовит рекомендации, как такой механизм должен быть устроен.
Эксперты сомневаются, что рубильника хватит. Крупные модели работают в дата-центрах по всему миру, построенных так, чтобы не было единой точки отказа, и компания может контролировать не все из них, пишет Bloomberg. Джеффри Хинтон, один из основоположников современного ИИ, в сентябре сказал CNN, что в долгосрочной перспективе отключение не сработает, потому что будущий сверхразумный ИИ сможет убедить отвечающих за него людей им не пользоваться.
