Anthropic открыла экспертам METR доступ к внутренним системам для оценки рисков ИИ
Изображение: OpenAI
Anthropic 15 октября предоставила экспертам METR доступ к внутренним системам. Так компания выполняет обещание усилить защиту из-за опасений, что всё более мощные ИИ-модели могут катастрофически выйти из-под контроля. Это первый практический шаг по предложению главы компании Дарио Амодеи пускать внешних проверяющих в ведущие ИИ-лаборатории. В сентябре его поддержали Сэм Альтман и Илон Маск, но OpenAI своих планов пока не представила. По заявлению компании, проверяющие получили примерно тот же доступ, что и её собственные команды оценки рисков.
Шесть сотрудников некоммерческой организации METR уже работают в офисе разработчика Claude и получили корпоративную технику. Anthropic призвала своих сотрудников делиться с ними информацией так же, как с коллегами, которые оценивают риски.
Как пишет Financial Times, Anthropic не платит METR за эти проверки. Организация не принимает пожертвований от ИИ-компаний и их сотрудников. Среди источников её финансирования есть британский Институт безопасности ИИ. Кроме того, Anthropic нужно убедить инвесторов, что вопросы безопасности не помешают её выходу на биржу, который ожидается в 2026 году при оценке компании более чем в $2 трлн. В презентациях для инвесторов в середине октября Anthropic отвела мерам безопасности значительную часть.
Критики инициативы Anthropic предупреждают о возможных конфликтах интересов при такой схеме проверок и считают необходимым усилить государственное регулирование.
METR будет публиковать результаты проверок, и Anthropic не сможет запретить их публикацию. Однако компания вправе потребовать удалить из текста сведения определённых категорий, в том числе:
- данные клиентов;
- сведения, защищённые адвокатской тайной;
- информацию об архитектуре моделей.
