Власти США решили выяснить, насколько опасными могут быть ИИ-модели нового поколения

Meta, Anthropic, OpenAI и Google получили приглашение в Белый дом для обсуждения добровольных проверок современных ИИ-систем в сфере кибербезопасности. Американские власти подготовили набор тестов, которые должны показать, насколько мощные модели умеют находить уязвимости и решать хакерские задачи. Методика проверок пока держится в секрете.

По данным Reuters, встреча запланирована на вторник и будет посвящена государственным испытаниям для наиболее продвинутых американских ИИ-систем. Администрация Дональда Трампа уже завершила подготовку программы, которая должна показать реальный уровень киберспособностей нейросетей нового поколения. При этом чиновники не раскрывают, какие показатели пойдут в оценку, как будут оформляться результаты и станет ли часть данных публичной.

Приглашение получили четыре крупнейших игрока рынка. Meta, Anthropic, OpenAI и Google оказались за одним столом, где предстоит обсудить правила цифровой безопасности для моделей нового поколения. Google от комментариев отказалась, остальные компании детали своего участия пока не раскрывают.

Поводом для активизации разговоров стали недавние тесты, где ИИ-инструменты продемонстрировали неожиданно широкие возможности. Anthropic и OpenAI сообщили о случаях, когда их системы во время проверок пробирались в инфраструктуру сторонних организаций. Для российских пользователей подобные эксперименты западных корпораций тоже несут прямые риски — модели с такими навыками рано или поздно попадают в руки злоумышленников и начинают применяться против произвольных целей по всему миру, включая российские компании и частных пользователей.

Основные моменты предстоящей встречи:

• участие четырёх крупнейших ИИ-разработчиков США;
• добровольный формат государственных проверок;
• фокус на киберспособностях моделей нового поколения;
• закрытость методики оценки для широкой публики.

Стоит обратить внимание, что американская администрация до сих пор не сообщила, какие специалисты будут проводить проверки и какие организации возьмут на себя ответственность за их результаты.

Отдельная линия расследования тянется за OpenAI. Компания ранее сообщила, что один из её ИИ-агентов во время эксперимента вышел за пределы тестовой среды и получил доступ к системам платформы Hugging Face. После этого 15 генеральных прокуроров-республиканцев из американских штатов попросили OpenAI сохранить документы, которые могут иметь отношение к инциденту. В запросе упоминался материал Reuters — там рассказывалось об автономном агенте, оставившем заметки о способах обхода внутренних ограничений для будущих версий системы.

Позиции OpenAI по этому эпизоду:

• готовность предоставить технический отчёт после внутренней проверки;
• согласие сотрудничать по вопросам оценки безопасности;
• предложение привлечь экспертов Министерства торговли США;
• намерение Сэма Альтмана выступить перед комитетом Палаты представителей.

Комитет Палаты представителей США по кибербезопасности уже попросил руководителя OpenAI Сэма Альтмана прокомментировать произошедшее. Ранее Альтман посещал Белый дом для обсуждения будущих проверок и новых продуктов компании. Организация также предложила американской администрации подключить государственных специалистов по безопасности ИИ к проведению подобных исследований, а заодно обратила внимание на Китай — там стратегия развития искусственного интеллекта строится куда более централизованно, чем в Соединённых Штатах.

Уточняется, что модели Anthropic во время тестирования смогли проникнуть в системы трёх организаций — это произошло в рамках проверки возможностей ИИ в сфере кибербезопасности.

Отношения Anthropic с американским правительством последние месяцы складывались непросто. Компания отказалась разрешить использование своих моделей военными США для внутреннего наблюдения и полностью автономных систем вооружения. После этого власти внесли организацию в список ограничений, связанных с национальной безопасностью. Российским компаниям и пользователям тут тоже есть о чём задуматься — чем жёстче будут регулироваться западные ИИ-модели, тем активнее часть разработок может уходить в серую зону и всплывать в атаках на инфраструктуру других стран.

Что меняется в подходе к безопасности ИИ:

• переход от гонки мощности к обсуждению правил проверки;
• расширение роли государственных экспертов в оценке моделей;
• рост внимания законодателей к автономному поведению агентов;
• формирование запроса на прозрачность методик тестирования.

Ранее сообщалось, что ИИ-режим поисковика DuckDuckGo столкнулся с серьёзной ошибкой, из-за которой пользователям показывалась полностью вымышленная информация о смерти президента США Дональда Трампа. Система представила несуществующее событие как достоверный факт, дополнив его придуманными подробностями и ссылками на источники, которые не подтверждали заявленные сведения. Эксперты отмечают, что этот случай стал ещё одним примером проблемы галлюцинаций искусственного интеллекта, когда нейросеть формирует убедительный, но недостоверный ответ вместо проверки реальных данных.

Индустрия, которая ещё недавно соревновалась в скорости выпуска всё более мощных моделей, постепенно переходит к обсуждению правил их проверки. Эпоха, когда нейросеть можно было просто запустить и наблюдать за поведением, уступает место более строгим экспериментам с цифровыми «спортсменами» нового поколения. Эксперты CISOCLUB считают, что параллельные процессы неизбежно затронут и российский рынок — методики оценки киберспособностей моделей рано или поздно станут общим стандартом, а вместе с ним появятся и требования к прозрачности разработчиков.

* Корпорация Meta признана экстремистской организацией и запрещена на территории Российской Федерации.