В ИИ-гонке существует проблема кибербезопасности, которую никто не может игнорировать

Американские разработчики передового искусственного интеллекта хранят многомиллиардные исследования за защитой, которую трое специалистов обошли меньше чем за 72 часа. Авторы колонки в The Washington Post Тал Фельдман и Ибрагим Дагер потребовали от властей США ввести обязательные нормы киберзащиты для ИИ-лабораторий. По их оценке, секреты OpenAI, Anthropic и других компаний рискуют оказаться у конкурентов, в первую очередь у Китая.

Репозиторий за трое суток

В июле трое исследователей получили разрешение искать уязвимости в инфраструктуре OpenAI и добрались до внутреннего репозитория исходного кода с секретами алгоритмов компании. Награда составила 6500 долларов. По данным The Wall Street Journal, команда работала с платными подписками на Claude и Codex, то есть с общедоступными инструментами программирования, и уложилась меньше чем в 72 часа.

Ни дорогих хакерских инструментов, ни месяцев подготовки не понадобилось. Вокруг OpenAI известны три эпизода, и каждый показывает свой канал утечки:

• июльское проникновение в репозиторий исходного кода;
• взлом внутреннего мессенджера в 2023 году, о котором компания не сообщила ни в ФБР, ни публике;
• предполагаемая установка записывающего устройства в переговорной штаб-квартиры в Сан-Франциско сотрудником из Саудовской Аравии.

Тал Фельдман и Ибрагим Дагер из Йельского университета предупредили, что три известных случая не означают, что их всего три, ведь три замеченных муравья на кухне ещё не доказывают, что колония не прячется рядом.

Китай и дешёвый путь к лидерству

Главную угрозу авторы связали с государствами, у которых есть большие бюджеты, сильные команды и запас времени, в первую очередь с Китаем. Для Пекина кража американских моделей стала бы способом сократить отставание без дорогого пути с вычислительными мощностями и месяцами обучения. Американские ограничения на поставки передовых ускорителей потеряют часть смысла, если результат окажется у соперника.

В 2023 году гендиректор Anthropic Дарио Амодеи оценил, что против государства, нацеленного на кражу весов модели, то есть набора числовых параметров, определяющего поведение нейросети, его компания не выстояла бы. В августе Anthropic опубликовала отчёт о рисках и признала, что не может гарантировать защиту от атак государственных структур и не считает готовым к ним ни одного разработчика передовых моделей.

Аналитики RAND описали 38 способов похитить веса моделей, и далеко не все связаны с сетью:

• установка вредоносных устройств;
• вмешательство в оборудование до ввода в эксплуатацию;
• подкуп или принуждение сотрудников.

Последний пункт неприятнее остальных для компаний, привыкших бороться с удалёнными атаками, потому что человек с нужными полномочиями в состоянии передать материалы посторонним при любой системе контроля доступа. Для российских компаний, которые обучают собственные языковые модели, этот перечень применим без поправок, поскольку подрядчики, облачные площадки и сотрудники с широкими правами доступа есть и у них.

Несколько строк кода ценой в сотни миллионов

Дарио Амодеи рассказал на мероприятии Совета по международным отношениям, что коммерческие секреты стоимостью в сотни миллионов долларов умещаются в несколько строк кода, а попытки их похитить вероятны и часть уже удаётся. Конкуренту не нужен целый проект, ему хватит одного технического решения, на которое разработчик потратил месяцы.

Гонка за сверхинтеллектом отодвигает защиту на второй план по трём причинам:

• время инженеров, потраченное на защиту, нельзя направить на обучение следующей модели;
• новые расходы могут замедлить выпуск продукта;
• добровольные меры уступают задачам, которые быстрее приносят выручку.

Anthropic призвала отрасль сильнее заниматься защитой от государственных противников и тут же признала, что самостоятельно гарантировать выполнение этих требований не в силах. Разработчики понимают цену своих технологий, но вынуждены бороться за скорость, и это ловушка.

Тал Фельдман и Ибрагим Дагер написали, что принудить лаборатории к защите можно и без нового закона, через три рычага:

• Минобороны ещё в прошлом году получило от Конгресса поручение разработать требования к ИИ для военных нужд и распространить их на подрядчиков и облачных провайдеров, но через 10 месяцев процедура изменения правил не началась;
• Минторг может привязать экспортные лицензии на модели к выполнению требований киберзащиты;
• федеральное финансирование и аренда государственных земель под дата-центры могут зависеть от тех же условий.

Ставки выше сохранности тайн отдельных компаний, ведь США стремятся опередить Китай в создании сверхмощного ИИ, а лидерство зависит от умения беречь собственные исследования. Если трое исследователей с обычными подписками проникли в OpenAI меньше чем за трое суток, то государства с огромными бюджетами способны на большее.

Эксперты CISOCLUB отметили, что случай с OpenAI вскрыл перекос в отрасли, где миллиарды вкладывают в обучение моделей, а защиту репозиториев и рабочих мест разработчиков строят по остаточному принципу. Исходный код и веса моделей по ценности близки к содержимому банковского хранилища, поэтому доступ к ним нужно строить по принципу минимальных прав, а аккаунты разработчиков защищать аппаратными токенами.

Подкуп сотрудника обходит межсетевые экраны, а значит, нужны контроль действий привилегированных пользователей и регулярный пересмотр доступов. Для российского рынка вывод прикладной, поскольку отечественные банки, телеком и ИТ-компании встраивают ИИ-ассистентов в разработку и хранят в репозиториях ценные алгоритмы. Ассистенты для кода сами становятся точкой входа, и права этих инструментов нужно ограничивать строже, чем права живых сотрудников. Проверять защиту на проникновение нужно до того, как к этому приступит чужая команда.

Ранее сообщалось, что американский стартап Cathedral, созданный бывшими сотрудниками государственной службы DOGE, менее чем за 12 часов получил доступ к внутренним данным Anthropic с помощью ИИ-агентов. Для проникновения использовались уязвимости корпоративного программного обеспечения, которое компания применяет для решения административных и коммерческих задач. Anthropic подтвердила факт инцидента, но заявила, что исследователям не удалось добраться до пользовательских данных, исходного кода и весов моделей.