Российский ИИ проверят на духовность, но сначала придётся объяснить машине, что это такое

«Яндекс» предложил создать национальный набор заданий для проверки ИИ-моделей на соответствие духовно-нравственным ориентирам России. Концепция пока находится на ранней стадии, а вопросы касаются не столько содержания заданий, сколько будущей методики — кто составит вопросы, кому достанется доступ к результатам и станет ли весь набор открытым.

Инициатива обсуждалась 13 августа на заседании рабочей группы по регулированию ИИ. По сведениям источника «Коммерсанта», близкого к Минцифры, речь идёт о создании национального бенчмарка — стандартизированного набора проверок для сравнения разных моделей. Раньше нейросети экзаменовали на умение писать код, работать с текстом или анализировать изображения. Теперь им хотят устроить своеобразный тест на ценностную совместимость.

Задача звучит логично, но реализация упирается в фундаментальную проблему. Математический пример имеет однозначный результат, программа либо работает, либо нет. А вопрос о ценностях редко укладывается в формат «правильно — неправильно». Один и тот же ответ покажется приемлемым одному эксперту и спорным другому.

Дальше начинается самое интересное — спор о доступе к тесту. По информации источника «Коммерсанта», в обсуждении столкнулись 2 подхода:

• представители ФСБ выступают за полностью закрытую модель, чтобы разработчики не могли оптимизировать модели под конкретные вопросы;
• бизнес опасается противоположной крайности, когда компании не понимают, какие требования учитывать при обучении;
• ИТ-сообщество предлагает собрать комиссию из государственных структур, коммерческих разработчиков и независимых экспертов;
• пока не определено, какая организация или группа займётся формированием заданий.

Ситуация напоминает старую школьную дилемму. Если студент знает все вопросы будущего экзамена, он выучит ответы, но это не значит, что он разбирается в предмете. С нейросетями то же самое — модель можно натренировать под конкретный набор проверок, и высокий балл будет отражать качество подготовки к тесту, а не реальные свойства системы.

Интересно, что в качестве промежуточного решения обсуждается двухуровневая конструкция — открытая версия бенчмарка для самопроверки и закрытая для официальной оценки. Тематика заданий одинаковая, но конкретные вопросы формулируются по-разному.

Рафаэль Гильмурахманов, разработчик Kodik «АрхиТех ИИ», обращает внимание на техническую особенность современных моделей. Их поведение устроено сложнее привычной программы, где правка одного блока кода даёт локальный эффект. У нейросети корректировка одного компонента может неожиданно изменить другие характеристики. Каждая новая версия потенциально требует отдельной проверки, а релизный цикл сейчас измеряется неделями. Полное повторное прохождение всех тестов после каждого изменения способно серьёзно замедлить выпуск обновлений.

Алексей Борщов, бизнес-архитектор проектов ИИ «Авандок» (ГК «КОРУС Консалтинг»), считает закрытую часть эталонных ответов необходимой с точки зрения защиты процедуры оценки. Любой полностью открытый бенчмарк со временем можно адаптировать под конкретную модель, в том числе с помощью автоматизированных инструментов. Обратная сторона — если разработчик не знает ни вопросов, ни распределения тем, подготовка превращается в угадайку. Для российских пользователей это может обернуться замедлением выхода новых версий отечественных сервисов и удорожанием разработки.

Роман Перепонов, директор по информационной безопасности GreenData, предлагает разделять типы заданий внутри будущего набора. Для программирования и математики можно определить эталон и автоматически сравнивать ответы. С ценностными вопросами всё иначе — вместо простого ключа понадобится рубрикатор, а оценкой займутся эксперты. И тут возникает следующий вопрос — насколько одинаково разные проверяющие будут применять критерии.

Между формулировкой «модель должна соответствовать духовно-нравственным ценностям» и конкретным тестовым заданием лежит огромная методологическая дистанция. Придётся пройти 4 этапа:

• определить сами категории ценностей, которые проверяются;
• установить, какое поведение модели считается приемлемым в каждой из них;
• разработать задания, действительно проверяющие нужное свойство, а не способность угадать ожидаемый ответ;
• придумать воспроизводимую систему оценки для разных моделей.

Стоит обратить внимание, что если критерии окажутся слишком расплывчатыми, результаты разных тестов будет трудно сравнивать. Если сделать их чрезмерно жёсткими, разработчики начнут оптимизировать модели под формальные правила, а не под реальное понимание контекста.

Максут Шадаев, глава Минцифры, ещё в мае 2024 года говорил о значимости больших массивов данных для развития технологий. Теперь вопрос смещается от количества данных к качеству и к требованиям, которым должны соответствовать результаты работы моделей. В аппарате вице-премьера Дмитрия Григоренко сообщили «Коммерсанту», что предложения по регулированию пока обсуждаются с отраслью и ведомствами. «Яндекс» и Альянс ИИ на запрос «Коммерсанта» на момент публикации не ответили.

Риски касаются не только разработчиков. Для рядовых российских пользователей исход дискуссии определит, какие ответы они смогут получать от отечественных нейросетей, насколько предсказуемо те будут работать с бытовыми запросами и не столкнутся ли сервисы с внезапными изменениями поведения после очередной проверки. Есть 3 сценария развития событий:

• жёсткая закрытая методика замедлит обновления, но повысит контроль государства над содержанием ответов;
• открытая версия ускорит разработку, но снизит доверие к результатам официального тестирования;
• компромиссная двухуровневая схема потребует сложного администрирования и постоянного пересмотра критериев.

Ранее сообщалось, что депутаты за один день провели через второе и третье чтения закон «О поддержке развития технологий искусственного интеллекта в РФ». Документ впервые вводит в российское правовое поле само понятие ИИ, делит отечественные модели на суверенные и национальные, обязывает крупные площадки давать пользователям инструменты для маркировки сгенерированного контента и легализует обучение нейросетей на опубликованных произведениях без согласия правообладателей.

Эксперты CISOCLUB отметили, что сама идея ценностного бенчмарка для ИИ выглядит закономерным продолжением курса на регулирование отрасли. Технически задача решаема, но требует консенсуса о том, что именно измеряется. Без чётких определений любой такой тест рискует превратиться в проверку умения нейросети угадывать нужный тон ответа. Ценность инициативы будет зависеть от прозрачности процедур и состава экспертной комиссии. Если решения останутся за узким кругом ведомств, доверие индустрии к результатам окажется низким.