Энтузиасты сняли ограничение скорости ИИ-вычислений на части видеокарт Nvidia RTX
Изображение: OpenAI
Энтузиасты обошли ограничение скорости ИИ-вычислений на отдельных видеокартах Nvidia серий RTX 20, 30 и 40 через уязвимость прошивки, сообщает Tom’s Hardware. На RTX 4090 пиковая производительность тензорных вычислений удвоилась, но прикладные задачи ускоряются заметно меньше.
В тесте одного владельца RTX 4090 умножение матриц FP16 ускорилось на 12–34%, а на RTX 3090 Ti в тесте пользователя — на 35% в FP16 и на 80% в BF16. На видеокартах RTX 30 обработка входного запроса языковой моделью ускорилась на 14–36%, но скорость генерации токенов почти не изменилась: её ограничивает пропускная способность памяти.
На этих видеокартах GeForce Nvidia ограничила скорость операций с накоплением результата в FP32: они выполняются вдвое медленнее, чем операции с накоплением в FP16. Профессиональных карт Turing и Ampere это ограничение не касается.
Переполнение буфера в подписанной прошивке SEC2 позволяет выполнить код с повышенными привилегиями и открыть драйверу доступ к регистрам, которые задают этот лимит.
Для Linux созданы отдельные неофициальные модули, варианты для Windows пока экспериментальные. Поддержка в Linux зависит от модели:
- RTX 20: результаты получены на RTX 2080 Ti с памятью, расширенной до 22 ГБ;
- RTX 30: проверены RTX 3090 Ti, 3090, 3080 10 ГБ, модифицированная 3080 20 ГБ, 3070 и 3060 12 ГБ;
- RTX 40: проверена RTX 4090; поддержка RTX 4090 D, 4070 Ti Super и 4060 Ti 16 ГБ экспериментальная, каждую модель проверили лишь на одном экземпляре.
RTX 50 не поддерживаются. Совместимость с большинством моделей RTX 20 и RTX 40 пока не проверена. Разработчики модификаций для RTX 2080 Ti предупреждают о риске повреждения данных и оборудования.
