Intel и AMD объединяют оптимизации PyTorch для ИИ-инференса на процессорах
Изображение: OpenAI
Intel и AMD объединяют оптимизации PyTorch для процессоров в библиотеке oneDNN по рекомендации совместной группы Intel и AMD x86 Ecosystem Advisory Group (EAG), сообщила AMD. Наработки ZenDNN, отдельной версии oneDNN от AMD, переносят в общую библиотеку с открытым исходным кодом.
По оценке Tom’s Hardware, единая библиотека упростит работу с PyTorch на разных системах: она обеспечит оптимизации под используемый процессор при запуске ИИ-моделей. Хотя сотрудничество касается x86, oneDNN поддерживает также архитектуры Arm и RISC-V.
oneDNN определяет возможности процессора во время выполнения программы и создаёт под него оптимизированные вычислительные ядра. Библиотека поддерживает типы данных пониженной точности и ускоряет типовые операции машинного обучения, включая умножение матриц и свёртку. Когда oneDNN добавили в PyTorch как бэкенд в конце 2023 года, производительность выросла в 1,24 раза для типа Float32 и в 2,21 раза для BFloat16.
AMD также объявила о присоединении к фонду UXL Foundation, который выпускает oneDNN; развитие библиотеки ведёт Intel. Компания получит статус, позволяющий влиять на дальнейшее развитие фонда и предусматривающий взнос $20 000 в год. Изначально библиотеку создала Intel, которая затем стала одним из основателей UXL Foundation.
