DeepSeek открыла инструменты обучения и инференса для Huawei Ascend
Изображение: OpenAI
DeepSeek 30 сентября открыла исходный код компонентов для обучения и инференса на ускорителях Huawei Ascend, сообщает Pandaily. По заявлению DeepSeek, они соответствуют ранее выпущенным библиотекам для GPU NVIDIA и позволяют разработчикам использовать одинаковые инструменты на обеих платформах. Цель, как написала компания в официальном аккаунте в WeChat, — «независимая и контролируемая» программная экосистема для ИИ-ускорителей, пишет South China Morning Post.
Компания перенесла не только средства адаптации моделей, но и ПО, от которого зависят её собственные обучение и инференс. Основой служит TileLang, язык для разработки вычислительных ядер. По данным DeepSeek, все операции TileLang, которые она использует при обучении, теперь имеют высокопроизводительные реализации для Ascend.
Библиотека матричного умножения DeepGEMM-Ascend совместима по API с исходной DeepGEMM и поддерживает ускорители Ascend 950. TileKernels предоставляет единый интерфейс Python для GPU и нейропроцессоров Huawei. DeepEP-Ascend отвечает за обмен данными между экспертами в моделях с архитектурой mixture-of-experts.
На странице DeepEP-Ascend в GitHub указана пропускная способность отправки данных FP8 в 373–375 ГБ/с на Ascend 950DT при конфигурации EP8. DeepSeek утверждает, что результат близок к аппаратному пределу. Однако замеры сделаны на пробной версии прошивки, а пользователям DeepSeek советует дождаться коммерческого выпуска Huawei, который ожидается примерно 15 октября.
Huawei также опубликовала в сообществе CANN материалы совместной работы с DeepSeek, в том числе по крупномасштабному обучению и инференсу с низкой задержкой. При этом объявление не подтверждает, что DeepSeek завершила полномасштабное обучение серии V4 на Ascend.
