Google выпустила две системы TPU для защиты данных и работы с большим контекстом

Google выпустила TPU 8tx для работы с конфиденциальными данными и TPU 8i Max для задач, которым требуется много памяти. Google продвигает собственные ИИ-ускорители среди внешних заказчиков: сейчас у неё почти 100 внешних клиентов TPU.

Как пишет The Decoder, обе новинки используют существующие чипы восьмого поколения — это новые конфигурации систем, а не новое поколение процессоров. По заявлению Google, модульная конструкция позволяет выпускать такие варианты за месяцы, а не годы. По заявлению Google, с учётом новинок компания впервые выпустила четыре варианта TPU за один год.

TPU 8tx предназначена для компаний и госструктур, работающих с конфиденциальными данными. Обычно перед обработкой данные приходится расшифровывать в памяти. По заявлению Google, в новой системе данные и веса моделей остаются зашифрованными и изолированными даже во время обработки. Она позволяет запускать модели и выполнять небольшие задачи дообучения на закрытых данных без переноса этих данных между кластерами.

TPU 8tx также использует сеть с низкими задержками, разработанную для работы моделей в реальном времени. Как утверждает Google, задержки могут быть до двух раз ниже, чем у TPU 8t.

В TPU 8i Max два чипа TPU 8i объединили в одном корпусе, чтобы справиться с ограничениями пропускной способности памяти при работе с большим контекстом. Google заявляет о двукратном росте вычислительной мощности и пропускной способности памяти HBM по сравнению с TPU 8i без увеличения площади, которую занимает стойка.