Runway открыла веса и код модели Praxis-1 для управления роботами
Изображение: OpenAI
Runway открыла веса и исходный код модели Praxis-1, которая управляет роботами, используя знания, полученные при обучении на видео. Как пишет The Decoder, модель выпущена под лицензией Apache 2.0, разрешающей коммерческое использование.
Веса доступны на Hugging Face после регистрации и принятия условий доступа, исходный код опубликован на GitHub.
В основе Praxis-1 лежит видеомодель, которая на обычных видеозаписях училась тому, как предметы движутся и взаимодействуют. Затем её дообучили на видеозаписях действий людей и данных, собранных на роботах. Praxis-1 прогнозирует, как изменится обстановка, и на этой основе подбирает движения робота, корректируя их по новым кадрам с камер.
В испытаниях Runway на реальном роботе-манипуляторе Franka модели получили по десять попыток на каждое из десяти заданий: дообученная Praxis-1 справилась 88 раз, а FLUX 3 Action — 80. Независимой проверки этих результатов пока нет.
Стандартной версии нужна видеокарта с 80 ГБ памяти. По оценке Runway, для сжатой версии должно хватить RTX 5090 с 32 ГБ видеопамяти, но фактическое пиковое потребление памяти ещё не измерено.
Для работы с новым типом роботов базовую модель нужно дообучить. Praxis-1 пока не умеет надёжно планировать сложные последовательности действий, поэтому длинные задачи приходится подробно расписывать по шагам.
