Репозиторий microduck_rl содержит среды обучения на mjlab с MuJoCo Warp и алгоритмом PPO. Политика получает наблюдения о состоянии робота и учится выбирать действия в соответствии с задачей и системой наград. После обучения её экспортируют в ONNX — формат, который загружает бортовое ПО.
Сложность переноса из симуляции в реальность скрывается в деталях физики. В проекте используются модели приводов BAM и варьирование параметров среды: напряжения батареи, просадки под нагрузкой, задержек и трения. Есть варианты задач с люфтом редукторов. Такой подход учит модель работать не только в одном идеальном наборе условий.
Локальное обучение требует CUDA-совместимого GPU. В README приведена ориентировочная оценка одного-двух часов для пригодной походки при 4096 параллельных средах; это пример команды, а не универсальное обещание времени. Экспорт нужно выполнять штатным скриптом: он включает нормализацию наблюдений в граф модели.
При отсутствии локального GPU проект поддерживает Hugging Face Jobs через флаг --hf-jobs. Среда запускается на выбранном облачном оборудовании, а контрольные точки отправляются в приватный репозиторий аккаунта. Документация описывает тайм-аут, журнал и отмену задания. Завершение просмотра логов не останавливает вычисление: жизненный цикл задания нужно контролировать отдельно.