跳转至

模仿学习平台

ubt_IL 是基于 HuggingFace LeRobot 的模仿学习平台,覆盖从 HDF5 采集数据到可部署策略模型的完整链路。转换、训练、评估全部在 LeRobot + ROS2 容器内完成,各机型配置相互隔离、流程完全一致:

HDF5 采集数据 ─► 转换为 LeRobot v3 ─► 可视化检查 ─► 训练(ACT / Pi0.5)─► 离线 MSE 评估 ─► 部署(仿真/真机)

数据来源:仿真平台 仿真采集,或真机遥操作采集。主要用途:

  • 数据转换:将仿真 / 真机采集的 HDF5 数据统一转为 LeRobot v3 标准格式
  • 策略训练:提供 ACT(天工行者 / 天工行者 Dex / Walker S2 EDU 探索者 / Walker C1 EDU 共创者)与 Pi0.5 VLA(Walker S2 EDU 探索者)训练配方
  • 离线评估:训练后先做 MSE 评估快速筛除欠拟合模型,降低真机部署风险

平台架构

单容器流水线,每个阶段均为「脚本 + JSON 配置」,按机型分目录维护:

阶段 位置 说明
数据转换 scripts/convert/<机型>/ convert.sh + configs/*.json,HDF5 → LeRobot v3
可视化检查 LeRobot 可视化器 回放检查动作与图像对齐,避免脏数据进训练
训练 scripts/train/<机型>/ train.sh + configs/*.json,ACT / Pi0.5
评估 scripts/eval/eval_policy.py 离线 MSE 评估,各机型共用
部署 scripts/deploy/<机型>/ rollout.sh 等推理部署脚本,衔接仿真 / 真机全流程
输出 dataset/ · model/ LeRobot 数据集与模型 checkpoint 落盘目录

可视化与评估预览

数据集可视化(LeRobot 可视化器回放):

天工行者

天工仿真数据集可视化

Walker S2 EDU 探索者

Walker 仿真数据预览

离线 MSE 评估曲线:

天工行者

天工模型离线评估曲线

Walker S2 EDU 探索者

Walker 仿真离线评估曲线

策略部署效果(训练完成的模型在仿真 / 真机上运行):

天工行者 仿真

天工行者 真机

Walker S2 EDU 探索者 仿真

Walker S2 EDU 探索者 真机

文档导航

子模块 说明
容器构建与使用 各机型一致的容器构建、架构自动选择与容器内 Python 环境
天工行者 13D/26D 转换配置、ACT 训练、离线评估
天工行者 Dex 20D/13D 转换配置(因时/强脑)、ACT 训练、离线评估
Walker S2 EDU 探索者 10D/33D 转换配置、ACT / Pi0.5 训练、离线评估
Walker C1 EDU 共创者 26D/13D 转换配置、ACT 训练、离线评估

通用参考:数据转换详解 · HDF5 数据布局 · HF 数据/模型管理

评估通过后进入对应机型真机全流程部署:天工行者 / 天工行者 Dex / Walker S2 EDU 探索者 / Walker C1 EDU 共创者。