模仿学习平台¶
ubt_IL 是基于 HuggingFace LeRobot 的模仿学习平台,覆盖从 HDF5 采集数据到可部署策略模型的完整链路。转换、训练、评估全部在 LeRobot + ROS2 容器内完成,各机型配置相互隔离、流程完全一致:
数据来源:仿真平台 仿真采集,或真机遥操作采集。主要用途:
- 数据转换:将仿真 / 真机采集的 HDF5 数据统一转为 LeRobot v3 标准格式
- 策略训练:提供 ACT(天工行者 / 天工行者 Dex / Walker S2 EDU 探索者 / Walker C1 EDU 共创者)与 Pi0.5 VLA(Walker S2 EDU 探索者)训练配方
- 离线评估:训练后先做 MSE 评估快速筛除欠拟合模型,降低真机部署风险
平台架构¶
单容器流水线,每个阶段均为「脚本 + JSON 配置」,按机型分目录维护:
| 阶段 | 位置 | 说明 |
|---|---|---|
| 数据转换 | scripts/convert/<机型>/ |
convert.sh + configs/*.json,HDF5 → LeRobot v3 |
| 可视化检查 | LeRobot 可视化器 | 回放检查动作与图像对齐,避免脏数据进训练 |
| 训练 | scripts/train/<机型>/ |
train.sh + configs/*.json,ACT / Pi0.5 |
| 评估 | scripts/eval/eval_policy.py |
离线 MSE 评估,各机型共用 |
| 部署 | scripts/deploy/<机型>/ |
rollout.sh 等推理部署脚本,衔接仿真 / 真机全流程 |
| 输出 | dataset/ · model/ |
LeRobot 数据集与模型 checkpoint 落盘目录 |
可视化与评估预览¶
数据集可视化(LeRobot 可视化器回放):
天工行者

Walker S2 EDU 探索者

离线 MSE 评估曲线:
天工行者

Walker S2 EDU 探索者

策略部署效果(训练完成的模型在仿真 / 真机上运行):
天工行者 仿真
天工行者 真机
Walker S2 EDU 探索者 仿真
Walker S2 EDU 探索者 真机
文档导航¶
| 子模块 | 说明 |
|---|---|
| 容器构建与使用 | 各机型一致的容器构建、架构自动选择与容器内 Python 环境 |
| 天工行者 | 13D/26D 转换配置、ACT 训练、离线评估 |
| 天工行者 Dex | 20D/13D 转换配置(因时/强脑)、ACT 训练、离线评估 |
| Walker S2 EDU 探索者 | 10D/33D 转换配置、ACT / Pi0.5 训练、离线评估 |
| Walker C1 EDU 共创者 | 26D/13D 转换配置、ACT 训练、离线评估 |
通用参考:数据转换详解 · HDF5 数据布局 · HF 数据/模型管理
评估通过后进入对应机型真机全流程部署:天工行者 / 天工行者 Dex / Walker S2 EDU 探索者 / Walker C1 EDU 共创者。