跳转至

Thinker-IL-LAB

Thinker 机器人模仿学习工具链，为 天工行者（无疆）、天工行者 Dex、Walker S2 EDU 探索者 与 Walker C1 EDU 共创者 等多款人形机器人提供从仿真数据采集到真机部署的完整模仿学习解决方案。

基于 NVIDIA Isaac Sim 与 HuggingFace LeRobot 框架构建。

GitHub 仓库 · LQX-Code-SH/Thinker-IL-LAB 快速开始

核心能力

能力 说明 状态
ROS 仿真环境 高逼真度 Isaac Sim 仿真，支持遥操作与数据采集 已完成
遥控操作 键盘/空间鼠标等设备遥操作，仿真与真机统一接口 开发中
数据采集与转换 HDF5 / LeRobot 格式数据采集，格式转换与清洗 已完成
模型训练 基于 LeRobot 的模仿学习策略训练（ACT / Pi0.5） 已完成
真机部署 模型推理与真机控制部署（含推理服务器常驻预热） 已完成
支持机型 天工行者（无疆）/ 天工行者 Dex / Walker S2 EDU 探索者 / Walker C1 EDU 共创者 已发布

效果展示

仿真平台预览

天工行者（无疆）

天工行者（无疆）仿真界面预览

天工行者 Dex

天工行者 Dex 仿真界面预览

Walker S2 EDU 探索者

Walker S2 EDU 探索者 仿真界面预览

Walker C1 EDU 共创者

Walker C1 EDU 共创者 仿真界面预览

部署效果

天工行者 仿真

天工行者 真机

Walker S2 EDU 探索者 仿真

Walker S2 EDU 探索者 真机

天工行者 Dex 仿真

天工行者 Dex 真机

Walker C1 EDU 共创者 仿真

Walker C1 EDU 共创者 真机

应用案例

Walker S2 EDU 探索者 · VLA 抓取与搬运

详见 Walker S2 EDU 探索者 应用案例。

整体架构

仓库包含 ubt_sim（仿真平台）与 ubt_IL（模仿学习平台）两个子项目，关系与数据流：

┌──────────────────────────────────────────────────────────────────────────┐
│                            ubt_IL 模仿学习平台                             │
│                数据转换 ──► 模型训练 ──► 离线评估 ─► 推理部署                 │
└───────────▲───────────────┬──────────────────────▲──────────────┬────────┘
            │               │④仿真部署              │              │⑤真机部署
            │①数据采集       ▼ （ROS桥接）           │②真机采集      │（ROS桥接）
   ┌────────┴────────────────┐        ┌─────────────┴──────────────▼──────┐
   │      ubt_sim 仿真平台    │        │ 真机（天工行者 / Dex / Walker S2 / C1）│
   │     （Isaac Sim 容器）   │        │     ROS_DOMAIN_ID=0 直连网段        │
   └─────────────────────────┘        └───────────────────────────────────┘

详细说明见 架构总览。

从这里开始

  • 快速开始 - 克隆代码、环境要求、全流程一览（支持按平台 / 按机型两种入口）
  • 仿真平台 - Isaac Sim 仿真、遥操作与数据采集（天工行者 / Dex / Walker S2 / C1）
  • 模仿学习平台 - 数据转换、模型训练（ACT / Pi0.5）、离线评估
  • 天工行者 - 仿真 / 转换 / 训练 / 仿真与真机部署 / ARM 板端部署
  • 天工行者 Dex - 单臂灵巧手：仿真 / 转换 / 训练 / 真机部署 / 机器人本体部署
  • Walker S2 EDU 探索者 - 仿真 / 转换 / 训练 / 部署 / 推理服务器
  • Walker C1 EDU 共创者 - 双臂灵巧手：仿真 / 转换 / 训练 / 真机部署 / 推理服务器
  • 通用参考 - 数据转换详解、数据回放、HuggingFace 数据/模型管理

致谢

本项目站在以下开源项目的肩膀上，谨致谢忱：

License

Apache-2.0