ILImitation Learning具身模仿學(xué)習(xí)完整工程鏈路動(dòng)捕 / 遙操作數(shù)采 → 訓(xùn)練 → 仿真 → 真機(jī)部署主線大方向是數(shù)據(jù)采集 → 策略訓(xùn)練 → 仿真驗(yàn)證 → 真機(jī)部署推理。但這是簡(jiǎn)化版。工業(yè) / 實(shí)驗(yàn)室完整閉環(huán)是迭代循環(huán)中間還有大量容易被忽略的環(huán)節(jié)而且真機(jī)部署后還有評(píng)估、安全調(diào)優(yōu)、數(shù)據(jù)回流。下面把全鏈路按順序拆成【主流程 配套環(huán)節(jié) 迭代閉環(huán)】區(qū)分離線階段、仿真階段、真機(jī)階段、數(shù)據(jù)回流同時(shí)標(biāo)注哪些是必選、哪些是可選以及對(duì)應(yīng)的動(dòng)作主干MLP/TCN/LSTM/Transformer/Mamba。前置說(shuō)明這里是動(dòng)捕采集人類(lèi)示教數(shù)據(jù)的模仿學(xué)習(xí)流程BVH 人體動(dòng)捕、全身 / 靈巧手動(dòng)作捕捉不是純遙操作手柄采集。一、完整全流程階段 1示教數(shù)據(jù)采集與數(shù)據(jù)治理動(dòng)捕 - 數(shù)采【離線】「動(dòng)捕 - 數(shù)采」就在這一步不只是錄 BVH場(chǎng)景標(biāo)定 軟硬件標(biāo)定動(dòng)捕相機(jī)標(biāo)定、相機(jī)內(nèi)參 / 外參、手眼標(biāo)定、機(jī)器人 URDF 標(biāo)定、坐標(biāo)系對(duì)齊標(biāo)定傳感器延遲、關(guān)節(jié)零位。人類(lèi)示教采集光學(xué)動(dòng)捕 / 慣性動(dòng)捕采集人體 / 人手軌跡輸出 BVH同步錄制機(jī)器人本體觀測(cè)RGB、深度圖、關(guān)節(jié)角度、力矩同步錄制指令文本 / 目標(biāo)圖片VLA 任務(wù)。可選混合采集動(dòng)捕 遙操作手柄補(bǔ)充困難樣本。原始數(shù)據(jù)清洗、過(guò)濾剔除跳點(diǎn)、Marker 丟失、采集卡頓、無(wú)效 demo濾波卡爾曼 / 指數(shù)濾波去除動(dòng)捕抖動(dòng)剔除碰撞超限、奇異位姿樣本。軌跡重投影 運(yùn)動(dòng)學(xué)映射人體動(dòng)捕是人體骨骼不能直接喂給機(jī)器人需要逆運(yùn)動(dòng)學(xué) IK 映射把人體骨骼姿態(tài)映射成機(jī)器人關(guān)節(jié)目標(biāo)軌跡做運(yùn)動(dòng)學(xué)裁剪、關(guān)節(jié)限位檢查、自碰撞檢測(cè)把人體動(dòng)作適配機(jī)器人形態(tài)。數(shù)據(jù)集構(gòu)建、格式轉(zhuǎn)換、數(shù)據(jù)增強(qiáng)轉(zhuǎn) HDF5/Zarr/ LeRobot 格式時(shí)序切片、窗口采樣、動(dòng)作下采樣圖像增強(qiáng)、時(shí)序噪聲注入、時(shí)間軸擾動(dòng)劃分訓(xùn)練集 / 驗(yàn)證集。數(shù)據(jù)集質(zhì)量評(píng)估統(tǒng)計(jì) demo 成功率、軌跡分布、動(dòng)作多樣性檢查動(dòng)作多模態(tài)是否充足避免全部是單一軌跡造成策略均值坍縮。產(chǎn)出清洗對(duì)齊后的示教數(shù)據(jù)集階段 2策略訓(xùn)練與模型調(diào)優(yōu)【離線】策略選型 模型搭建選擇主干網(wǎng)絡(luò)MLP /1D-TCN / LSTM / Transformer (ACT/DiT) / Mamba定義觀測(cè)空間、動(dòng)作空間、預(yù)測(cè) horizon、動(dòng)作 chunk 長(zhǎng)度。訓(xùn)練配置優(yōu)化器、學(xué)習(xí)率調(diào)度、損失函數(shù)動(dòng)作歸一化、觀測(cè)歸一化CVAE / 擴(kuò)散模型的噪聲調(diào)度等。離線訓(xùn)練 驗(yàn)證集評(píng)估在 GPU 集群訓(xùn)練每輪在驗(yàn)證集計(jì)算損失、動(dòng)作預(yù)測(cè)誤差、時(shí)序軌跡可視化做早停防止過(guò)擬合。離線仿真前的模型靜態(tài)評(píng)估可視化預(yù)測(cè)動(dòng)作序列看預(yù)測(cè)軌跡是否平滑、是否超出關(guān)節(jié)限位分析分布偏移預(yù)測(cè)動(dòng)作和示教動(dòng)作的分布差異。產(chǎn)出訓(xùn)練好的策略權(quán)重文件.pt/.pth到此離線訓(xùn)練完成但模型只見(jiàn)過(guò)歷史 demo沒(méi)有和環(huán)境交互。階段 3仿真環(huán)境測(cè)試 域隨機(jī)化仿真不是只跑一遍看能不能動(dòng)是一套閉環(huán)驗(yàn)證仿真環(huán)境搭建MuJoCo / Gazebo / IsaacSim導(dǎo)入機(jī)器人 URDF/SDF重建任務(wù)場(chǎng)景、物體模型物理參數(shù)質(zhì)量、摩擦、阻尼配置。策略仿真部署開(kāi)環(huán)測(cè)試把訓(xùn)練權(quán)重加載進(jìn)仿真輸入仿真虛擬傳感器輸出動(dòng)作跑 demo 任務(wù)開(kāi)環(huán)驗(yàn)證軌跡形態(tài)。閉環(huán)仿真評(píng)估 大規(guī)模批量評(píng)測(cè)滾動(dòng)時(shí)域推理Receding HorizonACT/Diffusion/Mamba 都要用多次隨機(jī)種子跑大量 episode統(tǒng)計(jì)成功率、軌跡誤差、碰撞次數(shù)、完成時(shí)長(zhǎng)。域隨機(jī)化 Domain Randomization非常關(guān)鍵隨機(jī)化物體質(zhì)量、摩擦、相機(jī)噪聲、光照、關(guān)節(jié)噪聲、傳感器延遲測(cè)試策略魯棒性縮小「仿真 - 真機(jī)」的域差距Sim2Real。仿真故障挖掘 策略迭代收集仿真失敗案例卡住、碰撞、目標(biāo)偏移分析失敗原因數(shù)據(jù)不足、過(guò)擬合、動(dòng)作分布問(wèn)題回到階段 1 補(bǔ)充困難樣本重新訓(xùn)練?？蛇x仿真世界模型預(yù)評(píng)估Mamba/Transformer 世界模型預(yù)測(cè)未來(lái)狀態(tài)產(chǎn)出仿真驗(yàn)證通過(guò)的模型失敗樣本集階段 4真機(jī)安全預(yù)測(cè)試獨(dú)立環(huán)節(jié)很多工程方案會(huì)單獨(dú)拎出來(lái)不能直接上全閉環(huán)?? 仿真沒(méi)問(wèn)題 ≠ 真機(jī)能跑。真機(jī)有硬件安全這一步是仿真到真機(jī)之間的過(guò)渡容易被忽略安全限位配置軟件關(guān)節(jié)限位、力矩閾值、碰撞檢測(cè)急停、速度限幅安全監(jiān)控線程獨(dú)立于 AI 策略硬安全AI 崩潰也能觸發(fā)急停。真機(jī)開(kāi)環(huán)回放測(cè)試固定機(jī)器人只執(zhí)行預(yù)測(cè)軌跡不做視覺(jué)閉環(huán)回放整條動(dòng)作序列看關(guān)節(jié)運(yùn)動(dòng)、奇異位姿、力矩是否超限不做環(huán)境交互。低速度、簡(jiǎn)化場(chǎng)景小范圍閉環(huán)測(cè)試降低運(yùn)動(dòng)速度簡(jiǎn)化場(chǎng)景少量 episode 小批量測(cè)試人工全程監(jiān)護(hù)。產(chǎn)出安全校驗(yàn)通過(guò)的策略確認(rèn)不會(huì)損壞硬件階段 5真機(jī)部署推理 真機(jī)在線評(píng)估模型部署優(yōu)化模型量化、ONNX 導(dǎo)出、TensorRT / TorchRT、算子適配Mamba 還要特殊 CUDA 算子搭建推理服務(wù)ROS2/FastAPI構(gòu)建觀測(cè)推理流水線相機(jī)采集→圖像編碼→時(shí)序觀測(cè)緩存→策略推理→動(dòng)作輸出給控制器。真機(jī)閉環(huán)推理實(shí)驗(yàn)滾動(dòng)時(shí)域執(zhí)行策略機(jī)器人和真實(shí)環(huán)境交互執(zhí)行任務(wù)。真機(jī)指標(biāo)評(píng)估任務(wù)成功率、動(dòng)作完成度、軌跡平滑度、接觸力矩、推理延遲、抖動(dòng)情況記錄各類(lèi)真機(jī)失敗案例物體滑動(dòng)、相機(jī)反光、動(dòng)捕 / 視覺(jué)噪聲帶來(lái)的域偏移。產(chǎn)出真機(jī)實(shí)驗(yàn)日志、視頻、失敗樣本階段 6在線數(shù)據(jù)回流 迭代閉環(huán)長(zhǎng)期持續(xù)具身項(xiàng)目核心模仿學(xué)習(xí)不是一次性訓(xùn)練完就結(jié)束是持續(xù)自迭代閉環(huán)真機(jī)失敗案例采集采集真機(jī)上策略失敗的軌跡視覺(jué)、本體、動(dòng)作也可以用自助示教、干預(yù)學(xué)習(xí)Human-in-the-loop策略快要失敗時(shí)人介入遙控修正動(dòng)作保存修正后的軌跡。新增樣本合并進(jìn)數(shù)據(jù)集把真機(jī)新采集樣本合并到原始數(shù)據(jù)集再次回到【階段 1 數(shù)據(jù)清洗】重新訓(xùn)練模型。經(jīng)典范式Dataset → Train → Sim → Real → Collect new demo → Dataset二、可選的高級(jí)環(huán)節(jié)視項(xiàng)目目標(biāo)選擇不是必選離線 RL 微調(diào) / 對(duì)抗模仿GAIL/AMP只用 BC 容易分布偏移可以在 BC 預(yù)訓(xùn)練之后在仿真中做 AMP/GAIL/PPO 微調(diào)進(jìn)一步優(yōu)化策略適配物理交互。世界模型預(yù)訓(xùn)練用 Mamba/Transformer 預(yù)先學(xué)習(xí)環(huán)境動(dòng)力學(xué)在想象世界里做預(yù)訓(xùn)練減少真機(jī)試錯(cuò)。A/B 消融實(shí)驗(yàn)對(duì)比不同主干網(wǎng)絡(luò)、不同 horizon、不同數(shù)據(jù)增強(qiáng)方案的性能差異論文 / 投標(biāo)項(xiàng)目常用。策略蒸餾大模型Transformer/Mamba蒸餾成輕量 MLP / 小 TCN降低推理延遲用于硬件。魯棒性壓力測(cè)試主動(dòng)加入傳感器噪聲、遮擋、物體位置擾動(dòng)做邊界 case 測(cè)試。三、極簡(jiǎn)主線 vs 完整閉環(huán)總結(jié)最簡(jiǎn)學(xué)術(shù)小 demo 鏈路你說(shuō)的那條動(dòng)捕數(shù)采 → 數(shù)據(jù)集處理 → 策略訓(xùn)練 → 仿真測(cè)試 → 真機(jī)部署推理適合快速驗(yàn)證 idea不考慮硬件安全、迭代。工程落地完整閉環(huán)鏈路產(chǎn)品級(jí)標(biāo)定 → 動(dòng)捕示教采集 → 數(shù)據(jù)清洗 IK 映射 → 數(shù)據(jù)集構(gòu)建增強(qiáng) → 策略訓(xùn)練 離線評(píng)估 → 仿真測(cè)試 域隨機(jī)化 → 真機(jī)安全預(yù)測(cè)試 → 真機(jī)部署推理 評(píng)估 → 失敗樣本回流循環(huán)迭代四、常見(jiàn)坑點(diǎn)動(dòng)捕數(shù)據(jù)IK 映射和坐標(biāo)系對(duì)齊是第一位很多項(xiàng)目訓(xùn)練 loss 很低、仿真正常真機(jī)完全跑偏仿真和真機(jī)存在 Sim2Real gap仿真完美真機(jī)容易失敗時(shí)序緩存管理LSTM/Transformer/Mamba 都要維護(hù)時(shí)序窗口 / 隱狀態(tài)真機(jī)推理時(shí)序管理 bug 非常多安全層必須獨(dú)立AI 策略不能負(fù)責(zé)硬件安全。