練可視化：日志、渲染與評估視頻)
LeRobot 訓(xùn)練可視化日志、渲染與評估視頻【免費下載鏈接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning項目地址: https://gitcode.com/GitHub_Trending/le/lerobot訓(xùn)練跑了一整夜早上打開曲線發(fā)現(xiàn) loss 在中段就平了而你能做的只有盯著終端日志猜原因。LeRobot 訓(xùn)練可視化的核心是把 loss、學(xué)習(xí)率、傳感器流、評估行為這些黑箱環(huán)節(jié)變成可查詢的圖表、實時窗口和可回放的視頻讓有 Python 基礎(chǔ)但剛接觸機器人學(xué)習(xí)方向的開發(fā)者調(diào)試時不再靠猜。這里覆蓋三個工具WandB 指標(biāo)日志、Rerun 實時渲染與評估視頻錄制。三個模塊按數(shù)據(jù)類型分工WandB 管離散的數(shù)字Rerun 管連續(xù)的幀視頻管需要你回看的行為。模塊用途觸發(fā)時機入口文件WandB 指標(biāo)日志記錄標(biāo)量指標(biāo)、checkpoint 與評估視頻訓(xùn)練循環(huán)按log_freq/ 評估步common/wandb_utils.pyRerun 實時渲染把觀測/動作幀流式推給本地查看器控制循環(huán)的每一幀utils/rerun_visualization.py評估視頻錄制把環(huán)境 rollout 渲染成 mp4每env_eval_freq訓(xùn)練步scripts/lerobot_eval.py WandB 指標(biāo)日志wandb 日志配置與指標(biāo)歸檔說白了WandB 是 LeRobot 訓(xùn)練可視化里數(shù)字的入口它在訓(xùn)練循環(huán)里按log_freq寫標(biāo)量指標(biāo)在保存 checkpoint 和評估節(jié)點歸檔模型權(quán)重與視頻。啟用它只需要在訓(xùn)練配置里填一段wandb: enable: true project: lerobot-training # 不填這個日志器根本不會創(chuàng)建 entity: your-team mode: online初始化條件是一個合取判斷缺一個就會被靜默跳過見 scripts/lerobot_train.pyif cfg.wandb.enable and cfg.wandb.project and is_main_process(): wandb_logger WandBLogger(cfg) # 終端會打印可點擊的 run 鏈接 else: wandb_logger None訓(xùn)練循環(huán)里train_tracker匯總的 loss 與學(xué)習(xí)率以train/前綴寫入評估分支則走eval/通道wandb_logger.log_dict(train_tracker.to_dict(), step) # train/loss、train/lr wandb_logger.log_dict({eval_loss: eval_loss}, step, modeeval)預(yù)期輸出儀表盤上出現(xiàn)train/loss、train/lr、eval_loss的交互式曲線每次運行自動帶上 policy 類型、seed、數(shù)據(jù)集標(biāo)簽超過 64 字符會被截斷checkpoint 以 model artifact 上傳終端用黃色高亮打印 run 地址點開即可對比多次實驗。易踩的坑log_dict只接受 int/float/str非標(biāo)量類型只會打一條 warning 后被丟棄純本地調(diào)試時把mode設(shè)為offline否則數(shù)據(jù)會持續(xù)堆積在output_dir/wandb下。標(biāo)量指標(biāo)進(jìn)了儀表盤之后Rerun 接手的就是連續(xù)的幀——那些沒法壓成一個數(shù)的傳感器流。 Rerun 實時渲染rerun 傳感器數(shù)據(jù)可視化Rerun 不掛訓(xùn)練循環(huán)它掛在錄制與遙操作的控制循環(huán)上每一幀的觀測和動作都推給本地查看器查看器由 SDK 直接拉起不需要你手動打開任何界面。入口是統(tǒng)一的分發(fā)函數(shù)由display_mode決定后端# 錄制腳本中初始化一次會話之后每幀打一次日志 init_visualization(cfg.display_mode, session_namerecording) log_visualization_data(cfg.display_mode, observationobs, actionaction)內(nèi)部按數(shù)據(jù)形狀自動分流標(biāo)量變成時間序列點一維數(shù)組整批合并進(jìn)同一條曲線圖像則先做布局轉(zhuǎn)換再上屏if arr.ndim 3 and arr.shape[0] in (1, 3, 4): arr np.transpose(arr, (1, 2, 0)) # CHW - HWC rr.log(key, rr.Image(arr))單通道深度圖會被直接套上 Viridis 色圖以DepthImage渲染不需要你預(yù)處理。預(yù)期輸出收到第一幀數(shù)據(jù)時查看器自動搭好網(wǎng)格布局——每個相機一路畫面、觀測與動作各一條時間序列。遙操作時你能同步看到相機畫面與每個關(guān)節(jié)的動作曲線在推進(jìn)易踩的坑要先裝可視化依賴pip install lerobot[viz]display_mode也只接受rerun與foxglove兩個值拼錯會直接拋ValueError。Rerun 給你看的是當(dāng)下的流訓(xùn)練階段你要的是回看行為這就是評估視頻補位的地方。 評估視頻錄制訓(xùn)練評估視頻回放訓(xùn)練掛了仿真環(huán)境cfg.env之后每env_eval_freq步會把策略放進(jìn)環(huán)境 rollout 一輪逐幀渲染成按 episode 劃分的 mp4首個視頻同時上傳 WandB讓指標(biāo)曲線和行為在同一頁對照eval_info eval_policy_all( envseval_env, policypolicy, n_episodescfg.eval.n_episodes, videos_dircfg.output_dir / eval / fvideos_step_{step_id}, ) wandb_logger.log_video( eval_info[overall][video_paths][0], step, modeeval, )預(yù)期輸出本地output_dir/eval/videos_step_{step}/下出現(xiàn)eval_episode_*.mp4完整記錄若干個 episode 從初始狀態(tài)到結(jié)束的全過程WandB 的 run 頁在對應(yīng) step 處出現(xiàn)eval/video字段點擊即可內(nèi)嵌預(yù)覽不必下載。易踩的坑eval_stepsheld-out 集上算 eval loss和env_eval_freq環(huán)境 rollout 并出視頻是兩個獨立開關(guān)只開前者不會生成任何視頻。實戰(zhàn)組合把三個工具串起來用LeRobot 訓(xùn)練可視化這三個工具串起來用比單看任何一個都省事。三個高頻場景對比兩組超參的訓(xùn)練曲線。同一數(shù)據(jù)集跑兩次只改學(xué)習(xí)率。兩次運行的 WandB tag 會自動帶上 policy/seed/dataset天然可區(qū)分不用手動打標(biāo)疊加兩條train/loss與eval_loss曲線重點看 warmup 結(jié)束后的分叉位置曲線接近時再對比兩次 run 評估視頻的成功率差異。預(yù)期產(chǎn)出不改一行代碼就能判斷哪組超參收斂更快、后期是否過擬合。交叉定位異常幀。WandB 曲線上看到 step N 附近 reward 突變。先取outputs/eval/videos_step_N下的視頻回放看行為層面發(fā)生了什么視頻正常的話實際上問題在數(shù)據(jù)側(cè)——用遙操作重跑同一任務(wù)開 Rerun盯 observation 時間序列里是否有斷流。預(yù)期產(chǎn)出能分清異常來自策略輸出抖動還是某個傳感器瞬時丟幀?；胤乓淮问≡u估的完整軌跡。按 episode 取失敗樣本。eval_info的video_paths與successes一一對應(yīng)找出successFalse的那一路逐幀看對應(yīng)的eval_episode_*.mp4對照該 episode 的 reward 曲線定位失敗時刻。預(yù)期產(chǎn)出抓取打滑、初始位姿不對這類失敗原因直接看得出來。延伸路徑想看流式數(shù)據(jù)源下的訓(xùn)練鏈路examples/training/train_with_streaming.py想把 Rerun 換成瀏覽器端 Foxglove 后端src/lerobot/utils/foxglove_visualization.py不連實時流、直接離線瀏覽數(shù)據(jù)集幀src/lerobot/scripts/lerobot_dataset_viz.py。WandB 管數(shù)字、Rerun 管幀、視頻管行為這條 LeRobot 訓(xùn)練可視化的鏈路意味著訓(xùn)練再出問題你總能找到一個能直接看見它的窗口?！久赓M下載鏈接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning項目地址: https://gitcode.com/GitHub_Trending/le/lerobot創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 LeRobot 訓(xùn)練可視化：日志、渲染與評估視頻
LeRobot 訓(xùn)練可視化日志、渲染與評估視頻【免費下載鏈接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning項目地址: https://gitcode.com/GitHub_Trending/le/lerobot訓(xùn)練跑了一整夜早上打開曲線發(fā)現(xiàn) loss 在中段就平了而你能做的只有盯著終端日志猜原因。LeRobot 訓(xùn)練可視化的核心是把 loss、學(xué)習(xí)率、傳感器流、評估行為這些黑箱環(huán)節(jié)變成可查詢的圖表、實時窗口和可回放的視頻讓有 Python 基礎(chǔ)但剛接觸機器人學(xué)習(xí)方向的開發(fā)者調(diào)試時不再靠猜。這里覆蓋三個工具WandB 指標(biāo)日志、Rerun 實時渲染與評估視頻錄制。三個模塊按數(shù)據(jù)類型分工WandB 管離散的數(shù)字Rerun 管連續(xù)的幀視頻管需要你回看的行為。模塊用途觸發(fā)時機入口文件WandB 指標(biāo)日志記錄標(biāo)量指標(biāo)、checkpoint 與評估視頻訓(xùn)練循環(huán)按log_freq/ 評估步common/wandb_utils.pyRerun 實時渲染把觀測/動作幀流式推給本地查看器控制循環(huán)的每一幀utils/rerun_visualization.py評估視頻錄制把環(huán)境 rollout 渲染成 mp4每env_eval_freq訓(xùn)練步scripts/lerobot_eval.py WandB 指標(biāo)日志wandb 日志配置與指標(biāo)歸檔說白了WandB 是 LeRobot 訓(xùn)練可視化里數(shù)字的入口它在訓(xùn)練循環(huán)里按log_freq寫標(biāo)量指標(biāo)在保存 checkpoint 和評估節(jié)點歸檔模型權(quán)重與視頻。啟用它只需要在訓(xùn)練配置里填一段wandb: enable: true project: lerobot-training # 不填這個日志器根本不會創(chuàng)建 entity: your-team mode: online初始化條件是一個合取判斷缺一個就會被靜默跳過見 scripts/lerobot_train.pyif cfg.wandb.enable and cfg.wandb.project and is_main_process(): wandb_logger WandBLogger(cfg) # 終端會打印可點擊的 run 鏈接 else: wandb_logger None訓(xùn)練循環(huán)里train_tracker匯總的 loss 與學(xué)習(xí)率以train/前綴寫入評估分支則走eval/通道wandb_logger.log_dict(train_tracker.to_dict(), step) # train/loss、train/lr wandb_logger.log_dict({eval_loss: eval_loss}, step, modeeval)預(yù)期輸出儀表盤上出現(xiàn)train/loss、train/lr、eval_loss的交互式曲線每次運行自動帶上 policy 類型、seed、數(shù)據(jù)集標(biāo)簽超過 64 字符會被截斷checkpoint 以 model artifact 上傳終端用黃色高亮打印 run 地址點開即可對比多次實驗。易踩的坑log_dict只接受 int/float/str非標(biāo)量類型只會打一條 warning 后被丟棄純本地調(diào)試時把mode設(shè)為offline否則數(shù)據(jù)會持續(xù)堆積在output_dir/wandb下。標(biāo)量指標(biāo)進(jìn)了儀表盤之后Rerun 接手的就是連續(xù)的幀——那些沒法壓成一個數(shù)的傳感器流。 Rerun 實時渲染rerun 傳感器數(shù)據(jù)可視化Rerun 不掛訓(xùn)練循環(huán)它掛在錄制與遙操作的控制循環(huán)上每一幀的觀測和動作都推給本地查看器查看器由 SDK 直接拉起不需要你手動打開任何界面。入口是統(tǒng)一的分發(fā)函數(shù)由display_mode決定后端# 錄制腳本中初始化一次會話之后每幀打一次日志 init_visualization(cfg.display_mode, session_namerecording) log_visualization_data(cfg.display_mode, observationobs, actionaction)內(nèi)部按數(shù)據(jù)形狀自動分流標(biāo)量變成時間序列點一維數(shù)組整批合并進(jìn)同一條曲線圖像則先做布局轉(zhuǎn)換再上屏if arr.ndim 3 and arr.shape[0] in (1, 3, 4): arr np.transpose(arr, (1, 2, 0)) # CHW - HWC rr.log(key, rr.Image(arr))單通道深度圖會被直接套上 Viridis 色圖以DepthImage渲染不需要你預(yù)處理。預(yù)期輸出收到第一幀數(shù)據(jù)時查看器自動搭好網(wǎng)格布局——每個相機一路畫面、觀測與動作各一條時間序列。遙操作時你能同步看到相機畫面與每個關(guān)節(jié)的動作曲線在推進(jìn)易踩的坑要先裝可視化依賴pip install lerobot[viz]display_mode也只接受rerun與foxglove兩個值拼錯會直接拋ValueError。Rerun 給你看的是當(dāng)下的流訓(xùn)練階段你要的是回看行為這就是評估視頻補位的地方。 評估視頻錄制訓(xùn)練評估視頻回放訓(xùn)練掛了仿真環(huán)境cfg.env之后每env_eval_freq步會把策略放進(jìn)環(huán)境 rollout 一輪逐幀渲染成按 episode 劃分的 mp4首個視頻同時上傳 WandB讓指標(biāo)曲線和行為在同一頁對照eval_info eval_policy_all( envseval_env, policypolicy, n_episodescfg.eval.n_episodes, videos_dircfg.output_dir / eval / fvideos_step_{step_id}, ) wandb_logger.log_video( eval_info[overall][video_paths][0], step, modeeval, )預(yù)期輸出本地output_dir/eval/videos_step_{step}/下出現(xiàn)eval_episode_*.mp4完整記錄若干個 episode 從初始狀態(tài)到結(jié)束的全過程WandB 的 run 頁在對應(yīng) step 處出現(xiàn)eval/video字段點擊即可內(nèi)嵌預(yù)覽不必下載。易踩的坑eval_stepsheld-out 集上算 eval loss和env_eval_freq環(huán)境 rollout 并出視頻是兩個獨立開關(guān)只開前者不會生成任何視頻。實戰(zhàn)組合把三個工具串起來用LeRobot 訓(xùn)練可視化這三個工具串起來用比單看任何一個都省事。三個高頻場景對比兩組超參的訓(xùn)練曲線。同一數(shù)據(jù)集跑兩次只改學(xué)習(xí)率。兩次運行的 WandB tag 會自動帶上 policy/seed/dataset天然可區(qū)分不用手動打標(biāo)疊加兩條train/loss與eval_loss曲線重點看 warmup 結(jié)束后的分叉位置曲線接近時再對比兩次 run 評估視頻的成功率差異。預(yù)期產(chǎn)出不改一行代碼就能判斷哪組超參收斂更快、后期是否過擬合。交叉定位異常幀。WandB 曲線上看到 step N 附近 reward 突變。先取outputs/eval/videos_step_N下的視頻回放看行為層面發(fā)生了什么視頻正常的話實際上問題在數(shù)據(jù)側(cè)——用遙操作重跑同一任務(wù)開 Rerun盯 observation 時間序列里是否有斷流。預(yù)期產(chǎn)出能分清異常來自策略輸出抖動還是某個傳感器瞬時丟幀?；胤乓淮问≡u估的完整軌跡。按 episode 取失敗樣本。eval_info的video_paths與successes一一對應(yīng)找出successFalse的那一路逐幀看對應(yīng)的eval_episode_*.mp4對照該 episode 的 reward 曲線定位失敗時刻。預(yù)期產(chǎn)出抓取打滑、初始位姿不對這類失敗原因直接看得出來。延伸路徑想看流式數(shù)據(jù)源下的訓(xùn)練鏈路examples/training/train_with_streaming.py想把 Rerun 換成瀏覽器端 Foxglove 后端src/lerobot/utils/foxglove_visualization.py不連實時流、直接離線瀏覽數(shù)據(jù)集幀src/lerobot/scripts/lerobot_dataset_viz.py。WandB 管數(shù)字、Rerun 管幀、視頻管行為這條 LeRobot 訓(xùn)練可視化的鏈路意味著訓(xùn)練再出問題你總能找到一個能直接看見它的窗口?！久赓M下載鏈接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning項目地址: https://gitcode.com/GitHub_Trending/le/lerobot創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考