指標(biāo)完全清單:從RMSE到Silog的12個(gè)深度補(bǔ)全指標(biāo)詳解)
self-supervised-depth-completion評價(jià)指標(biāo)完全清單從RMSE到Silog的12個(gè)深度補(bǔ)全指標(biāo)詳解【免費(fèi)下載鏈接】self-supervised-depth-completionICRA 2019 Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera項(xiàng)目地址: https://gitcode.com/gh_mirrors/se/self-supervised-depth-completionself-supervised-depth-completion是 MIT 團(tuán)隊(duì)發(fā)表于 ICRA 2019 的自監(jiān)督深度補(bǔ)全項(xiàng)目用 LiDAR 稀疏點(diǎn) 單目相機(jī)在 KITTI 數(shù)據(jù)集上無需真值標(biāo)簽就能訓(xùn)練稠密深度估計(jì)。本文帶你 10 分鐘讀懂倉庫metrics.py里全部12 個(gè)深度補(bǔ)全評價(jià)指標(biāo)RMSE、MAE、Silog、AbsRel、Delta1…的含義、單位與計(jì)算方式并告訴你新手該優(yōu)先盯哪幾個(gè)。一、12個(gè)深度補(bǔ)全指標(biāo)總覽一張表看懂指標(biāo)體系項(xiàng)目的評估邏輯全部集中在metrics.py的Result.evaluate()中。每個(gè)驗(yàn)證樣本獨(dú)立計(jì)算一次再由AverageMeter對整組取平均。12 個(gè)核心指標(biāo)可按誤差視角分為 5 組#指標(biāo)全稱單位優(yōu)化方向一句話解讀1RMSERoot Mean Squared Errormm↓ 越小越好均方根誤差加權(quán)放大大誤差2MAEMean Absolute Errormm↓ 越小越好平均絕對誤差最直觀的平均差多少毫米3MSEMean Squared Errormm2↓ 越小越好RMSE 的平方對大誤差更敏感4iRMSEInverse RMSEkm↓ 越小越好在倒數(shù)深度空間算的 RMSE5iMAEInverse MAEkm↓ 越小越好倒數(shù)深度空間的平均絕對誤差6AbsRelAbsolute Relative Error無量綱↓ 越小越好平均相對誤差差值÷真值7SqRelSquared Relative Error無量綱↓ 越小越好相對誤差的平方均值8Lg10Log Error (base 10)無量綱↓ 越小越好對數(shù)域的平均絕對誤差9Delta1δ? max(p/t, t/p) 1.25%↑ 越大越好預(yù)測落在真值 1.25 倍以內(nèi)的像素比例10Delta2δ?閾值 1.252 ≈ 1.56%↑ 越大越好更寬松的精度比例11Delta3δ?閾值 1.253 ≈ 1.95%↑ 越大越好最寬松的精度比例12SilogScale-Invariant Log Error%↓ 越小越好尺度無關(guān)的對數(shù)誤差自監(jiān)督訓(xùn)練的關(guān)鍵指標(biāo) 此外Result中還有 3 個(gè)輔助字段photometric光度損失值僅自監(jiān)督訓(xùn)練時(shí)有意義、data_time/gpu_time數(shù)據(jù)加載與 GPU 耗時(shí)它們不參與模型質(zhì)量排名。二、看懂指標(biāo)前先搞懂 3 個(gè)前提 ??在逐條拆解公式前metrics.py里有 3 個(gè)約定必須知道否則單位會(huì)算錯(cuò)有效像素掩碼valid_mask target 0.1metrics.py第 66 行——只有真值深度大于 0.1 米的像素才參與所有指標(biāo)計(jì)算無效區(qū)域被整體剔除。三套單位并存絕對/相對/對數(shù)組MSE、RMSE、MAE、Lg10、AbsRel、SqRel、Delta 系列先按1e3把米換算成毫米再計(jì)算Silog直接使用米倒數(shù)組iRMSE、iMAE換算成公里后取倒數(shù)。逐圖計(jì)算再平均每驗(yàn)證一張圖調(diào)一次evaluate()AverageMetermetrics.py第 105 行累加求和最后除以樣本數(shù)count得到整組平均值——你看到的日志數(shù)字是每張圖誤差的均值而非全部像素的總均值。三、逐組詳解從RMSE到Silog的12個(gè)指標(biāo)怎么算3.1 絕對誤差組MSE / RMSE / MAE毫米對有效像素設(shè)預(yù)測為p、真值為t單位 mmabs_diff |p ? t|MAE mean(abs_diff)平均每個(gè)像素差多少毫米最貼近直觀感受MSE mean(abs_diff2)平方后放大大誤差RMSE √MSE與真值同單位的典型誤差尺度也是本項(xiàng)目默認(rèn)的模型排名指標(biāo)main.py中--rank-metric默認(rèn)值rmse。 對應(yīng)metrics.py第 74–75 行RMSE 恒等于 MSE 的平方根兩者信息等價(jià)報(bào)告時(shí)通常只留其一。3.2 相對誤差組AbsRel / SqRelAbsRel mean(|p ? t| / t)誤差占真值的平均比例。10 米的物體差 1 米1 米的物體也差 1 米——絕對誤差下二者相同AbsRel 能區(qū)分這種相對不準(zhǔn)SqRel mean((|p ? t| / t)2)相對誤差的平方版本懲罰更狠。遠(yuǎn)距離場景中真值 t 很大AbsRel 對遠(yuǎn)場的魯棒性優(yōu)于 MAE/RMSE是深度補(bǔ)全論文里最常并列報(bào)告的指標(biāo)之一。3.3 對數(shù)誤差組Lg10 / SilogLg10 mean(|log??p ? log??t|)在 10 底對數(shù)域度量誤差天然抑制遠(yuǎn)近倍差數(shù)值小KITTI 上常在 0.1 上下SilogScale-Invariant Log Error尺度無關(guān)對數(shù)誤差e log(t) ? log(p) 單位米 Silog sqrt( mean(e2) ? (mean(e))2 ) × 100它本質(zhì)是對數(shù)誤差的樣本標(biāo)準(zhǔn)差 × 100減去均值項(xiàng)后預(yù)測整體偏大或偏小全局尺度偏移不再被懲罰。這正是自監(jiān)督框架的護(hù)身符——sparsephoto訓(xùn)練模式下沒有真值監(jiān)督網(wǎng)絡(luò)輸出可能整體漂移Silog 依然能公平反映其相對幾何質(zhì)量。3.4 閾值精度組Delta1 / Delta2 / Delta3KITTI 深度補(bǔ)全基準(zhǔn)的經(jīng)典三件套。先算雙向比值maxRatio max( p / t , t / p )Delta1maxRatio 1.25 的像素占比約誤差在 ±25% 內(nèi)Delta2maxRatio 1.252 ≈ 1.56 的像素占比Delta3maxRatio 1.253 ≈ 1.95 的像素占比。三個(gè)值是及格率曲線Delta3 ≥ Delta2 ≥ Delta1。Delta1 高說明近處結(jié)構(gòu)精確Delta3 高說明大尺度趨勢正確。它們以 0–1 的小數(shù)存儲展示時(shí)一般 ×100 變成百分比。3.5 倒數(shù)誤差組iRMSE / iMAE公里倒數(shù)深度1/d在相機(jī)幾何里對應(yīng)反投影平面上的位置對近距離誤差不那么敏感、對遠(yuǎn)場結(jié)構(gòu)更友好。實(shí)現(xiàn)上先把預(yù)測與真值換算成公里再取倒數(shù)然后照搬 3.1 節(jié)的公式iRMSE √mean( |1/p ? 1/t|2 )iMAE mean( |1/p ? 1/t| )它們與 RMSE/MAE 是互補(bǔ)視角若 RMSE 高而 iMAE 低往往說明遠(yuǎn)場誤差主導(dǎo)了絕對誤差。3.6 輔助項(xiàng)Photometric 與計(jì)時(shí)指標(biāo)Photometric自監(jiān)督訓(xùn)練--train-mode含photo時(shí)把預(yù)測深度反投影 warp 相鄰幀并與當(dāng)前幀 RGB 比對的 L1 損失criteria.py的PhotometricLoss經(jīng)inverse_warp.py完成反投影。它不是深度誤差但數(shù)值下降說明幾何一致性在改善data_time / gpu_time數(shù)據(jù)加載與單步前向耗時(shí)用于定位 I/O 瓶頸而非模型質(zhì)量。四、訓(xùn)練日志里的指標(biāo)長什么樣train.csv / val.csv / best.txt每輪訓(xùn)練結(jié)束helper.py的logger會(huì)把平均指標(biāo)追加寫入結(jié)果目錄train.csv / val.csv表頭由fieldnames定義helper.py第 9–13 行共 16 列epoch, rmse, photo, mae, irmse, imae, mse, absrel, lg10, silog, squared_rel, delta1, delta2, delta3, data_time, gpu_time——上面 12 個(gè)核心指標(biāo)一個(gè)不少best.txt / eval.txt單輪評估的摘要save_single_txt第 112–124 行包含rank_metric、rmse、mae、silog、squared_rel、irmse、imae、mse、absrel、lg10、delta1等字段最佳模型保存rank_conditional_save_best()第 160–168 行按--rank-metric指定的指標(biāo)比較驗(yàn)證集更優(yōu)時(shí)把 checkpoint 復(fù)制為model_best.pth.tar。想換排名標(biāo)準(zhǔn)很簡單訓(xùn)練時(shí)加參數(shù)即可main.py第 97–103 行任何Result屬性都可選# 默認(rèn)按 RMSE 排名改成按 Silog 排名 python main.py --evaluate [checkpoint-path] --rank-metric silog --val select每 10 步--print-freq的終端日志也會(huì)按RMSE / MAE / iRMSE / iMAE / silog / squared_rel / Delta1 / REL / Lg10 / Photometric的順序滾動(dòng)打印格式見helper.py的conditional_print。五、實(shí)戰(zhàn)指南新手應(yīng)該優(yōu)先盯哪幾個(gè)指標(biāo)全部 12 個(gè)指標(biāo)都值得記錄但日常盯盤建議抓 4 個(gè)RMSEmm——項(xiàng)目默認(rèn)排名指標(biāo)數(shù)值可直讀補(bǔ)全深度平均偏多少毫米Silog%——自監(jiān)督路線的成績單不受全局尺度偏移干擾適合對比dense與sparsephoto兩種訓(xùn)練模式Delta1%——25% 閾值內(nèi)像素占比最接近人類感知Delta1 高深度圖肉眼看著才靠譜AbsRel——補(bǔ)充相對精度視角尤其關(guān)注遠(yuǎn)距離表現(xiàn)。避坑清單??別把 RMSEmm和 Silog%放在一起比大小單位完全不同Silog 實(shí)現(xiàn)是對數(shù)誤差標(biāo)準(zhǔn)差 × 100與其他論文里的 √(mean e2) 形式略有差異跨論文對比時(shí)注意公式Delta 系列是比例0–1不是誤差值優(yōu)化方向與其他指標(biāo)相反——越大越好所有指標(biāo)都只在target 0.1米的有效像素上計(jì)算無效像素不產(chǎn)生梯度之外的任何影響。六、常見問題 FAQQ1為什么同一份代碼里出現(xiàn) mm、m、km 三種單位各指標(biāo)沿襲 KITTI 社區(qū)習(xí)慣絕對/相對/對數(shù)指標(biāo)用 mm精度直觀Silog 用 m對數(shù)域尺度無關(guān)倒數(shù)指標(biāo)用 km與經(jīng)典 Stereo 評測保持一致。讀結(jié)果前先對照上表即可。Q2--train-mode sparsephoto時(shí) photometric 列為 0 怎么辦只有訓(xùn)練模式包含photo時(shí)光度損失才生效dense模式下該列恒為 0屬正常現(xiàn)象。Q3驗(yàn)證時(shí)用哪個(gè)驗(yàn)證集main.py的--val select默認(rèn)val_selection_cropped子集或--val full全量 val前者更快適合日常調(diào)參。小結(jié)metrics.py一個(gè)文件里裝下了深度補(bǔ)全評測的全部家當(dāng)——絕對誤差MSE/RMSE/MAE、相對誤差A(yù)bsRel/SqRel、對數(shù)誤差Lg10/Silog、閾值精度Delta1/2/3與倒數(shù)誤差iRMSE/iMAE外加光度損失與計(jì)時(shí)輔助項(xiàng)。記住mm 組看精度、Silog 看自監(jiān)督一致性、Delta 組看及格率再配合train.csv / val.csv / best.txt三份日志你就能完整追蹤一次深度補(bǔ)全實(shí)驗(yàn)的每一步進(jìn)展?!久赓M(fèi)下載鏈接】self-supervised-depth-completionICRA 2019 Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera項(xiàng)目地址: https://gitcode.com/gh_mirrors/se/self-supervised-depth-completion創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考