訓(xùn)練完一個(gè) YOLO 模型終端日志刷完最后一輪runs/detect/train/目錄里躺著一堆文件results.csv、results.png、confusion_matrix.png、PR_curve.png還有十幾張預(yù)測(cè)可視化圖。絕大多數(shù)人這個(gè)時(shí)候只做一件事——翻到results.csv最后一行看一眼metrics/mAP50(B)0.9 就發(fā)朋友圈0.3 就換個(gè)模型重跑。但真正把這批文件讀進(jìn)去的人會(huì)發(fā)現(xiàn)訓(xùn)練結(jié)果分析這件事的含金量恰恰在于那些看起來(lái)不好看的曲線里。同一個(gè) 0.78 的 mAP50可能是一個(gè)已經(jīng)到天花板的模型也可能是一個(gè)再改兩行配置就能沖到 0.88 的模型區(qū)別就在于你會(huì)不會(huì)讀它給出的證據(jù)。這篇內(nèi)容面向的是已經(jīng)跑通 YOLO 訓(xùn)練流程、能把模型訓(xùn)出結(jié)果但拿到結(jié)果之后不太確定下一步該動(dòng)什么的人——不管是 YOLOv5 時(shí)代過(guò)來(lái)的老手還是直接用 YOLOv8、YOLO11 起步的新人讀曲線、讀混淆矩陣、讀預(yù)測(cè)圖的這套方法都是通用的。1. results.csv 不是成績(jī)單而是七條線索的合集1.1 一次訓(xùn)練真正留下的可分析產(chǎn)物很多人把訓(xùn)練輸出當(dāng)成一個(gè)黑盒的結(jié)果文件實(shí)際上它至少包含四類互相印證的證據(jù)缺了任何一類你的判斷都會(huì)偏。第一類是數(shù)值趨勢(shì)也就是results.csv里的逐 epoch 記錄它告訴你模型是怎么一步步走到今天的第二類是匯總曲線也就是results.png它把 CSV 里的列畫(huà)成折線方便你一眼看形狀第三類是統(tǒng)計(jì)分布包括labels.jpg、labels_correlogram.jpg它反映的是數(shù)據(jù)集本身的構(gòu)成第四類是推理快照包括val_batch0_pred.jpg、train_batch0.jpg這些圖它是唯一能讓你用眼睛直接驗(yàn)證模型行為的東西。我見(jiàn)過(guò)太多人跳過(guò)第四類。數(shù)值指標(biāo)是聚合后的結(jié)果聚合必然抹掉個(gè)體信息。一個(gè) mAP50 是 0.85 的模型可能在某個(gè)類別上全軍覆沒(méi)只是被其他幾個(gè)大類的高分平均掉了也可能在小目標(biāo)上完全瞎只是數(shù)據(jù)集里小目標(biāo)占比低所以不影響總分。這類問(wèn)題只有翻預(yù)測(cè)圖才能發(fā)現(xiàn)。產(chǎn)物關(guān)注點(diǎn)什么時(shí)候必須看results.csv逐輪損失與指標(biāo)趨勢(shì)每次訓(xùn)練第一手results.png曲線形狀是否健康趨勢(shì)異常時(shí)對(duì)照confusion_matrix.png類間錯(cuò)分結(jié)構(gòu)總分尚可但可用性差時(shí)PR_curve.png/F1_curve.png閾值取舍依據(jù)準(zhǔn)備部署、定 conf 時(shí)val_batch*_pred.jpg真實(shí)錯(cuò)檢樣本上線前終審labels.jpg數(shù)據(jù)分布是否畸形指標(biāo)長(zhǎng)期上不去時(shí)1.2 看結(jié)果的順序先形狀后數(shù)值最后看具體樣本我自己的固定順序是這樣的先把results.png打開(kāi)看一遍整體形狀這一步花不到三十秒但能篩掉八成的問(wèn)題然后回到 CSV 用腳本把關(guān)鍵列拉出來(lái)算幾個(gè)我關(guān)心的比值最后才去翻混淆矩陣和預(yù)測(cè)圖驗(yàn)證數(shù)值上的猜測(cè)是否成立。為什么先看形狀因?yàn)榻^對(duì)值是沒(méi)有參照系的。你看到一個(gè) mAP50-95 是 0.41這個(gè)數(shù)本身說(shuō)明不了任何問(wèn)題——它可能是收斂了但天花板就低也可能是訓(xùn)到一半被打斷了。但如果你看到曲線在第二個(gè) epoch 沖到 0.6然后掉到 0.2 再也沒(méi)起來(lái)這個(gè)形狀本身就是明確信號(hào)要么是預(yù)訓(xùn)練權(quán)重沒(méi)加載成功要么是學(xué)習(xí)率設(shè)置有問(wèn)題導(dǎo)致早期發(fā)散。這一步可以用一小段腳本快速完成省掉手動(dòng)翻表格的麻煩import pandas as pd import numpy as np df pd.read_csv(runs/detect/train/results.csv) df.columns [c.strip() for c in df.columns] # 關(guān)鍵列位置在不同版本里名字略有差異先做一次兜底匹配 def col(keyword): hit [c for c in df.columns if keyword in c] return hit[0] if hit else None map50 col(mAP_0.5) map5095 col(mAP_0.5:0.95) prec col(precision) rec col(recall) epochs len(df) print(總輪數(shù):, epochs) print(最佳 mAP50:, df[map50].max(), 出現(xiàn)在第, df[map50].idxmax() 1, 輪) print(最佳 mAP50-95:, df[map5095].max()) # 指標(biāo)落差判斷框的緊致程度 gap (df[map50] - df[map5095]).mean() print(mAP50 與 mAP50-95 平均落差:, round(gap, 4)) # 末段是否還在漲判斷有沒(méi)有欠訓(xùn)練 tail df[map50].tail(max(5, epochs // 10)) print(末段均值:, round(tail.mean(), 4), 整體均值:, round(df[map50].mean(), 4))這段腳本里我最在意的其實(shí)不是最大值而是最佳值出現(xiàn)在第幾輪。如果最佳 mAP50 出現(xiàn)在倒數(shù)第三輪說(shuō)明模型還在漲你極有可能是欠訓(xùn)練加輪次大概率還能提升如果最佳值出現(xiàn)在中段、之后一路微跌那就是典型的過(guò)擬合拐點(diǎn)繼續(xù)加輪次只會(huì)更糟。這個(gè)信息比那個(gè) 0.9 或 0.3 有用得多。提示不同版本的列名不完全一致YOLOv5 記錄的是train/obj_lossYOLOv8 之后換成了train/dfl_loss寫(xiě)腳本時(shí)用關(guān)鍵字匹配而不是硬編碼列名能避免換版本就報(bào)錯(cuò)。2. box、cls、dfl 三條損失曲線各自在說(shuō)什么2.1 回歸損失長(zhǎng)期不降問(wèn)題多半不在模型而在框box_loss有的版本叫train/box_loss負(fù)責(zé)的是邊界框回歸也就是框得準(zhǔn)不準(zhǔn)。正常訓(xùn)練里它應(yīng)該在前兩三個(gè) epoch 快速下降之后進(jìn)入緩慢下降的平滑曲線末段趨于平緩。如果你的 box_loss 從第一輪到最后一輪幾乎是一條水平線甚至還在 1.0 以上先別懷疑網(wǎng)絡(luò)結(jié)構(gòu)按下面這個(gè)順序查。第一看標(biāo)簽格式。YOLO 要求的是歸一化的class cx cy w h全部在 0 到 1 之間。用 LabelImg 之類的工具導(dǎo)出時(shí)如果選了 Pascal VOC 格式再手工轉(zhuǎn)很容易出現(xiàn)坐標(biāo)沒(méi)歸一化、或者 xmin/ymin 順序?qū)懛吹那闆r。這類問(wèn)題的表現(xiàn)就是 box_loss 降不下去但也不爆炸卡在一個(gè)尷尬的中間值。第二看標(biāo)注框的尺度。如果你數(shù)據(jù)集里絕大多數(shù)目標(biāo)都是幾十像素的小目標(biāo)而輸入尺寸還是默認(rèn)的 640那么經(jīng)過(guò)五次下采樣之后特征圖上目標(biāo)只剩幾個(gè)像素回歸難度天然極高。這時(shí)候 box_loss 高是合理的解決方案是把imgsz提到 1024 甚至 1280而不是去改損失函數(shù)。第三看是否存在大量貼邊目標(biāo)。目標(biāo)被圖像邊界截?cái)鄷r(shí)真實(shí)框會(huì)超出圖像范圍而 YOLO 在計(jì)算損失時(shí)會(huì)把超出的部分裁掉導(dǎo)致模型永遠(yuǎn)學(xué)不會(huì)預(yù)測(cè)一個(gè)完整但不該完整的框損失卡住。這類樣本建議在數(shù)據(jù)清洗階段直接丟棄或用 mosaic 增強(qiáng)策略部分掩蓋。2.2 分類損失震蕩比不降更常見(jiàn)原因往往在采樣策略cls_loss的形態(tài)和 box_loss 完全不同它的絕對(duì)值通常更小而且震蕩幅度更大這是正常的因?yàn)榉诸悡p失直接受 batch 內(nèi)類別構(gòu)成影響——一個(gè) batch 全是難例損失就高下一個(gè) batch 全是簡(jiǎn)單樣本損失就低。所以看 cls_loss 要看移動(dòng)平均后的趨勢(shì)而不是逐點(diǎn)的波動(dòng)。真正需要警惕的是兩種情況。一種是 cls_loss 從頭到尾都在高位來(lái)回鋸齒完全沒(méi)有下行趨勢(shì)這通常意味著類別標(biāo)簽本身有問(wèn)題要么是同一類目標(biāo)在不同圖片里被標(biāo)成了不同類別要么是兩個(gè)高度相似的類別被混在一起。后者在工業(yè)檢測(cè)里特別常見(jiàn)比如把劃痕和裂紋混標(biāo)模型永遠(yuǎn)學(xué)不明白因?yàn)闃?biāo)注本身就自相矛盾。另一種是 cls_loss 降到很低但 mAP 不漲。這說(shuō)明模型在訓(xùn)練集上把分類學(xué)明白了但泛化不出去問(wèn)題出在數(shù)據(jù)分布而不是模型能力。這時(shí)候需要做的是增加數(shù)據(jù)多樣性、檢查訓(xùn)練集和驗(yàn)證集是否來(lái)自同一批采集條件而不是繼續(xù)調(diào)學(xué)習(xí)率。2.3 不同代際的損失構(gòu)成差異別用老經(jīng)驗(yàn)套新模型這是很多從 YOLOv5 遷移到 YOLOv8 的人容易踩的坑。兩代模型的損失項(xiàng)根本不是一個(gè)東西用 v5 的經(jīng)驗(yàn)去判斷 v8 的曲線結(jié)論會(huì)完全反過(guò)來(lái)。下面是常見(jiàn)的對(duì)應(yīng)關(guān)系代際記錄的主要損失項(xiàng)特點(diǎn)YOLOv5 / v7box_loss、obj_loss、cls_loss有獨(dú)立的 objectness 分支錨框機(jī)制YOLOv8 / YOLO11 及后續(xù)box_loss、cls_loss、dfl_loss無(wú) objectnessDFL 負(fù)責(zé)分布化回歸關(guān)鍵差異在obj_loss和dfl_loss上。v5 的obj_loss負(fù)責(zé)判斷這個(gè)位置有沒(méi)有目標(biāo)數(shù)值通常明顯高于 cls_loss而 v8 之后取消了這個(gè)分支置信度直接由分類分支的最大值承擔(dān)多出來(lái)的dfl_loss是用分布的形式去建模邊界距離讓框的回歸更精細(xì)。所以當(dāng)你看到 v8 的dfl_loss前幾輪很高、后面緩慢下降這是正常節(jié)奏但如果它一直不降對(duì)應(yīng)的現(xiàn)象就是 mAP50-95 上不去——框能大致框住但邊緣永遠(yuǎn)不夠貼合。3. mAP50 與 mAP50-95 的落差在暴露什么3.1 兩個(gè)指標(biāo)的口徑差別決定了它們的分工mAP50是 IoU 閾值取 0.5 時(shí)的平均精度意思是框和真值重疊一半就算對(duì)mAP50-95是 IoU 從 0.5 到 0.95 每隔 0.05 取一次十個(gè)閾值下的平均值。這兩個(gè)數(shù)放在一起看的價(jià)值遠(yuǎn)高于單獨(dú)看任何一個(gè)。如果 mAP50 是 0.90 而 mAP50-95 只有 0.45落差 0.45這說(shuō)明模型找目標(biāo)的能力沒(méi)問(wèn)題但對(duì)框的邊緣擬合很差。這類模型在只需要知道大概位置的場(chǎng)景里夠用比如計(jì)數(shù)、區(qū)域告警但一旦下游需要精確裁剪比如 OCR 前置檢測(cè)、尺寸測(cè)量就會(huì)暴露短板。反過(guò)來(lái)如果兩個(gè)數(shù)都很低且差距不大比如 0.42 和 0.33說(shuō)明模型連目標(biāo)在哪都沒(méi)學(xué)好這時(shí)候討論框的精度沒(méi)有意義應(yīng)該回頭查數(shù)據(jù)量和訓(xùn)練輪次。3.2 落差偏大時(shí)我固定按這個(gè)順序排查第一步看labels.jpg的框尺寸分布。如果框普遍很小那這個(gè)落差大概率是分辨率造成的優(yōu)先調(diào)imgsz。第二步看是否用了mosaic和mixup。這兩個(gè)增強(qiáng)在訓(xùn)練前期非常有用能讓模型見(jiàn)到大量不同尺度和位置的組合但它們的副作用是把目標(biāo)尺度分布攪亂了尾部幾個(gè) epoch 如果繼續(xù)開(kāi)著回歸精度會(huì)被持續(xù)拉低。標(biāo)準(zhǔn)的做法是在最后 10 到 15 個(gè) epoch 關(guān)掉它們。# 訓(xùn)練配置里的關(guān)鍵幾行 imgsz: 1024 # 小目標(biāo)場(chǎng)景不要用 640 硬扛 close_mosaic: 15 # 最后 15 輪關(guān)閉 mosaic讓回歸收斂 box: 7.5 # 回歸損失權(quán)重小目標(biāo)場(chǎng)景可以適當(dāng)提高 dfl: 1.5 # DFL 權(quán)重影響框的精細(xì)度第三步看 DFL 相關(guān)設(shè)置。YOLOv8 之后的 DFL 分支默認(rèn)的回歸范圍是 16意味著它主要建模 16 像素以內(nèi)的距離偏移。如果你的目標(biāo)框尺度普遍在幾百像素以上這個(gè)默認(rèn)值會(huì)讓回歸受限需要在配置里調(diào)整reg_max并重設(shè)檢測(cè)頭的通道數(shù)。第四步看是否真的收斂了。把 mAP50-95 單獨(dú)畫(huà)一條曲線如果它在最后幾輪還在緩慢爬升那就是欠訓(xùn)練別急著改結(jié)構(gòu)。3.3 小目標(biāo)指標(biāo)塌陷的典型表現(xiàn)與切入點(diǎn)小目標(biāo)的問(wèn)題在結(jié)果分析階段有個(gè)非常清晰的特征整體 mAP 看起來(lái)還行但只要你按目標(biāo)面積分箱統(tǒng)計(jì)會(huì)發(fā)現(xiàn)在面積小于 32×32 的箱子里 AP 斷崖式下跌。而results.png上看不出任何異常因?yàn)樗撬谐叨然煸谝黄鸬木酆现?。要定位這個(gè)問(wèn)題需要在驗(yàn)證階段單獨(dú)統(tǒng)計(jì)。YOLO 官方驗(yàn)證腳本本身不直接給出分尺度結(jié)果通常的做法是拿val階段的預(yù)測(cè)結(jié)果可以用save_jsonTrue導(dǎo)出自己按框面積分箱算 AP。這個(gè)分析一旦做出來(lái)結(jié)論往往很直接小目標(biāo) AP 0.15中大目標(biāo) AP 0.85那你要做的事情就很明確了——加 P3 檢測(cè)層、提高輸入分辨率、或者在數(shù)據(jù)里對(duì)小目標(biāo)做專門(mén)的過(guò)采樣。這里有個(gè)經(jīng)驗(yàn)數(shù)值可以參考當(dāng)目標(biāo)在原始圖像上只有 20 像素左右時(shí)輸入 640 意味著在最小的特征圖上stride 8 對(duì)應(yīng) 80×80 的特征圖目標(biāo)占約 2.5 個(gè)格子輸入 1280 時(shí)占 5 個(gè)格子。后者對(duì)回歸任務(wù)來(lái)說(shuō)難度是斷崖式下降的。所以在顯存允許的前提下小目標(biāo)場(chǎng)景提高分辨率帶來(lái)的收益通常大于換更大 backbone 帶來(lái)的收益。4. PR 曲線、F1 曲線與混淆矩陣把數(shù)字翻譯成具體錯(cuò)誤4.1 從 PR 曲線的形狀判斷模型處在什么狀態(tài)PR_curve.png里每條彩線對(duì)應(yīng)一個(gè)類別曲線下的面積就是該類別的 AP。判斷方法很樸素曲線越靠近右上角越好。但更值得看的是形狀差異。如果某個(gè)類別的曲線是接近直角的形狀也就是 recall 很低的時(shí)候 precision 還能保持在 0.9 以上然后突然垂直掉落說(shuō)明這個(gè)類別的召回能力受限——模型只在最確信的那幾個(gè)樣本上敢報(bào)其他全漏了。常見(jiàn)原因是該類別樣本太少或者標(biāo)注質(zhì)量參差。如果曲線是一條對(duì)角線似的緩坡precision 隨著 recall 提升平滑下降說(shuō)明模型對(duì)該類別的判斷本身就模糊很可能與另一個(gè)類別存在視覺(jué)相似性。還有一種情況是曲線整體位置很低但形狀正常那基本就是數(shù)據(jù)量不夠沒(méi)什么好辦法只能補(bǔ)數(shù)據(jù)。4.2 混淆矩陣?yán)锬茏x出的兩類錯(cuò)誤confusion_matrix.png是行歸一化前的原始計(jì)數(shù)confusion_matrix_normalized.png是行歸一化后的比例。這兩張圖要配合著看前者告訴你絕對(duì)數(shù)量后者告訴你錯(cuò)誤結(jié)構(gòu)。矩陣?yán)镉袃蓚€(gè)區(qū)域必須重點(diǎn)看。右下角之外的對(duì)角線格子是類間錯(cuò)分比如真實(shí)類別是 A 被預(yù)測(cè)成 B。這類錯(cuò)誤的數(shù)值如果在 10% 以上就不是模型能力問(wèn)題而是標(biāo)注一致性問(wèn)題。我遇到過(guò)一個(gè)案例兩個(gè)類別在視覺(jué)上區(qū)別只是顏色深淺標(biāo)注團(tuán)隊(duì)內(nèi)部對(duì)邊界判斷都不統(tǒng)一最后的結(jié)果就是這兩個(gè)類永遠(yuǎn)互相錯(cuò)分。解決辦法是重新定義類別邊界把這兩個(gè)類合并或者干脆拆成兩個(gè)獨(dú)立模型分別訓(xùn)練。最后一行和最后一列對(duì)應(yīng)的是漏檢和誤檢。YOLOv8 的混淆矩陣?yán)镉幸粋€(gè)額外的background行列表示沒(méi)有目標(biāo)被判成有目標(biāo)和有目標(biāo)被判成沒(méi)有目標(biāo)。如果 background 那一列真實(shí)有目標(biāo)但被判成背景數(shù)值很大說(shuō)明漏檢嚴(yán)重通常對(duì)應(yīng)小目標(biāo)或者遮擋目標(biāo)。對(duì)比矩陣的時(shí)候有個(gè)技巧不要只看出錯(cuò)最多的那一格要看歸一化之后錯(cuò)誤比例最高的那一格。舉個(gè)例子A 類錯(cuò)分成 B 類共 200 次聽(tīng)起來(lái)很多但如果 A 類本身有 20000 個(gè)樣本那錯(cuò)誤率只有 1%可以忽略而 C 類總共只有 300 個(gè)樣本錯(cuò)了 50 次錯(cuò)誤率 16%這才是真正的問(wèn)題所在。樣本量小的類別永遠(yuǎn)是需要單獨(dú)盯的。4.3 用 val_batch 預(yù)測(cè)圖做人工終審數(shù)值和矩陣都看完之后我一定會(huì)花時(shí)間翻val_batch*_pred.jpg。這些圖是隨機(jī)抽的每張圖上有真值框和預(yù)測(cè)框的疊加對(duì)比是唯一能看到模型具體錯(cuò)在哪張圖上、錯(cuò)成什么樣的途徑。翻圖的時(shí)候我會(huì)特別留意三類現(xiàn)象。一是密集目標(biāo)下的漏檢數(shù)值上可能只影響幾個(gè)點(diǎn)但如果你的業(yè)務(wù)場(chǎng)景就是密集人群或者密集零件這個(gè)問(wèn)題會(huì)直接決定模型能不能用。二是置信度虛高也就是框明顯錯(cuò)了但標(biāo)著 0.85 的分?jǐn)?shù)這說(shuō)明模型對(duì)自己的錯(cuò)誤很自信這類問(wèn)題在模型集成和閾值調(diào)節(jié)時(shí)最難處理。三是框的抖動(dòng)同一類目標(biāo)在不同圖里框的大小習(xí)慣不一致有的貼得很緊有的很松這是回歸不穩(wěn)的表現(xiàn)通常和 DFL 設(shè)置或者訓(xùn)練輪次不足有關(guān)。提示驗(yàn)證可視化圖默認(rèn)只保存若干張可以在訓(xùn)練命令里加上plotsTrue并調(diào)大保存數(shù)量訓(xùn)練結(jié)束后再慢慢翻比訓(xùn)完就刪掉重新跑一次劃算得多。5. 四類典型異常曲線的完整排查鏈路5.1 前期虛高然后斷崖下跌這個(gè)現(xiàn)象我見(jiàn)過(guò)太多次形態(tài)非常統(tǒng)一第 1 到第 3 個(gè) epochmAP50 能沖到 0.5 甚至更高然后突然掉到 0.05 并且再也爬不起來(lái)。新手看到這個(gè)會(huì)以為模型崩了其實(shí)早期那幾輪的高分是假象來(lái)源通常是兩類。第一類是預(yù)訓(xùn)練權(quán)重加載失敗。如果--weights路徑寫(xiě)錯(cuò)或者權(quán)重和模型結(jié)構(gòu)不匹配YOLO 會(huì)用隨機(jī)初始化繼續(xù)跑但日志里往往只報(bào)一行 warning很容易被忽略。早期的高分其實(shí)來(lái)自模型輸出的極端偏置——比如所有框都預(yù)測(cè)圖像中心而恰好數(shù)據(jù)集中大部分目標(biāo)位于中心區(qū)域于是瞎猜也能拿到不低的 IoU。隨著訓(xùn)練推進(jìn)模型開(kāi)始真正學(xué)分布這些巧合失效分?jǐn)?shù)自然暴跌。第二類是學(xué)習(xí)率過(guò)大導(dǎo)致的發(fā)散。如果lr0設(shè)成了 0.1 這種級(jí)別前幾輪梯度更新幅度太大會(huì)把權(quán)重推到極端值表現(xiàn)為損失先是劇烈下降然后突然爆炸成 NaN指標(biāo)斷崖。排查方法是看 box_loss 有沒(méi)有出現(xiàn) NaN 或者突然跳到幾百。排查鏈路是這樣的先確認(rèn)權(quán)重真的加載了日志里通常會(huì)打印加載了多少層、跳過(guò)了多少層再確認(rèn)lr0是否在合理范圍從零訓(xùn)練和微調(diào)的推薦值差別很大最后看是否用了 AMP 混合精度某些顯卡和某些版本組合下 AMP 會(huì)溢出關(guān)掉amp再跑一次就能驗(yàn)證。5.2 全程鋸齒震蕩不收斂曲線上下大幅波動(dòng)、平均值幾乎不動(dòng)這種形態(tài)的根因通常在 batch 和數(shù)據(jù)量上。batch size 太小的時(shí)候每個(gè) batch 的梯度估計(jì)噪聲極大模型像是在被隨機(jī)拉扯。經(jīng)驗(yàn)上如果 batch 小于 8訓(xùn)練穩(wěn)定性會(huì)明顯變差。但在顯存受限的情況下正確做法不是硬把 batch 調(diào)大而是用梯度累積把batch4配合nbs64這類設(shè)置讓優(yōu)化器在多個(gè)小 batch 上累積梯度后再更新一次等效于大 batch 的效果代價(jià)只是訓(xùn)練時(shí)間變長(zhǎng)。另一個(gè)容易被忽略的原因是數(shù)據(jù)量太少。如果整個(gè)訓(xùn)練集只有幾百?gòu)垐D那無(wú)論怎么調(diào)曲線都會(huì)抖因?yàn)槊總€(gè) epoch 的樣本組合差異太大。這種情況應(yīng)該做的是強(qiáng)增強(qiáng)拉長(zhǎng)訓(xùn)練并且坦然接受抖動(dòng)用移動(dòng)平均看趨勢(shì)而不是看單點(diǎn)。5.3 訓(xùn)練損失下降、驗(yàn)證損失上升的過(guò)擬合這是最經(jīng)典也最好識(shí)別的一種。train/box_loss一路平滑下降val/box_loss在某個(gè) epoch 之后開(kāi)始掉頭向上同時(shí)驗(yàn)證集的 mAP 停止增長(zhǎng)甚至微跌。三條曲線同時(shí)出現(xiàn)這個(gè)特征就是明確的過(guò)擬合信號(hào)。處理方式按性價(jià)比排序第一加數(shù)據(jù)或者加強(qiáng)增強(qiáng)這是收益最高也最費(fèi)力的第二加正則weight_decay從默認(rèn)值往上調(diào)或者開(kāi)dropout分類頭部分第三減模型容量從 l 換到 s或者從 s 換到 n第四早停把patience設(shè)小一點(diǎn)讓訓(xùn)練在拐點(diǎn)附近自動(dòng)停。有個(gè)細(xì)節(jié)值得說(shuō)過(guò)擬合的拐點(diǎn)位置和數(shù)據(jù)集大小強(qiáng)相關(guān)。數(shù)據(jù)量小的時(shí)候可能在 50 輪就出現(xiàn)數(shù)據(jù)量大的時(shí)候 300 輪都不出現(xiàn)。所以別拿別人的輪次數(shù)當(dāng)參照看自己的驗(yàn)證曲線。5.4 假性收斂指標(biāo)好看但框飄這一種最隱蔽因?yàn)樗跀?shù)值上幾乎看不到異常。mAP50 穩(wěn)定在 0.9損失曲線平滑收斂看起來(lái)完美。但你把預(yù)測(cè)圖翻出來(lái)一看框普遍比真值大一圈或者系統(tǒng)性地往某個(gè)方向偏移。根源通常有兩個(gè)。一是驗(yàn)證集和訓(xùn)練集同源模型記住的是這一批數(shù)據(jù)的統(tǒng)計(jì)規(guī)律換一批就崩。二是框的回歸目標(biāo)尺度失衡DFL 分支對(duì)回歸范圍的建模和實(shí)際目標(biāo)尺度不匹配導(dǎo)致框整體往外擴(kuò)。排查方法很直接拿模型去跑一批完全沒(méi)參與訓(xùn)練、采集條件也不同的圖片看指標(biāo)掉多少。如果掉幅超過(guò) 20%那假性收斂的判斷就成立了。這類問(wèn)題的解法不是調(diào)參而是重新審視數(shù)據(jù)劃分方式盡量讓訓(xùn)練集和驗(yàn)證集在采集時(shí)間、設(shè)備、場(chǎng)景上都有區(qū)分度而不是簡(jiǎn)單隨機(jī)切分。6. 驗(yàn)證集好看、現(xiàn)場(chǎng)拉胯時(shí)該回頭查什么6.1 對(duì)標(biāo)注質(zhì)量做一次反向抽查當(dāng)指標(biāo)和實(shí)際表現(xiàn)嚴(yán)重不符時(shí)我第一件事不是懷疑模型而是抽 50 張驗(yàn)證集圖片把標(biāo)注框和圖像對(duì)照著看一遍。這個(gè)動(dòng)作非?？菰锏行А３Ｒ?jiàn)的標(biāo)注問(wèn)題包括框只框住了目標(biāo)的一部分、多個(gè)緊鄰目標(biāo)被標(biāo)成一個(gè)框、相似類別的標(biāo)注標(biāo)準(zhǔn)不統(tǒng)一、遮擋嚴(yán)重的樣本沒(méi)標(biāo)但也沒(méi)剔除。有個(gè)快速判斷標(biāo)注一致性的辦法計(jì)算同一類別所有標(biāo)注框的寬高比分布。如果某個(gè)類別的寬高比標(biāo)準(zhǔn)差異常大說(shuō)明標(biāo)注團(tuán)隊(duì)對(duì)這個(gè)類別的框該多大沒(méi)有共識(shí)。人眼很難發(fā)現(xiàn)問(wèn)題統(tǒng)計(jì)量能。6.2 訓(xùn)練驗(yàn)證分布有沒(méi)有隱性錯(cuò)位隨機(jī)切分?jǐn)?shù)據(jù)集在實(shí)驗(yàn)階段沒(méi)問(wèn)題但在真實(shí)項(xiàng)目里往往有坑。如果你的數(shù)據(jù)是按批次采集的隨機(jī)切分會(huì)讓訓(xùn)練集和驗(yàn)證集共享同一批采集條件指標(biāo)虛高。正確做法是按采集批次、按日期、按設(shè)備分組切分讓驗(yàn)證集代表未來(lái)的數(shù)據(jù)。判斷方法也簡(jiǎn)單把驗(yàn)證集按來(lái)源分組分別算每組的 AP。如果組間差異超過(guò) 30%說(shuō)明分布嚴(yán)重不均這時(shí)候看總 mAP 意義不大。6.3 推理配置和訓(xùn)練配置對(duì)不上的幾個(gè)高頻項(xiàng)這類問(wèn)題純粹是工程細(xì)節(jié)但踩的人極多。輸入尺寸不一致是最常見(jiàn)的訓(xùn)練用 640部署時(shí)圖省事直接送 1920 的原圖進(jìn)去模型沒(méi)見(jiàn)過(guò)這個(gè)尺度分布效果直接打折。置信度閾值不一致也很常見(jiàn)訓(xùn)練時(shí)驗(yàn)證用的conf0.001為了算完整的 PR 曲線這個(gè)值是故意設(shè)低的部署時(shí)照抄了這個(gè)值結(jié)果輸出一堆垃圾框。NMS 的 IoU 閾值同理驗(yàn)證階段用的是 0.7部署時(shí)用默認(rèn)值密集目標(biāo)場(chǎng)景下會(huì)大量誤抑制。最穩(wěn)妥的做法是把驗(yàn)證階段確定下來(lái)的那套參數(shù)——imgsz、conf、iou、max_det——原封不動(dòng)搬到部署配置里定完再微調(diào)而不是憑感覺(jué)設(shè)。7. 把分析結(jié)論落回下一輪訓(xùn)練7.1 從現(xiàn)象到參數(shù)的映射表分析做完如果不落到具體動(dòng)作上等于沒(méi)做。我把常見(jiàn)的現(xiàn)象和對(duì)應(yīng)操作整理成了一張表基本上按這張表走能解決八成的結(jié)果問(wèn)題。觀察到的現(xiàn)象優(yōu)先嘗試的動(dòng)作預(yù)期效果最佳指標(biāo)出現(xiàn)在倒數(shù)幾輪增加訓(xùn)練輪數(shù)指標(biāo)繼續(xù)上漲驗(yàn)證損失中段掉頭向上早停、加正則、加數(shù)據(jù)抑制過(guò)擬合mAP50 高、mAP50-95 低提分辨率、末段關(guān) mosaic、調(diào) DFL框更貼合小目標(biāo) AP 斷崖提 imgsz、加 P3 層、小目標(biāo)過(guò)采樣小目標(biāo)召回提升cls_loss 長(zhǎng)期高位震蕩復(fù)查標(biāo)簽一致性、合并混淆類分類收斂box_loss 不降檢查標(biāo)簽格式、剔除貼邊樣本回歸啟動(dòng)某類 AP 明顯偏低補(bǔ)該類樣本、檢查標(biāo)注標(biāo)準(zhǔn)長(zhǎng)尾改善全線鋸齒梯度累積、增大等效 batch曲線平滑7.2 單變量原則和一份夠用的實(shí)驗(yàn)臺(tái)賬最后說(shuō)一個(gè)習(xí)慣問(wèn)題。我見(jiàn)過(guò)很多人調(diào)模型的方式是這輪改學(xué)習(xí)率、改增強(qiáng)、換 backbone一起上然后指標(biāo)漲了就不知道是誰(shuí)的功勞跌了更不知道是誰(shuí)的鍋。正確做法是一次只改一個(gè)變量哪怕這樣一輪實(shí)驗(yàn)要多跑幾個(gè)小時(shí)。配套的是一份實(shí)驗(yàn)臺(tái)賬字段不用多夠用就行實(shí)驗(yàn)編號(hào) | 數(shù)據(jù)版本 | 模型 | imgsz | batch | lr0 | 增強(qiáng)策略 | 最佳mAP50 | 最佳輪次 | 結(jié)論 E021 | v3 | s | 640 | 16 | 0.01| 默認(rèn) | 0.812 | 87 | 基線 E022 | v3 | s | 1024 | 8 | 0.01| 默認(rèn) | 0.856 | 92 | 分辨率是正向因素 E023 | v3 | s | 1024 | 8 | 0.01| 關(guān)mosaic | 0.871 | 95 | 末段關(guān)增強(qiáng)收益明顯有了這張表你在第 30 次實(shí)驗(yàn)的時(shí)候還能清楚地知道哪條路走過(guò)、效果如何而不是憑記憶猜。臺(tái)賬里最佳輪次這一列看起來(lái)不起眼但它能告訴你模型還需要多少訓(xùn)練量長(zhǎng)期看比 mAP 本身更有指導(dǎo)價(jià)值。我自己在長(zhǎng)期跑實(shí)驗(yàn)之后最大的體會(huì)是結(jié)果分析這件事的瓶頸從來(lái)不在工具上而在耐心上。大多數(shù)人不是不會(huì)看曲線而是不愿意花二十分鐘去翻預(yù)測(cè)圖、對(duì)標(biāo)注、算分尺度指標(biāo)?？汕∏∈沁@二十分鐘決定了你下一輪訓(xùn)練是瞎調(diào)還是有據(jù)可依。另外一個(gè)實(shí)用的習(xí)慣是每次訓(xùn)練結(jié)束后不要立刻刪掉 run 目錄哪怕顯存緊張也把results.csv和幾張關(guān)鍵圖存下來(lái)。等到三個(gè)月后你要復(fù)現(xiàn)某個(gè)結(jié)果這些文件就是唯一的線索從零再跑一遍的成本要高得多。