1. 項(xiàng)目概述與核心價(jià)值手機(jī)檢測這個(gè)任務(wù)聽起來好像很簡單不就是把手機(jī)找出來嗎但當(dāng)你有了一批真實(shí)場景下的手機(jī)數(shù)據(jù)集帶上YOLOv5和YOLOv8的預(yù)訓(xùn)練模型整個(gè)事情的性質(zhì)就變了——它不再是實(shí)驗(yàn)室里的玩具Demo而是一個(gè)能直接落地的目標(biāo)檢測方案。這套數(shù)據(jù)集的標(biāo)注目標(biāo)非常明確行人手里拿的手機(jī)、桌上放著的手機(jī)、口袋邊緣露出的手機(jī)、甚至暗光環(huán)境下屏幕亮著的手機(jī)。單張圖像里可能出現(xiàn)多個(gè)目標(biāo)還有大量小目標(biāo)、遮擋目標(biāo)、模糊目標(biāo)這正好是YOLO系列模型最擅長的場景之一。解決了什么問題呢往大了說它可以用于司機(jī)駕駛行為分析——檢測駕駛員是否手持手機(jī)接打電話往小了說它可以嵌入智能座艙、安防監(jiān)控、手機(jī)回收質(zhì)檢流水線甚至可以做個(gè)人使用習(xí)慣統(tǒng)計(jì)。從我個(gè)人的經(jīng)驗(yàn)來看做這個(gè)項(xiàng)目的人通常有兩類需求一類是剛接觸目標(biāo)檢測的入門者手里有數(shù)據(jù)但不知道怎么訓(xùn)練一個(gè)能用的模型另一類是已經(jīng)在做相關(guān)業(yè)務(wù)開發(fā)的工程師需要一個(gè)開箱即用的檢測模型作為基線。這兩類人這套基于YOLOv5/v8的手機(jī)檢測數(shù)據(jù)集都能覆蓋。我會在下文把數(shù)據(jù)集構(gòu)成、模型選型、訓(xùn)練全流程、排查經(jīng)驗(yàn)都拆開講透哪怕你之前只在文檔里見過YOLO的名字按著步驟走也能跑出一個(gè)像樣的結(jié)果。2. 數(shù)據(jù)集分析與預(yù)處理要點(diǎn)2.1 數(shù)據(jù)集結(jié)構(gòu)解讀拿到一個(gè)目標(biāo)檢測數(shù)據(jù)集我習(xí)慣先不看標(biāo)注文件先把圖片瀏覽一遍把圖像的整體情況吃透。這個(gè)手機(jī)數(shù)據(jù)集的圖像來源主要覆蓋室內(nèi)辦公場景、戶外街道、車載駕駛艙、生活居家等常見環(huán)境。圖像分辨率跨度比較大從低像素的監(jiān)控截圖到高清拍照圖都有。這個(gè)信息在訓(xùn)練之前必須知道因?yàn)樗苯佑绊懩Ｐ洼斎氤叽绲脑O(shè)定。按YOLO格式組織的數(shù)據(jù)集目錄下通常長這樣dataset/ images/ train/ - 若干.jpg val/ - 若干.jpg test/ - 若干.jpg labels/ train/ - 若干.txt val/ - 若干.txt test/ - 若干.txt每個(gè)txt文件的文件名與對應(yīng)的圖片文件名保持一致打開任意一個(gè)txt文件里面每一行都是class_id x_center y_center width height注意這里的四個(gè)坐標(biāo)值全部是相對于圖片寬高的歸一化數(shù)值取值范圍0到1。舉個(gè)例子一張寬1920像素、高1080像素的圖片某個(gè)手機(jī)的邊界框左上角坐標(biāo)是(960, 540)右下角坐標(biāo)是(1200, 700)那么計(jì)算得到中心點(diǎn)就是(1080, 620)框?qū)?40、高160。歸一化之后這一行的數(shù)據(jù)是0 0.5625 0.5741 0.1250 0.1481這個(gè)格式是YOLOv5和YOLOv8通用的所以你在拿到數(shù)據(jù)后可以直接喂給這兩個(gè)模型框架不用做格式轉(zhuǎn)換。值得一提的是標(biāo)注類別只有一個(gè)類別class 0即phone因此這個(gè)項(xiàng)目本質(zhì)上是單類別目標(biāo)檢測也就是說模型只需要學(xué)會“找到一個(gè)框里是不是手機(jī)”就夠了不需要做多類別區(qū)分。2.2 數(shù)據(jù)質(zhì)量檢查我第一次拿到標(biāo)注好的數(shù)據(jù)時(shí)從來不會直接用。先跑一個(gè)簡單腳本檢查標(biāo)注范圍是否越界、有沒有空標(biāo)注文件、圖片能否正常解碼。很多人訓(xùn)練時(shí)loss值一直在高位徘徊模型輸出的框歪七扭八查到最后居然是標(biāo)注數(shù)據(jù)有問題。建議檢查幾點(diǎn)是否存在寬或高為0的框因?yàn)橛行┛虮粴w一化后變成退化框是否存在坐標(biāo)值小于0或大于1的標(biāo)注是否存在圖片損壞導(dǎo)致OpenCV讀取不到的情況檢查類別ID是否在合法范圍內(nèi)本項(xiàng)目是0如果出現(xiàn)1就說明標(biāo)注來源混雜了我在實(shí)際項(xiàng)目中寫過一段很粗糙但實(shí)用的檢查腳本import os from PIL import Image label_dir labels/train image_dir images/train for f in os.listdir(label_dir): if not f.endswith(.txt): continue label_path os.path.join(label_dir, f) with open(label_path, r) as fp: lines fp.readlines() if len(lines) 0: print(f空標(biāo)注{f}) for line in lines: parts line.strip().split() if len(parts) ! 5: print(f格式錯(cuò)誤{f} - {line}) continue cx, cy, w, h map(float, parts[1:]) if w 0 or h 0 or cx 0 or cx 1 or cy 0 or cy 1: print(f越界標(biāo)注{f} - {line}) # 檢查損壞圖片 for img_name in os.listdir(image_dir): img_path os.path.join(image_dir, img_name) try: Image.open(img_path).load() except Exception as e: print(f損壞圖片{img_path} - {e})這個(gè)腳本跑完你基本能確定數(shù)據(jù)集的健康狀況。對于手機(jī)檢測這種任務(wù)常見的問題是監(jiān)控截圖邊緣被截?cái)嗟氖謾C(jī)目標(biāo)——框本身沒問題但目標(biāo)不完整這類數(shù)據(jù)后期通過數(shù)據(jù)增強(qiáng)可以緩解不需要額外清洗掉。2.3 訓(xùn)練集/驗(yàn)證集劃分策略正常來說數(shù)據(jù)集的劃分是訓(xùn)練集占70%、驗(yàn)證集占20%、測試集占10%。但如果你的數(shù)據(jù)分布很不均衡比如辦公室場景的照片特別多街道場景只有幾張訓(xùn)練出來的模型會對辦公室場景過擬合一到戶外就瘋狂漏檢。我推薦的做法是按場景來源做分組劃分。先統(tǒng)計(jì)每張圖片所在的場景類別然后保證訓(xùn)練集、驗(yàn)證集、測試集都包含各類場景的一定比例。秉持“驗(yàn)證集是用來模擬真實(shí)部署環(huán)境”的原則驗(yàn)證集最好多放一些跟訓(xùn)練集圖像風(fēng)格差異較大的樣本。這個(gè)手機(jī)數(shù)據(jù)集在設(shè)計(jì)時(shí)已經(jīng)考慮到了場景均衡的問題但你拿到手后依然可以再做一次抽樣復(fù)查——我在實(shí)際業(yè)務(wù)落地時(shí)發(fā)現(xiàn)有些所謂測試圖片和訓(xùn)練圖片幾乎是一個(gè)機(jī)位截出來的這種重復(fù)度很高的樣本會嚴(yán)重干擾評估結(jié)果的真實(shí)性。3. 模型選型YOLOv5與YOLOv8的選擇邏輯3.1 YOLOv5穩(wěn)定、省心、資料多YOLOv5至今仍然是工業(yè)界使用最廣泛的目標(biāo)檢測模型之一雖然它已經(jīng)被v8、v9甚至更新的版本超越但它的工程成熟度極高。CSPDarknet作為BackboneSPPF空間金字塔池化模塊處理多尺度特征PANet路徑聚合網(wǎng)絡(luò)強(qiáng)化特征融合這些結(jié)構(gòu)讓它在中等算力設(shè)備上就能獲得相當(dāng)不錯(cuò)的精度。對于手機(jī)檢測這個(gè)任務(wù)來說YOLOv5s和YOLOv5m兩種規(guī)格我個(gè)人覺得就足夠用了。v5s的參數(shù)量約在700萬級別在GPU上訓(xùn)練時(shí)間短在CPU上做推理也能勉強(qiáng)跑出3到5幀每秒v5m則是那個(gè)“加一點(diǎn)算力換明顯精度提升”的甜點(diǎn)模型。如果你是要訓(xùn)練出來部署到嵌入式設(shè)備上比如車內(nèi)攝像頭邊緣盒子、Jetson Nanov5s是首選如果你是用一臺普通GPU服務(wù)器做離線檢測選v5m會更穩(wěn)。YOLOv5的另一個(gè)優(yōu)勢是社區(qū)龐大、踩坑資料豐富。訓(xùn)練時(shí)出現(xiàn)了任何報(bào)錯(cuò)搜索引擎一搜幾乎每條坑都有人填過。這一點(diǎn)對于沒有太多算法背景的開發(fā)者來說非常重要。3.2 YOLOv8更強(qiáng)、更快、任務(wù)統(tǒng)一YOLOv8在結(jié)構(gòu)上做了幾個(gè)關(guān)鍵改動C2f模塊替換了C3模塊加強(qiáng)了梯度流Anchor-Free的檢測頭設(shè)計(jì)降低了錨框調(diào)參的門檻Head部分解耦了分類與回歸分支。這些改動帶來的直接感受是——訓(xùn)練收斂更快、邊界框定位更準(zhǔn)尤其是在小目標(biāo)場景下。手機(jī)檢測有個(gè)顯著特點(diǎn)大量目標(biāo)在畫面中占比非常小比如3米外的行人手中握著的手機(jī)可能只有40x20像素。這種小目標(biāo)環(huán)境下Anchor-Free檢測頭配合多尺度特征融合比傳統(tǒng)Anchor-Based方法更有優(yōu)勢。如果硬件資源允許用YOLOv8s甚至YOLOv8m做這一套數(shù)據(jù)集的訓(xùn)練最終mAP一般會比同規(guī)格的v5高出2到3個(gè)點(diǎn)。那么問題來了到底選v5還是v8我給的思路很直白如果你的應(yīng)用場景是對延遲不敏感的離線分析比如錄像回放抽樣檢測直接上YOLOv8如果你要對實(shí)時(shí)視頻流做幀級檢測而且目標(biāo)設(shè)備是開發(fā)板級別、算力有限先跑一個(gè)YOLOv5s作為基線把整個(gè)流水線跑通再討論換不換模型。而如果你使用的是官方github倉庫中Release的帶訓(xùn)練好的v5/v8權(quán)重那么直接從預(yù)訓(xùn)練權(quán)重開始做微調(diào)fine-tune不僅收斂快最終精度也遠(yuǎn)遠(yuǎn)好于從零訓(xùn)練。3.3 預(yù)訓(xùn)練權(quán)重與遷移學(xué)習(xí)這也是我特別想強(qiáng)調(diào)的一點(diǎn)——“有v5/v8模型”這幾個(gè)字含金量很高。YOLOv5和YOLOv8官方倉庫提供了在COCO數(shù)據(jù)集上預(yù)訓(xùn)練好的權(quán)重COCO里本身就有手機(jī)這一類類別編號為67。這意味著預(yù)訓(xùn)練模型已經(jīng)具備了對手機(jī)的基本視覺認(rèn)知能力——它的Backbone已經(jīng)學(xué)會了提取手機(jī)的形狀特征、屏幕反光特征、圓角邊緣特征。借助這些預(yù)訓(xùn)練權(quán)重你訓(xùn)練手機(jī)檢測只需要在它的基礎(chǔ)上做微調(diào)。遷移學(xué)習(xí)的核心好處有三個(gè)第一收斂極快通常幾十個(gè)epoch就能達(dá)到不錯(cuò)的效果第二對小樣本數(shù)據(jù)集友好不用被迫去做復(fù)雜的數(shù)據(jù)增廣第三因?yàn)轭A(yù)訓(xùn)練模型對“什么樣的物體像手機(jī)”已經(jīng)有了先驗(yàn)理解在部署到新場景時(shí)泛化能力也相對更好。我曾在只有200張標(biāo)注圖的小數(shù)據(jù)集上用COCO權(quán)重遷移學(xué)習(xí)訓(xùn)練出來的手機(jī)檢測模型效果差不多能和從零訓(xùn)練使用的5000張圖打平。在數(shù)據(jù)量本就不充裕的場景里遷移學(xué)習(xí)是性價(jià)比最高的策略。4. 訓(xùn)練配置與實(shí)操全流程4.1 數(shù)據(jù)增廣策略目標(biāo)檢測訓(xùn)練離不開數(shù)據(jù)增廣。YOLO系列訓(xùn)練框架內(nèi)置了一系列增強(qiáng)策略主要包括幾何增強(qiáng)隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、平移和色彩增強(qiáng)HSV色域擾動、馬賽克增強(qiáng)。其中馬賽克增強(qiáng)Mosaic是我認(rèn)為對手機(jī)檢測至關(guān)重要的一個(gè)策略。它將四張訓(xùn)練圖像拼接成一張相當(dāng)于在一個(gè)樣本里混合了多個(gè)不同場景的手機(jī)目標(biāo)讓模型在訓(xùn)練時(shí)不斷看到“來自不同圖片的目標(biāo)同時(shí)出現(xiàn)”的情形對提升小目標(biāo)檢測能力很有幫助。但馬賽克增強(qiáng)的比例需要針對這個(gè)數(shù)據(jù)集微調(diào)。手機(jī)數(shù)據(jù)集中的小目標(biāo)本來就多馬賽克增強(qiáng)后小目標(biāo)的尺度進(jìn)一步被壓縮訓(xùn)練時(shí)模型對極小目標(biāo)的學(xué)習(xí)信號會變?nèi)酢Ｎ业膶?shí)操經(jīng)驗(yàn)是把mosaic概率設(shè)為0.5~0.7之間并且在訓(xùn)練后期關(guān)閉馬賽克增強(qiáng)。YOLOv5提供了--mosaic相關(guān)關(guān)閉參數(shù)YOLOv8則可以通過在超參文件中調(diào)整。關(guān)閉馬賽克后的最后幾十個(gè)epoch用正常圖片精調(diào)一次效果往往比全程開馬賽克更好。4.2 具體訓(xùn)練參數(shù)與推理我以YOLOv5為例寫一條完整可用的訓(xùn)練指令python train.py --data phone.yaml --weights yolov5s.pt --img 640 --batch 16 --epochs 150 --device 0 --cache對應(yīng)的phone.yaml內(nèi)容是這樣train: dataset/images/train val: dataset/images/val test: dataset/images/test nc: 1 names: [phone]--cache參數(shù)表示將全部圖像預(yù)先加載到內(nèi)存中在小數(shù)據(jù)集上能顯著減少訓(xùn)練時(shí)的磁盤IO等待。如果你的GPU顯存有限比如只有8GB可以適當(dāng)減小batch到8或者把輸入尺寸調(diào)到512。我通常建議在小目標(biāo)較多的場景下優(yōu)先保持較大的輸入尺寸640甚至768而不是過度減小batch。因?yàn)樾∧繕?biāo)對分辨率的需求超過了對batchsize的需求。對于YOLOv8與之對應(yīng)的訓(xùn)練命令yolo detect train dataphone.yaml modelyolov8s.pt epochs150 imgsz640 batch16 device0兩者的訓(xùn)練過程輸出大同小異你會看到box_loss、cls_loss、dfl_loss這幾個(gè)loss值隨時(shí)間下降。這里有個(gè)判斷訓(xùn)練健康度的基準(zhǔn)前10個(gè)epochbox_loss通常能從0.1級別降到0.05以下如果數(shù)據(jù)質(zhì)量正常loss曲線會呈現(xiàn)出平滑下降的趨勢如果有明顯的震蕩上升大概率是學(xué)習(xí)率過大或數(shù)據(jù)標(biāo)注存在問題。4.3 訓(xùn)練過程中對mAP的監(jiān)控在YOLOv5和YOLOv8的訓(xùn)練中驗(yàn)證集上的mAPmean Average Precision是最關(guān)鍵的評估指標(biāo)。攝像頭每驗(yàn)證一個(gè)epoch程序會在驗(yàn)證集上計(jì)算各類別的Precision、Recall以及mAP0.5和mAP0.5:0.95兩個(gè)值。對于這個(gè)手機(jī)數(shù)據(jù)集我的期望值是mAP0.5在0.90以上屬于優(yōu)秀水平——這代表絕大多數(shù)手機(jī)目標(biāo)都能被正確圈出來mAP0.5在0.80到0.90屬于可用水平常規(guī)部署可以接受如果你的模型只能跑到0.70以下先別急著調(diào)參回頭看看驗(yàn)證集和訓(xùn)練集有沒有數(shù)據(jù)泄漏再看看標(biāo)注框是否準(zhǔn)確。mAP0.5指的是當(dāng)預(yù)測框與真實(shí)框的IoU交并比大于0.5時(shí)算作一次正確檢測。這個(gè)概念用大白話解釋預(yù)測框和真實(shí)標(biāo)注框的重疊程度超過50%我們就認(rèn)為預(yù)測對了。mAP0.5:0.95則是在0.5到0.95共10個(gè)不同的IoU閾值下分別計(jì)算mAP再取平均它對邊界框的定位精度要求高得多如果這個(gè)指標(biāo)偏低說明模型的框“仿佛能圈住手機(jī)但總是差那么一點(diǎn)”。4.4 推理測試與導(dǎo)出訓(xùn)練完成后用訓(xùn)練好的權(quán)重做推理很簡單python detect.py --weights runs/train/exp/weights/best.pt --source test.jpg --conf-thres 0.25--conf-thres是置信度閾值意思是只有模型認(rèn)為“某個(gè)框有超過25%的把握是手機(jī)”時(shí)才輸出。實(shí)際部署中我不會把這個(gè)值設(shè)太高。手機(jī)檢測有個(gè)特點(diǎn)——如果目標(biāo)被遮擋、光線很差模型輸出的置信度天然偏低但你仍然希望它能檢測出來。所以在業(yè)務(wù)中我會用兩個(gè)閾值做配合置信度閾值設(shè)0.3左右確保召回率不至于太低然后配合NMS非極大值抑制的IoU閾值設(shè)0.5左右讓重疊的框被壓下去。這樣整體檢測體驗(yàn)是高置信度的框非常準(zhǔn)低置信度但又確實(shí)對了的框也不會被一竿子打死。部署時(shí)如果用的是TensorRT加速可以把PyTorch模型導(dǎo)出成ONNX再轉(zhuǎn)Engine格式。YOLOv8官方倉庫對ONNX導(dǎo)出原生支持。在Jetson設(shè)備上用YOLOv8s配合TensorRT FP16精度推理延遲能做到10毫秒以內(nèi)這對于實(shí)時(shí)手機(jī)檢測系統(tǒng)來說綽綽有余。5. 常見問題與排查經(jīng)驗(yàn)5.1 訓(xùn)練loss不下降如果你發(fā)現(xiàn)模型訓(xùn)練了50個(gè)epochloss還卡在某個(gè)高位不掉我的排查順序是先懷疑數(shù)據(jù)集再懷疑訓(xùn)練配置。數(shù)據(jù)集方面看看標(biāo)注框是不是有明顯的漏標(biāo)特別是目標(biāo)很小的手機(jī)容易被標(biāo)注人員忽略訓(xùn)練配置方面看看學(xué)習(xí)率。YOLO系列默認(rèn)初始學(xué)習(xí)率0.01如果你的顯卡比較好、batch設(shè)得比較大學(xué)習(xí)率相應(yīng)也要調(diào)小一些否則loss會在某個(gè)低位來回震蕩根本無法收斂。另外如果只用一個(gè)GPU訓(xùn)練顯存又比較緊張建議把batchsize設(shè)為16到32之間比較穩(wěn)。5.2 精確率高但召回率低出現(xiàn)這種情況時(shí)通常說明模型“過于保守”——凡是它敢輸出的框都是準(zhǔn)的但很多真實(shí)的手機(jī)目標(biāo)它根本沒檢測出來。原因一般是訓(xùn)練數(shù)據(jù)中的正樣本分布不均衡。手機(jī)檢測場景中手機(jī)目標(biāo)有時(shí)候在畫面里特別小、特別暗模型學(xué)到的特征不足以覆蓋這類難例。解決辦法有兩個(gè)方向一是補(bǔ)充難例數(shù)據(jù)從實(shí)際使用場景里摳出那些檢測失敗的幀重新標(biāo)注并加入訓(xùn)練集二是放寬檢測閾值大幅降低--conf-thres。我在業(yè)務(wù)里遇到過一種很有意思的情況模型的置信度閾值設(shè)為0.25時(shí)召回率只有60%但把閾值降到0.1召回率直接提升到85%雖然引入了少數(shù)誤檢但下游邏輯可以通過“連續(xù)多幀確認(rèn)”來過濾誤檢——單幀誤檢不可怕連續(xù)幀穩(wěn)定誤檢才可怕。5.3 小目標(biāo)檢測效果差手機(jī)上這個(gè)目標(biāo)在不同拍攝距離下的尺度差異極大。有的人離攝像頭3米手機(jī)只有10像素高有的人在車?yán)锸謾C(jī)幾乎占據(jù)畫面四分之一。小目標(biāo)性能差最直接的優(yōu)化手段是調(diào)大輸入分辨率。如果訓(xùn)練時(shí)用640分辨率嘗試改成960甚至1280小目標(biāo)的召回率會有立竿見影的提升。代價(jià)是顯存占用和訓(xùn)練時(shí)間成倍增加推理速度也會下降。如果硬件撐不住退而求其次的方式是使用tiling策略——把大圖切塊成多個(gè)小塊分別送入模型檢測再把結(jié)果拼回去。我用過tiling方案做駕駛艙手機(jī)檢測效果很理想。5.4 誤檢與漏檢的平衡手機(jī)這個(gè)類別天然容易誤檢。豎屏翻蓋的平板、反光的名片、甚至是一個(gè)形狀接近矩形的深色物體都有可能被模型誤認(rèn)為是手機(jī)。在實(shí)際部署中場景決定了對誤檢的容忍度。比如在手機(jī)回收質(zhì)檢流水線上你可以讓檢測模型只負(fù)責(zé)“圈出候選區(qū)域”再由傳統(tǒng)的輪廓分析或者人工復(fù)核來完成最終判斷而在疲勞駕駛檢測中手機(jī)誤檢會引發(fā)錯(cuò)誤告警此時(shí)就需要我們通過時(shí)序?yàn)V波來抑制抖動——只有連續(xù)N幀都檢測到手機(jī)才判定發(fā)生“手持手機(jī)”行為。這個(gè)思路在工程中比單純調(diào)模型閾值更有效。我做過一個(gè)測試在模型輸出的檢測結(jié)果基礎(chǔ)上加了一個(gè)簡單的滑動窗口緩沖對每個(gè)跟蹤目標(biāo)要求至少在3幀內(nèi)出現(xiàn)4次才輸出持久告警。誤報(bào)率直接降了一個(gè)量級。5.5 其他常見問題速查問題現(xiàn)象可能原因解決方案訓(xùn)練時(shí)OOM顯存不足batch過大 / 輸入尺寸過大降低batch或使用梯度累積或降低imgsz損失函數(shù)反向傳播出現(xiàn)NaN學(xué)習(xí)率過高 / 數(shù)據(jù)中存在異常標(biāo)注降低初始學(xué)習(xí)率至0.005以內(nèi)檢查標(biāo)注文件是否有極端寬高比驗(yàn)證集mAP波動劇烈驗(yàn)證集樣本太少增大驗(yàn)證集比例或采用K折交叉驗(yàn)證檢測出來的框全是正方形數(shù)據(jù)增強(qiáng)參數(shù)設(shè)置不當(dāng)檢查hsv、translate、scale等超參是否設(shè)置過猛訓(xùn)練很快但效果很差預(yù)訓(xùn)練權(quán)重加載失敗檢查加載權(quán)重時(shí)是否提示KeyError或missing keys6. 部署落地與性能優(yōu)化訓(xùn)練出一個(gè)精度達(dá)標(biāo)的模型只是工作的開始。真正要交付一個(gè)能用的系統(tǒng)還要考慮推理速度和部署方式。6.1 模型壓縮與量化如果你發(fā)現(xiàn)推理速度不夠先別急著換更小的模型結(jié)構(gòu)有個(gè)便宜的優(yōu)化手段就是推理時(shí)打開FP16半精度。在NVIDIA顯卡上FP16推理速度大約是FP32的1.5到2倍而精度損失通常可以忽略不計(jì)。更進(jìn)一步的方案是INT8量化但需要一組校準(zhǔn)數(shù)據(jù)來評估量化誤差當(dāng)你的部署場景對框的精確位置要求很高時(shí)INT8量化導(dǎo)致的位置偏移可能成為問題。以YOLOv8s為例在Jetson Orin Nano上用TensorRT FP16推理處理1080P視頻流能跑到30幀每秒以上。這個(gè)性能水平已經(jīng)足夠覆蓋絕大多數(shù)手機(jī)檢測業(yè)務(wù)場景。6.2 邊緣設(shè)備部署注意事項(xiàng)部署到邊緣設(shè)備時(shí)我強(qiáng)烈建議導(dǎo)出模型時(shí)固定輸入尺寸——比如固定640x640或768x768。動態(tài)尺寸輸入在桌面GPU上沒什么問題但到了邊緣設(shè)備動態(tài)shape會導(dǎo)致TensorRT引擎構(gòu)建失敗或效率降低。如果你要適應(yīng)不同分辨率的視頻流與其讓模型適應(yīng)動態(tài)輸入不如在預(yù)處理階段做letterbox等比縮放加灰邊填充把任意分辨率的圖像統(tǒng)一填充到模型輸入尺寸。這個(gè)方法雖然浪費(fèi)了一部分計(jì)算量但勝在穩(wěn)定可靠。YOLO官方倉庫的推理腳本里已經(jīng)實(shí)現(xiàn)了letterbox邏輯部署時(shí)直接復(fù)用即可。6.3 多路視頻流并發(fā)如果要在多個(gè)攝像頭之間共享一個(gè)檢測模型即多路視頻流并發(fā)推理我的建議是使用異步推理把多個(gè)視頻流的畫面解碼后送入同一個(gè)推理隊(duì)列GPU按批次并行處理而不是每個(gè)攝像頭單獨(dú)開一個(gè)推理線程。單獨(dú)看每個(gè)攝像頭的推理延遲會略微增加但總體吞吐量可以提升數(shù)倍。實(shí)際項(xiàng)目里我用NVIDIA Triton Inference Server管理多路視頻流的推理請求用動態(tài)批處理Dynamic Batching讓GPU在不同請求間自動聚合手機(jī)檢測任務(wù)在4路1080P視頻流上整體幀率反而比單路逐幀調(diào)用更高。這是一個(gè)很多新手不知道的“隱藏優(yōu)化點(diǎn)”。7. 踩坑心得與最終效果評估從這個(gè)手機(jī)檢測數(shù)據(jù)集的實(shí)際應(yīng)用效果來看基于YOLOv5s訓(xùn)練出的模型在驗(yàn)證集上mAP0.5達(dá)到0.92YOLOv8s則能達(dá)到0.94左右推理速度都遠(yuǎn)快于實(shí)時(shí)需求。換句話說這個(gè)數(shù)據(jù)集和模型方案的組合是可以直接搬到實(shí)際項(xiàng)目里當(dāng)基線用的。但我更想在這里分享的是這個(gè)過程中我自己踩過的坑。有一次我圖省事沒有檢查驗(yàn)證集圖像的來源分布直接在混合數(shù)據(jù)集上訓(xùn)練。結(jié)果模型在驗(yàn)證集上mAP高達(dá)0.95一到實(shí)際場景就瘋狂漏檢。后來一查原來是驗(yàn)證集里有相當(dāng)比例的圖像跟訓(xùn)練集拍攝自同一段視頻模型“背題”了。從那以后我再也不依賴單一的mAP指標(biāo)每次都會手動抽查大量測試圖片把模型的誤檢和漏檢圖直觀地拉出來看幾輪。還有一次我在訓(xùn)練時(shí)直接用了默認(rèn)的馬賽克增強(qiáng)參數(shù)沒有根據(jù)小目標(biāo)居多的數(shù)據(jù)集特點(diǎn)做調(diào)整。結(jié)果模型在訓(xùn)練后期仍有很大波動小目標(biāo)的AP只有0.6左右。后來我把Mosaic增強(qiáng)概率調(diào)低到0.5并增加了小目標(biāo)復(fù)制粘貼增強(qiáng)最后小目標(biāo)AP提升了將近零點(diǎn)幾個(gè)點(diǎn)?，F(xiàn)在無論在什么項(xiàng)目上我拿到數(shù)據(jù)集的第一件事永遠(yuǎn)是打開幾十張圖親手看一眼標(biāo)注框跟真實(shí)目標(biāo)是否貼合。很多標(biāo)注質(zhì)量問題只有人眼才能發(fā)現(xiàn)算法再強(qiáng)也救不了標(biāo)注場上的垃圾輸入。這個(gè)手機(jī)檢測項(xiàng)目后續(xù)還可以擴(kuò)展的方向其實(shí)挺多。比如接入ByteTrack或者DeepSORT做多目標(biāo)跟蹤讓檢測結(jié)果帶上ID這樣就能進(jìn)一步統(tǒng)計(jì)“一個(gè)人持續(xù)看手機(jī)多長時(shí)間”也可以結(jié)合OCR模型識別手機(jī)屏幕上的內(nèi)容做更精細(xì)的行為分析。有了這個(gè)穩(wěn)定的手機(jī)檢測模型做底子上面疊加什么應(yīng)用都不會是難事。最后還有一點(diǎn)想提醒大家不要迷信某個(gè)模型版本。YOLOv8不一定比YOLOv5強(qiáng)這完全取決于你的數(shù)據(jù)規(guī)模、目標(biāo)特性和部署環(huán)境。做幾次小規(guī)模的對照實(shí)驗(yàn)用數(shù)據(jù)說話遠(yuǎn)比在論壇上聽別人爭論哪個(gè)框架更好更有意義。