簡(jiǎn)介本資源是一套基于YOLOv5與OpenCV實(shí)現(xiàn)的道路紅綠燈智能識(shí)別檢測(cè)系統(tǒng)面向計(jì)算機(jī)視覺(jué)初學(xué)者、智能交通項(xiàng)目開(kāi)發(fā)者及AI模型部署實(shí)踐者解決真實(shí)場(chǎng)景下多類(lèi)別交通燈紅燈、綠燈、黃燈、交通燈整體的端到端檢測(cè)與評(píng)估問(wèn)題。壓縮包共79個(gè)文件涵蓋17個(gè)Python源碼含train.py、detect.py、test.py等核心腳本、17個(gè)YAML配置文件含數(shù)據(jù)集路徑、超參設(shè)置、模型結(jié)構(gòu)定義、3個(gè)PyTorch模型文件.pt格式含已訓(xùn)練好的yolov5s.pt、7張可視化圖像含訓(xùn)練批次圖、預(yù)測(cè)結(jié)果圖、PR曲線、損失曲線等以及使用說(shuō)明、依賴(lài)清單和評(píng)估結(jié)果文本總大小41.68MB。已有1483人學(xué)習(xí)下載資源結(jié)構(gòu)清晰完整包含訓(xùn)練、推理、評(píng)估全流程不僅提供可直接運(yùn)行的檢測(cè)代碼與預(yù)訓(xùn)練權(quán)重還附帶200輪迭代的loss下降曲線、Recall/Precision變化趨勢(shì)、mAP指標(biāo)及correlogram相關(guān)性分析圖便于模型效果復(fù)現(xiàn)與性能調(diào)優(yōu)。1. 項(xiàng)目緣起從“看見(jiàn)”到“看懂”紅綠燈的工程實(shí)踐在計(jì)算機(jī)視覺(jué)的落地應(yīng)用里交通場(chǎng)景的感知一直是個(gè)硬骨頭。紅綠燈識(shí)別聽(tīng)起來(lái)簡(jiǎn)單不就是識(shí)別幾個(gè)顏色和形狀嗎但真做起來(lái)你會(huì)發(fā)現(xiàn)它遠(yuǎn)不止是“識(shí)別”那么簡(jiǎn)單。光照變化、天氣影響、遮擋、運(yùn)動(dòng)模糊還有不同國(guó)家、不同路口的燈型差異每一個(gè)因素都可能讓一個(gè)在實(shí)驗(yàn)室里跑得飛快的模型在實(shí)際路測(cè)中“翻車(chē)”。我最初接觸這個(gè)需求是幫一個(gè)做車(chē)載輔助駕駛的朋友解決一個(gè)具體問(wèn)題他們的系統(tǒng)在傍晚逆光環(huán)境下經(jīng)常把遠(yuǎn)處紅色的廣告牌誤識(shí)別成紅燈導(dǎo)致不必要的減速。這讓我意識(shí)到一個(gè)魯棒的紅綠燈識(shí)別系統(tǒng)不能只依賴(lài)一個(gè)訓(xùn)練好的模型它必須是一個(gè)結(jié)合了目標(biāo)檢測(cè)、圖像預(yù)處理、后處理邏輯和場(chǎng)景理解的完整工程方案。所以當(dāng)我看到這個(gè)“基于YOLOv5OpenCV實(shí)現(xiàn)道路紅綠燈識(shí)別檢測(cè)系統(tǒng)”的項(xiàng)目包時(shí)第一反應(yīng)是這很可能是一個(gè)從實(shí)驗(yàn)室Demo走向工程化應(yīng)用的絕佳學(xué)習(xí)樣本。它不僅僅提供了模型更重要的是它打包了源碼、評(píng)估指標(biāo)曲線和使用說(shuō)明這意味著我們可以一窺從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、性能評(píng)估到最終集成的完整鏈路。對(duì)于想深入理解如何將一個(gè)前沿的算法YOLOv5與經(jīng)典的計(jì)算機(jī)視覺(jué)庫(kù)OpenCV結(jié)合解決一個(gè)具體、復(fù)雜且具有強(qiáng)現(xiàn)實(shí)約束問(wèn)題的開(kāi)發(fā)者來(lái)說(shuō)這個(gè)項(xiàng)目包的價(jià)值遠(yuǎn)超一個(gè)孤立的模型文件。接下來(lái)我將帶你一起拆解這個(gè)系統(tǒng)看看它如何工作以及我們?cè)趶?fù)現(xiàn)和優(yōu)化時(shí)需要注意哪些關(guān)鍵點(diǎn)。2. 核心組件拆解YOLOv5與OpenCV的角色與協(xié)同這個(gè)系統(tǒng)的核心架構(gòu)非常清晰YOLOv5負(fù)責(zé)“找”O(jiān)penCV負(fù)責(zé)“判”和“顯”。但兩者的分工與協(xié)作遠(yuǎn)不止字面意思那么簡(jiǎn)單理解它們各自承擔(dān)的任務(wù)邊界是后續(xù)調(diào)優(yōu)和問(wèn)題排查的基礎(chǔ)。2.1 YOLOv5高效的目標(biāo)檢測(cè)引擎YOLOv5在這里扮演的是目標(biāo)檢測(cè)器的角色。它的任務(wù)是在輸入的圖像或視頻幀中快速、準(zhǔn)確地定位出所有可能是紅綠燈的物體并用一個(gè)矩形框Bounding Box標(biāo)記出來(lái)同時(shí)給出這個(gè)框內(nèi)物體是“紅綠燈”的置信度Confidence Score。YOLOv5之所以被廣泛采用主要得益于它在速度與精度之間取得的出色平衡以及其高度工程化的代碼庫(kù)使得訓(xùn)練和部署相對(duì)便捷。在這個(gè)紅綠燈識(shí)別場(chǎng)景下YOLOv5模型需要被訓(xùn)練來(lái)識(shí)別“紅綠燈”這個(gè)類(lèi)別。但這里有一個(gè)關(guān)鍵細(xì)節(jié)YOLOv5本身通常不區(qū)分紅燈、綠燈和黃燈的狀態(tài)。它只是告訴你“這里有一個(gè)交通信號(hào)燈”。為什么因?yàn)閺哪繕?biāo)檢測(cè)的角度看紅燈、綠燈、黃燈在形狀、大小、外觀上高度相似僅僅是發(fā)光區(qū)域的顏色不同。如果讓檢測(cè)模型同時(shí)完成定位和精細(xì)的狀態(tài)分類(lèi)模型會(huì)變得復(fù)雜且容易因顏色通道的微小變化如光照而產(chǎn)生誤判。因此更常見(jiàn)的工程實(shí)踐是采用兩階段策略第一階段用YOLOv5檢測(cè)出信號(hào)燈的位置第二階段利用OpenCV對(duì)檢測(cè)框內(nèi)的圖像區(qū)域進(jìn)行更精細(xì)的顏色和形狀分析來(lái)判斷其具體狀態(tài)紅、綠、黃、熄滅等。這種解耦的設(shè)計(jì)提升了系統(tǒng)的模塊化和魯棒性。2.2 OpenCV強(qiáng)大的圖像處理與后處理工具箱OpenCV在這個(gè)系統(tǒng)中承擔(dān)了多重任務(wù)是工程化落地的關(guān)鍵圖像預(yù)處理在將圖像送入YOLOv5模型之前可能需要進(jìn)行一些預(yù)處理操作例如尺寸縮放Resize到模型要求的輸入尺寸如640x640、顏色空間轉(zhuǎn)換BGR轉(zhuǎn)RGB因?yàn)閅OLOv5通常期望RGB輸入、以及歸一化Normalization。這些操作通常由推理框架如PyTorch或代碼封裝完成但底層離不開(kāi)OpenCV的圖像讀寫(xiě)和變換能力。狀態(tài)識(shí)別后處理核心這是OpenCV最核心的作用。當(dāng)YOLOv5給出一個(gè)“紅綠燈”的檢測(cè)框后我們需要裁剪Crop出這個(gè)區(qū)域。然后針對(duì)這個(gè)裁剪出的小圖像進(jìn)行一系列操作來(lái)判斷狀態(tài)顏色空間分析直接將圖像從BGR轉(zhuǎn)換到HSV顏色空間。HSV將顏色信息色調(diào)H、飽和度S和明度V分離對(duì)光照變化比RGB空間更魯棒。我們可以通過(guò)設(shè)定紅燈、綠燈、黃燈在H通道的大致范圍例如紅色在HSV中可能對(duì)應(yīng)H在0-10和160-180的兩個(gè)區(qū)間并結(jié)合較高的飽和度(S)和明度(V)閾值來(lái)篩選出高亮的顏色區(qū)域。形態(tài)學(xué)操作使用cv2.morphologyEx進(jìn)行開(kāi)運(yùn)算、閉運(yùn)算等以消除噪聲點(diǎn)連接相鄰的像素區(qū)域使燈光的形狀更完整。輪廓查找與篩選使用cv2.findContours找到上一步二值化圖像中的所有輪廓。然后根據(jù)輪廓的面積、寬高比、圓形度如果是圓形燈或矩形度如果是箭頭燈等幾何特征篩選出最可能是燈頭的輪廓。邏輯判斷最后根據(jù)篩選出的輪廓數(shù)量、位置對(duì)于豎向排列的紅黃綠燈它們的位置是固定的等信息綜合判斷當(dāng)前信號(hào)燈的狀態(tài)。例如如果只找到一個(gè)位于檢測(cè)框上部的紅色高亮區(qū)域則判定為紅燈。結(jié)果可視化使用cv2.rectangle,cv2.putText等函數(shù)將YOLOv5的檢測(cè)框、OpenCV判斷的狀態(tài)標(biāo)簽如“Red” “Green”以及置信度繪制到原始圖像上生成直觀的可視化結(jié)果。注意這里提到的opencv equalizehist 掩膜等熱詞很可能是在嘗試用直方圖均衡化來(lái)增強(qiáng)圖像對(duì)比度或者使用掩膜來(lái)限定處理區(qū)域。這在預(yù)處理階段用于改善低光照或高對(duì)比度場(chǎng)景下的圖像質(zhì)量是一個(gè)常見(jiàn)的優(yōu)化點(diǎn)但并非必需的核心流程。過(guò)度處理有時(shí)會(huì)引入新的噪聲。3. 環(huán)境部署與源碼運(yùn)行避開(kāi)第一個(gè)“坑”拿到一個(gè)包含源碼和模型的項(xiàng)目包第一步永遠(yuǎn)是搭建環(huán)境并讓程序跑起來(lái)。這個(gè)過(guò)程看似簡(jiǎn)單卻最容易因?yàn)榘姹疽蕾?lài)、路徑配置等問(wèn)題卡住。我們以最常見(jiàn)的Windows/Python環(huán)境為例梳理關(guān)鍵步驟。3.1 環(huán)境準(zhǔn)備創(chuàng)建獨(dú)立的虛擬環(huán)境強(qiáng)烈建議使用conda或venv創(chuàng)建獨(dú)立的Python環(huán)境避免與系統(tǒng)或其他項(xiàng)目的包沖突。# 使用 conda conda create -n traffic_light python3.8 conda activate traffic_light # 或使用 venv python -m venv traffic_light_env # Windows traffic_light_env\Scripts\activate # Linux/Mac source traffic_light_env/bin/activate3.2 核心依賴(lài)安裝PyTorch, OpenCV, YOLOv5安裝依賴(lài)的順序和版本選擇至關(guān)重要。安裝PyTorch前往 PyTorch官網(wǎng) 根據(jù)你的CUDA版本如果有NVIDIA GPU并已安裝CUDA或選擇CPU版本生成對(duì)應(yīng)的安裝命令。例如對(duì)于CUDA 11.8pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118如果沒(méi)有GPU則安裝CPU版本pip install torch torchvision torchaudio安裝OpenCV安裝OpenCV的核心包和擴(kuò)展包opencv-contrib-python通常包含更多功能。pip install opencv-python opencv-contrib-python如果遇到網(wǎng)絡(luò)問(wèn)題可以使用國(guó)內(nèi)鏡像源如-i https://pypi.tuna.tsinghua.edu.cn/simple。獲取YOLOv5源碼項(xiàng)目包中可能已經(jīng)包含了YOLOv5的代碼但為了確保完整性我們也可以直接從官方倉(cāng)庫(kù)克隆。注意版本匹配YOLOv5的版本v6.0, v7.0等不同API可能有細(xì)微變化。git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt關(guān)鍵點(diǎn)安裝requirements.txt時(shí)它會(huì)自動(dòng)安裝一系列依賴(lài)包括特定版本的numpy,pillow,matplotlib等。這可能會(huì)與你環(huán)境中已安裝的OpenCV或PyTorch產(chǎn)生版本沖突。一個(gè)常見(jiàn)的策略是先安裝PyTorch和OpenCV再安裝YOLOv5的requirements并忽略其中對(duì)PyTorch的版本指定如果沖突可以手動(dòng)編輯requirements.txt臨時(shí)注釋掉torch和torchvision的行。3.3 項(xiàng)目結(jié)構(gòu)解析與運(yùn)行解壓項(xiàng)目包后典型的目錄結(jié)構(gòu)可能如下traffic_light_detection/ ├── models/ # 存放訓(xùn)練好的YOLOv5模型權(quán)重文件.pt ├── data/ # 可能包含數(shù)據(jù)集配置文件.yaml和示例圖片/視頻 ├── utils/ # 工具腳本可能包含OpenCV后處理、畫(huà)圖等函數(shù) ├── detect.py # 主推理腳本或基于YOLOv5的detect.py修改而來(lái) ├── train.py # 訓(xùn)練腳本如果提供 ├── requirements.txt # 項(xiàng)目依賴(lài) └── README.md # 使用說(shuō)明運(yùn)行推理的核心命令通常類(lèi)似于python detect.py --source data/test.jpg --weights models/best.pt --conf-thres 0.25--source: 指定輸入源可以是圖片、視頻、攝像頭編號(hào)如0或文件夾路徑。--weights: 指定訓(xùn)練好的模型權(quán)重路徑。--conf-thres: 置信度閾值低于此值的檢測(cè)框?qū)⒈贿^(guò)濾掉。對(duì)于紅綠燈這種小目標(biāo)初期可以設(shè)低一點(diǎn)如0.2以免漏檢后期再調(diào)整。常見(jiàn)踩坑點(diǎn)ModuleNotFoundError: No module named cv2說(shuō)明OpenCV安裝失敗或未安裝。檢查安裝命令確保在正確的虛擬環(huán)境中操作。CUDA相關(guān)錯(cuò)誤如果安裝了GPU版本的PyTorch但運(yùn)行時(shí)報(bào)CUDA錯(cuò)誤請(qǐng)檢查CUDA和PyTorch版本是否兼容?？梢允褂胮ython -c import torch; print(torch.__version__); print(torch.cuda.is_available())來(lái)驗(yàn)證。模型加載失敗確保--weights參數(shù)指向正確的.pt文件路徑。有時(shí)模型文件可能是在不同版本的YOLOv5上訓(xùn)練的如果版本不匹配可能導(dǎo)致加載錯(cuò)誤。嘗試使用項(xiàng)目包內(nèi)提供的detect.py因?yàn)樗ǔＥc模型版本匹配。路徑問(wèn)題在代碼中讀取文件、保存結(jié)果的路徑建議使用os.path.join來(lái)構(gòu)建以兼容不同操作系統(tǒng)。檢查代碼中是否有硬編碼的絕對(duì)路徑。4. 模型訓(xùn)練與評(píng)估理解性能曲線的背后如果項(xiàng)目包中包含了訓(xùn)練腳本和評(píng)估指標(biāo)曲線那我們就擁有了從零開(kāi)始復(fù)現(xiàn)或優(yōu)化模型的能力。這是理解系統(tǒng)性能上限的關(guān)鍵。4.1 數(shù)據(jù)準(zhǔn)備紅綠燈數(shù)據(jù)集的特殊性訓(xùn)練一個(gè)紅綠燈檢測(cè)模型首先需要標(biāo)注好的數(shù)據(jù)集。數(shù)據(jù)通常來(lái)源于公開(kāi)數(shù)據(jù)集如TT100K、Bosch Small Traffic Lights Dataset或自行采集標(biāo)注。數(shù)據(jù)標(biāo)注需要使用標(biāo)注工具如LabelImg、CVAT將每個(gè)紅綠燈用矩形框標(biāo)出并賦予“traffic_light”之類(lèi)的標(biāo)簽。數(shù)據(jù)準(zhǔn)備的核心挑戰(zhàn)尺度變化大近處的紅綠燈可能占據(jù)圖像很大區(qū)域而遠(yuǎn)處的則只有幾十個(gè)像素。YOLOv5的多尺度檢測(cè)頭P3, P4, P5對(duì)此有幫助但數(shù)據(jù)集中需要包含充足的多尺度樣本。類(lèi)別不平衡有些狀態(tài)如黃燈的樣本可能遠(yuǎn)少于紅燈和綠燈。需要在數(shù)據(jù)增強(qiáng)或損失函數(shù)中考慮這一點(diǎn)。復(fù)雜背景紅綠燈常出現(xiàn)在天空、樹(shù)木、建筑背景前容易與相似的發(fā)光物體如車(chē)尾燈、廣告牌混淆。數(shù)據(jù)集中應(yīng)包含足夠的負(fù)樣本不含紅綠燈的圖片和困難負(fù)樣本容易混淆的物體。數(shù)據(jù)集的目錄結(jié)構(gòu)通常遵循YOLOv5的規(guī)范datasets/ └── traffic_light/ ├── images/ │ ├── train/ # 訓(xùn)練圖片 │ └── val/ # 驗(yàn)證圖片 └── labels/ ├── train/ # 對(duì)應(yīng)的YOLO格式標(biāo)簽文件.txt └── val/每個(gè)標(biāo)簽文件.txt的每一行格式為class_id x_center y_center width height坐標(biāo)和寬高都是相對(duì)于圖片尺寸的歸一化值0-1之間。4.2 訓(xùn)練配置與超參數(shù)調(diào)優(yōu)項(xiàng)目中的train.py和data.yaml是訓(xùn)練的控制中心。data.yaml文件定義了數(shù)據(jù)集的路徑和類(lèi)別信息# data.yaml train: ../datasets/traffic_light/images/train val: ../datasets/traffic_light/images/val nc: 1 # 類(lèi)別數(shù)這里只有‘traffic_light’一類(lèi) names: [traffic_light]訓(xùn)練命令示例python train.py --img 640 --batch 16 --epochs 100 --data ./data/traffic_light.yaml --weights yolov5s.pt --project runs/train --name exp1--img: 輸入圖像尺寸。640是YOLOv5的常用尺寸更大的尺寸如1280可能提升小目標(biāo)檢測(cè)精度但會(huì)顯著增加計(jì)算量和內(nèi)存消耗。--batch: 批次大小。根據(jù)GPU內(nèi)存調(diào)整。--epochs: 訓(xùn)練輪數(shù)。需要觀察驗(yàn)證集損失曲線防止過(guò)擬合。--weights: 初始權(quán)重。使用預(yù)訓(xùn)練的yolov5s.pt可以加速收斂這是遷移學(xué)習(xí)的典型應(yīng)用。--project--name: 指定輸出目錄訓(xùn)練日志、模型權(quán)重、評(píng)估曲線都會(huì)保存在這里。超參數(shù)調(diào)優(yōu)心得學(xué)習(xí)率--lr0是最重要的超參數(shù)之一。YOLOv5默認(rèn)使用了帶熱身的余弦退火學(xué)習(xí)率調(diào)度器通常默認(rèn)值0.01是個(gè)不錯(cuò)的起點(diǎn)。如果訓(xùn)練損失震蕩劇烈可以嘗試調(diào)低如0.001。數(shù)據(jù)增強(qiáng)YOLOv5內(nèi)置了強(qiáng)大的數(shù)據(jù)增強(qiáng)Mosaic, MixUp等。對(duì)于紅綠燈小目標(biāo)可以適當(dāng)增強(qiáng)--hsv_h,--hsv_s,--hsv_vHSV顏色空間擾動(dòng)來(lái)模擬不同光照和天氣但要注意過(guò)度增強(qiáng)可能破壞顏色信息反而影響后續(xù)OpenCV的狀態(tài)判斷。針對(duì)小目標(biāo)的優(yōu)化可以在模型結(jié)構(gòu)上嘗試使用更關(guān)注小目標(biāo)的檢測(cè)頭或者使用專(zhuān)門(mén)針對(duì)小目標(biāo)優(yōu)化的YOLO變種如YOLOv5-P2增加了一個(gè)更淺的檢測(cè)頭。但在資源有限的情況下更務(wù)實(shí)的做法是確保訓(xùn)練數(shù)據(jù)中包含足夠多、高質(zhì)量的小目標(biāo)樣本。4.3 解讀評(píng)估指標(biāo)曲線訓(xùn)練完成后在runs/train/exp1目錄下我們會(huì)看到一系列重要的評(píng)估圖表它們是衡量模型性能的“體檢報(bào)告”。損失曲線train_loss.jpgval_loss.jpg訓(xùn)練損失隨著epoch增加應(yīng)持續(xù)下降最終趨于平緩。驗(yàn)證損失也應(yīng)下降但在某個(gè)epoch后可能開(kāi)始上升這意味著模型開(kāi)始過(guò)擬合過(guò)度記憶訓(xùn)練數(shù)據(jù)泛化能力變差。此時(shí)應(yīng)停止訓(xùn)練早停或增加數(shù)據(jù)增強(qiáng)、使用正則化手段。性能指標(biāo)曲線metrics.jpg精度Precision模型預(yù)測(cè)為正的樣本中真正為正的比例。高精度意味著模型“不錯(cuò)報(bào)”。召回率Recall所有真實(shí)為正的樣本中被模型正確找出的比例。高召回率意味著模型“不漏報(bào)”。mAP0.5mean Average Precision在交并比IoU閾值為0.5時(shí)的平均精度。這是目標(biāo)檢測(cè)的核心綜合指標(biāo)。對(duì)于紅綠燈檢測(cè)我們通常更關(guān)注mAP0.5:0.95即在多個(gè)IoU閾值從0.5到0.95步長(zhǎng)0.05下的平均mAP這能更全面地衡量定位精度。解讀理想情況是Precision和Recall曲線都盡可能高且平衡。如果Precision高但Recall低說(shuō)明模型很保守只檢測(cè)非常確定的紅綠燈會(huì)漏掉很多。如果Recall高但Precision低說(shuō)明模型很激進(jìn)抓到了大部分紅綠燈但誤檢很多。需要通過(guò)調(diào)整置信度閾值--conf-thres來(lái)在兩者之間取得平衡?；煜仃嘽onfusion_matrix.png對(duì)于多分類(lèi)任務(wù)非常有用。在本項(xiàng)目中如果只檢測(cè)“紅綠燈”一類(lèi)混淆矩陣意義不大。但如果將紅、綠、黃燈作為不同類(lèi)別來(lái)訓(xùn)練不推薦原因見(jiàn)2.1節(jié)混淆矩陣可以清晰顯示類(lèi)別間的誤判情況。從曲線到調(diào)優(yōu)決策 如果mAP值不理想不要急于調(diào)整模型超參數(shù)。首先檢查數(shù)據(jù)標(biāo)注質(zhì)量是否高小目標(biāo)樣本是否足夠類(lèi)別是否平衡然后檢查訓(xùn)練過(guò)程損失曲線是否正常收斂學(xué)習(xí)率是否合適很多時(shí)候數(shù)據(jù)的質(zhì)量決定了模型性能的上限。5. OpenCV后處理邏輯深度剖析從檢測(cè)框到狀態(tài)判斷這是將“檢測(cè)到物體”轉(zhuǎn)化為“理解其狀態(tài)”的關(guān)鍵一步也是工程上最容易出問(wèn)題、最需要精細(xì)調(diào)校的環(huán)節(jié)。我們?cè)敿?xì)拆解一個(gè)典型的處理流程。5.1 檢測(cè)框裁剪與預(yù)處理假設(shè)YOLOv5給出了一個(gè)檢測(cè)框(x1, y1, x2, y2)和置信度conf。首先我們從原始圖像中裁剪出這個(gè)區(qū)域import cv2 import numpy as np # 假設(shè) det 是YOLOv5輸出的一個(gè)檢測(cè)結(jié)果格式為 [x1, y1, x2, y2, conf, class] x1, y1, x2, y2 map(int, det[:4]) traffic_light_roi original_image[y1:y2, x1:x2] # 如果檢測(cè)框過(guò)小可以適當(dāng)按比例擴(kuò)大一點(diǎn)確保捕獲完整的燈體 padding 5 h, w original_image.shape[:2] x1 max(0, x1 - padding) y1 max(0, y1 - padding) x2 min(w, x2 padding) y2 min(h, y2 padding) traffic_light_roi original_image[y1:y2, x1:x2]5.2 基于HSV顏色空間的狀態(tài)識(shí)別這是最核心的步驟。我們以識(shí)別紅燈為例def detect_red_light(roi): # 1. 轉(zhuǎn)換到HSV空間 hsv cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) # 2. 定義紅色的HSV范圍紅色在HSV色環(huán)的兩端 # 注意這些閾值需要根據(jù)實(shí)際環(huán)境白天/夜晚、燈罩材質(zhì)進(jìn)行微調(diào) lower_red1 np.array([0, 70, 50]) # 低色調(diào)紅色 upper_red1 np.array([10, 255, 255]) lower_red2 np.array([160, 70, 50]) # 高色調(diào)紅色 upper_red2 np.array([180, 255, 255]) # 3. 根據(jù)閾值創(chuàng)建掩膜 mask1 cv2.inRange(hsv, lower_red1, upper_red1) mask2 cv2.inRange(hsv, lower_red2, upper_red2) red_mask cv2.bitwise_or(mask1, mask2) # 4. 形態(tài)學(xué)操作去噪 kernel np.ones((3, 3), np.uint8) red_mask cv2.morphologyEx(red_mask, cv2.MORPH_CLOSE, kernel) # 閉運(yùn)算填充小孔 red_mask cv2.morphologyEx(red_mask, cv2.MORPH_OPEN, kernel) # 開(kāi)運(yùn)算去除小白點(diǎn) # 5. 查找輪廓 contours, _ cv2.findContours(red_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 6. 篩選輪廓 red_detected False for cnt in contours: area cv2.contourArea(cnt) # 根據(jù)ROI大小設(shè)定面積閾值過(guò)濾掉太小的噪聲 if area (roi.shape[0] * roi.shape[1] * 0.01): # 例如面積大于ROI面積的1% # 可以進(jìn)一步檢查輪廓的寬高比、圓形度等 red_detected True break return red_detected, red_mask綠燈和黃燈的檢測(cè)邏輯類(lèi)似只需調(diào)整HSV范圍。例如綠燈的H范圍大約在[35, 85]黃燈在[20, 35]。5.3 多燈狀態(tài)與邏輯判斷一個(gè)紅綠燈組通常包含多個(gè)燈紅、黃、綠可能還有箭頭燈。簡(jiǎn)單的做法是對(duì)每個(gè)檢測(cè)框獨(dú)立判斷。但更魯棒的方法是如果YOLOv5檢測(cè)到了多個(gè)非常接近的“traffic_light”框可能是一個(gè)燈組被誤檢成多個(gè)可以先進(jìn)行框合并NMS或根據(jù)位置聚類(lèi)得到一個(gè)大的“燈組”區(qū)域。然后在這個(gè)大區(qū)域內(nèi)分別用HSV方法尋找紅、綠、黃的高亮區(qū)域再根據(jù)它們的相對(duì)空間位置例如豎向排列時(shí)紅燈在上綠燈在下進(jìn)行最終狀態(tài)判決。關(guān)鍵挑戰(zhàn)與調(diào)優(yōu)經(jīng)驗(yàn)閾值敏感性問(wèn)題HSV閾值不是銀彈。傍晚的天空、車(chē)尾燈、霓虹招牌都可能落入相近的HSV范圍。動(dòng)態(tài)閾值或機(jī)器學(xué)習(xí)分類(lèi)器在裁剪的ROI上訓(xùn)練一個(gè)簡(jiǎn)單的SVM或CNN來(lái)分類(lèi)紅/綠/黃/滅是更魯棒的方案但復(fù)雜度也更高。曝光與過(guò)曝在強(qiáng)光或夜間燈光區(qū)域可能過(guò)曝變成白色丟失顏色信息?？梢試L試在HSV分析前先提取V通道明度找到高亮區(qū)域再在這些區(qū)域的原始BGR或H通道上分析顏色趨勢(shì)。運(yùn)動(dòng)模糊車(chē)輛移動(dòng)會(huì)導(dǎo)致燈光拖影破壞輪廓形狀?？梢钥紤]使用視頻時(shí)序信息對(duì)連續(xù)幾幀的檢測(cè)結(jié)果進(jìn)行投票或?yàn)V波提高穩(wěn)定性。代碼優(yōu)化對(duì)視頻流進(jìn)行實(shí)時(shí)處理時(shí)OpenCV的逐幀循環(huán)和輪廓查找可能是性能瓶頸。務(wù)必使用time模塊對(duì)關(guān)鍵函數(shù)進(jìn)行性能分析并考慮使用多線程將目標(biāo)檢測(cè)和狀態(tài)識(shí)別分離到不同線程或更高效的算法。6. 系統(tǒng)集成與性能優(yōu)化實(shí)戰(zhàn)將訓(xùn)練好的模型和調(diào)校好的后處理邏輯集成到一個(gè)穩(wěn)定、高效的應(yīng)用中是最后的臨門(mén)一腳。這里涉及工程架構(gòu)、性能優(yōu)化和異常處理。6.1 構(gòu)建可復(fù)用的處理流水線一個(gè)好的設(shè)計(jì)是將系統(tǒng)模塊化例如class TrafficLightSystem: def __init__(self, model_path, conf_thres0.25): self.model self.load_yolov5_model(model_path) self.conf_thres conf_thres # 初始化OpenCV后處理的參數(shù)如HSV閾值 self.hsv_params self.load_hsv_params(config/hsv_params.json) def load_yolov5_model(self, path): # 使用YOLOv5提供的加載方式 model torch.hub.load(ultralytics/yolov5, custom, pathpath, force_reloadFalse) model.conf self.conf_thres return model def process_frame(self, frame): # 步驟1: YOLOv5檢測(cè) results self.model(frame) detections results.xyxy[0].cpu().numpy() # 獲取檢測(cè)框 [x1, y1, x2, y2, conf, cls] lights_info [] for det in detections: if det[5] 0: # 假設(shè)類(lèi)別0是‘traffic_light’ # 步驟2: 裁剪ROI roi self.crop_roi(frame, det) # 步驟3: OpenCV狀態(tài)識(shí)別 state self.recognize_state(roi) # 步驟4: 組裝信息 lights_info.append({ bbox: det[:4], confidence: det[4], state: state }) # 步驟5: 可選基于位置信息的燈組邏輯判斷 lights_info self.group_and_vote(lights_info) return lights_info def recognize_state(self, roi): # 實(shí)現(xiàn)上一節(jié)中的HSV顏色分析邏輯 is_red, _ self.detect_by_hsv(roi, self.hsv_params[red]) is_green, _ self.detect_by_hsv(roi, self.hsv_params[green]) is_yellow, _ self.detect_by_hsv(roi, self.hsv_params[yellow]) # 簡(jiǎn)單邏輯誰(shuí)亮判誰(shuí)如果都不亮或都亮不可能判為未知 if sum([is_red, is_green, is_yellow]) 1: if is_red: return RED elif is_green: return GREEN else: return YELLOW else: return UNKNOWN def visualize(self, frame, lights_info): # 使用OpenCV將結(jié)果畫(huà)到幀上 for info in lights_info: x1, y1, x2, y2 map(int, info[bbox]) state info[state] conf info[confidence] color {RED: (0, 0, 255), GREEN: (0, 255, 0), YELLOW: (0, 255, 255)}.get(state, (255, 255, 255)) cv2.rectangle(frame, (x1, y1), (x2, y2), color, 2) label f{state} {conf:.2f} cv2.putText(frame, label, (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2) return frame6.2 性能優(yōu)化技巧推理加速模型簡(jiǎn)化使用更小的YOLOv5變體如yolov5n或yolov5s。在嵌入式設(shè)備如提到的RV1106、RK3568上需要進(jìn)一步使用模型量化INT8、剪枝、轉(zhuǎn)換為特定推理引擎格式如ONNX、TensorRT、NCNN等手段。幀采樣對(duì)于實(shí)時(shí)視頻流如果不是每幀都必須處理可以跳幀如每3幀處理1幀然后用跟蹤算法如ByteTrack、Bot-SORT在中間幀維持目標(biāo)ID和位置。分辨率調(diào)整在不顯著影響小目標(biāo)檢測(cè)的前提下適當(dāng)降低輸入模型的分辨率如從640降到480。后處理加速ROI處理限制只對(duì)置信度高于一定閾值的檢測(cè)框進(jìn)行詳細(xì)的OpenCV后處理。向量化操作盡量使用NumPy的向量化操作代替Python循環(huán)。C擴(kuò)展對(duì)于性能瓶頸極高的函數(shù)如復(fù)雜的輪廓分析可以考慮用C實(shí)現(xiàn)并通過(guò)Python綁定如PyBind11調(diào)用。內(nèi)存管理在長(zhǎng)時(shí)間運(yùn)行的服務(wù)中注意及時(shí)釋放不再使用的圖像張量和中間變量防止內(nèi)存泄漏。6.3 異常處理與日志記錄一個(gè)健壯的系統(tǒng)必須能處理各種異常情況。try: results self.model(frame) except RuntimeError as e: if CUDA out of memory in str(e): logging.warning(GPU內(nèi)存不足嘗試清空緩存并降低批次大小) torch.cuda.empty_cache() # 嘗試用更小的尺寸或跳過(guò)此幀 return [] else: logging.error(f模型推理錯(cuò)誤: {e}) raise完善的日志記錄logging模塊對(duì)于線上排查問(wèn)題至關(guān)重要應(yīng)記錄關(guān)鍵步驟的結(jié)果、耗時(shí)、以及識(shí)別到的狀態(tài)變化。7. 從項(xiàng)目到產(chǎn)品可能遇到的坑與進(jìn)階思考走通整個(gè)流程后你會(huì)發(fā)現(xiàn)實(shí)驗(yàn)室環(huán)境下的高精度模型在實(shí)際部署中依然會(huì)面臨諸多挑戰(zhàn)。這里分享一些更深層次的“坑”和應(yīng)對(duì)思路?？右画h(huán)境光劇變。系統(tǒng)在白天表現(xiàn)良好但到了夜晚車(chē)燈、路燈成為主要光源紅綠燈的HSV特征完全變了。甚至攝像頭自動(dòng)增益AGC和自動(dòng)白平衡AWB也會(huì)改變圖像的整體色調(diào)。應(yīng)對(duì)思路數(shù)據(jù)增強(qiáng)的針對(duì)性在訓(xùn)練YOLOv5模型時(shí)就加入大量模擬夜間、黃昏、逆光、雨霧的數(shù)據(jù)增強(qiáng)?？梢允褂肎AN或色彩變換來(lái)生成更多樣化的訓(xùn)練數(shù)據(jù)。預(yù)處理自適應(yīng)在OpenCV后處理前先對(duì)圖像進(jìn)行光照歸一化或使用Retinex等算法進(jìn)行光照補(bǔ)償減少全局光照的影響。特征融合不要只依賴(lài)顏色。結(jié)合形狀特征HOG、輪廓矩和紋理特征甚至使用一個(gè)輕量級(jí)的神經(jīng)網(wǎng)絡(luò)對(duì)裁剪出的ROI進(jìn)行二次分類(lèi)比純HSV更穩(wěn)定?？佣h(yuǎn)距離小目標(biāo)漏檢。這是小目標(biāo)檢測(cè)的共性問(wèn)題。YOLOv5雖然有多尺度檢測(cè)但對(duì)于幾十像素的紅綠燈在復(fù)雜背景下依然容易丟失。應(yīng)對(duì)思路數(shù)據(jù)層面確保訓(xùn)練集包含足夠比例的小目標(biāo)樣本并對(duì)其進(jìn)行過(guò)采樣。標(biāo)注時(shí)對(duì)于極小的目標(biāo)可以適當(dāng)放寬IoU要求或者采用更密集的標(biāo)注策略。模型層面嘗試使用專(zhuān)門(mén)優(yōu)化小目標(biāo)的檢測(cè)器如YOLOv5-P2增加P2特征層或在YOLOv5的Neck部分加入注意力機(jī)制如CBAM、SE讓模型更關(guān)注小目標(biāo)區(qū)域。檢測(cè)策略采用滑動(dòng)窗口或圖像金字塔對(duì)輸入圖像進(jìn)行多尺度檢測(cè)雖然會(huì)增加計(jì)算量但能顯著提升小目標(biāo)召回率?？梢灾辉跈z測(cè)置信度低的區(qū)域或特定尺度上使用?？尤度胧讲渴痣y題。在RV1106、RK3568這類(lèi)邊緣設(shè)備上直接運(yùn)行PyTorch模型和完整的OpenCV Python代碼幾乎不可能。應(yīng)對(duì)思路模型轉(zhuǎn)換與量化將訓(xùn)練好的PyTorch模型導(dǎo)出為ONNX格式然后使用設(shè)備廠商提供的工具鏈如RKNN Toolkit for RK3568轉(zhuǎn)換為適配自家NPU的格式并進(jìn)行INT8量化大幅提升推理速度。工程語(yǔ)言重構(gòu)將核心算法用C重寫(xiě)。使用libtorchPyTorch C前端進(jìn)行模型推理使用OpenCV C接口進(jìn)行圖像處理。這需要深厚的C和跨平臺(tái)編譯功底。流水線優(yōu)化在嵌入式端可能需要對(duì)算法流水線做減法。例如在固定場(chǎng)景下可以預(yù)先確定紅綠燈的大致出現(xiàn)區(qū)域ROI只對(duì)這些區(qū)域進(jìn)行檢測(cè)減少計(jì)算量。進(jìn)階思考端到端方案 vs. 兩階段方案。我們目前采用的是“YOLOv5檢測(cè) OpenCV狀態(tài)識(shí)別”的兩階段方案。一個(gè)自然的想法是能否訓(xùn)練一個(gè)端到端的模型直接輸出“紅燈”、“綠燈”、“黃燈”和“無(wú)燈”可行性完全可以。你需要一個(gè)標(biāo)注了具體燈狀態(tài)的數(shù)據(jù)集例如將“紅燈”作為一個(gè)類(lèi)別“綠燈”作為另一個(gè)類(lèi)別。然后使用YOLOv5或其他檢測(cè)器進(jìn)行訓(xùn)練。優(yōu)缺點(diǎn)分析優(yōu)點(diǎn)結(jié)構(gòu)簡(jiǎn)單推理一次即可得到最終結(jié)果可能更快。缺點(diǎn)數(shù)據(jù)要求高且標(biāo)注成本大。需要精確標(biāo)注每個(gè)燈的狀態(tài)并且要覆蓋各種光照、天氣、遮擋情況。模型需要同時(shí)學(xué)習(xí)“定位”和“精細(xì)顏色分類(lèi)”任務(wù)更復(fù)雜在數(shù)據(jù)不足時(shí)容易過(guò)擬合或表現(xiàn)不佳。兩階段方案的優(yōu)點(diǎn)在于解耦YOLOv5只需學(xué)習(xí)“這是不是燈”這個(gè)任務(wù)相對(duì)簡(jiǎn)單數(shù)據(jù)也更容易獲取OpenCV的顏色分析規(guī)則雖然需要調(diào)參但不依賴(lài)大量數(shù)據(jù)且可解釋性強(qiáng)便于針對(duì)特定場(chǎng)景快速調(diào)整。在實(shí)際項(xiàng)目中選擇哪種方案取決于你的核心約束條件是追求極致的精度和魯棒性可能傾向于兩階段并可對(duì)第二階段進(jìn)行升級(jí)還是追求極致的部署簡(jiǎn)便性和速度在數(shù)據(jù)充足的前提下可以考慮端到端。對(duì)于大多數(shù)從零開(kāi)始的團(tuán)隊(duì)從兩階段方案入手逐步迭代優(yōu)化是一條更穩(wěn)妥、更可控的路徑。這個(gè)“基于YOLOv5OpenCV”的項(xiàng)目包正是為你提供了這樣一個(gè)扎實(shí)的起點(diǎn)。本文還有配套的精品資源點(diǎn)擊獲取