簡(jiǎn)介一份面向深度學(xué)習(xí)初學(xué)者的自動(dòng)車牌識(shí)別實(shí)戰(zhàn)資源基于YOLOv8完成車牌檢測(cè)與ROI定位再通過(guò)EasyOCR提取車牌字符結(jié)合OpenCV處理視頻流覆蓋從模型推理到字符識(shí)別的完整流程。壓縮包共3個(gè)文件包含Python實(shí)現(xiàn)腳本、訓(xùn)練好的PyTorch模型權(quán)重以及一段演示視頻整體大小約55MB結(jié)構(gòu)精簡(jiǎn)便于快速下載與本地復(fù)現(xiàn)。已有6078人學(xué)習(xí)適合剛?cè)腴T的小白研究YOLO系列模型的實(shí)際應(yīng)用以及OpenCV在視頻處理中的常見用法。借助該資源讀者可以直觀理解目標(biāo)檢測(cè)與OCR技術(shù)如何串聯(lián)掌握模型權(quán)重加載、ROI裁剪、字符識(shí)別結(jié)果輸出等關(guān)鍵環(huán)節(jié)同時(shí)可參考demo視頻對(duì)照檢測(cè)效果為后續(xù)自建數(shù)據(jù)集訓(xùn)練或擴(kuò)展到其他車牌場(chǎng)景打下基礎(chǔ)。 你接到需求時(shí)對(duì)方通常只丟來(lái)一句話“幫我把車牌識(shí)別做了攝像頭拍的自動(dòng)記錄?！钡灰蜷_一幀真實(shí)監(jiān)控畫面你就會(huì)發(fā)現(xiàn)這句話背后藏著一整套流水線。車牌自動(dòng)識(shí)別不是單個(gè)模型能包圓的事它需要目標(biāo)檢測(cè)把“車牌在哪里”這個(gè)問題答對(duì)再靠OCR把“車牌號(hào)是什么”讀出來(lái)中間還夾著圖像矯正和規(guī)則校驗(yàn)。YOLOv8現(xiàn)在是最常用的檢測(cè)底座PaddleOCR等開源工具負(fù)責(zé)字符識(shí)別AI在這里不是玄學(xué)而是數(shù)據(jù)驅(qū)動(dòng)下不斷逼近真實(shí)的檢測(cè)與識(shí)別能力。這篇文章就基于我用YOLOv8PaddleOCR搭的一套方案把選型理由、訓(xùn)練參數(shù)、部署取舍和實(shí)戰(zhàn)翻車經(jīng)驗(yàn)全部攤開講。1. 車牌識(shí)別不是“一個(gè)模型”是四段式流水線1.1 從攝像頭畫面到車牌號(hào)真實(shí)的數(shù)據(jù)流一段完整的識(shí)別流程由四段組成。第一段是車輛檢測(cè)當(dāng)視頻畫面里同時(shí)出現(xiàn)多輛車時(shí)先篩出車輛區(qū)域避免后續(xù)計(jì)算資源浪費(fèi)在背景上。第二段是車牌檢測(cè)用YOLOv8在車輛區(qū)域或整幀中找車牌的矩形框。第三段是圖像矯正把傾斜、透視變形的車牌拉正。第四段才是OCR讀取矯正后的車牌字符最后再過(guò)一遍規(guī)則校驗(yàn)。這里最容易被新手誤解的是第二段和第四段的關(guān)系。YOLOv8輸出的是“這個(gè)位置有車牌”這一結(jié)論它的訓(xùn)練標(biāo)簽里沒有一個(gè)字段叫“車牌號(hào)”?？虺鰜?lái)的圖像要單獨(dú)交給OCR引擎去讀。如果你想象中訓(xùn)練一個(gè)YOLO模型、輸入圖片直接輸出車牌號(hào)那不是目標(biāo)檢測(cè)那是端到端的序列識(shí)別模型兩者統(tǒng)稱雖然都帶AI但差別非常大。1.2 為什么堅(jiān)持分階段而不是用一個(gè)端到端模型可能有人會(huì)說(shuō)車牌識(shí)別不是有LPRNet這類端到端模型嗎確實(shí)有但我用分階段方案有三個(gè)實(shí)際理由。第一是排錯(cuò)方便。識(shí)別結(jié)果錯(cuò)了先看檢測(cè)框是不是把車牌框全了再看矯正圖像有沒有拉正最后看OCR輸出的是什么邊界極其清晰。端到端模型一旦出錯(cuò)很難定位是定位分支還是識(shí)別分支出了問題。第二是優(yōu)化靈活。檢測(cè)側(cè)可以單獨(dú)換分辨率、換模型尺寸OCR側(cè)可以單獨(dú)換工具、加字典互不干擾。數(shù)據(jù)積累也是分開的檢測(cè)模型只需要畫車牌框OCR模型只需要準(zhǔn)備車牌字符圖兩類數(shù)據(jù)可以分開收集門檻低很多。當(dāng)然分離也有代價(jià)。兩階段誤差會(huì)疊加檢測(cè)框稍微框歪一點(diǎn)OCR的準(zhǔn)確率就明顯下降。所以工程上一定要在OCR之后補(bǔ)一層規(guī)則后處理這個(gè)我放到第4章細(xì)說(shuō)。即便有這樣的缺點(diǎn)我依然堅(jiān)持分離設(shè)計(jì)因?yàn)檎鎸?shí)項(xiàng)目里可維護(hù)性比那一點(diǎn)端到端精度更重要。2. 檢測(cè)模型選型YOLOv8在車牌場(chǎng)景里的幾個(gè)實(shí)在優(yōu)勢(shì)2.1 車牌算不算小目標(biāo)默認(rèn)配置為什么容易漏檢很多人一上來(lái)就關(guān)心YOLOv8比YOLOv5強(qiáng)在哪。結(jié)構(gòu)上的改進(jìn)是實(shí)打?qū)嵉牡谲嚺谱R(shí)別這個(gè)場(chǎng)景里真正的瓶頸通常不是網(wǎng)絡(luò)結(jié)構(gòu)而是小目標(biāo)問題。車牌在1080p畫面中通常只占很小一塊寬度約為整張圖的1/10到1/5算中等偏小目標(biāo)。當(dāng)使用廣角攝像頭、車輛離得遠(yuǎn)車牌區(qū)域可能只剩40×12像素這時(shí)它已經(jīng)逼近小目標(biāo)標(biāo)準(zhǔn)。YOLOv8默認(rèn)有80×80、40×40、20×20三組檢測(cè)頭。對(duì)1280×1280輸入最細(xì)的80×80特征圖一個(gè)網(wǎng)格對(duì)應(yīng)16×16像素一個(gè)40×12的車牌可能被壓進(jìn)兩三個(gè)網(wǎng)格里特征非常弱默認(rèn)配置很容易出現(xiàn)漏檢和檢測(cè)框跳變。這不是模型垃圾而是輸入分辨率和特征層尺度不匹配。解決辦法有兩個(gè)方向我建議按順序嘗試。第一提高輸入分辨率從640提到960甚至1280這個(gè)改動(dòng)幾乎立刻見效。第二給模型加P2小目標(biāo)檢測(cè)頭讓160×160的高分辨率特征圖也參與檢測(cè)。P2頭不是免費(fèi)的計(jì)算量增長(zhǎng)明顯所以單路抓拍可以加多路并發(fā)時(shí)要先權(quán)衡。2.2 C2f模塊和小目標(biāo)檢測(cè)頭的取舍再說(shuō)C2f模塊這是YOLOv8網(wǎng)絡(luò)架構(gòu)里被討論最多的地方。C2f把YOLOv5的C3結(jié)構(gòu)改成了更豐富的梯度流讓多層特征融合更充分加上Anchor-Free解耦頭、TaskAlignedAssigner正負(fù)樣本分配策略整體檢測(cè)能力確實(shí)比v5強(qiáng)。YOLOv8訓(xùn)練自己的數(shù)據(jù)集時(shí)這些改進(jìn)能讓收斂更穩(wěn)定對(duì)初學(xué)者更友好。但我的經(jīng)驗(yàn)是對(duì)車牌這種小目標(biāo)注意力機(jī)制和C2f魔改帶來(lái)的提升往往不到一個(gè)點(diǎn)。真正提升明顯的是輸入分辨率和數(shù)據(jù)增強(qiáng)。YOLOv8自帶的Mosaic、MixUp、隨機(jī)仿射變換對(duì)車牌檢測(cè)幫助很大特別是仿射變換能讓模型對(duì)車牌傾斜角度更魯棒。如果你想自己加P2頭直接在Ultralytics源碼的yaml里增加P2輸出并擴(kuò)展檢測(cè)頭就行。不過(guò)如果只是快速驗(yàn)證優(yōu)先把分辨率拉滿這條經(jīng)驗(yàn)比任何網(wǎng)絡(luò)魔改都穩(wěn)。3. 數(shù)據(jù)和訓(xùn)練CCPD起步、自建補(bǔ)漏GTX 1660 Ti也能跑3.1 開源數(shù)據(jù)集和自建負(fù)樣本怎么配合訓(xùn)練車牌檢測(cè)模型數(shù)據(jù)幾乎是天花板。先用公共數(shù)據(jù)集起步城市停車場(chǎng)場(chǎng)景的CCPD數(shù)據(jù)集大約有25萬(wàn)張圖像覆蓋不同光照和不同角度作為預(yù)訓(xùn)練或初版驗(yàn)證很有價(jià)值。另一個(gè)很好用的來(lái)源是合成數(shù)據(jù)用圖像合成工具把車牌貼到街景背景上自動(dòng)生成各種透視變形的車牌圖。這類數(shù)據(jù)對(duì)OCR訓(xùn)練尤其管用因?yàn)闃?biāo)注可以由合成腳本直接生成幾分鐘就能批量制造幾百?gòu)?。自建?shù)據(jù)時(shí)除了正常車牌框我強(qiáng)烈建議單獨(dú)收集一批“疑似車牌但實(shí)際不是”的負(fù)樣本例如車標(biāo)、進(jìn)氣格柵、廣告牌上比較扁平的矩形區(qū)域。車牌檢測(cè)的誤檢大多數(shù)來(lái)自這些地方。標(biāo)注就用YOLO格式類別只有一類plate。標(biāo)注工具用LabelImg或者X-AnyLabeling都行后者對(duì)視頻幀批量標(biāo)注更順手。標(biāo)完記得把train和val分開而且保證兩個(gè)集合來(lái)自不同攝像頭避免模型只是背下了場(chǎng)景而不是學(xué)會(huì)了找車牌。3.2 6GB顯存的GTX 1660 Ti怎么完成訓(xùn)練很多朋友關(guān)心GTX 1660 Ti這種6GB顯存的卡能不能跑YOLOv8這里統(tǒng)一回答能而且能順利完成訓(xùn)練和推理。選yolov8n或yolov8s別碰l和x。輸入分辨率可以從640開始batch_size設(shè)8開啟AMP混合精度。如果顯存還是撐不住降低workers數(shù)量、開啟梯度累積把梯度積累到等效更大的batch再更新權(quán)重。我實(shí)測(cè)yolov8s、640輸入、batch8在GTX 1660 Ti上一個(gè)epoch大約10分鐘訓(xùn)100個(gè)epoch差不多17小時(shí)對(duì)驗(yàn)證方案來(lái)說(shuō)完全能接受。訓(xùn)練命令很直接yolo detect train dataplate.yaml modelyolov8s.pt epochs100 imgsz640 batch8 device0 ampTrueplate.yaml內(nèi)容大概長(zhǎng)這樣path: ./datasets/plate train: images/train val: images/val nc: 1 names: [plate]訓(xùn)練結(jié)束后看results.png里的box_loss和cls_loss曲線。val loss一路下降并趨于平穩(wěn)說(shuō)明收斂正常。如果train loss降了但val loss反彈就是過(guò)擬合回去加數(shù)據(jù)或增強(qiáng)不要硬調(diào)學(xué)習(xí)率。數(shù)據(jù)分布上一定把白天、黃昏、夜間、雨天、逆光都配齊。我補(bǔ)了夜視監(jiān)控截圖后夜間漏檢率掉了將近一半這個(gè)數(shù)據(jù)層面的提升比調(diào)任何超參數(shù)都明顯。4. OCR實(shí)戰(zhàn)三種識(shí)別路線與后處理兜底4.1 通用OCR、車牌專用模型還是字符分割檢測(cè)做完輪到OCR。OCR的選擇決定了識(shí)別準(zhǔn)確率的上限但后處理決定了最終可用的結(jié)果。三條主流路線各有適用場(chǎng)景。路線優(yōu)勢(shì)劣勢(shì)適合場(chǎng)景通用OCRPaddleOCR/Tesseract開箱即用中文支持好車牌專用場(chǎng)景精度一般快速驗(yàn)證車牌專用模型LPRNet等針對(duì)車牌序列優(yōu)化需要準(zhǔn)備數(shù)據(jù)、部署成本高正式項(xiàng)目字符分割單字符分類每步可控、容易解釋分割錯(cuò)誤會(huì)一路傳導(dǎo)字符間距規(guī)整的藍(lán)牌我推薦的做法是用PaddleOCR的PP-OCRv4作為基礎(chǔ)模型先跑通完整流程再用車牌數(shù)據(jù)微調(diào)它的識(shí)別模型。這樣既保留OCR工具鏈的工程便利又把精度針對(duì)性拉高。PaddleOCR還有一個(gè)好處它自帶方向分類器車牌傾斜不算太嚴(yán)重時(shí)可以自動(dòng)糾正方向省掉不少預(yù)處理工作。PaddleOCR的調(diào)用很簡(jiǎn)單from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) result ocr.ocr(cropped_plate, clsTrue)實(shí)際項(xiàng)目中我會(huì)把車牌圖先按比例resize到統(tǒng)一高度再送進(jìn)OCR識(shí)別穩(wěn)定性會(huì)好不少。如果你是在Java或Android端落地別為了省事在業(yè)務(wù)進(jìn)程里直接嵌Python解釋器把OCR和檢測(cè)封裝成本地HTTP服務(wù)或者導(dǎo)出成ONNX后用推理引擎調(diào)用跨語(yǔ)言接入更干凈也方便后續(xù)升級(jí)模型。4.2 后處理是識(shí)別率的隱藏功臣OCR輸出的原始文本千萬(wàn)別直接當(dāng)成最終結(jié)果。車牌有固定結(jié)構(gòu)規(guī)則校驗(yàn)?zāi)馨岩徊糠皱e(cuò)識(shí)別糾正回來(lái)。常見藍(lán)牌是“省份漢字字母5位字符”新能源綠牌是“省份漢字字母6位字符”且第3位是D或F代表純電或混動(dòng)。這些規(guī)則可以直接寫成校驗(yàn)邏輯。OCR特別容易把0和O、1和I、2和Z搞混遇到這種字符我會(huì)用一個(gè)映射表加上下文判斷mapping {O: 0, o: 0, I: 1, l: 1, Z: 2} def normalize_plate(raw): # 去除空格和分隔符 raw raw.replace( , ).replace(·, ) # 按規(guī)則做字符糾偏 fixed [] for i, ch in enumerate(raw): if ch in mapping and i 1: # 前兩位是漢字和字母一般不會(huì)混淆為數(shù)字 ch mapping[ch] fixed.append(ch) return .join(fixed)注意順序前兩位的漢字和字母一般不會(huì)被誤識(shí)別成數(shù)字所以映射只在后幾位生效。這一步加上之后我的項(xiàng)目識(shí)別率從93%左右提到了96%以上成本幾乎為零。OCR大模型這兩年也熱門用多模態(tài)大模型直接讀車牌在某些復(fù)雜場(chǎng)景確實(shí)更穩(wěn)但單次推理成本和延遲都擺在那落地時(shí)還是輕量模型加規(guī)則這種組合性價(jià)比最高。5. 部署層CPU、GPU與邊緣盒子怎么選5.1 不同硬件的算力平衡和轉(zhuǎn)換路徑部署是另一個(gè)話題。很多人第一個(gè)問題就是一定要GPU嗎答案取決于你要跑多少路視頻。單路、低并發(fā)、對(duì)延遲不敏感CPU完全能跑。yolov8n轉(zhuǎn)成ONNX后用OpenVINO推理1080p一幀大概80到150毫秒配合跳幀邏輯勉強(qiáng)能跑。但一旦攝像頭數(shù)量變多CPU并發(fā)能力很快到頂這時(shí)候要么上GPU要么上帶NPU的邊緣設(shè)備。Intel Arc A770也可以用OpenVINO做OCR和檢測(cè)加速效果可以但驅(qū)動(dòng)和算子兼容性還需要一些時(shí)間打磨不建議新手當(dāng)主力平臺(tái)。RK3588是邊緣端很常見的板子6TOPS算力跑yolov8s的車牌檢測(cè)加輕量OCR單幀延遲能控制在30到60毫秒。部署流程是用rknn-toolkit2把ONNX轉(zhuǎn)成RKNN格式轉(zhuǎn)換時(shí)一般做INT8量化精度損失在可控范圍。Jetson Orin Nano則是TensorRT路線先導(dǎo)出engine再推理。這兩種方案我都跑過(guò)對(duì)于停車管理、高速卡口這類場(chǎng)景性價(jià)比很高。導(dǎo)出模型統(tǒng)一從訓(xùn)練好的best.pt開始yolo export modelbest.pt formatonnx imgsz640 yolo export modelbest.onnx formatopenvinoONNX是中間格式后端可以再接TensorRT、ONNX Runtime或者RKNN靈活度最好。5.2 視頻流場(chǎng)景的工程細(xì)節(jié)跳幀、跟蹤與去重視頻流場(chǎng)景的工程細(xì)節(jié)往往比模型本身更能決定體驗(yàn)。一個(gè)是跳幀。同一輛車在畫面里停留好幾秒逐幀做檢測(cè)和識(shí)別是巨大的資源浪費(fèi)通常每隔3到5幀取一次關(guān)鍵幀就夠。另一個(gè)是跟蹤“運(yùn)動(dòng)的物體經(jīng)過(guò)攝像頭只識(shí)別一次”這個(gè)問題表面看像模型Bug其實(shí)大多出在業(yè)務(wù)層檢測(cè)框時(shí)斷時(shí)續(xù)識(shí)別結(jié)果一幀成功一幀失敗如果不加跟蹤和目標(biāo)ID管理就會(huì)要么重復(fù)上報(bào)、要么根本沒上報(bào)。我的做法是檢測(cè)到車牌后用ByteTrack給車輛目標(biāo)分配ID同一個(gè)ID的車牌框連續(xù)穩(wěn)定出現(xiàn)超過(guò)N幀才觸發(fā)OCR識(shí)別成功后再把這個(gè)ID加入最近幾秒的記錄緩存。緩存里已有相同或相似車牌時(shí)只更新置信度不重復(fù)上報(bào)。這套邏輯加上之后重復(fù)記錄基本消失漏報(bào)也明顯減少。如果你做的是卡口抓拍還可以根據(jù)車道線做個(gè)區(qū)域過(guò)濾只識(shí)別指定區(qū)域內(nèi)的車牌能擋住大量誤檢。6. 實(shí)戰(zhàn)中翻車最多的幾個(gè)問題與排查順序6.1 運(yùn)動(dòng)車輛“只識(shí)別一次”先查檢測(cè)還是先查業(yè)務(wù)邏輯如果發(fā)現(xiàn)車到鏡頭中間才識(shí)別或者只識(shí)別一次就丟不要急著重新訓(xùn)練模型。先做三件事把視頻幀逐幀保存手動(dòng)數(shù)一下檢測(cè)框是否連續(xù)如果檢測(cè)框連續(xù)那就是跟蹤或去重邏輯把結(jié)果吞了如果檢測(cè)框中間斷再看輸入分辨率和閾值設(shè)置。漏檢集中在某個(gè)角度的情況也比較常見。車輛側(cè)向經(jīng)過(guò)時(shí)檢測(cè)不到或者框只框住一半。碰到這種情況先保存幾十幀現(xiàn)場(chǎng)圖用訓(xùn)練好的模型逐個(gè)跑一遍看檢測(cè)框是否真的連續(xù)丟失。如果丟失集中在側(cè)向樣本大概率是訓(xùn)練集里側(cè)向車牌太少補(bǔ)樣本通常比調(diào)參有效得多。我曾經(jīng)補(bǔ)了1000張側(cè)向車牌圖漏檢率直接下降一截。如果檢測(cè)框明明連續(xù)但上報(bào)結(jié)果只有一次那問題就不在檢測(cè)模型去看ByteTrack的丟失幀閾值和記錄緩存的時(shí)間窗口基本一找一個(gè)準(zhǔn)。6.2 夜間、反光、傾斜和新能源綠牌的處理順序夜間車牌要么過(guò)曝成白板要么黑得看不見。我建議在送OCR之前先做預(yù)處理用自適應(yīng)直方圖均衡化或伽馬矯正把細(xì)節(jié)拉出來(lái)這個(gè)預(yù)處理比換識(shí)別模型更劃算。白天反光局部全白時(shí)我會(huì)在識(shí)別鏈路里加一個(gè)亮度統(tǒng)計(jì)規(guī)則車牌區(qū)域平均亮度極高且方差很小就判定為反光觸發(fā)重新取幀或者在抓拍機(jī)上切低曝光策略重試。傾斜問題不能完全靠OCR兜底。檢測(cè)框是正矩形但車牌本身已經(jīng)透視變形直接送OCR容易讀錯(cuò)。檢測(cè)模型如果能輸出角點(diǎn)最好否則就加一個(gè)透視矯正步驟用OpenCV的getPerspectiveTransform把車牌四個(gè)角點(diǎn)拉成標(biāo)準(zhǔn)矩形再送OCR。新能源綠牌是另一類高頻問題。它的字符位數(shù)和藍(lán)牌不同識(shí)別模型如果沒有見過(guò)足夠多綠牌樣本很容易在最后一位上翻車。數(shù)據(jù)上要單獨(dú)補(bǔ)綠牌樣本后處理里則可以直接把第3位是否為D或F當(dāng)作強(qiáng)約束不滿足就重識(shí)別。最后一個(gè)建議純經(jīng)驗(yàn)之談把檢測(cè)框、矯正圖和OCR結(jié)果都畫到原圖上存檔每次跑完一批測(cè)試數(shù)據(jù)就翻一遍圖片你會(huì)很快找到系統(tǒng)的真實(shí)弱點(diǎn)。這個(gè)習(xí)慣看起來(lái)土但比盯著指標(biāo)曲線空想有效得多。本文還有配套的精品資源點(diǎn)擊獲取