簡介基于YOLOv5與CRNN的中文車牌識別系統(tǒng)是一份面向計算機相關專業(yè)畢業(yè)設計、課程設計的高分項目源碼包適合軟件工程、人工智能、自動化等方向?qū)W生及入門進階學習者參考。資源已通過導師認可、答辯評審95分代碼全部測試運行成功可直接用于實驗演示或作為二次開發(fā)起點。包內(nèi)含完整訓練好的模型權重、數(shù)據(jù)集及操作說明覆蓋車牌檢測、字符識別、車牌顏色識別等核心環(huán)節(jié)并提供GUI交互界面與多種推理方式其中包括YOLOv5檢測、CRNN識別等模塊便于從數(shù)據(jù)準備到模型訓練、測試部署全流程學習。整個壓縮包共92個文件以53個Python源碼文件為主輔以15個YAML配置、pth/pt模型文件、測試圖片和說明文檔壓縮包僅7.65MB結(jié)構(gòu)清晰便于按模塊查閱。目前已有302人學習下載適合需要完成中文車牌識別任務的高校學生快速上手、理解工程實現(xiàn)。1. YOLOv5CRNN 車牌識別檢測與識別兩段式管線為什么能跑通停車場道閘前最難的不是“車來了”而是同一套代碼要同時認藍牌、綠牌新能源和黃牌大車再加上夜間補光與雨霧噪點純圖像分類的思路往往撐不住。這個項目把車牌識別拆成兩段YOLOv5 先從整圖中框出車牌區(qū)域CRNN 再對裁剪結(jié)果做序列識別輸出省份簡稱、字母和數(shù)字的組合。檢測只學一類目標識別專注變長字符序列兩個任務各降一半難度這也是它能作為高分畢設落地的原因。包里帶訓練好的 plate_rec 權重和整理過的數(shù)據(jù)集配好環(huán)境即可直接推理適合畢業(yè)設計、課程設計也適合想快速上手檢測加識別完整鏈路的工程師。2. 模型文件與權重選型plate_rec、colorNet 與 LPRNet 的分工跑通之前先把 weights 目錄和 core 目錄里的模型文件理清楚。這套系統(tǒng)不是單個模型打天下而是檢測、識別、顏色三個模型各管一段理解分工才改得動代碼也才知道換場景時該動哪個文件。2.1 中文車牌的字符結(jié)構(gòu)與 CRNN 的建模方式中文車牌和歐美車牌最大的區(qū)別在字符集合第一位是省份簡稱漢字京、津、滬、渝等 31 個第二位是發(fā)牌機關字母第三到七位是字母和數(shù)字混合新能源綠牌則是 8 位。也就是說識別任務不是固定長度分類而是變長序列問題。傳統(tǒng) CNN 按 7 個字符槽位硬切的方式遇到 8 位綠牌、雙層黃牌兩行字符會直接失效。CRNN 把識別當作序列建模CNN 骨干項目里是 core/plateNet.py 的卷積棧從車牌圖提取特征序列雙向 LSTM 對序列做上下文建模最后接 CTC Loss 完成字符對齊。CTC 的最大優(yōu)勢是不需要預先切分字符模型自己學習每個時間步該輸出什么、哪些位置是空白訓練時只需要整行文本標簽。項目里同時保留了 LPRNet.py它是去掉 RNN 的輕量方案用卷積局部感受野替代序列建模CPU 也能跑實時后面訓練章節(jié)會講切換方式。2.2 權重文件對照plate_rec.pt、plate_rec.pth 與 colorNetweights 目錄下三個權重文件職責完全不同第一次用最容易搞混。從命名習慣看plate_rec.pt 是 YOLOv5 側(cè)保存的檢測權重兩個 .pth 分別給識別網(wǎng)絡和顏色網(wǎng)絡用。權重文件承載網(wǎng)絡輸入輸出用途plate_rec.ptYOLOv5 檢測模型整圖 → 車牌邊界框 置信度定位車牌區(qū)域plate_rec.pthCRNN/LPRNet 識別網(wǎng)絡裁剪車牌圖 → 字符序列概率輸出省份簡稱加編號plate_rec_color.pthcolorNet 顏色分類裁剪車牌圖 → 藍/綠/黃等類別輔助判斷號牌位數(shù)與類型顏色分支看似多余實際很關鍵綠牌是 8 位字符藍牌是 7 位識別網(wǎng)絡輸出長度不確定時顏色可以作為后處理約束也能在畫框時決定用綠色還是黃色標注。README 里如果標注了不同的加載路徑以實際代碼為準但三個權重的分工關系不會變。2.3 alphabets.py 字符表與 CTC 解碼的對齊問題OCR 網(wǎng)絡的輸出不是直接給字符串而是每個時間步在字符集上的概率分布要經(jīng)過 CTC 解碼還原成文本。項目里的 alphabets.py 維護字符集順序省份簡稱漢字排在最前面后面是大寫字母去掉易混淆的 I、O和數(shù)字。換權重、改字符集之后最先要檢查的就是 alphabets.py 和訓練時是否一致。# alphabets.py 中維護的字符集順序即模型輸出的索引順序 ALPHABETS 京津滬渝冀豫云遼黑湘皖魯新蘇浙贛鄂桂甘晉蒙陜吉閩貴粵青藏川寧瓊 \ ABCDEFGHJKLMNPQRSTUVWXYZ 0123456789 def ctc_decode(preds, alphabetALPHABETS, blank_idx0): # preds: [seq_len, batch, num_classes] 的概率分布 # 第一步取每個時間步概率最大的索引 preds preds.argmax(dim0) # [batch, seq_len] results [] for seq in preds: chars, prev [], -1 for idx in seq: if idx ! prev: # 合并規(guī)則相鄰相同字符只保留一個 if idx ! blank_idx: # 跳過空白位 chars.append(alphabet[idx]) prev idx results.append(.join(chars)) return results這段解碼邏輯對應 CTC 的合并規(guī)則連續(xù)重復字符壓縮成一個blank 位置直接丟棄。實際項目里 blank 索引通常為 0具體要看網(wǎng)絡輸出層的定義。這里要特別提醒訓練時字符集是“漢字 字母 數(shù)字”的順序推理時卻加載了一份重新排序的 alphabets.py解碼結(jié)果會整體錯位典型癥狀是第一個字總不對、后面字母全亂。排查順序是先確認字符集一致再懷疑網(wǎng)絡權重最后才懷疑解碼。提示省份簡稱漢字必須覆蓋目標使用地區(qū)模型沒見過“鄂”字就永遠識別不出湖北車牌。2.4 為什么同時保留 CRNN 和 LPRNet 兩套識別實現(xiàn)train_ocr.py 的常見做法是通過 --model 參數(shù)切換 backbone。CRNN 帶雙向 LSTM對傾斜、透視變形的車牌魯棒性更好GPU 上準確率更高LPRNet 用輕量卷積替代 RNN模型體積小一個量級無顯卡工控機也能流暢跑。我的建議是畢設答辯用 CRNN 出準確率數(shù)據(jù)演示現(xiàn)場沒有 GPU 就切 LPRNet 保幀率兩套實現(xiàn)共用同一套 CTC 解碼切換成本約等于改一個參數(shù)。3. detect_plate.py 推理鏈路從 YOLOv5 候選框到中文車牌輸出3.1 兩段式推理的主流程detect_plate.py 是整套系統(tǒng)的入口讀一張圖輸出帶中文標注的結(jié)果圖。流程分五步Y(jié)OLOv5 對整圖做一次前向拿到車牌候選框?qū)γ總€框做透視裁切和縮放裁剪圖分別送 CRNN 識別字符、送 colorNet 判斷顏色CTC 解碼還原文本最后用 cv_puttext 把中文畫到原圖上。核心代碼可以簡化成下面這樣# detect_plate.py 的核心流程為便于閱讀做了簡化 import cv2 import torch from models.experimental import attempt_load from core.plateNet import PlateRecNet from utils.cv_puttext import cv2_putText device torch.device(cuda if torch.cuda.is_available() else cpu) # 階段一YOLOv5 檢測器只負責找車牌區(qū)域 detector attempt_load(weights/plate_rec.pt, map_locationdevice) detector.eval() # 階段二CRNN 識別網(wǎng)絡輸入是裁剪后的車牌圖 recognizer PlateRecNet(num_classeslen(ALPHABETS), hidden_size256) state torch.load(weights/plate_rec.pth, map_locationdevice) recognizer.load_state_dict(state[state_dict] if state_dict in state else state) recognizer.eval() img cv2.imread(imgs_test/1.jpg) results detector(img, size640) # YOLOv5 前向返回檢測結(jié)果 for *xyxy, conf, cls in results.xyxy[0]: x1, y1, x2, y2 map(int, xyxy) plate_crop img[y1:y2, x1:x2] # 按坐標裁剪車牌區(qū)域 text, color recognizer(plate_crop) # 識別文本 顏色類別 cv2_putText(img, text, (x1, max(0, y1 - 10)), color, 2)兩段式的好處是檢測和識別的輸入尺寸解耦檢測用 640 分辨率看全局識別用小尺寸圖看細節(jié)。注意 results.xyxy 是 YOLOv5 低版本的接口寫法如果依賴庫升級到新接口要改成返回的 Results 對象否則會報屬性錯誤。另外一幀里有多輛車時逐個 for 循環(huán)送識別網(wǎng)絡很慢常見做法是先把這一幀所有候選框裁剪圖收集起來做 batch 歸一化一次性前向單幀耗時能降一半以上。3.2 運行參數(shù)與建議取值入口腳本提供一組命令行參數(shù)日常使用我會這樣調(diào)參數(shù)作用建議值備注--source圖片路徑 / 視頻路徑 / 攝像頭 IDimgs_test/1.jpg傳 0 表示讀取默認攝像頭--img-size檢測網(wǎng)絡輸入邊長640小目標漏檢時提到 960--conf-thres置信度閾值0.45誤檢多就調(diào)高到 0.5--iou-thresNMS 的 IoU 閾值0.5框重疊嚴重時調(diào)低--devicecpu / cuda:0有 GPU 優(yōu)先 cudaCPU 也能跑幀率低python detect_plate.py \ --source imgs_test/5.jpg \ --img-size 640 \ --conf-thres 0.45 \ --iou-thres 0.5 \ --device 0參數(shù)里最影響結(jié)果的是 conf-thres。車牌檢測是單類目標誤檢主要集中在鏤空文字、空調(diào)外機這類“有規(guī)則字形”的物體上這些誤檢置信度通常在 0.3 到 0.5 之間所以閾值別一上來就設 0.3先 0.45 起步看輸出圖有沒有把非車牌框進來再往回調(diào)。跑視頻流的話建議加一個簡單的幀間位置跟蹤連續(xù)兩幀的框重疊超過 50% 才輸出能過濾掉大量單幀閃爍誤檢。3.3 中文標注落盤cv_puttext 解決 OpenCV 中文亂碼OpenCV 自帶的 cv2.putText 只支持英文字母和數(shù)字直接寫中文會變成問號所以項目里專門放了一個 utils/cv_puttext.py。實現(xiàn)思路很直白把 OpenCV 的 BGR 圖像轉(zhuǎn)成 PIL Image用 PIL 加載中文字體渲染文本畫完再轉(zhuǎn)回 BGR。# utils/cv_puttext.py 的核心實現(xiàn)PIL 渲染中文再轉(zhuǎn)回 BGR from PIL import Image, ImageDraw, ImageFont def cv2_putText(img, text, org, color, font_size24): # 按系統(tǒng)環(huán)境枚舉一個可用中文字體 for font_path in [/usr/share/fonts/truetype/wqy/wqy-zenhei.ttc, C:/Windows/Fonts/msyh.ttc, C:/Windows/Fonts/simhei.ttf]: try: font ImageFont.truetype(font_path, font_size) break except OSError: continue pil_img Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB)) draw ImageDraw.Draw(pil_img) draw.text((org[0], org[1]), text, fontfont, fill(color[2], color[1], color[0])) img[:] cv2.cvtColor(np.asarray(pil_img), cv2.COLOR_RGB2BGR) return img這段代碼有兩個容易踩的坑。第一個是 Linux 服務器上沒有中文字體ImageFont.truetype 會拋 OSError安裝 fonts-wqy-zenhei 即可不需要重啟服務。第二個是顏色通道順序PIL 是 RGBOpenCV 是 BGR直接傳 color 會把藍牌畫成紅牌我在 fill 參數(shù)里手動翻轉(zhuǎn)比在函數(shù)外轉(zhuǎn)換更直觀。4. 訓練自己的數(shù)據(jù)集train_yolo.py 與 train_ocr.py 的雙軌調(diào)參流程拿到的預訓練模型只能覆蓋公開數(shù)據(jù)分布實際場景地下車庫、鄉(xiāng)鎮(zhèn)道路、夜間強光大概率命中不了所以這套資源的真正價值在訓練鏈路train_yolo.py 訓檢測器train_ocr.py 訓識別器中間還有 train_color.py 訓顏色分類。三者的數(shù)據(jù)組織方式不同分開說。4.1 數(shù)據(jù)準備YOLO 標注與 OCR 裁剪集雙軌并行檢測訓練需要“原圖 同名 txt 標注”格式是類別、中心點 x、中心點 y、寬、高歸一化到 0 到 1。OCR 訓練需要的是“單張車牌圖 一行文本標簽”兩張圖之間沒有位置關系。兩種數(shù)據(jù)可以互相生成先用訓練好的檢測器對監(jiān)控視頻抽幀把框出的車牌裁剪存儲再人工核對文本就能快速攢出一份 OCR 訓練集。這個思路在中文場景文字數(shù)據(jù)集不好找的時候非常實用。datasets/ ├── plate_yolo/ │ ├── images/train/ # 原始監(jiān)控幀或街景圖 │ ├── labels/train/ # 同名 txt格式class cx cy w h │ └── images/val/ └── plate_ocr/ ├── train/blue/ # 藍牌裁剪圖 同名 txt 標簽 ├── train/green/ # 新能源綠牌 └── val/OCR 數(shù)據(jù)建議按顏色分子目錄訓練時方便按目錄切分排查錯誤時也能一眼看出是藍牌差還是綠牌差。省份簡稱漢字必須覆蓋目標省份這是中文車牌識別和英文 OCR 最大的區(qū)別字符集不是 26 個字母而是 31 個漢字加 24 個字母加 10 個數(shù)字少一個漢字對應省份的車牌就永遠識別不出來。4.2 train_yolo.pyplate.yaml 與超參文件的選擇檢測訓練由 data/plate.yaml 加三個超參文件共同控制。plate.yaml 只聲明數(shù)據(jù)路徑和類別超參文件決定增強、優(yōu)化器、學習率細節(jié)。項目給了 hyp.scratch.yaml從零訓練和 hyp.finetune.yaml在 COCO 預訓練基礎上微調(diào)兩套首次訓練選 hyp.finetune.yaml收斂明顯更快。# data/plate.yaml train: datasets/plate_yolo/images/train val: datasets/plate_yolo/images/val nc: 1 names: [plate]python train_yolo.py \ --data data/plate.yaml \ --cfg models/yolov5s.yaml \ --weights yolov5s.pt \ --epochs 100 \ --batch-size 16 \ --img 640 \ --hyp data/hyp.finetune.yaml幾個實際經(jīng)驗。第一車牌是單類小目標yolov5s 就夠不要一上來就上 yolov5x訓練時間和顯存消耗不成比例。第二畫面里車牌像素只有 20 到 30 時把 --img 提到 960 比換大模型更有效這是提升小目標召回率性價比最高的做法。第三batch-size 以顯存能裝下為準16 是 8G 顯存的常見起點顯存不夠先降 batch不要降分辨率。訓練完看 val 集上的 mAP0.5單類檢測一般要過 0.95 才算合格低于 0.9 先回去補數(shù)據(jù)別急著改網(wǎng)絡結(jié)構(gòu)。4.3 train_ocr.pyCTC Loss 與網(wǎng)絡切換OCR 訓練的數(shù)據(jù)加載邏輯在 utils/datasets.py 和 cvtorchvision 里支持隨機裁剪、仿射變換、亮度擾動。這些增強對車牌識別不是錦上添花晝夜亮度差異、懸掛角度造成的透視變形全靠增強扛。訓練命令大致如下python train_ocr.py \ --model crnn \ --train-root datasets/plate_ocr/train \ --val-root datasets/plate_ocr/val \ --batch-size 64 \ --img-width 168 \ --epochs 60 \ --lr 1e-3把 --model 換成 lprnet 就切到輕量網(wǎng)絡兩套網(wǎng)絡的訓練接口共用。CTC Loss 不需要字符級對齊標注但訓練穩(wěn)定性對 batch size 敏感批量太小梯度噪聲大容易訓崩64 是個穩(wěn)的起點。學習率我習慣 1e-3 起步跑 20 個 epoch 看 val loss曲線震蕩就降到 3e-4 從頭再來。評估看字符級 accuracy藍牌 7 位字符錯一位就算整張錯單字符 99% 的準確率換算到整牌只有 93% 左右OCR 的目標是往 99.9% 以上的單字符準確率沖。4.4 顏色分支與雙層車牌處理train_color.py 單獨訓 colorNet輸入同一批裁剪圖輸出藍、綠、黃、白、黑幾個類別。這個分支邏輯不復雜但直接影響最終體驗綠牌 8 位、藍牌 7 位顏色決定了對識別結(jié)果做幾位校驗。項目 utils 里還有個 double_plate_split_merge.py專門處理大車雙層黃牌兩行字符的情況先檢測行分割再分別識別后合并做貨車場景可以直接復用。訓練顏色分類時注意樣本均衡綠牌和藍牌數(shù)量差太多小類別的準確率會被帶偏。5. 部署加速與 GUI 集成ONNX、OpenVINO 與 TensorRT 三檔導出5.1 從 PyTorch 到三檔推理引擎源碼里 export_pth.py、onnx_detect.py、openvino_infer.py、trt_model.py、speed.py 串成一條完整部署鏈路先導 ONNX再按硬件轉(zhuǎn) OpenVINO IR 或 TensorRT engine最后用 speed.py 對比單幀延遲。ONNX 是公共前置python export_pth.py \ --weights weights/plate_rec.pth \ --output weights/plate_rec.onnx \ --opset 11 python onnx_detect.py \ --source imgs_test/2.jpg \ --onnx weights/plate_rec.onnx導出后先確認 onnx_detect.py 能出正確結(jié)果再往后走。Intel CPU 工控機走 OpenVINON 卡走 TensorRTmo --input_model weights/plate_rec.onnx \ --output_dir weights/openvino \ --data_type FP16 python openvino_infer.py \ --model weights/openvino/plate_rec.xml \ --source imgs_test/2.jpgpython trt_model.py \ --onnx weights/plate_rec.onnx \ --engine weights/plate_rec.trt \ --fp16 python speed.py --trt --iter 100選型邏輯很直接OpenVINO 在 Intel CPU 上通常比 PyTorch 快 2 到 3 倍適合無獨顯工控機TensorRT 的 FP16 engine 在 N 卡上延遲最低適合道閘服務器。道閘場景看單幀延遲speed.py 輸出的就是單幀平均耗時超過 50ms 先查輸入分辨率是不是沒固定TensorRT 遇動態(tài)尺寸會反復重建 engine。5.2 GUI 三種入口的選型GUI 目錄下 GUI.py 管單張演示main_GUI.py 是主控制臺V_GUI.py 接視頻和攝像頭答辯用 main_GUI.py 就夠。接業(yè)務時把推理放到后臺線程界面線程只負責取結(jié)果畫幀別在 QThread 里直接跑檢測否則視頻預覽會卡到?jīng)]法看。5.3 實測有效的組合提速技巧視頻場景把處理幀率降到 3 到 5 幀道閘場景車牌從出現(xiàn)到消失有好幾秒中間幀全跳過CPU 占用立刻降下來。同一幀多個候選框時把裁剪圖統(tǒng)一縮放后拼成 batch 一次送 CRNN單幀多車耗時能壓掉一半。最容易翻車的是前處理歸一化和原 PyTorch 鏈路不一致BGR 當 RGB、0 到 255 當 0 到 1精度都會掉。我調(diào) onnx_detect.py 時遇過 BGR 圖直接送 ONNX通道對調(diào)后藍色車牌的響應全亂識別結(jié)果錯得毫無規(guī)律排查到最后才發(fā)現(xiàn)就是通道順序的問題。本文還有配套的精品資源點擊獲取