集成OpenVINO部署百度印章檢測(cè)模型實(shí)戰(zhàn))
簡(jiǎn)介本資源面向具備一定C#基礎(chǔ)的開(kāi)發(fā)者與計(jì)算機(jī)視覺(jué)學(xué)習(xí)者提供一套在.NET環(huán)境下調(diào)用Intel OpenVINO工具套件、直接讀取百度預(yù)訓(xùn)練模型實(shí)現(xiàn)印章檢測(cè)的完整源碼方案。項(xiàng)目通過(guò)C/CLI封裝OpenVINO原生API在C#中完成模型加載、圖像預(yù)處理、推理執(zhí)行與檢測(cè)框后處理可應(yīng)用于印章識(shí)別、物體檢測(cè)等實(shí)時(shí)圖像分析場(chǎng)景。壓縮包共403個(gè)文件約400.54MB包含120個(gè)dll動(dòng)態(tài)庫(kù)、56個(gè)xml配置、10個(gè)cs源碼文件以及pdmodel與pdiparams模型文件、nupkg依賴包、sln解決方案與csproj工程文件另附j(luò)pg、png示例圖片與exe可執(zhí)行程序目錄結(jié)構(gòu)清晰便于在Visual Studio中直接打開(kāi)構(gòu)建。目前已有386人學(xué)習(xí)下載。讀者可從中獲取OpenVINO推理引擎的C#調(diào)用范例、模型加載與InferRequest執(zhí)行流程、圖像預(yù)處理與結(jié)果后處理思路以及完整的工程配置參考適合作為印章檢測(cè)或物體檢測(cè)項(xiàng)目的集成起點(diǎn)。1. 印章檢測(cè)落地為什么繞不開(kāi) OpenVINO 與百度模型這條組合路線很多做 C# 上位機(jī)的同行第一次接到「印章檢測(cè)」需求時(shí)第一反應(yīng)是調(diào)個(gè)云端 OCR 接口就完事。真到產(chǎn)線上一跑問(wèn)題全來(lái)了內(nèi)網(wǎng)不通外網(wǎng)、蓋章圖像涉密不能出本地、單張圖延遲要求壓到 200ms 以內(nèi)。這時(shí)候本地推理就成了唯一解而 C# 生態(tài)里能扛住這個(gè)活兒的推理框架OpenVINO 是繞不過(guò)去的一個(gè)。它把模型優(yōu)化、算子融合、CPU/核顯加速都封在運(yùn)行時(shí)里C# 側(cè)通過(guò) OpenVINO.NET 這類綁定直接調(diào)用不用碰 C 編譯鏈。標(biāo)題里的「百度模型」指的是百度飛槳 PaddlePaddle 體系下開(kāi)源的印章檢測(cè)模型常見(jiàn)的是 PP-YOLOE 或 PicoDet 系列在印章數(shù)據(jù)集上微調(diào)后的產(chǎn)物。這類模型精度夠用、體積小但導(dǎo)出格式是 Paddle Inference 的OpenVINO 不能直接吃。所以整條鏈路的核心動(dòng)作是把百度模型轉(zhuǎn)成 ONNX再用 OpenVINO 的模型優(yōu)化器轉(zhuǎn)成 IR.xml .bin最后在 C# 里加載 IR 做推理。這篇筆記就按這個(gè)順序把每一步的命令、參數(shù)、C# 代碼和踩過(guò)的坑講清楚適合正在做票據(jù)審核、合同用印核驗(yàn)、檔案數(shù)字化的 C# 開(kāi)發(fā)者照著復(fù)現(xiàn)。2. 百度印章模型轉(zhuǎn) ONNX 再轉(zhuǎn) OpenVINO IR 的完整鏈路2.1 為什么不能跳過(guò) ONNX 這一步OpenVINO 的模型優(yōu)化器mo原生支持 PaddlePaddle 前端理論上可以--input_model model.pdmodel直接轉(zhuǎn)。但實(shí)際用下來(lái)Paddle 前端對(duì)動(dòng)態(tài) shape 和自定義算子的支持不如 ONNX 前端成熟尤其是印章檢測(cè)模型里常見(jiàn)的multiclass_nms后處理算子直接轉(zhuǎn)會(huì)報(bào)算子不支持。走 ONNX 中轉(zhuǎn)的好處是Paddle2ONNX 已經(jīng)把大部分檢測(cè)模型的導(dǎo)出邏輯磨平了ONNX 到 IR 這一步 OpenVINO 的支持也最穩(wěn)。轉(zhuǎn)換前先確認(rèn)環(huán)境。我一般用 Python 3.8 到 3.10 之間的版本太新的版本 Paddle2ONNX 輪子不一定齊。# 創(chuàng)建獨(dú)立環(huán)境避免和系統(tǒng)里的 paddle 沖突 python -m venv venv_convert source venv_convert/bin/activate # Windows 用 venv_convert\Scripts\activate # 安裝轉(zhuǎn)換三件套版本鎖定是血淚經(jīng)驗(yàn) pip install paddlepaddle2.5.2 pip install paddle2onnx1.0.6 pip install onnx1.14.1 pip install openvino-dev2023.3.0版本鎖定不是潔癖。Paddle2ONNX 1.0.6 對(duì) PP-YOLOE 的導(dǎo)出支持最完整再新的版本改過(guò)導(dǎo)出邏輯反而容易在 NMS 節(jié)點(diǎn)上出問(wèn)題。OpenVINO 2023.3 的 C# 運(yùn)行時(shí)和 IR 格式匹配度也最好。2.2 導(dǎo)出 ONNX 的具體命令與參數(shù)假設(shè)你拿到的百度模型是inference.pdmodel和inference.pdiparams兩個(gè)文件放在baidu_seal_model/目錄下。# 核心導(dǎo)出命令 paddle2onnx \ --model_dir ./baidu_seal_model \ --model_filename inference.pdmodel \ --params_filename inference.pdiparams \ --save_file ./seal_det.onnx \ --opset_version 11 \ --enable_onnx_checker True \ --input_shape_dict {image: [1, 3, 640, 640]}這里幾個(gè)參數(shù)值得展開(kāi)說(shuō)。--opset_version 11是經(jīng)過(guò)驗(yàn)證的穩(wěn)定值opset 12 以上在某些 NMS 算子的導(dǎo)出上會(huì)引入 OpenVINO 不認(rèn)的屬性。--input_shape_dict把輸入固定成[1, 3, 640, 640]印章檢測(cè)模型訓(xùn)練時(shí)一般就是 640 輸入固定 shape 能讓后續(xù) IR 推理省掉動(dòng)態(tài) shape 的開(kāi)銷CPU 上大概能快 15% 到 20%。如果你的場(chǎng)景需要變尺寸輸入把 batch 維留成 -1但 C# 側(cè)就要處理動(dòng)態(tài) shape 的 reshape麻煩不少新手建議先固定。導(dǎo)出完成后用 onnxruntime 快速驗(yàn)證一下模型能不能跑通別等到 C# 里才發(fā)現(xiàn)模型是壞的。import onnxruntime as ort import numpy as np # 加載剛導(dǎo)出的 ONNX確認(rèn)沒(méi)有算子報(bào)錯(cuò) sess ort.InferenceSession(seal_det.onnx, providers[CPUExecutionProvider]) input_name sess.get_inputs()[0].name # 造一個(gè)全零輸入只驗(yàn)證前向能不能走通 dummy np.zeros((1, 3, 640, 640), dtypenp.float32) outputs sess.run(None, {input_name: dummy}) # 打印輸出數(shù)量和每個(gè)輸出的 shape和原模型對(duì)比 for i, o in enumerate(outputs): print(foutput[{i}] shape: {o.shape})正常情況印章檢測(cè)模型會(huì)有兩個(gè)輸出一個(gè) bbox 回歸一個(gè)分類置信度shape 里能看到 8400 這個(gè)錨點(diǎn)數(shù)640 輸入下。如果輸出數(shù)量對(duì)不上說(shuō)明導(dǎo)出時(shí)后處理被合并或丟棄了得回退檢查 Paddle2ONNX 版本。2.3 用 mo 轉(zhuǎn) IR 并做 FP16 量化ONNX 到手后轉(zhuǎn) IR 就簡(jiǎn)單了但參數(shù)選不對(duì)會(huì)直接影響 C# 側(cè)的推理速度。# ONNX 轉(zhuǎn) OpenVINO IR mo \ --input_model ./seal_det.onnx \ --output_dir ./seal_det_ir \ --model_name seal_det \ --input_shape [1,3,640,640] \ --data_type FP16 \ --compress_to_fp16 True \ --mean_values [123.675,116.28,103.53] \ --scale_values [58.395,57.12,57.375]--data_type FP16和--compress_to_fp16 True一起用模型體積能壓到 FP32 的一半左右CPU 上推理速度提升明顯精度損失在印章檢測(cè)這種任務(wù)上基本看不出來(lái)。--mean_values和--scale_values是百度模型訓(xùn)練時(shí)的歸一化參數(shù)必須和訓(xùn)練配置一致否則檢測(cè)框會(huì)整體偏移。這三個(gè)均值對(duì)應(yīng) ImageNet 的 RGB 順序如果你的模型訓(xùn)練用的是 BGR順序要反過(guò)來(lái)寫(xiě)。轉(zhuǎn)換成功后會(huì)得到seal_det.xml和seal_det.bin兩個(gè)文件。用 OpenVINO 自帶的 benchmark_app 先測(cè)一下純推理耗時(shí)心里有個(gè)底。benchmark_app -m ./seal_det_ir/seal_det.xml -d CPU -api sync -niter 50看輸出的 Latency 中位數(shù)640 輸入的印章檢測(cè)模型在普通桌面 CPU 上一般在 30 到 60ms 之間。如果超過(guò) 100ms檢查是不是沒(méi)走 FP16或者 CPU 不支持 AVX2 指令集。3. C# 側(cè)加載 IR 模型與張量構(gòu)造的實(shí)操細(xì)節(jié)3.1 OpenVINO.NET 的引入與版本對(duì)齊C# 調(diào) OpenVINO 主流是用 OpenVINO.NET 這個(gè) NuGet 包它是對(duì) OpenVINO C API 的封裝。版本必須和轉(zhuǎn) IR 時(shí)用的 OpenVINO 版本對(duì)齊2023.3 的 IR 就用 2023.3 的運(yùn)行時(shí)跨大版本加載會(huì)報(bào) IR 版本不兼容。!-- csproj 里加包引用版本鎖死 -- ItemGroup PackageReference IncludeOpenVINO.NET Version2023.3.0 / PackageReference IncludeOpenCvSharp4 Version4.8.0.20230708 / PackageReference IncludeOpenCvSharp4.runtime.win Version4.8.0.20230708 / /ItemGroupOpenCvSharp 用來(lái)做圖像預(yù)處理和結(jié)果可視化和 OpenVINO.NET 搭配是 C# 視覺(jué)項(xiàng)目的常見(jiàn)組合。注意OpenCvSharp4.runtime.win是 Windows 下的原生庫(kù)Linux 部署要換成對(duì)應(yīng)的 runtime 包。3.2 構(gòu)造輸入張量的正確姿勢(shì)OpenVINO 的輸入張量是 NCHW 布局C# 里從 OpenCV 的 Mat 轉(zhuǎn)過(guò)去要經(jīng)過(guò) resize、歸一化、通道重排三步。這一步最容易翻車因?yàn)?OpenCV 默認(rèn)是 BGR而模型要 RGB。using OpenCvSharp; using OpenVinoSharp; public static float[] PreprocessImage(Mat src, int inputW, int inputH) { // 1. resize 到模型輸入尺寸用線性插值 using var resized new Mat(); Cv2.Resize(src, resized, new Size(inputW, inputH), 0, 0, InterpolationFlags.Linear); // 2. BGR 轉(zhuǎn) RGB百度模型訓(xùn)練用 RGB using var rgb new Mat(); Cv2.CvtColor(resized, rgb, ColorConversionCodes.BGR2RGB); // 3. 轉(zhuǎn) float 并歸一化mean/scale 和 mo 轉(zhuǎn)換時(shí)保持一致 var floatMat new Mat(); rgb.ConvertTo(floatMat, MatType.CV_32FC3); // 4. 按 NCHW 順序填充到一維數(shù)組 float[] tensorData new float[3 * inputH * inputW]; var indexer floatMat.GetGenericIndexerVec3f(); for (int y 0; y inputH; y) { for (int x 0; x inputW; x) { var pixel indexer[y, x]; // 減均值除方差順序 R G B tensorData[0 * inputH * inputW y * inputW x] (pixel.Item0 - 123.675f) / 58.395f; tensorData[1 * inputH * inputW y * inputW x] (pixel.Item1 - 116.28f) / 57.12f; tensorData[2 * inputH * inputW y * inputW x] (pixel.Item2 - 103.53f) / 57.375f; } } return tensorData; }這段代碼里Vec3f的 Item0/Item1/Item2 對(duì)應(yīng) RGB 三通道因?yàn)榍懊嬉呀?jīng)做了 BGR2RGB。歸一化參數(shù)和 mo 轉(zhuǎn)換時(shí)的 mean/scale 必須完全一致否則模型看到的輸入分布和訓(xùn)練時(shí)對(duì)不上檢測(cè)框會(huì)飄。NCHW 的填充順序是先通道后行列寫(xiě)反了模型輸出就是一堆亂框。3.3 推理與后處理取框加載 IR 模型、創(chuàng)建推理請(qǐng)求、喂數(shù)據(jù)、取輸出這幾步在 OpenVINO.NET 里有固定套路。// 加載 IR 模型 using var core new Core(); var model core.read_model(seal_det_ir/seal_det.xml); var compiled core.compile_model(model, CPU); var inferRequest compiled.create_infer_request(); // 構(gòu)造輸入張量shape 是 [1,3,640,640] var inputTensor new Tensor(new Shape(1, 3, 640, 640), tensorData); inferRequest.set_input_tensor(inputTensor); inferRequest.infer(); // 取兩個(gè)輸出索引和導(dǎo)出時(shí)的順序一致 var output0 inferRequest.get_output_tensor(0); // bbox var output1 inferRequest.get_output_tensor(1); // scores float[] bboxData output0.get_datafloat(); float[] scoreData output1.get_datafloat();后處理就是標(biāo)準(zhǔn)的 YOLO 解碼按置信度閾值篩錨點(diǎn)再做 NMS 去重。印章檢測(cè)一般只有一個(gè)類別NMS 的 IoU 閾值設(shè) 0.45 到 0.5 之間比較合適。置信度閾值別設(shè)太高印章邊緣模糊時(shí)分?jǐn)?shù)會(huì)偏低0.25 起步再根據(jù)實(shí)際漏檢情況調(diào)。提示OpenVINO.NET 的 Tensor 構(gòu)造對(duì)數(shù)組長(zhǎng)度有嚴(yán)格校驗(yàn)長(zhǎng)度和 Shape 乘積對(duì)不上會(huì)直接拋異常。調(diào)試時(shí)先把 Shape 打印出來(lái)核對(duì)。4. 印章檢測(cè)推理鏈路的避坑與排查清單4.1 檢測(cè)框整體偏移或縮放錯(cuò)位現(xiàn)象模型能出框但框的位置和實(shí)際印章差一大截或者框的大小明顯不對(duì)。原因九成是預(yù)處理階段的 resize 比例和坐標(biāo)還原沒(méi)對(duì)上。模型輸入是 640x640但原圖可能是 1280x960直接 resize 會(huì)拉伸變形后處理還原坐標(biāo)時(shí)又按原圖尺寸算框自然偏。解決resize 時(shí)記錄縮放比例和 padding 偏移后處理把框坐標(biāo)映射回原圖時(shí)用同一套參數(shù)。如果不想處理 padding就用 letterbox 方式保持長(zhǎng)寬比兩邊補(bǔ)灰邊后處理時(shí)再裁掉。4.2 模型加載報(bào) IR 版本不兼容現(xiàn)象core.read_model拋異常提示 IR version 不支持。原因轉(zhuǎn) IR 用的 OpenVINO 版本和 C# 運(yùn)行時(shí)的 OpenVINO.NET 版本不一致大版本跨越時(shí) IR 格式有變更。解決轉(zhuǎn) IR 和 C# 運(yùn)行時(shí)用同一個(gè) OpenVINO 大版本。查版本用mo --version和 C# 里core.get_version()對(duì)比。實(shí)在要對(duì)齊不了重新用匹配版本的 mo 轉(zhuǎn)一次比改運(yùn)行時(shí)省事。4.3 CPU 推理速度遠(yuǎn)低于預(yù)期現(xiàn)象benchmark_app 測(cè)出來(lái) 40msC# 里跑出來(lái) 150ms 以上。原因常見(jiàn)有兩個(gè)。一是 C# 里每次推理都重新創(chuàng)建 InferRequest創(chuàng)建開(kāi)銷比推理本身還大。二是沒(méi)開(kāi)性能模式CPU 降頻跑。解決InferRequest 創(chuàng)建一次復(fù)用或者用compiled.create_infer_request()拿到的請(qǐng)求反復(fù) set_input 調(diào)用。另外在 compile_model 時(shí)傳性能提示core.compile_model(model, CPU, new Dictionarystring, string { { PERFORMANCE_HINT, LATENCY } })讓 OpenVINO 按低延遲模式調(diào)度。4.4 印章漏檢集中在紅色印章上現(xiàn)象黑色印章檢出正常紅色印章大量漏檢。原因百度印章模型訓(xùn)練集里紅色印章樣本占比可能偏低或者預(yù)處理時(shí) RGB 通道順序搞反了紅色通道信息被錯(cuò)誤處理。解決先確認(rèn) BGR2RGB 有沒(méi)有做。如果做了還漏考慮對(duì)紅色通道做增強(qiáng)或者在置信度閾值上放寬到 0.2。根本解法是拿漏檢樣本做增量訓(xùn)練但那是另一個(gè)話題了。4.5 多印章圖像只出一個(gè)框現(xiàn)象一張票據(jù)上有多個(gè)印章模型只輸出一個(gè)。原因NMS 的 IoU 閾值設(shè)太高兩個(gè)印章框重疊度超過(guò)閾值被合并了?；蛘吆筇幚砝锶?top-1 而不是取全部。解決NMS IoU 閾值降到 0.4后處理里遍歷所有超過(guò)置信度閾值的框不要只取分?jǐn)?shù)最高的那個(gè)。印章檢測(cè)和通用目標(biāo)檢測(cè)不同同一張圖多個(gè)同類目標(biāo)是常態(tài)。5. 用 C# 封裝一個(gè)可復(fù)用的印章檢測(cè)類與批量驗(yàn)證技巧把前面散落的步驟收成一個(gè)類是讓這套方案真正能進(jìn)項(xiàng)目的關(guān)鍵。我一般會(huì)封一個(gè)SealDetector構(gòu)造時(shí)加載模型對(duì)外只暴露一個(gè)Detect(Mat image)方法返回印章框列表。這樣業(yè)務(wù)層不用關(guān)心 OpenVINO 的任何細(xì)節(jié)。public class SealDetector : IDisposable { private readonly Core _core; private readonly CompiledModel _compiled; private readonly InferRequest _request; private const int InputW 640; private const int InputH 640; private const float ConfThreshold 0.25f; private const float NmsThreshold 0.45f; public SealDetector(string irXmlPath) { _core new Core(); var model _core.read_model(irXmlPath); // 低延遲模式適合單張推理場(chǎng)景 _compiled _core.compile_model(model, CPU, new Dictionarystring, string { { PERFORMANCE_HINT, LATENCY } }); _request _compiled.create_infer_request(); } public ListRect Detect(Mat image) { // 記錄縮放比例用于坐標(biāo)還原 float scaleX (float)image.Width / InputW; float scaleY (float)image.Height / InputH; var tensorData PreprocessImage(image, InputW, InputH); var inputTensor new Tensor(new Shape(1, 3, InputH, InputW), tensorData); _request.set_input_tensor(inputTensor); _request.infer(); var bbox _request.get_output_tensor(0).get_datafloat(); var scores _request.get_output_tensor(1).get_datafloat(); var candidates new List(Rect rect, float score)(); int numAnchors scores.Length; for (int i 0; i numAnchors; i) { if (scores[i] ConfThreshold) continue; // bbox 布局是 [x1,y1,x2,y2] 按錨點(diǎn)排列具體偏移看導(dǎo)出配置 float x1 bbox[i * 4 0] * scaleX; float y1 bbox[i * 4 1] * scaleY; float x2 bbox[i * 4 2] * scaleX; float y2 bbox[i * 4 3] * scaleY; candidates.Add((new Rect((int)x1, (int)y1, (int)(x2 - x1), (int)(y2 - y1)), scores[i])); } return Nms(candidates, NmsThreshold); } private ListRect Nms(List(Rect rect, float score) boxes, float iouThreshold) { var sorted boxes.OrderByDescending(b b.score).ToList(); var result new ListRect(); while (sorted.Count 0) { var best sorted[0]; result.Add(best.rect); sorted.RemoveAt(0); sorted.RemoveAll(b Iou(best.rect, b.rect) iouThreshold); } return result; } private float Iou(Rect a, Rect b) { int x1 Math.Max(a.Left, b.Left); int y1 Math.Max(a.Top, b.Top); int x2 Math.Min(a.Right, b.Right); int y2 Math.Min(a.Bottom, b.Bottom); int interArea Math.Max(0, x2 - x1) * Math.Max(0, y2 - y1); float unionArea a.Width * a.Height b.Width * b.Height - interArea; return unionArea 0 ? 0 : interArea / unionArea; } public void Dispose() { _request?.Dispose(); _compiled?.Dispose(); _core?.Dispose(); } }這個(gè)類里 bbox 的布局[x1,y1,x2,y2]是按錨點(diǎn)連續(xù)排列的但不同導(dǎo)出配置下可能是[cx,cy,w,h]第一次接入時(shí)務(wù)必拿一張已知結(jié)果的圖打印前幾個(gè)錨點(diǎn)的值確認(rèn)。NMS 用簡(jiǎn)單的貪心實(shí)現(xiàn)就夠印章檢測(cè)的框數(shù)量不多性能不是瓶頸。批量驗(yàn)證是上線前必做的一步。我習(xí)慣準(zhǔn)備 50 到 100 張覆蓋各種情況的圖單章、多章、紅章、黑章、模糊章、傾斜章跑一遍統(tǒng)計(jì)漏檢和誤檢。下面這個(gè)批量腳本能直接算出指標(biāo)。// 批量跑測(cè)試集統(tǒng)計(jì)漏檢誤檢 int totalGt 0, totalDet 0, truePos 0; foreach (var (imgPath, gtRects) in testSet) { using var img Cv2.ImRead(imgPath); var dets detector.Detect(img); totalGt gtRects.Count; totalDet dets.Count; foreach (var gt in gtRects) { // IoU 超過(guò) 0.5 算命中 if (dets.Any(d detector.Iou(d, gt) 0.5f)) truePos; } } float recall (float)truePos / totalGt; float precision (float)truePos / totalDet; Console.WriteLine($Recall: {recall:F3}, Precision: {precision:F3});召回率低于 0.9 就先降置信度閾值精確率低于 0.85 就升 NMS 閾值或者加后處理規(guī)則。印章檢測(cè)里精確率通常比召回率好調(diào)因?yàn)檎`檢的框往往分?jǐn)?shù)不高卡閾值就能壓下去。最后說(shuō)個(gè)我自己的習(xí)慣每次換模型或者改預(yù)處理參數(shù)一定先拿同一張基準(zhǔn)圖跑把輸出的框坐標(biāo)打印出來(lái)和上一次對(duì)比。坐標(biāo)變了就說(shuō)明預(yù)處理鏈路動(dòng)了別急著看指標(biāo)先把坐標(biāo)對(duì)齊。這套 C# 加 OpenVINO 讀百度印章模型的方案從轉(zhuǎn)換到封裝跑通大概兩天真正花時(shí)間的是后處理參數(shù)調(diào)優(yōu)和批量驗(yàn)證。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取 C#上位機(jī)集成OpenVINO部署百度印章檢測(cè)模型實(shí)戰(zhàn)
簡(jiǎn)介本資源面向具備一定C#基礎(chǔ)的開(kāi)發(fā)者與計(jì)算機(jī)視覺(jué)學(xué)習(xí)者提供一套在.NET環(huán)境下調(diào)用Intel OpenVINO工具套件、直接讀取百度預(yù)訓(xùn)練模型實(shí)現(xiàn)印章檢測(cè)的完整源碼方案。項(xiàng)目通過(guò)C/CLI封裝OpenVINO原生API在C#中完成模型加載、圖像預(yù)處理、推理執(zhí)行與檢測(cè)框后處理可應(yīng)用于印章識(shí)別、物體檢測(cè)等實(shí)時(shí)圖像分析場(chǎng)景。壓縮包共403個(gè)文件約400.54MB包含120個(gè)dll動(dòng)態(tài)庫(kù)、56個(gè)xml配置、10個(gè)cs源碼文件以及pdmodel與pdiparams模型文件、nupkg依賴包、sln解決方案與csproj工程文件另附j(luò)pg、png示例圖片與exe可執(zhí)行程序目錄結(jié)構(gòu)清晰便于在Visual Studio中直接打開(kāi)構(gòu)建。目前已有386人學(xué)習(xí)下載。讀者可從中獲取OpenVINO推理引擎的C#調(diào)用范例、模型加載與InferRequest執(zhí)行流程、圖像預(yù)處理與結(jié)果后處理思路以及完整的工程配置參考適合作為印章檢測(cè)或物體檢測(cè)項(xiàng)目的集成起點(diǎn)。1. 印章檢測(cè)落地為什么繞不開(kāi) OpenVINO 與百度模型這條組合路線很多做 C# 上位機(jī)的同行第一次接到「印章檢測(cè)」需求時(shí)第一反應(yīng)是調(diào)個(gè)云端 OCR 接口就完事。真到產(chǎn)線上一跑問(wèn)題全來(lái)了內(nèi)網(wǎng)不通外網(wǎng)、蓋章圖像涉密不能出本地、單張圖延遲要求壓到 200ms 以內(nèi)。這時(shí)候本地推理就成了唯一解而 C# 生態(tài)里能扛住這個(gè)活兒的推理框架OpenVINO 是繞不過(guò)去的一個(gè)。它把模型優(yōu)化、算子融合、CPU/核顯加速都封在運(yùn)行時(shí)里C# 側(cè)通過(guò) OpenVINO.NET 這類綁定直接調(diào)用不用碰 C 編譯鏈。標(biāo)題里的「百度模型」指的是百度飛槳 PaddlePaddle 體系下開(kāi)源的印章檢測(cè)模型常見(jiàn)的是 PP-YOLOE 或 PicoDet 系列在印章數(shù)據(jù)集上微調(diào)后的產(chǎn)物。這類模型精度夠用、體積小但導(dǎo)出格式是 Paddle Inference 的OpenVINO 不能直接吃。所以整條鏈路的核心動(dòng)作是把百度模型轉(zhuǎn)成 ONNX再用 OpenVINO 的模型優(yōu)化器轉(zhuǎn)成 IR.xml .bin最后在 C# 里加載 IR 做推理。這篇筆記就按這個(gè)順序把每一步的命令、參數(shù)、C# 代碼和踩過(guò)的坑講清楚適合正在做票據(jù)審核、合同用印核驗(yàn)、檔案數(shù)字化的 C# 開(kāi)發(fā)者照著復(fù)現(xiàn)。2. 百度印章模型轉(zhuǎn) ONNX 再轉(zhuǎn) OpenVINO IR 的完整鏈路2.1 為什么不能跳過(guò) ONNX 這一步OpenVINO 的模型優(yōu)化器mo原生支持 PaddlePaddle 前端理論上可以--input_model model.pdmodel直接轉(zhuǎn)。但實(shí)際用下來(lái)Paddle 前端對(duì)動(dòng)態(tài) shape 和自定義算子的支持不如 ONNX 前端成熟尤其是印章檢測(cè)模型里常見(jiàn)的multiclass_nms后處理算子直接轉(zhuǎn)會(huì)報(bào)算子不支持。走 ONNX 中轉(zhuǎn)的好處是Paddle2ONNX 已經(jīng)把大部分檢測(cè)模型的導(dǎo)出邏輯磨平了ONNX 到 IR 這一步 OpenVINO 的支持也最穩(wěn)。轉(zhuǎn)換前先確認(rèn)環(huán)境。我一般用 Python 3.8 到 3.10 之間的版本太新的版本 Paddle2ONNX 輪子不一定齊。# 創(chuàng)建獨(dú)立環(huán)境避免和系統(tǒng)里的 paddle 沖突 python -m venv venv_convert source venv_convert/bin/activate # Windows 用 venv_convert\Scripts\activate # 安裝轉(zhuǎn)換三件套版本鎖定是血淚經(jīng)驗(yàn) pip install paddlepaddle2.5.2 pip install paddle2onnx1.0.6 pip install onnx1.14.1 pip install openvino-dev2023.3.0版本鎖定不是潔癖。Paddle2ONNX 1.0.6 對(duì) PP-YOLOE 的導(dǎo)出支持最完整再新的版本改過(guò)導(dǎo)出邏輯反而容易在 NMS 節(jié)點(diǎn)上出問(wèn)題。OpenVINO 2023.3 的 C# 運(yùn)行時(shí)和 IR 格式匹配度也最好。2.2 導(dǎo)出 ONNX 的具體命令與參數(shù)假設(shè)你拿到的百度模型是inference.pdmodel和inference.pdiparams兩個(gè)文件放在baidu_seal_model/目錄下。# 核心導(dǎo)出命令 paddle2onnx \ --model_dir ./baidu_seal_model \ --model_filename inference.pdmodel \ --params_filename inference.pdiparams \ --save_file ./seal_det.onnx \ --opset_version 11 \ --enable_onnx_checker True \ --input_shape_dict {image: [1, 3, 640, 640]}這里幾個(gè)參數(shù)值得展開(kāi)說(shuō)。--opset_version 11是經(jīng)過(guò)驗(yàn)證的穩(wěn)定值opset 12 以上在某些 NMS 算子的導(dǎo)出上會(huì)引入 OpenVINO 不認(rèn)的屬性。--input_shape_dict把輸入固定成[1, 3, 640, 640]印章檢測(cè)模型訓(xùn)練時(shí)一般就是 640 輸入固定 shape 能讓后續(xù) IR 推理省掉動(dòng)態(tài) shape 的開(kāi)銷CPU 上大概能快 15% 到 20%。如果你的場(chǎng)景需要變尺寸輸入把 batch 維留成 -1但 C# 側(cè)就要處理動(dòng)態(tài) shape 的 reshape麻煩不少新手建議先固定。導(dǎo)出完成后用 onnxruntime 快速驗(yàn)證一下模型能不能跑通別等到 C# 里才發(fā)現(xiàn)模型是壞的。import onnxruntime as ort import numpy as np # 加載剛導(dǎo)出的 ONNX確認(rèn)沒(méi)有算子報(bào)錯(cuò) sess ort.InferenceSession(seal_det.onnx, providers[CPUExecutionProvider]) input_name sess.get_inputs()[0].name # 造一個(gè)全零輸入只驗(yàn)證前向能不能走通 dummy np.zeros((1, 3, 640, 640), dtypenp.float32) outputs sess.run(None, {input_name: dummy}) # 打印輸出數(shù)量和每個(gè)輸出的 shape和原模型對(duì)比 for i, o in enumerate(outputs): print(foutput[{i}] shape: {o.shape})正常情況印章檢測(cè)模型會(huì)有兩個(gè)輸出一個(gè) bbox 回歸一個(gè)分類置信度shape 里能看到 8400 這個(gè)錨點(diǎn)數(shù)640 輸入下。如果輸出數(shù)量對(duì)不上說(shuō)明導(dǎo)出時(shí)后處理被合并或丟棄了得回退檢查 Paddle2ONNX 版本。2.3 用 mo 轉(zhuǎn) IR 并做 FP16 量化ONNX 到手后轉(zhuǎn) IR 就簡(jiǎn)單了但參數(shù)選不對(duì)會(huì)直接影響 C# 側(cè)的推理速度。# ONNX 轉(zhuǎn) OpenVINO IR mo \ --input_model ./seal_det.onnx \ --output_dir ./seal_det_ir \ --model_name seal_det \ --input_shape [1,3,640,640] \ --data_type FP16 \ --compress_to_fp16 True \ --mean_values [123.675,116.28,103.53] \ --scale_values [58.395,57.12,57.375]--data_type FP16和--compress_to_fp16 True一起用模型體積能壓到 FP32 的一半左右CPU 上推理速度提升明顯精度損失在印章檢測(cè)這種任務(wù)上基本看不出來(lái)。--mean_values和--scale_values是百度模型訓(xùn)練時(shí)的歸一化參數(shù)必須和訓(xùn)練配置一致否則檢測(cè)框會(huì)整體偏移。這三個(gè)均值對(duì)應(yīng) ImageNet 的 RGB 順序如果你的模型訓(xùn)練用的是 BGR順序要反過(guò)來(lái)寫(xiě)。轉(zhuǎn)換成功后會(huì)得到seal_det.xml和seal_det.bin兩個(gè)文件。用 OpenVINO 自帶的 benchmark_app 先測(cè)一下純推理耗時(shí)心里有個(gè)底。benchmark_app -m ./seal_det_ir/seal_det.xml -d CPU -api sync -niter 50看輸出的 Latency 中位數(shù)640 輸入的印章檢測(cè)模型在普通桌面 CPU 上一般在 30 到 60ms 之間。如果超過(guò) 100ms檢查是不是沒(méi)走 FP16或者 CPU 不支持 AVX2 指令集。3. C# 側(cè)加載 IR 模型與張量構(gòu)造的實(shí)操細(xì)節(jié)3.1 OpenVINO.NET 的引入與版本對(duì)齊C# 調(diào) OpenVINO 主流是用 OpenVINO.NET 這個(gè) NuGet 包它是對(duì) OpenVINO C API 的封裝。版本必須和轉(zhuǎn) IR 時(shí)用的 OpenVINO 版本對(duì)齊2023.3 的 IR 就用 2023.3 的運(yùn)行時(shí)跨大版本加載會(huì)報(bào) IR 版本不兼容。!-- csproj 里加包引用版本鎖死 -- ItemGroup PackageReference IncludeOpenVINO.NET Version2023.3.0 / PackageReference IncludeOpenCvSharp4 Version4.8.0.20230708 / PackageReference IncludeOpenCvSharp4.runtime.win Version4.8.0.20230708 / /ItemGroupOpenCvSharp 用來(lái)做圖像預(yù)處理和結(jié)果可視化和 OpenVINO.NET 搭配是 C# 視覺(jué)項(xiàng)目的常見(jiàn)組合。注意OpenCvSharp4.runtime.win是 Windows 下的原生庫(kù)Linux 部署要換成對(duì)應(yīng)的 runtime 包。3.2 構(gòu)造輸入張量的正確姿勢(shì)OpenVINO 的輸入張量是 NCHW 布局C# 里從 OpenCV 的 Mat 轉(zhuǎn)過(guò)去要經(jīng)過(guò) resize、歸一化、通道重排三步。這一步最容易翻車因?yàn)?OpenCV 默認(rèn)是 BGR而模型要 RGB。using OpenCvSharp; using OpenVinoSharp; public static float[] PreprocessImage(Mat src, int inputW, int inputH) { // 1. resize 到模型輸入尺寸用線性插值 using var resized new Mat(); Cv2.Resize(src, resized, new Size(inputW, inputH), 0, 0, InterpolationFlags.Linear); // 2. BGR 轉(zhuǎn) RGB百度模型訓(xùn)練用 RGB using var rgb new Mat(); Cv2.CvtColor(resized, rgb, ColorConversionCodes.BGR2RGB); // 3. 轉(zhuǎn) float 并歸一化mean/scale 和 mo 轉(zhuǎn)換時(shí)保持一致 var floatMat new Mat(); rgb.ConvertTo(floatMat, MatType.CV_32FC3); // 4. 按 NCHW 順序填充到一維數(shù)組 float[] tensorData new float[3 * inputH * inputW]; var indexer floatMat.GetGenericIndexerVec3f(); for (int y 0; y inputH; y) { for (int x 0; x inputW; x) { var pixel indexer[y, x]; // 減均值除方差順序 R G B tensorData[0 * inputH * inputW y * inputW x] (pixel.Item0 - 123.675f) / 58.395f; tensorData[1 * inputH * inputW y * inputW x] (pixel.Item1 - 116.28f) / 57.12f; tensorData[2 * inputH * inputW y * inputW x] (pixel.Item2 - 103.53f) / 57.375f; } } return tensorData; }這段代碼里Vec3f的 Item0/Item1/Item2 對(duì)應(yīng) RGB 三通道因?yàn)榍懊嬉呀?jīng)做了 BGR2RGB。歸一化參數(shù)和 mo 轉(zhuǎn)換時(shí)的 mean/scale 必須完全一致否則模型看到的輸入分布和訓(xùn)練時(shí)對(duì)不上檢測(cè)框會(huì)飄。NCHW 的填充順序是先通道后行列寫(xiě)反了模型輸出就是一堆亂框。3.3 推理與后處理取框加載 IR 模型、創(chuàng)建推理請(qǐng)求、喂數(shù)據(jù)、取輸出這幾步在 OpenVINO.NET 里有固定套路。// 加載 IR 模型 using var core new Core(); var model core.read_model(seal_det_ir/seal_det.xml); var compiled core.compile_model(model, CPU); var inferRequest compiled.create_infer_request(); // 構(gòu)造輸入張量shape 是 [1,3,640,640] var inputTensor new Tensor(new Shape(1, 3, 640, 640), tensorData); inferRequest.set_input_tensor(inputTensor); inferRequest.infer(); // 取兩個(gè)輸出索引和導(dǎo)出時(shí)的順序一致 var output0 inferRequest.get_output_tensor(0); // bbox var output1 inferRequest.get_output_tensor(1); // scores float[] bboxData output0.get_datafloat(); float[] scoreData output1.get_datafloat();后處理就是標(biāo)準(zhǔn)的 YOLO 解碼按置信度閾值篩錨點(diǎn)再做 NMS 去重。印章檢測(cè)一般只有一個(gè)類別NMS 的 IoU 閾值設(shè) 0.45 到 0.5 之間比較合適。置信度閾值別設(shè)太高印章邊緣模糊時(shí)分?jǐn)?shù)會(huì)偏低0.25 起步再根據(jù)實(shí)際漏檢情況調(diào)。提示OpenVINO.NET 的 Tensor 構(gòu)造對(duì)數(shù)組長(zhǎng)度有嚴(yán)格校驗(yàn)長(zhǎng)度和 Shape 乘積對(duì)不上會(huì)直接拋異常。調(diào)試時(shí)先把 Shape 打印出來(lái)核對(duì)。4. 印章檢測(cè)推理鏈路的避坑與排查清單4.1 檢測(cè)框整體偏移或縮放錯(cuò)位現(xiàn)象模型能出框但框的位置和實(shí)際印章差一大截或者框的大小明顯不對(duì)。原因九成是預(yù)處理階段的 resize 比例和坐標(biāo)還原沒(méi)對(duì)上。模型輸入是 640x640但原圖可能是 1280x960直接 resize 會(huì)拉伸變形后處理還原坐標(biāo)時(shí)又按原圖尺寸算框自然偏。解決resize 時(shí)記錄縮放比例和 padding 偏移后處理把框坐標(biāo)映射回原圖時(shí)用同一套參數(shù)。如果不想處理 padding就用 letterbox 方式保持長(zhǎng)寬比兩邊補(bǔ)灰邊后處理時(shí)再裁掉。4.2 模型加載報(bào) IR 版本不兼容現(xiàn)象core.read_model拋異常提示 IR version 不支持。原因轉(zhuǎn) IR 用的 OpenVINO 版本和 C# 運(yùn)行時(shí)的 OpenVINO.NET 版本不一致大版本跨越時(shí) IR 格式有變更。解決轉(zhuǎn) IR 和 C# 運(yùn)行時(shí)用同一個(gè) OpenVINO 大版本。查版本用mo --version和 C# 里core.get_version()對(duì)比。實(shí)在要對(duì)齊不了重新用匹配版本的 mo 轉(zhuǎn)一次比改運(yùn)行時(shí)省事。4.3 CPU 推理速度遠(yuǎn)低于預(yù)期現(xiàn)象benchmark_app 測(cè)出來(lái) 40msC# 里跑出來(lái) 150ms 以上。原因常見(jiàn)有兩個(gè)。一是 C# 里每次推理都重新創(chuàng)建 InferRequest創(chuàng)建開(kāi)銷比推理本身還大。二是沒(méi)開(kāi)性能模式CPU 降頻跑。解決InferRequest 創(chuàng)建一次復(fù)用或者用compiled.create_infer_request()拿到的請(qǐng)求反復(fù) set_input 調(diào)用。另外在 compile_model 時(shí)傳性能提示core.compile_model(model, CPU, new Dictionarystring, string { { PERFORMANCE_HINT, LATENCY } })讓 OpenVINO 按低延遲模式調(diào)度。4.4 印章漏檢集中在紅色印章上現(xiàn)象黑色印章檢出正常紅色印章大量漏檢。原因百度印章模型訓(xùn)練集里紅色印章樣本占比可能偏低或者預(yù)處理時(shí) RGB 通道順序搞反了紅色通道信息被錯(cuò)誤處理。解決先確認(rèn) BGR2RGB 有沒(méi)有做。如果做了還漏考慮對(duì)紅色通道做增強(qiáng)或者在置信度閾值上放寬到 0.2。根本解法是拿漏檢樣本做增量訓(xùn)練但那是另一個(gè)話題了。4.5 多印章圖像只出一個(gè)框現(xiàn)象一張票據(jù)上有多個(gè)印章模型只輸出一個(gè)。原因NMS 的 IoU 閾值設(shè)太高兩個(gè)印章框重疊度超過(guò)閾值被合并了?；蛘吆筇幚砝锶?top-1 而不是取全部。解決NMS IoU 閾值降到 0.4后處理里遍歷所有超過(guò)置信度閾值的框不要只取分?jǐn)?shù)最高的那個(gè)。印章檢測(cè)和通用目標(biāo)檢測(cè)不同同一張圖多個(gè)同類目標(biāo)是常態(tài)。5. 用 C# 封裝一個(gè)可復(fù)用的印章檢測(cè)類與批量驗(yàn)證技巧把前面散落的步驟收成一個(gè)類是讓這套方案真正能進(jìn)項(xiàng)目的關(guān)鍵。我一般會(huì)封一個(gè)SealDetector構(gòu)造時(shí)加載模型對(duì)外只暴露一個(gè)Detect(Mat image)方法返回印章框列表。這樣業(yè)務(wù)層不用關(guān)心 OpenVINO 的任何細(xì)節(jié)。public class SealDetector : IDisposable { private readonly Core _core; private readonly CompiledModel _compiled; private readonly InferRequest _request; private const int InputW 640; private const int InputH 640; private const float ConfThreshold 0.25f; private const float NmsThreshold 0.45f; public SealDetector(string irXmlPath) { _core new Core(); var model _core.read_model(irXmlPath); // 低延遲模式適合單張推理場(chǎng)景 _compiled _core.compile_model(model, CPU, new Dictionarystring, string { { PERFORMANCE_HINT, LATENCY } }); _request _compiled.create_infer_request(); } public ListRect Detect(Mat image) { // 記錄縮放比例用于坐標(biāo)還原 float scaleX (float)image.Width / InputW; float scaleY (float)image.Height / InputH; var tensorData PreprocessImage(image, InputW, InputH); var inputTensor new Tensor(new Shape(1, 3, InputH, InputW), tensorData); _request.set_input_tensor(inputTensor); _request.infer(); var bbox _request.get_output_tensor(0).get_datafloat(); var scores _request.get_output_tensor(1).get_datafloat(); var candidates new List(Rect rect, float score)(); int numAnchors scores.Length; for (int i 0; i numAnchors; i) { if (scores[i] ConfThreshold) continue; // bbox 布局是 [x1,y1,x2,y2] 按錨點(diǎn)排列具體偏移看導(dǎo)出配置 float x1 bbox[i * 4 0] * scaleX; float y1 bbox[i * 4 1] * scaleY; float x2 bbox[i * 4 2] * scaleX; float y2 bbox[i * 4 3] * scaleY; candidates.Add((new Rect((int)x1, (int)y1, (int)(x2 - x1), (int)(y2 - y1)), scores[i])); } return Nms(candidates, NmsThreshold); } private ListRect Nms(List(Rect rect, float score) boxes, float iouThreshold) { var sorted boxes.OrderByDescending(b b.score).ToList(); var result new ListRect(); while (sorted.Count 0) { var best sorted[0]; result.Add(best.rect); sorted.RemoveAt(0); sorted.RemoveAll(b Iou(best.rect, b.rect) iouThreshold); } return result; } private float Iou(Rect a, Rect b) { int x1 Math.Max(a.Left, b.Left); int y1 Math.Max(a.Top, b.Top); int x2 Math.Min(a.Right, b.Right); int y2 Math.Min(a.Bottom, b.Bottom); int interArea Math.Max(0, x2 - x1) * Math.Max(0, y2 - y1); float unionArea a.Width * a.Height b.Width * b.Height - interArea; return unionArea 0 ? 0 : interArea / unionArea; } public void Dispose() { _request?.Dispose(); _compiled?.Dispose(); _core?.Dispose(); } }這個(gè)類里 bbox 的布局[x1,y1,x2,y2]是按錨點(diǎn)連續(xù)排列的但不同導(dǎo)出配置下可能是[cx,cy,w,h]第一次接入時(shí)務(wù)必拿一張已知結(jié)果的圖打印前幾個(gè)錨點(diǎn)的值確認(rèn)。NMS 用簡(jiǎn)單的貪心實(shí)現(xiàn)就夠印章檢測(cè)的框數(shù)量不多性能不是瓶頸。批量驗(yàn)證是上線前必做的一步。我習(xí)慣準(zhǔn)備 50 到 100 張覆蓋各種情況的圖單章、多章、紅章、黑章、模糊章、傾斜章跑一遍統(tǒng)計(jì)漏檢和誤檢。下面這個(gè)批量腳本能直接算出指標(biāo)。// 批量跑測(cè)試集統(tǒng)計(jì)漏檢誤檢 int totalGt 0, totalDet 0, truePos 0; foreach (var (imgPath, gtRects) in testSet) { using var img Cv2.ImRead(imgPath); var dets detector.Detect(img); totalGt gtRects.Count; totalDet dets.Count; foreach (var gt in gtRects) { // IoU 超過(guò) 0.5 算命中 if (dets.Any(d detector.Iou(d, gt) 0.5f)) truePos; } } float recall (float)truePos / totalGt; float precision (float)truePos / totalDet; Console.WriteLine($Recall: {recall:F3}, Precision: {precision:F3});召回率低于 0.9 就先降置信度閾值精確率低于 0.85 就升 NMS 閾值或者加后處理規(guī)則。印章檢測(cè)里精確率通常比召回率好調(diào)因?yàn)檎`檢的框往往分?jǐn)?shù)不高卡閾值就能壓下去。最后說(shuō)個(gè)我自己的習(xí)慣每次換模型或者改預(yù)處理參數(shù)一定先拿同一張基準(zhǔn)圖跑把輸出的框坐標(biāo)打印出來(lái)和上一次對(duì)比。坐標(biāo)變了就說(shuō)明預(yù)處理鏈路動(dòng)了別急著看指標(biāo)先把坐標(biāo)對(duì)齊。這套 C# 加 OpenVINO 讀百度印章模型的方案從轉(zhuǎn)換到封裝跑通大概兩天真正花時(shí)間的是后處理參數(shù)調(diào)優(yōu)和批量驗(yàn)證。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取