拿到這套機(jī)器視覺框架源碼的那天晚上我其實(shí)沒抱太大希望。市面號(hào)稱“到手就能編譯”的源碼包十有八九是倒了好幾手的舊工程不是缺第三方庫就是VS版本對不上。但這版讓我意外解壓后目錄干凈依賴齊全VS2019打開解決方案直接生成幾乎沒有卡殼。它覆蓋了視覺檢測、AOI檢測、機(jī)械手定位這些工業(yè)現(xiàn)場最常用的場景代碼里既有底層算法封裝也有上位機(jī)界面和通信模塊對剛?cè)胄邢胱鲆曈X項(xiàng)目、或者公司想快速搭一套視覺驗(yàn)證環(huán)境的工程師來說價(jià)值很直接。這篇文章我不講虛的就把它從編譯到二次開發(fā)的完整鏈路包括那些文檔里不會(huì)寫的坑一次說清楚。1. 這套框架源碼解決的是什么樣的開發(fā)痛點(diǎn)1.1 為什么視覺項(xiàng)目的起步成本這么高做過機(jī)器視覺項(xiàng)目的人都懂真正耗時(shí)的事往往不是算法本身。相機(jī)選型、SDK對接、圖像算法調(diào)試、界面開發(fā)、與PLC或機(jī)械手通信每一個(gè)環(huán)節(jié)單獨(dú)拎出來都不算難但串在一起就很折磨人。尤其是從零開始搭項(xiàng)目框架時(shí)光是讓相機(jī)出圖、把圖像顯示到界面上、再跑通一個(gè)簡單的檢測流程兩周時(shí)間就沒了。這中間最費(fèi)神的其實(shí)是那些“公共部分”相機(jī)采集線程怎么管理、結(jié)果顯示控件怎么刷新不卡頓、檢測參數(shù)怎么配置、日志怎么記錄、產(chǎn)線信號(hào)怎么交互。這些代碼沒有多少技術(shù)含量但每個(gè)項(xiàng)目都要重新寫一遍而且寫多了很容易出并發(fā)和內(nèi)存問題。框架源碼的核心價(jià)值就是把這些公共能力提前做好讓后續(xù)項(xiàng)目只需要關(guān)注檢測邏輯本身。1.2 這套源碼的定位拿來用還是拿來改拿到源碼后首先要明確一個(gè)邊界這套框架不是一套完整的、開箱即用的商業(yè)機(jī)器視覺軟件而是一個(gè)適合做二次開發(fā)的框架底座。它提供了視覺項(xiàng)目最常用的幾大功能模塊——圖像采集、算法處理、結(jié)果顯示、數(shù)據(jù)通信、流程控制——但針對具體工件的檢測算法、針對具體機(jī)臺(tái)的通信協(xié)議仍然需要使用者自行開發(fā)或配置。這個(gè)定位其實(shí)很務(wù)實(shí)。工業(yè)視覺項(xiàng)目千差萬別沒有一個(gè)框架能覆蓋所有工藝場景。框架能做的是把那些“每個(gè)項(xiàng)目都會(huì)用到、且有成熟通用方案”的模塊做好把接口留清晰。使用者把精力集中在算法層和工藝層項(xiàng)目的交付周期就能從幾個(gè)月壓縮到幾周。這也是我推薦團(tuán)隊(duì)以這套源碼為基底的原因前期花點(diǎn)時(shí)間吃透它后面每個(gè)項(xiàng)目都在復(fù)用越用越值。2. 拿到源碼的第一步VS2019環(huán)境準(zhǔn)備與依賴配置2.1 VS2019的工作負(fù)載選擇決定了編譯第一秒會(huì)不會(huì)報(bào)錯(cuò)很多人拿到源碼直接雙擊解決方案然后看著一堆紅色錯(cuò)誤發(fā)懵。絕大多數(shù)編譯失敗不是代碼本身的問題而是VS2019的組件沒裝對。這套框架是基于C開發(fā)的界面部分用了MFC算法部分依賴OpenCV和Halcon的C接口所以Visual Studio Installer里必須裝齊對應(yīng)的組件。我的實(shí)際建議是在VS2019安裝器里至少勾選以下工作負(fù)載“使用C的桌面開發(fā)”這一項(xiàng)是必須的在右側(cè)“單個(gè)組件”里確認(rèn)選中“適用于最新v142生成工具的C MFC”MFC這個(gè)組件默認(rèn)不安裝很多人漏掉它結(jié)果一編譯就報(bào)“無法打開包括文件: afxwin.h”。另外如果源碼里用到了.NET庫可能還要勾選“.NET桌面開發(fā)”不過這套源碼界面部分是用原生Win32寫的C負(fù)載裝好基本就夠了。2.2 OpenCV與Halcon依賴庫的版本匹配這套框架的算法層同時(shí)用到了OpenCV和Halcon。OpenCV負(fù)責(zé)圖像預(yù)處理和基礎(chǔ)形態(tài)學(xué)操作Halcon負(fù)責(zé)模板匹配和幾何測量。兩者需要安裝對應(yīng)版本并配置環(huán)境變量。OpenCV方面框架使用的是OpenCV 4.5.x版本。下載安裝后需要在系統(tǒng)環(huán)境變量Path中把opencv\build\x64\vc15\bin路徑加進(jìn)去同時(shí)把opencv\build\include和opencv\build\x64\vc15\lib配置到VS2019的包含目錄和庫目錄中。Halcon方面框架對接的是Halcon 20.11及以上的版本。安裝時(shí)注意選擇64位并在環(huán)境變量中確認(rèn)HALCONROOT等變量已生效。這套框架在代碼里通過#include halconcpp/HalconCpp.h引用Halcon的C接口如果你本機(jī)安裝的Halcon版本較新部分函數(shù)簽名可能略有變化需要做少量適配。依賴庫配置的通用建議是在解決方案里新建一個(gè)屬性表把所有三方庫的包含目錄、庫目錄和附加依賴項(xiàng)統(tǒng)一維護(hù)在一個(gè).props文件里而不是散落在各個(gè)項(xiàng)目里。系統(tǒng)找不到DLL時(shí)優(yōu)先檢查環(huán)境變量的路徑順序有些坑是裝了新版本OpenCV覆蓋了舊版本路徑導(dǎo)致的。2.3 先別急著改代碼先確認(rèn)生成環(huán)境能跑起來環(huán)境配置完成后我建議的編譯順序是不修改任何代碼直接用VS2019打開解決方案選擇Release x64執(zhí)行“重新生成解決方案”。如果沒有任何錯(cuò)誤就說明源碼自帶的環(huán)境和依賴描述是完整可用的。我第一次編譯時(shí)整個(gè)解決方案有十七個(gè)項(xiàng)目生成過程大概四五分鐘結(jié)束后沒有報(bào)一個(gè)錯(cuò)誤這個(gè)體驗(yàn)在同類源碼里屬于相當(dāng)難得的。提醒一件事編譯輸出目錄里會(huì)生成多個(gè)可執(zhí)行程序和DLL運(yùn)行Demo前要把Output目錄整體拷出來或者直接設(shè)置統(tǒng)一的輸出目錄不要到各個(gè)項(xiàng)目的Debug文件夾里找exe。最好的做法是確認(rèn)VS設(shè)置里“輸出目錄”統(tǒng)一指向$(SolutionDir)Bin\$(Configuration)\這樣生成的程序、DLL以及依賴的第三方庫都在同一個(gè)目錄后續(xù)部署時(shí)直接壓縮這一文件夾即可。3. 源碼架構(gòu)拆解從解決方案到核心模塊3.1 解決方案里的工程是怎么分層的打開解決方案十幾個(gè)項(xiàng)目乍一看有點(diǎn)慌但梳理一遍后會(huì)發(fā)現(xiàn)分層非常清晰基本遵循“界面層-業(yè)務(wù)層-算法層-驅(qū)動(dòng)層”的思路。界面層是主程序項(xiàng)目負(fù)責(zé)圖像顯示、參數(shù)設(shè)置、檢測結(jié)果展示和用戶交互。業(yè)務(wù)層負(fù)責(zé)檢測流程的調(diào)度比如觸發(fā)采集、調(diào)用算法、判斷結(jié)果、發(fā)送信號(hào)。算法層是一組獨(dú)立的DLL項(xiàng)目按功能拆分為圖像預(yù)處理模塊、模板匹配模塊、尺寸測量模塊和字符識(shí)別模塊。驅(qū)動(dòng)層則封裝了相機(jī)SDK、運(yùn)動(dòng)控制卡和IO卡的接口上層業(yè)務(wù)不需要關(guān)心具體的硬件廠商。這種分層的好處是依賴關(guān)系單一界面層依賴業(yè)務(wù)層業(yè)務(wù)層依賴算法層和驅(qū)動(dòng)層每一層都可以單獨(dú)編譯和替換。如果項(xiàng)目里要換一臺(tái)相機(jī)只需要改驅(qū)動(dòng)層的實(shí)現(xiàn)算法和界面不需要?jiǎng)?。如果你的團(tuán)隊(duì)后續(xù)要在這個(gè)框架上擴(kuò)展務(wù)必保持這個(gè)分層原則否則時(shí)間一長項(xiàng)目會(huì)退化成經(jīng)典的一坨代碼。3.2 視覺檢測模塊的完整鏈路從采圖到輸出視覺檢測模塊是這套框架的核心它的完整數(shù)據(jù)鏈路是硬件觸發(fā)或軟件觸發(fā)→相機(jī)采集→圖像預(yù)處理→算法分析→結(jié)果判定→數(shù)據(jù)保存→IO輸出。相機(jī)采集部分框架封裝了一個(gè)相機(jī)線程類內(nèi)部處理了采圖超時(shí)、緩沖區(qū)管理、軟觸發(fā)與硬觸發(fā)切換等邏輯。使用者在采集回調(diào)函數(shù)中拿到的是標(biāo)準(zhǔn)格式的圖像數(shù)據(jù)框架內(nèi)部已經(jīng)對黑白相機(jī)和彩色相機(jī)做了統(tǒng)一處理。圖像預(yù)處理部分框架預(yù)設(shè)了幾種常用算子組合高斯濾波去噪、對比度增強(qiáng)、二值化、形態(tài)學(xué)開閉運(yùn)算。這些算子的參數(shù)都在界面層暴露給了用戶不需要改代碼就能調(diào)整。實(shí)際項(xiàng)目中打光方案和成像質(zhì)量決定檢測難度的80%預(yù)處理只是起到錦上添花的作用但它能讓算法更穩(wěn)定。算法分析部分框架把檢測拆成了兩類基于特征的檢測和基于模板的檢測?；谔卣魇菧y量工件的幾何尺寸比如圓直徑、邊緣距離、角度基于模板是判斷工件是否與標(biāo)準(zhǔn)件匹配比如檢查缺料、錯(cuò)料、劃痕。每一類算法都抽象出了基類開發(fā)者只需要繼承基類并實(shí)現(xiàn)具體檢測邏輯就能接入框架的流程調(diào)度。結(jié)果判定與輸出部分框架提供了判定規(guī)則的配置界面可實(shí)現(xiàn)“尺寸在上下限范圍內(nèi)判OK超差判NG”、“模板相似度大于閾值判OK”等邏輯。判定結(jié)果會(huì)同時(shí)驅(qū)動(dòng)界面顯示、數(shù)據(jù)庫記錄和IO信號(hào)輸出。3.3 AOI檢測模塊和普通視覺檢測的差異點(diǎn)AOI檢測即自動(dòng)光學(xué)檢測本質(zhì)上是一種高頻次、高一致性、需要海量數(shù)據(jù)管理的視覺檢測系統(tǒng)。這套源碼里的AOI模塊和普通的單站視覺檢測相比有幾個(gè)明顯差異。第一AOI的檢測項(xiàng)更多而且通常需要對同一產(chǎn)品執(zhí)行幾十道檢測步驟?？蚣艿腁OI模塊提供了一種“流程鏈”的機(jī)制可以把多個(gè)檢測步驟以列表形式串聯(lián)起來每個(gè)步驟有獨(dú)立的相機(jī)位、參數(shù)配置和檢測算法。步驟之間不是簡單的順序執(zhí)行還可以配置“上一步NG則跳過后續(xù)步驟”的剪刀跳轉(zhuǎn)邏輯這樣能顯著壓縮檢測周期。第二AOI對NG圖像的追溯要求很高。框架里為AOI模塊單獨(dú)設(shè)計(jì)了圖像緩存區(qū)和結(jié)果數(shù)據(jù)庫表每張NG圖都會(huì)自動(dòng)保存原圖和標(biāo)注圖并關(guān)聯(lián)產(chǎn)品條碼、檢測工序、缺陷類型和檢測時(shí)間。這個(gè)功能在實(shí)際產(chǎn)線中非常關(guān)鍵客戶投訴時(shí)要能精準(zhǔn)調(diào)出缺陷圖片。第三AOI的誤判率需要不斷調(diào)優(yōu)框架預(yù)設(shè)了一個(gè)“缺陷復(fù)審”模式把所有NG結(jié)果重新過一遍由人工確認(rèn)哪些是真實(shí)缺陷、哪些是過殺確認(rèn)結(jié)果會(huì)回流到樣本庫供后續(xù)算法調(diào)參參考。這種做法比直接在產(chǎn)線上調(diào)閾值更安全因?yàn)樗淮驍嗌a(chǎn)。3.4 機(jī)械手定位模塊坐標(biāo)轉(zhuǎn)換是靈魂標(biāo)題里提到的“機(jī)械手定”我理解就是機(jī)械手定位這套源碼里確實(shí)做得挺完整。視覺引導(dǎo)機(jī)械手抓取核心問題只有一個(gè)怎么把相機(jī)坐標(biāo)系下的坐標(biāo)轉(zhuǎn)成機(jī)械手能執(zhí)行的坐標(biāo)?？蚣芾飪?nèi)置了兩種標(biāo)定模式九點(diǎn)標(biāo)定和旋轉(zhuǎn)中心標(biāo)定。九點(diǎn)標(biāo)定適用于固定相機(jī)從上往下拍、機(jī)械手做平面移動(dòng)的場景。操作方法是在機(jī)械手工作范圍內(nèi)均勻取九個(gè)點(diǎn)讓機(jī)械手依次走到每個(gè)點(diǎn)記錄坐標(biāo)同時(shí)相機(jī)識(shí)別出每個(gè)點(diǎn)的像素坐標(biāo)?？蚣苡靡粋€(gè)最小二乘法擬合出像素坐標(biāo)到機(jī)械手坐標(biāo)的仿射變換矩陣拿到矩陣后視覺輸出的像素坐標(biāo)只要經(jīng)過矩陣變換就能直接變成機(jī)械手的抓取坐標(biāo)。旋轉(zhuǎn)中心標(biāo)定適用于機(jī)械手帶著工件旋轉(zhuǎn)后需要精準(zhǔn)放置的場景。比如機(jī)械手吸起一個(gè)工件相機(jī)拍它的當(dāng)前位置然后機(jī)械手旋轉(zhuǎn)一個(gè)角度再拍通過兩個(gè)位置的圖像坐標(biāo)反算旋轉(zhuǎn)中心。這個(gè)標(biāo)定過程在框架里有配套的引導(dǎo)界面只需要手動(dòng)移動(dòng)機(jī)械手到幾個(gè)位置并確認(rèn)標(biāo)定數(shù)據(jù)會(huì)自動(dòng)保存到配置文件中。實(shí)際產(chǎn)線部署時(shí)機(jī)械手定位項(xiàng)目經(jīng)常會(huì)遇到“精度差了0.3毫米”這類問題。多數(shù)情況下不是標(biāo)定算法的問題而是相機(jī)安裝不牢固、光源閃爍導(dǎo)致圖像灰度抖動(dòng)、機(jī)械手本身重復(fù)精度不足?？蚣苣茉趫D像坐標(biāo)穩(wěn)定性和機(jī)械手坐標(biāo)反饋之間做對比分析方便定位偏差來源。4. 編譯與聯(lián)調(diào)階段的排錯(cuò)實(shí)錄4.1 最常見的編譯錯(cuò)誤及排查鏈路拿到源碼后第一次編譯比較順利但后來我在另一臺(tái)電腦上重新配置環(huán)境時(shí)還是遇到了一些問題。這里把最有代表性的幾條排錯(cuò)鏈路寫出來供參考。第一個(gè)問題是“無法打開包括文件: opencv2/opencv.hpp”。排查思路不是先去檢查代碼而是先確認(rèn)OpenCV環(huán)境變量是否生效。可以在命令行里輸入echo %Path%看看是否包含OpenCV路徑。如果沒有就需要重啟電腦或手動(dòng)刷新環(huán)境變量。如果有了但VS里仍報(bào)錯(cuò)則檢查項(xiàng)目屬性里的“VC目錄”-“包含目錄”是否指向了正確的include文件夾。第二個(gè)問題是“‘MFC’未定義”或“無法打開包括文件: afxwin.h”。這個(gè)就是前面提到的MFC組件沒裝。打開Visual Studio Installer修改安裝勾選“適用于最新v142生成工具的C MFC”等待安裝完成重開VS即可。第三個(gè)問題是“LNK2038: 運(yùn)行時(shí)庫不匹配”。這個(gè)排查稍微復(fù)雜一些根源是多語言混合編程時(shí)MTd與MDd選項(xiàng)不一致。在項(xiàng)目屬性-“C/C”-“代碼生成”-“運(yùn)行庫”中確認(rèn)所有項(xiàng)目和依賴的第三方庫都保持一致。Debug模式下一般用“多線程調(diào)試DLL (/MDd)”Release模式用“多線程DLL (/MD)”這是最常見的組合。4.2 相機(jī)SDK與運(yùn)動(dòng)控制卡驅(qū)動(dòng)的兼容性處理這套框架在驅(qū)動(dòng)層默認(rèn)封裝了市面上常見的一個(gè)相機(jī)品牌和一個(gè)運(yùn)動(dòng)控制卡品牌的SDK。在實(shí)際項(xiàng)目里你手里拿到的硬件品牌大概率跟框架默認(rèn)的不一樣。這時(shí)候不需要改動(dòng)上層業(yè)務(wù)代碼只需要在驅(qū)動(dòng)層新增一個(gè)適配類。新增適配類的流程是在相機(jī)驅(qū)動(dòng)項(xiàng)目里新建一個(gè)類繼承框架定義的相機(jī)基類實(shí)現(xiàn)連接、斷開、軟觸發(fā)、硬觸發(fā)、取圖回調(diào)和參數(shù)設(shè)置這幾個(gè)虛函數(shù)。每個(gè)廠商的SDK調(diào)用方式不同但完成這些接口后上層業(yè)務(wù)就能像使用原品牌一樣使用新相機(jī)。需要特別注意的是SDK回調(diào)線程與業(yè)務(wù)UI線程的交互。很多相機(jī)SDK在取圖回調(diào)中上下文并不是主線程在回調(diào)里直接操作UI會(huì)閃退?？蚣茉诨卣{(diào)線程里統(tǒng)一做圖像格式轉(zhuǎn)換再通過PostMessage方式通知UI線程刷新顯示這個(gè)機(jī)制保留下來即可不要為了省事在回調(diào)里寫界面刷新。運(yùn)動(dòng)控制卡的適配同理?？蚣芴峁┝送ㄓ命c(diǎn)位運(yùn)動(dòng)接口包括單軸運(yùn)動(dòng)、多軸直線插補(bǔ)、回原點(diǎn)、限位信號(hào)讀取等。如果你的設(shè)備只有水平X/Y軸最簡配置是每軸對應(yīng)一個(gè)電機(jī)通道號(hào)。4.3 運(yùn)行時(shí)DLL缺失的排查順序編譯成功后第一次運(yùn)行exe最常見的故障就是“找不到opencv_world450.dll”或“找不到halconcpp.dll”。很多人下意識(shí)去網(wǎng)上亂下載DLL往系統(tǒng)目錄里塞這是非常壞的習(xí)慣。正確排查順序是第一確認(rèn)這些DLL是否已經(jīng)存在于電腦某個(gè)路徑中比如OpenCV的bin目錄、Halcon的bin目錄。第二把程序輸出目錄整理好將這些DLL復(fù)制到exe同目錄下或檢查環(huán)境變量Path里是否包含這些路徑。第三用Dependencies工具檢查exe的依賴列表看具體缺的是哪個(gè)DLL以及它是否依賴了另一個(gè)DLL。原則上一個(gè)專業(yè)視覺項(xiàng)目的目錄結(jié)構(gòu)應(yīng)該是這樣的exe文件、第三方DLL、配置文件、算法模型文件、日志目錄全部放在同一個(gè)根目錄下。這樣在整體部署到工控機(jī)時(shí)直接拷目錄不容易出現(xiàn)缺少文件的問題。5. 在這套框架上做二次開發(fā)的擴(kuò)展點(diǎn)5.1 算法模塊的擴(kuò)展方式框架的算法層設(shè)計(jì)得比較開放新增一個(gè)算法模塊并不復(fù)雜。以新增一個(gè)基于深度學(xué)習(xí)的缺陷分類算法為例做法是在算法層項(xiàng)目里新建一個(gè)類繼承框架的DetectionBase基類重寫Detect(ImageInput, AlgorithmConfig, ResultOutput)方法?；惱镆呀?jīng)實(shí)現(xiàn)了圖像格式轉(zhuǎn)換、參數(shù)序列化、結(jié)果顯示和異常日志等公共邏輯開發(fā)者只需要在Detect方法里調(diào)用訓(xùn)練好的深度學(xué)習(xí)模型推理。深度學(xué)習(xí)模型的集成需要引入推理引擎的SDK比如ONNX Runtime或OpenVINO?？蚣鼙旧聿粡?qiáng)依賴深度學(xué)習(xí)框架它只負(fù)責(zé)在檢測流程中調(diào)用算法模塊的接口。模型文件放在指定目錄配置文件里用相對路徑引用這樣整體可移植性比較好。擴(kuò)展算法模塊時(shí)有一個(gè)容易忽略的點(diǎn)內(nèi)存管理。視覺檢測通常一秒處理好幾個(gè)產(chǎn)品如果算法內(nèi)部頻繁申請和釋放圖像內(nèi)存會(huì)產(chǎn)生內(nèi)存碎片跑時(shí)間長了系統(tǒng)越來越卡。建議在算法模塊構(gòu)造函數(shù)中預(yù)分配緩沖在Detect方法里復(fù)用這些內(nèi)存。5.2 檢測流程與界面配置的定制除了加算法二次開發(fā)最常做的事是調(diào)整檢測流程?？蚣艿牧鞒膛渲帽４嬖赬ML文件里格式大概是這樣的DetectJob Name工件A Preprocess TypeGray Params/ Detect TypeCircleMeasurement MinDiameter10.0 MaxDiameter20.0/ Detect TypeTemplateMatch ModelFile模板A.shm MinScore0.85/ Logic Name結(jié)果判定 RuleCircle_Size_OK AND Template_Score_OK/ /DetectJob新的檢測項(xiàng)目只需要在對應(yīng)位置增加或刪除檢測節(jié)點(diǎn)框架啟動(dòng)時(shí)會(huì)自動(dòng)解析并加載流程。界面上的圖像顯示窗口支持多分屏顯示可以同時(shí)展示原圖、處理后的圖像、測量結(jié)果圖和缺陷區(qū)域放大圖。我在實(shí)際項(xiàng)目里通常會(huì)引導(dǎo)客戶只關(guān)注最終判定界面減少誤操作。界面定制方面主窗口采用Dock布局模塊窗口可以自由拖拽?？俊Ｐ率衷谶@里不要輕易改窗口布局代碼容易造成界面異常。我一般是在現(xiàn)有布局基礎(chǔ)上新增一個(gè)自定義頁面把客戶關(guān)心的參數(shù)集中放進(jìn)去比如產(chǎn)品名稱、節(jié)拍時(shí)間、當(dāng)日產(chǎn)能、良品率和停機(jī)原因。5.3 從Demo到產(chǎn)線部署還差的最后一公里把Demo程序跑通、在實(shí)驗(yàn)室里能檢測出工件缺陷距離產(chǎn)線穩(wěn)定運(yùn)行還差很多事。根據(jù)我的交付經(jīng)驗(yàn)需要重點(diǎn)關(guān)注這幾個(gè)方面。數(shù)據(jù)管理要考慮的比較多。框架已提供本地的SQLite數(shù)據(jù)庫用于記錄檢測記錄但產(chǎn)線上往往需要對接MES系統(tǒng)將每件產(chǎn)品的檢測數(shù)據(jù)實(shí)時(shí)上報(bào)?？蚣茴A(yù)留了數(shù)據(jù)上報(bào)接口通過HTTP接口把結(jié)果傳輸給MES。傳輸失敗時(shí)要有本地緩存和自動(dòng)重傳機(jī)制否則產(chǎn)品追溯鏈條會(huì)斷。權(quán)限管理也是容易被低估的一項(xiàng)。產(chǎn)線操作工不應(yīng)該能修改檢測閾值。框架默認(rèn)提供了管理員、工程師、操作員三級權(quán)限需要確認(rèn)每個(gè)賬戶的權(quán)限范圍。這會(huì)給項(xiàng)目增加一點(diǎn)交付工作量但能避免很多“產(chǎn)品明明不合格卻被操作員改參數(shù)變合格”的隱患。軟件運(yùn)行日志和自動(dòng)重啟機(jī)制也是從實(shí)驗(yàn)室到產(chǎn)線的關(guān)鍵項(xiàng)?？蚣苤С挚撮T狗機(jī)制如果程序意外退出自動(dòng)拉起并重啟檢測流程同時(shí)保留異常前后的日志信息。工控機(jī)長時(shí)間運(yùn)行偶爾會(huì)有內(nèi)存泄漏或硬件掉線導(dǎo)致程序崩潰沒有這個(gè)機(jī)制產(chǎn)線停一次就損失一次。6. 我在這套框架上實(shí)際踩過的幾個(gè)坑6.1 圖像采集回調(diào)里的圖像格式陷阱第一個(gè)比較典型的坑是相機(jī)采集回調(diào)里的圖像格式與框架算法模塊的圖像格式默認(rèn)假設(shè)不一致。部分相機(jī)默認(rèn)輸出的是BGR格式但框架內(nèi)部算法模塊默認(rèn)使用灰度圖。如果直接拿彩色圖去做模板匹配算法算子會(huì)多做一次格式轉(zhuǎn)換雖然也能出結(jié)果但整體周期變長且某些算子對彩色圖處理結(jié)果不一致。解決辦法是在相機(jī)適配類的初始化參數(shù)中明確指定輸出格式為灰度圖或Bayer轉(zhuǎn)灰度這一步盡量在硬件采集環(huán)節(jié)完成而不是在算法處理前臨時(shí)轉(zhuǎn)換。這樣既能減少CPU開銷也能保證算法的輸入一致性。6.2 機(jī)械手定位項(xiàng)目中標(biāo)定板與相機(jī)高度的優(yōu)先級機(jī)械手定位項(xiàng)目里精度問題十有八九出在相機(jī)安裝高度與標(biāo)定平面的差異上。有些項(xiàng)目為了節(jié)省空間把相機(jī)傾斜安裝或者放在工件平面上方比較近的位置標(biāo)定時(shí)用一塊很薄的標(biāo)定板實(shí)際抓取時(shí)工件卻有一定高度。這種情況下即便標(biāo)定算得再好也會(huì)因?yàn)橐暡钤韼矸€(wěn)定的位置偏差。處理方式有兩種一是保證標(biāo)定平面與抓取平面的高度基本一致這是最穩(wěn)妥的二是通過框架里的“高度補(bǔ)償”功能測量出相機(jī)安裝高度與抓取平面高度的差值在輸出坐標(biāo)時(shí)增加對應(yīng)的像素偏移補(bǔ)償量。第一種方式優(yōu)先采用第二種是補(bǔ)救手段。在高精度項(xiàng)目中相機(jī)安裝支架的穩(wěn)固性幾乎決定了項(xiàng)目的上限。6.3 長時(shí)間運(yùn)行時(shí)畫面卡頓的排查思路有客戶反饋設(shè)備連續(xù)運(yùn)行幾個(gè)小時(shí)后畫面刷新變得很慢操作延遲明顯。檢查之后發(fā)現(xiàn)是圖像顯示窗口的緩沖區(qū)沒有及時(shí)清理每拍一張圖就把Bitmap對象加入列表運(yùn)行幾小時(shí)后圖形對象內(nèi)存占用越來越大?？蚣芾镫m然已經(jīng)實(shí)現(xiàn)了雙緩沖顯示但還沒有加入顯示列表的自動(dòng)清理邏輯。我的解決辦法是在圖像顯示控件的刷新邏輯中加入一幀覆蓋機(jī)制——新圖像到來時(shí)直接替換當(dāng)前顯示圖像析構(gòu)舊的Bitmap而不是追加到列表中。同時(shí)用定時(shí)器定期清理歷史結(jié)果縮略圖避免縮略圖控件對象堆積。修改后設(shè)備連續(xù)運(yùn)行一整天內(nèi)存曲線平穩(wěn)。這個(gè)坑說明視覺框架這類長期運(yùn)行的軟件內(nèi)存管理的優(yōu)先級一定要放在功能開發(fā)之后立刻處理不能等到現(xiàn)場出了問題再補(bǔ)。7. 這套框架適不適合你以及后續(xù)可以怎么擴(kuò)展拿到這套源碼之后可以先對照自身的項(xiàng)目情況做判斷如果公司準(zhǔn)備投入機(jī)器視覺方向團(tuán)隊(duì)想建立統(tǒng)一的視覺開發(fā)平臺(tái)這套框架作為底座是值得投入時(shí)間去研究的如果是個(gè)人學(xué)習(xí)視覺開發(fā)理解它的分層思路和模塊封裝方式也是一種快速進(jìn)步的方式。它不能替代Halcon的深入算法能力也無法覆蓋深度學(xué)習(xí)的模型訓(xùn)練但它提供了一個(gè)有序的工程容器讓你的算法能力能真正在產(chǎn)線上穩(wěn)定落地。順著這個(gè)源碼繼續(xù)擴(kuò)展有三個(gè)方向值得考慮。第一是算法層面接入深度學(xué)習(xí)推理框架把傳統(tǒng)視覺解決不了的復(fù)雜缺陷交給分類模型處理形成傳統(tǒng)算法與深度學(xué)習(xí)優(yōu)勢互補(bǔ)第二是增加多相機(jī)并行處理能力在框架里引入多線程流水線調(diào)度讓不同工位的相機(jī)同時(shí)采集和處理節(jié)拍能顯著提升第三是構(gòu)建數(shù)據(jù)看板和遠(yuǎn)程運(yùn)維模塊把各條產(chǎn)線的視覺檢測數(shù)據(jù)實(shí)時(shí)上傳到服務(wù)器在辦公室就能看到全局良率和故障分布。這些擴(kuò)展方向框架都有合適的接口承接二次開發(fā)的工作量完全可控。我個(gè)人的體會(huì)是好的視覺框架源碼的稀缺性其實(shí)不在算法有多先進(jìn)而在于它把那些重復(fù)性高、容易出錯(cuò)、又不得不做的事提前做完了。把時(shí)間花在處理痛點(diǎn)上而不是從零開始搭地基這才是源碼帶給項(xiàng)目最實(shí)際的價(jià)值。