做工業(yè)視覺這一行每天打交道最多的東西有兩樣相機(jī)和圖像處理庫。而把兩者串起來的第一步就是搞定“C調(diào)用?？迪鄼C(jī)SDK采集圖像”這件事。很多剛?cè)肟拥呐笥言谀玫胶？倒I(yè)相機(jī)后第一反應(yīng)是打開MVS軟件先看看圖像覺得挺簡單一旦進(jìn)入代碼開發(fā)階段面對QT Creator、OpenCV、線程這些名詞堆在一起馬上就懵了。這篇文章就是來幫你把這層窗戶紙捅破的我會把從SDK初始化、設(shè)備枚舉、采集拉流、像素格式轉(zhuǎn)換到QT界面顯示、線程安全處理的完整流程按我實(shí)際項(xiàng)目的做法走一遍代碼也能直接拿去改。這篇內(nèi)容適合誰正在用QT Creator做上位機(jī)開發(fā)的C工程師或者剛從OpenCV起步、準(zhǔn)備接入真實(shí)工業(yè)相機(jī)做項(xiàng)目的同學(xué)都非常對口。我會盡量把自己踩過的坑、排查過的問題、換過的方案講清楚不整虛的全是實(shí)操層面的東西。1. 項(xiàng)目整體設(shè)計(jì)與思路拆解1.1 為什么是這三件套組合先說結(jié)論C QT Creator OpenCV 海康SDK是國內(nèi)工業(yè)視覺項(xiàng)目里最常見的技術(shù)組合沒有之一。這四樣?xùn)|西的職責(zé)非常清晰?？礢DK負(fù)責(zé)跟相機(jī)“要圖”O(jiān)penCV負(fù)責(zé)對拿到的圖像做處理QT負(fù)責(zé)把結(jié)果展示給人看而C是貫穿其中的膠水語言。有人可能會問為什么不直接用?？底詭У腗VS里的二次開發(fā)demo或者干脆用C# Halcon原因有兩層第一?？礢DK本身提供C/C接口C生態(tài)和OpenCV無縫銜接圖像數(shù)據(jù)可以直接轉(zhuǎn)成cv::Mat處理效率高第二QT在跨平臺界面開發(fā)和線程管理上非常成熟工業(yè)現(xiàn)場的上位機(jī)軟件十個(gè)里有八個(gè)是QT寫的。這套組合雖然學(xué)習(xí)曲線略陡但一旦跑通后面的圖像算法、界面集成、多相機(jī)擴(kuò)展都很順手。1.2 整體流程架構(gòu)整個(gè)采集流程可以拆成六個(gè)環(huán)節(jié)SDK初始化 - 設(shè)備枚舉與句柄創(chuàng)建 - 參數(shù)配置 - 開啟采集 - 圖像獲取與格式轉(zhuǎn)換 - 停止采集與資源釋放。這六步對應(yīng)著?？礢DK里幾個(gè)核心API的調(diào)用順序順序錯(cuò)了或者少了清理步驟都會出問題。我習(xí)慣在項(xiàng)目啟動前先把流程圖畫在紙上不用工具純靠腦補(bǔ)就行大致是這樣SDK初始化(MV_CC_Initialize) - 枚舉設(shè)備(MV_CC_EnumDevices) - 創(chuàng)建句柄(MV_CC_CreateHandle) - 打開設(shè)備(MV_CC_OpenDevice) - 設(shè)置像素格式、觸發(fā)模式等參數(shù) - 注冊圖像回調(diào) 或 開啟采集線程 - 開始采集(MV_CC_StartGrabbing) - 循環(huán)取圖(回調(diào) or GetImageBuffer) - 圖像轉(zhuǎn)Mat交給OpenCV處理或QT顯示 - 停止采集 - 關(guān)閉設(shè)備 - 銷毀句柄 - SDK反初始化這套流程是所有?？迪鄼C(jī)開發(fā)的骨架。你以后不管是用GigE網(wǎng)口相機(jī)還是USB3.0相機(jī)不管用主動拉流還是回調(diào)模式都不離其宗。把這些結(jié)構(gòu)理清楚寫代碼才不會邊寫邊迷路。1.3 自己寫采集模塊的三大設(shè)計(jì)原則開發(fā)這個(gè)采集模塊時(shí)我給自己定了三條原則后面所有代碼和決策都是圍繞它們展開的。第一模塊獨(dú)立。采集邏輯不要和QT界面耦合在一起單獨(dú)封裝成一個(gè)CameraHandler類對外只暴露Init、Open、Start、Stop、GetFrame這樣的接口。這樣即使哪一天把QT換成別的界面庫采集代碼能原封不動遷移。第二線程分離。圖像采集涉及高頻IO和耗時(shí)處理絕不能和UI線程擠在一個(gè)線程里。取圖線程只負(fù)責(zé)從相機(jī)拿到原始幀把幀丟進(jìn)緩沖隊(duì)列就返工界面刷新由QT主線程的定時(shí)器或信號槽驅(qū)動。兩者之間用一個(gè)帶互斥鎖的環(huán)形隊(duì)列做橋梁。第三像素格式橋接。?？迪鄼C(jī)出來的原始數(shù)據(jù)可能是Mono8、BayerRG8、YUV等格式OpenCV能直接處理的通常是CV_8UC1灰度或CV_8UC3的BGR/RGB彩色圖。這一步轉(zhuǎn)換繞不開要么用SDK的像素轉(zhuǎn)換接口要么用OpenCV的cvtColor我的經(jīng)驗(yàn)是用SDK的接口更穩(wěn)。2. 開發(fā)前的環(huán)境準(zhǔn)備與QT Creator配置2.1 安裝MVS客戶端并找到SDK開發(fā)包海康機(jī)器人官網(wǎng)下載MVSMachine Vision Software客戶端裝上之后數(shù)據(jù)處理、相機(jī)固件升級、參數(shù)調(diào)試都能做。但真正寫代碼需要的是SDK開發(fā)包它在MVS安裝目錄下的Development文件夾里路徑一般是C:\Program Files (x86)\MVS\Development這個(gè)目錄下有Includes和Libraries兩個(gè)重要子目錄。Includes里放的是MvCameraControl.h、MvErrorDefine.h這些頭文件Libraries里有win64和win32兩種架構(gòu)的庫文件我們這邊統(tǒng)一用win64。具體文件是MvCameraControl.lib導(dǎo)入庫和MvCameraControl.dll動態(tài)庫。有一個(gè)易踩的坑運(yùn)行程序時(shí)MvCameraControl.dll一定要能找得到。最簡單粗暴的方案是把dll直接拷貝到exe所在目錄或者把dll所在路徑加到系統(tǒng)環(huán)境變量PATH里。我后來自定義了一個(gè)copy腳本每次構(gòu)建完自動把dll復(fù)制到輸出目錄省得反復(fù)折騰。2.2 編譯器選擇一定要用MSVC這個(gè)坑我必須放在最前面說因?yàn)槟茏屇闵僬垓v一周海康SDK的C接口在QT Creator里請務(wù)必搭配MSVC編譯器使用不要用MinGW。MinGW和MSVC的C運(yùn)行時(shí)庫不同SDK提供的.lib文件是按照MSVC的ABI編譯的用MinGW鏈接時(shí)經(jīng)常會出現(xiàn)一堆奇怪的符號錯(cuò)誤比如LNK2001、LNK2019之類的。我早期天真地覺得QT自帶MinGW方便結(jié)果卡在鏈接階段兩天沒睡好。后來換成MSVC編譯器一下就通了。在QT Creator里配置MSVC的方式是Tools - Options - Kits - Compilers添加Visual Studio對應(yīng)的編譯器比如Microsoft Visual C Compiler 15.0然后新建一個(gè)Kit編譯器選MSVCqmake選QT安裝目錄下msvc2017_64或msvc2019_64對應(yīng)的版本。這里要注意QT的編譯器版本和SDK的位數(shù)必須一致我們這邊統(tǒng)一64位。2.3 pro文件配置細(xì)節(jié)在QT工程的.pro文件里需要指定頭文件路徑和庫文件路徑。假設(shè)我把MVS安裝到了D盤配置大概長這樣# ?？礢DK路徑 MVS_ROOT D:/MVS/Development INCLUDEPATH $${MVS_ROOT}/Includes CONFIG(debug, debug|release) { LIBS -L$${MVS_ROOT}/Libraries/win64 -lMvCameraControl } else { LIBS -L$${MVS_ROOT}/Libraries/win64 -lMvCameraControl }注意海康SDK的導(dǎo)入庫在Debug和Release下都是同一個(gè)MvCameraControl.lib不需要像很多其他庫那樣區(qū)分debug版本和release版本。還有一個(gè)細(xì)節(jié)整個(gè)QT工程也要是64位的如果你創(chuàng)建的Kit是32位的鏈接64位的lib也會報(bào)錯(cuò)。3. 相機(jī)初始化、設(shè)備枚舉與參數(shù)配置3.1 SDK初始化與錯(cuò)誤碼檢查所有操作的第一步是調(diào)MV_CC_Initialize它會初始化SDK內(nèi)部資源。與之對應(yīng)程序退出前要調(diào)MV_CC_Finalize釋放資源。我封裝了一個(gè)全局的SDK生命周期管理防止忘記釋放bool CameraHandler::initSDK() { int ret MV_CC_Initialize(); if (ret ! MV_OK) { qDebug() SDK初始化失敗錯(cuò)誤碼 ret; return false; } return true; } void CameraHandler::finalizeSDK() { MV_CC_Finalize(); }這里有個(gè)小習(xí)慣每個(gè)API調(diào)用后都檢查返回值。海康SDK的幾乎所有接口都返回int型錯(cuò)誤碼MV_OK值為0表示成功。剛開始寫代碼可能覺得每個(gè)函數(shù)都判斷返回值很啰嗦但實(shí)際排查問題時(shí)你就知道這有多香了。3.2 設(shè)備枚舉與選擇初始化之后就是枚舉設(shè)備。這個(gè)環(huán)節(jié)會獲取當(dāng)前連接的所有相機(jī)信息包括設(shè)備名、IP地址網(wǎng)口相機(jī)、序列號等。我們把這個(gè)過程封裝好bool CameraHandler::enumDevices() { memset(m_devList, 0, sizeof(MV_CC_DEVICE_INFO_LIST)); // 枚舉網(wǎng)口USB設(shè)備 int ret MV_CC_EnumDevices(MV_GIGE_DEVICE | MV_USB_DEVICE, m_devList); if (ret ! MV_OK) { qDebug() 枚舉設(shè)備失敗; return false; } qDebug() 檢測到設(shè)備數(shù)量 m_devList.nDeviceNum; if (m_devList.nDeviceNum 0) { return false; } return true; }設(shè)備枚舉出來后我們一般選擇第一個(gè)設(shè)備或者根據(jù)用戶的選擇對應(yīng)索引拿設(shè)備信息創(chuàng)建句柄。MV_CC_CreateHandle會生成一個(gè)設(shè)備句柄后續(xù)所有操作都通過它進(jìn)行。這里要用到MV_CC_DEVICE_INFO的指針bool CameraHandler::openDevice(int deviceIndex) { if (deviceIndex 0 || deviceIndex static_castint(m_devList.nDeviceNum)) { return false; } MV_CC_DEVICE_INFO* pDevInfo m_devList.pDeviceInfo[deviceIndex]; int ret MV_CC_CreateHandle(m_hDev, pDevInfo); if (ret ! MV_OK) { qDebug() 創(chuàng)建句柄失敗; return false; } ret MV_CC_OpenDevice(m_hDev); if (ret ! MV_OK) { qDebug() 打開設(shè)備失敗; return false; } return true; }3.3 參數(shù)配置的幾個(gè)關(guān)鍵項(xiàng)打開設(shè)備之后通常要設(shè)置一下相機(jī)的參數(shù)。常用的是這些第一個(gè)是像素格式。?？倒I(yè)相機(jī)根據(jù)傳感器不同默認(rèn)輸出可能是Mono8黑白、BayerRG8彩色但需要拜耳解碼、或者YUV格式。用MV_CC_SetEnumValue設(shè)置// 以彩色BayerRG8為例 MV_CC_SetEnumValue(m_hDev, PixelFormat, PixelType_Gvsp_BayerRG8);第二個(gè)是觸發(fā)模式。工業(yè)現(xiàn)場大多數(shù)情況用外觸發(fā)或者軟觸發(fā)但做基礎(chǔ)采集演示時(shí)直接設(shè)置為連續(xù)采集模式就行MV_CC_SetEnumValue(m_hDev, TriggerMode, MV_TRIGGER_MODE_OFF);第三個(gè)是曝光率和增益。這兩個(gè)參數(shù)對圖像質(zhì)量影響最大我用MV_CC_SetFloatValue來設(shè)置MV_CC_SetFloatValue(m_hDev, ExposureTime, 5000.0f); // 曝光時(shí)間單位微秒 MV_CC_SetFloatValue(m_hDev, Gain, 10.0f);網(wǎng)上很多人會忽略相機(jī)增益和曝光對圖像質(zhì)量的影響。我自己的經(jīng)驗(yàn)是曝光優(yōu)先增益最后才調(diào)因?yàn)樵鲆鏁言肼曂瑯臃糯?。只要環(huán)境光足夠盡量壓低增益。4. 圖像獲取的兩種主流方式主動拉流與回調(diào)4.1 主動拉流模式適合掌控幀率主動拉流的核心是啟動一個(gè)獨(dú)立線程循環(huán)調(diào)用MV_CC_GetImageBuffer從SDK內(nèi)部緩沖區(qū)拉取最新的一幀圖像。這個(gè)模式的好處是取幀節(jié)奏完全由自己控制適合需要精確控制處理周期的場景。我用std::thread來實(shí)現(xiàn)這個(gè)采集線程void CameraHandler::grabLoop() { while (m_isGrabbing) { MV_FRAME_OUT_INFO_EX stFrameInfo; memset(stFrameInfo, 0, sizeof(stFrameInfo)); // 超時(shí)時(shí)間設(shè)為1000ms如果相機(jī)異常很久沒數(shù)據(jù)會返回超時(shí) int ret MV_CC_GetImageBuffer(m_hDev, stFrameInfo, 1000); if (ret ! MV_OK) { continue; } // 這里拿到的是SDK內(nèi)部緩沖區(qū)的指針要盡快處理或拷貝 processFrame(stFrameInfo.pBufAddr, stFrameInfo); // 處理完必須釋放緩沖區(qū)否則取不了幾幀就卡死 MV_CC_FreeImageBuffer(m_hDev, stFrameInfo); } }有一個(gè)重要的點(diǎn)是MV_CC_GetImageBuffer返回的pBufAddr指向SDK內(nèi)部緩沖區(qū)用完之后必須調(diào)用MV_CC_FreeImageBuffer歸還。如果不歸還SDK內(nèi)部緩沖區(qū)會迅速耗盡然后取圖超時(shí)整個(gè)采集流程就卡死了。這一點(diǎn)跟很多視頻采集庫不一樣非常容易踩坑。4.2 回調(diào)模式適合高幀率和多相機(jī)如果你的相機(jī)幀率很高比如幾百幀或者一個(gè)程序要接好幾個(gè)相機(jī)主動拉流模式會顯得力不從心這時(shí)推薦用回調(diào)模式。海康SDK支持注冊一個(gè)圖像回調(diào)函數(shù)SDK內(nèi)部線程抓到圖后會主動調(diào)用你注冊的函數(shù)void __stdcall ImageCallBack(unsigned char* pData, MV_FRAME_OUT_INFO_EX* pFrameInfo, void* pUser) { CameraHandler* handler static_castCameraHandler*(pUser); handler-onImageCallback(pData, pFrameInfo); } void CameraHandler::onImageCallback(unsigned char* pData, MV_FRAME_OUT_INFO_EX* pFrameInfo) { // 注意這個(gè)回調(diào)函數(shù)運(yùn)行在SDK內(nèi)部線程里不能做耗時(shí)操作 // 重要的圖像數(shù)據(jù)先拷貝到自己的緩沖隊(duì)列中 pushFrameToQueue(pData, pFrameInfo); }注冊回調(diào)用的是MV_CC_RegisterImageCallBackMV_CC_RegisterImageCallBack(m_hDev, ImageCallBack, this);回調(diào)模式的核心優(yōu)勢是SDK內(nèi)部幫你管理了采集線程你只管處理回調(diào)里收到的數(shù)據(jù)。但代價(jià)也很明顯回調(diào)函數(shù)運(yùn)行在SDK的內(nèi)部線程中如果在里面做耗時(shí)操作比如圖像算法或者寫硬盤會阻塞SDK的取流線程導(dǎo)致丟幀甚至程序卡死。所以回調(diào)里只做一件事把圖像數(shù)據(jù)拷貝到自己管理的緩沖區(qū)里立刻返回。4.3 線程安全與圖像數(shù)據(jù)緩沖隊(duì)列不管用哪種模式采集線程或回調(diào)線程和主線程之間都需要一個(gè)線程安全的緩沖機(jī)制。我這里的做法是用std::mutex配合std::condition_variable實(shí)現(xiàn)一個(gè)容量可控的圖像隊(duì)列class FrameQueue { public: void push(const QImage img) { std::lock_guardstd::mutex lock(m_mutex); if (m_queue.size() m_maxSize) { m_queue.pop(); // 滿了就丟棄最舊的一幀 } m_queue.push(img); m_cond.notify_one(); } bool pop(QImage img, int timeoutMs 100) { std::unique_lockstd::mutex lock(m_mutex); if (m_cond.wait_for(lock, std::chrono::milliseconds(timeoutMs), [this] { return !m_queue.empty(); })) { img m_queue.front(); m_queue.pop(); return true; } return false; } private: std::queueQImage m_queue; std::mutex m_mutex; std::condition_variable m_cond; size_t m_maxSize 4; // 隊(duì)列緩沖上限 };這里有個(gè)設(shè)計(jì)細(xì)節(jié)說一下。圖像隊(duì)列長度我限制在4幀左右如果生產(chǎn)速度遠(yuǎn)超消費(fèi)速度就丟棄最舊的那一幀。這樣做的好處是界面顯示永遠(yuǎn)是接近實(shí)時(shí)的最新圖像而不是一直追趕舊的幀界面越來越卡。另外我選擇QImage作為隊(duì)列元素是因?yàn)镼Image在QT的跨線程傳遞中特別方便可以直接扔給信號的槽函數(shù)。QT界面刷新這邊則非常簡單由于信號槽是線程安全的采集線程處理好圖像后直接emit一個(gè)信號界面槽函數(shù)接收到就去刷新QLabel// 采集線程或取圖線程里 emit frameReady(image); // frameReady是一個(gè)信號 // 主界面里 connect(handler, CameraHandler::frameReady, this, MainWindow::updateImage);5. ?？祱D像數(shù)據(jù)到OpenCV Mat的轉(zhuǎn)換5.1 像素格式的來龍去脈海康相機(jī)拿到的原始圖像數(shù)據(jù)像素格式取決于傳感器的輸出模式。常見的三種是Mono8每個(gè)像素8位灰度OpenCV里對應(yīng)CV_8UC1BayerRG8 / BayerGB8每個(gè)像素8位但是拜耳排列的彩色原始數(shù)據(jù)必須經(jīng)過解碼才能變成彩色圖YUV422工業(yè)相機(jī)里另一類常見的色彩編碼方式OpenCV里也可以用cvtColor做Bayer解碼比如cv::COLOR_BayerRG2BGR但這里有個(gè)坑OpenCV的Bayer解碼是自帶插值和白平衡的跟?？档腎SP算法效果有差異尤其在色彩還原上可能偏色或者偏暗。我的經(jīng)驗(yàn)是能用SDK的像素轉(zhuǎn)換接口就用SDK的色彩一致性更好。5.2 SDK像素轉(zhuǎn)換的核心用法海康SDK提供了MV_CC_ConvertPixelType接口可以把任意支持的像素格式轉(zhuǎn)成目標(biāo)格式。我們通常都轉(zhuǎn)成RGB8_Packed方便后面粘OpenCV的BGR圖像。轉(zhuǎn)換參數(shù)封裝在MV_CC_PIXEL_CONVERT_PARAM結(jié)構(gòu)體里cv::Mat CameraHandler::convertToMat(unsigned char* pData, MV_FRAME_OUT_INFO_EX* pFrameInfo) { if (pFrameInfo-enPixelType PixelType_Gvsp_Mono8) { // 直接轉(zhuǎn)灰度Mat cv::Mat img(pFrameInfo-nHeight, pFrameInfo-nWidth, CV_8UC1, pData); return img.clone(); // 拷貝一份避免指向SDK緩沖區(qū) } // 彩色格式統(tǒng)一轉(zhuǎn)成RGB8 MV_CC_PIXEL_CONVERT_PARAM convertParam; memset(convertParam, 0, sizeof(convertParam)); convertParam.nWidth pFrameInfo-nWidth; convertParam.nHeight pFrameInfo-nHeight; convertParam.pSrcData pData; convertParam.nSrcDataLen pFrameInfo-nFrameLen; convertParam.enSrcPixelType pFrameInfo-enPixelType; convertParam.enDstPixelType PixelType_Gvsp_RGB8_Packed; convertParam.pDstBuffer m_rgbBuffer.data(); convertParam.nDstBufferSize static_castunsigned int(m_rgbBuffer.size()); int ret MV_CC_ConvertPixelType(m_hDev, convertParam); if (ret ! MV_OK) { return cv::Mat(); } cv::Mat rgbImg(pFrameInfo-nHeight, pFrameInfo-nWidth, CV_8UC3, m_rgbBuffer.data()); // RGB轉(zhuǎn)BGR適配OpenCV顯示習(xí)慣 cv::Mat bgrImg; cv::cvtColor(rgbImg, bgrImg, cv::COLOR_RGB2BGR); return bgrImg.clone(); }這里有一個(gè)容易被忽略的坑轉(zhuǎn)換前需要提前分配好目標(biāo)緩沖區(qū)。m_rgbBuffer需要按照寬高和通道數(shù)計(jì)算大小m_rgbBuffer.resize(pFrameInfo-nWidth * pFrameInfo-nHeight * 3);如果緩沖區(qū)小了MV_CC_ConvertPixelType會返回錯(cuò)誤碼。我一開始沒注意這個(gè)調(diào)試了很久才發(fā)現(xiàn)是因?yàn)檩敵鼍彌_區(qū)不夠。5.3 Mat圖像與QImage互相轉(zhuǎn)換圖像到了OpenCV手里事情就好辦多了。但是QT界面顯示需要QImage兩者之間還需要一層轉(zhuǎn)換。這里給一個(gè)我封裝的函數(shù)能在cv::Mat和QImage之間互轉(zhuǎn)QImage matToQImage(const cv::Mat mat) { switch (mat.type()) { case CV_8UC1: { QImage img(mat.cols, mat.rows, QImage::Format_Grayscale8); memcpy(img.bits(), mat.data, static_castsize_t(mat.cols * mat.rows)); return img; } case CV_8UC3: { cv::Mat rgbMat; cv::cvtColor(mat, rgbMat, cv::COLOR_BGR2RGB); QImage img(rgbMat.cols, rgbMat.rows, QImage::Format_RGB888); memcpy(img.bits(), rgbMat.data, static_castsize_t(rgbMat.cols * rgbMat.rows * 3)); return img; } default: return QImage(); } }這段代碼里有兩點(diǎn)值得說明。第一QImage和cv::Mat的數(shù)據(jù)排列大致相同但QImage要求每行按4字節(jié)對齊而cv::Mat默認(rèn)是連續(xù)的對于寬度不是4的倍數(shù)的圖像直接memcpy整塊數(shù)據(jù)沒問題嗎我的做法是把mat的數(shù)據(jù)按行拷貝到QImage中或者用上面這種簡單memcpy的前提是圖像寬度正好是4的倍數(shù)大多數(shù)工業(yè)相機(jī)的分辨率如1280x1024、2048x1536都滿足這個(gè)條件。如果你的分辨率不滿足最好按行拷貝防止QImage顯示錯(cuò)位。第二cv::Mat默認(rèn)是BGR通道順序QImage一般是RGB888格式必須先用cvtColor轉(zhuǎn)成RGB否則顏色會偏藍(lán)偏紅。這一步看似多余但漏掉它幾乎是新手最容易犯的錯(cuò)誤。6. 常見問題與排查技巧實(shí)錄6.1 鏈接失敗LNK2019未解析的外部符號很多人在QT Creator剛配置好SDK就去編譯結(jié)果報(bào)一堆“無法解析的外部符號”。先別慌按照下面順序排查第一確認(rèn)Kit編譯器是MSVC而不是MinGW。這是最最普遍的原因。第二檢查.pro文件里的LIBS路徑是否寫對了庫文件名是否正確。第三確認(rèn)工程是64位編譯并且鏈接的是Libraries/win64下的庫。第四確認(rèn)頭文件里是否定義了正確的宏?？档腗vCameraControl.h通常不需要額外宏但如果你用了C接口要注意extern C問題。還有一個(gè)冷門的情況QT的release和debug模式鏈接的庫名不一樣。MvCameraControl.lib在這里名字是固定的所以不需要區(qū)分但有些版本的SDK會區(qū)分MvCameraControl.lib和MvCameraControld.lib如果你用的SDK版本不一樣可以檢查一下Libraries文件夾里具體有什么文件名。6.2 程序啟動后馬上崩潰或卡死這種問題多半出在線程和界面交互上。最常見的一種是在子線程里直接操作了QT界面控件。比如在采集線程里直接調(diào)用label-setPixmap看起來偶爾能跑但隨時(shí)可能崩潰。解決方法是嚴(yán)格遵守QT的線程規(guī)則界面控件只能在主線程操作?？缇€程傳數(shù)據(jù)統(tǒng)一走信號槽并且連接方式用默認(rèn)的AutoConnectionQT會幫你處理跨線程隊(duì)列調(diào)度。還有一種情況是啟動采集后界面假死原因通常是取圖循環(huán)里做了太多耗時(shí)操作比如保存大圖、跑圖像算法占用了太多的CPU導(dǎo)致界面線程搶不到時(shí)間片。解決辦法是把圖像處理和采集放在不同的線程或者降低取圖幀率。6.3 取幾幀后開始超時(shí)卡頓這個(gè)現(xiàn)象基本上可以斷定是沒有正確釋放圖像緩沖區(qū)。前面提到MV_CC_GetImageBuffer拿到的緩沖區(qū)必須用MV_CC_FreeImageBuffer歸還。如果只調(diào)用GetImageBuffer不FreeImageBufferSDK的可用緩沖區(qū)數(shù)量會越來越少最終導(dǎo)致取圖超時(shí)。還有一種可能是開啟了帶寬控制網(wǎng)口相機(jī)例如GigE相機(jī)的網(wǎng)絡(luò)傳輸包大小或AOI設(shè)置不合理導(dǎo)致數(shù)據(jù)吞吐跟不上。這時(shí)候需要檢查相機(jī)的IP配置和網(wǎng)卡巨型幀設(shè)置建議直接把巨型幀Jumbo Frame打開到9014字節(jié)然后調(diào)高網(wǎng)卡的接收緩沖區(qū)。6.4 圖像顏色不對偏色或偏綠拿到圖像發(fā)現(xiàn)顏色完全不對最常見的兩類原因第一像素格式判斷錯(cuò)誤。相機(jī)實(shí)際輸出是BayerGB8你按BayerRG8做轉(zhuǎn)換顏色就會錯(cuò)亂。第二OpenCV的通道順序弄反了把RGB當(dāng)成了BGR。我的排查方法很簡單先打印pFrameInfo-enPixelType看實(shí)際格式再用?？倒俜組VS軟件里的圖像格式看默認(rèn)值確保代碼里的設(shè)置和MVS里的參數(shù)一致。通道順序的問題則像前面說的用SDK轉(zhuǎn)成RGB8之后再統(tǒng)一用cvtColor轉(zhuǎn)到OpenCV的BGR順序。6.5 多相機(jī)同時(shí)運(yùn)行的資源沖突多相機(jī)系統(tǒng)里每個(gè)相機(jī)最好都創(chuàng)建各自的句柄并且SDK初始化和反初始化只能做一次所有相機(jī)共用一套SDK生命周期。我見過有人對每個(gè)相機(jī)都調(diào)用一遍MV_CC_Initialize導(dǎo)致SDK內(nèi)部引用計(jì)數(shù)混亂。另外多路相機(jī)同時(shí)取圖時(shí)CPU壓力會很大。我建議給每個(gè)相機(jī)分配獨(dú)立的采集線程但圖像處理的耗時(shí)操作放到同一個(gè)線程池中去做避免線程數(shù)量爆炸。7. 實(shí)操總結(jié)與個(gè)人的幾個(gè)經(jīng)驗(yàn)心得?？迪鄼C(jī)SDK QT OpenCV這套組合一旦把架構(gòu)理順你會發(fā)現(xiàn)它其實(shí)很順滑。SDK負(fù)責(zé)把相機(jī)的復(fù)雜協(xié)議、網(wǎng)絡(luò)通信、底層驅(qū)動都封裝好你只需要調(diào)用接口QT負(fù)責(zé)界面和線程調(diào)度OpenCV負(fù)責(zé)數(shù)據(jù)處理。三個(gè)庫各司其職配合起來幾乎是工業(yè)視覺項(xiàng)目的標(biāo)準(zhǔn)答案。最后分享幾個(gè)只有實(shí)際做項(xiàng)目才會體會到的小經(jīng)驗(yàn)。第一開發(fā)時(shí)最好用一個(gè)簡單的界面先把采集流程跑通再加圖像處理算法。不要一上來就搞大而全的系統(tǒng)相機(jī)沒調(diào)通之前疊加太多變量出問題根本不知道是采集的問題還是算法的問題。第二SDK的幫助文檔一定要認(rèn)真看。?？堤峁┝朔浅Ｍ暾氖纠a路徑一般在MVS安裝目錄下的Development\Samples里面各種語言的demo都有。我當(dāng)時(shí)就是把C示例代碼逐行讀了一遍再結(jié)合自己的需求改造效率非常高。第三保存圖像時(shí)盡量用OpenCV的imwrite而非自己寫文件它能處理各種編碼和壓縮細(xì)節(jié)。但要注意imwrite是很慢的如果需要在高速采集下保存圖片建議單獨(dú)開線程或者丟到隊(duì)列里異步寫千萬不要在取圖循環(huán)里同步存圖。第四彩色相機(jī)的白平衡和黑電平調(diào)整也會影響圖像質(zhì)量因?yàn)楹？礢DK默認(rèn)的ISP參數(shù)可能不是最優(yōu)的有些鏡頭和環(huán)境光下圖像偏色嚴(yán)重。這時(shí)候可以去MVS軟件里用自動白平衡先取一次參數(shù)值然后代碼里用同樣的參數(shù)設(shè)置能省很多調(diào)試時(shí)間。第五這一套東西做完之后后續(xù)想加halcon的算子、做深度學(xué)習(xí)推理、或者接PLC通信都只是在這個(gè)骨架上加模塊的問題。架構(gòu)穩(wěn)定后面開發(fā)所有功能都會很省心。如果你正在被海康SDK的初始化錯(cuò)誤碼、圖像顏色不對、線程卡死這些問題折磨希望這篇文章能幫你少走點(diǎn)彎路。有問題歡迎留言交流我看了會回。