1. 從“看見”到“鎖定”一個(gè)電賽視覺系統(tǒng)的誕生記又到了一年一度電賽備賽的焦灼期看到不少同學(xué)在搜索“2023年電賽E題運(yùn)動(dòng)目標(biāo)控制與自動(dòng)追蹤系統(tǒng)——視覺部分以及總結(jié)”這個(gè)標(biāo)題。我猜你大概率是剛接觸電賽視覺題目或者正在為如何構(gòu)建一個(gè)穩(wěn)定可靠的追蹤系統(tǒng)而頭疼。這個(gè)標(biāo)題背后其實(shí)是一個(gè)典型的“感知-決策-控制”閉環(huán)問題而視覺部分就是整個(gè)系統(tǒng)的“眼睛”和“大腦”的前半部分。它不僅要能“看見”目標(biāo)更要能“看懂”目標(biāo)的運(yùn)動(dòng)并把這份“理解”準(zhǔn)確、實(shí)時(shí)地傳遞給控制系統(tǒng)?；叵肫甬?dāng)年帶隊(duì)做類似題目的經(jīng)歷從攝像頭選型、算法調(diào)試到與下位機(jī)的“愛恨情仇”每一步都充滿了挑戰(zhàn)。今天我就以2023年E題為引子拋開那些華而不實(shí)的報(bào)告模板和你深入聊聊一個(gè)能在電賽現(xiàn)場穩(wěn)定跑起來的視覺追蹤系統(tǒng)到底是怎么從零搭建起來的以及那些報(bào)告里不會(huì)寫的“坑”和“技巧”。2. 需求拆解E題視覺部分到底要我們做什么在動(dòng)手寫一行代碼之前我們必須徹底吃透題目要求。2023年E題“運(yùn)動(dòng)目標(biāo)控制與自動(dòng)追蹤系統(tǒng)”這個(gè)名稱已經(jīng)點(diǎn)明了核心運(yùn)動(dòng)目標(biāo)、控制與自動(dòng)追蹤。視覺部分的核心任務(wù)就是為“控制”和“追蹤”提供感知輸入。2.1 核心功能定義根據(jù)題目共性我們可以將視覺部分的需求拆解為以下幾個(gè)硬性指標(biāo)目標(biāo)檢測與識別系統(tǒng)需要從攝像頭畫面中準(zhǔn)確找出特定的運(yùn)動(dòng)目標(biāo)。這個(gè)目標(biāo)可能是一個(gè)特定顏色的球、一個(gè)帶有圖案的方塊、一輛小車甚至是題目規(guī)定的特定形狀物體。這里的關(guān)鍵詞是“準(zhǔn)確”和“特定”意味著我們需要過濾掉背景干擾。目標(biāo)定位僅僅找到目標(biāo)不夠還需要知道它在坐標(biāo)系中的精確位置。這通常包括二維像素坐標(biāo)(u, v)。對于追蹤系統(tǒng)我們往往更關(guān)心目標(biāo)在世界坐標(biāo)系或相對于云臺(tái)/車體坐標(biāo)系的位置。目標(biāo)測距如果涉及追蹤或攔截只知道方向不知道距離就是“睜眼瞎”。因此視覺系統(tǒng)需要估算目標(biāo)與攝像頭之間的距離d。這就引出了單目測距或雙目視覺的需求。運(yùn)動(dòng)狀態(tài)估計(jì)既然是“運(yùn)動(dòng)目標(biāo)”我們還需要知道它的速度大小和方向甚至預(yù)測其未來位置。這通常通過對連續(xù)幀間的位置變化進(jìn)行濾波如卡爾曼濾波來實(shí)現(xiàn)。數(shù)據(jù)輸出與通信視覺處理的結(jié)果位置、距離、速度等需要以穩(wěn)定、低延遲的格式發(fā)送給主控單片機(jī)如STM32、ESP32這是控制循環(huán)的起點(diǎn)。2.2 性能指標(biāo)與約束條件電賽環(huán)境是殘酷的你的算法不僅要在實(shí)驗(yàn)室的完美光照下工作更要適應(yīng)比賽現(xiàn)場可能出現(xiàn)的復(fù)雜情況實(shí)時(shí)性處理一幀圖像的時(shí)間必須遠(yuǎn)小于控制周期。如果控制周期是20ms那么視覺處理最好能在10ms內(nèi)完成留出時(shí)間給通信和控制計(jì)算。幀率FPS是硬指標(biāo)。魯棒性對光照變化晴天/陰天、開燈/關(guān)燈、目標(biāo)部分遮擋、背景顏色干擾等具備抗性。準(zhǔn)確性定位精度直接影響追蹤精度。像素級的誤差經(jīng)過坐標(biāo)轉(zhuǎn)換和測距模型后可能會(huì)被放大成厘米級的實(shí)際誤差。資源消耗視覺處理通常運(yùn)行在算力有限的嵌入式平臺(tái)如樹莓派、Jetson Nano甚至高性能MCU上算法必須在有限的計(jì)算資源和內(nèi)存下高效運(yùn)行。理解了這些我們才能有的放矢地進(jìn)行技術(shù)選型。3. 技術(shù)棧選型開源視覺庫的實(shí)戰(zhàn)分析與抉擇面對“視覺”二字新手最容易犯的錯(cuò)就是盲目追求最前沿、最復(fù)雜的算法。在電賽有限的時(shí)間和資源下“合適”遠(yuǎn)比“先進(jìn)”重要。我們的核心目標(biāo)是在滿足性能要求的前提下選擇最簡單、最穩(wěn)定、最易調(diào)試的方案。3.1 方案對比OpenCV vs. 其他“輪子”這里有一個(gè)常見的誤區(qū)看到“視覺識別”就去搜“YOLO”、“深度學(xué)習(xí)”。對于2023年E題這類目標(biāo)明確、環(huán)境相對可控的賽題傳統(tǒng)計(jì)算機(jī)視覺方法基于顏色、形狀配合OpenCV往往是最優(yōu)解。特性O(shè)penCV (傳統(tǒng)方法)深度學(xué)習(xí) (如YOLO, SSD)專用視覺軟件 (如VisionMaster)開發(fā)速度極快。函數(shù)庫豐富樣例多調(diào)試直觀。慢。需要準(zhǔn)備數(shù)據(jù)集、訓(xùn)練模型、優(yōu)化部署周期長?？烊绻煜ぁD形化配置但靈活性受限。運(yùn)行效率高。算法復(fù)雜度低易于在嵌入式平臺(tái)優(yōu)化。低。模型計(jì)算量大需要較強(qiáng)的GPU或NPU支持。取決于軟件和硬件通常針對工控機(jī)優(yōu)化。環(huán)境適應(yīng)性依賴特征設(shè)計(jì)。對光照、顏色變化敏感但可通過預(yù)處理增強(qiáng)魯棒性。較好。經(jīng)過充分訓(xùn)練后對復(fù)雜背景和形變有較好抗性。通常較好集成了多種濾波和增強(qiáng)算法。調(diào)試難度低。每一步處理結(jié)果二值化、輪廓都可實(shí)時(shí)顯示問題定位快。高。模型是黑盒調(diào)參學(xué)習(xí)率、錨框需要經(jīng)驗(yàn)問題定位困難。中。圖形化調(diào)試方便但底層邏輯不透明定制化難。電賽適用性★★★★★(目標(biāo)簡單、規(guī)則、實(shí)時(shí)性要求高)★★☆☆☆(除非題目目標(biāo)極其復(fù)雜如識別特定手勢、人臉)★★★☆☆(可能違反“禁止使用專用視覺軟件”的規(guī)則需仔細(xì)閱讀賽題要求)注意務(wù)必仔細(xì)閱讀當(dāng)年賽題規(guī)則有些賽題會(huì)明確禁止使用LabVIEW、VisionMaster等圖形化專用軟件要求必須基于編程實(shí)現(xiàn)。OpenCV是公認(rèn)的安全選擇。為什么我強(qiáng)力推薦OpenCV因?yàn)樗墓ぷ髁鞒滔瘛傲魉€”每一步你都能看見、能控制。顏色過濾不對調(diào)HSV閾值輪廓找不準(zhǔn)加個(gè)形態(tài)學(xué)操作位置抖動(dòng)上個(gè)濾波器。這種“白盒”特性在電賽48小時(shí)極限調(diào)試中是無價(jià)之寶。深度學(xué)習(xí)更像“黑盒”比賽時(shí)模型一旦出問題幾乎沒有時(shí)間讓你重新訓(xùn)練。3.2 OpenCV核心流程拆解一個(gè)典型的基于OpenCV的運(yùn)動(dòng)目標(biāo)追蹤流程如下這也是我們實(shí)現(xiàn)E題視覺部分的核心框架圖像采集從攝像頭讀取視頻流。預(yù)處理減小噪聲、增強(qiáng)目標(biāo)特征。包括高斯模糊、HSV轉(zhuǎn)換等。目標(biāo)提取通過顏色閾值inRange或背景減除法createBackgroundSubtractorMOG2將目標(biāo)從背景中分離得到二值圖像。形態(tài)學(xué)操作使用腐蝕erode和膨脹dilate消除噪點(diǎn)連接斷裂的目標(biāo)區(qū)域。輪廓查找使用findContours找到二值圖中的所有輪廓。輪廓篩選根據(jù)面積、寬高比、圓形度等幾何特征過濾掉非目標(biāo)輪廓。定位與計(jì)算對目標(biāo)輪廓求最小外接矩形或外接圓得到中心像素坐標(biāo)結(jié)合測距模型計(jì)算實(shí)際位置。運(yùn)動(dòng)估計(jì)與濾波結(jié)合時(shí)間戳計(jì)算幀間位移得到速度使用卡爾曼濾波KalmanFilter平滑軌跡預(yù)測下一幀位置。數(shù)據(jù)輸出將計(jì)算得到的目標(biāo)狀態(tài)x, y, z, vx, vy通過串口/UDP發(fā)送給下位機(jī)。這個(gè)流程中的每一步都有大量可調(diào)參數(shù)和技巧直接決定了最終系統(tǒng)的性能。4. 核心環(huán)節(jié)實(shí)現(xiàn)從像素到真實(shí)世界的映射掌握了流程我們來深入最關(guān)鍵的兩個(gè)環(huán)節(jié)如何穩(wěn)定地找到目標(biāo)以及如何將像素坐標(biāo)轉(zhuǎn)換成對控制有意義的真實(shí)世界坐標(biāo)。4.1 目標(biāo)提取的穩(wěn)定性超越簡單的顏色閾值很多新手卡在第一步顏色閾值怎么調(diào)白天調(diào)好了晚上燈一開又識別不到了。實(shí)戰(zhàn)技巧一動(dòng)態(tài)閾值或HSV通道分離不要只用固定閾值。對于光照變化可以采集一部分背景區(qū)域計(jì)算其HSV中V明度通道的平均值根據(jù)此動(dòng)態(tài)調(diào)整目標(biāo)顏色的S飽和度和V的閾值范圍。更魯棒的做法是在HSV空間下H色調(diào)通道對光照相對穩(wěn)定。重點(diǎn)校準(zhǔn)H通道的范圍適當(dāng)放寬S和V的范圍。例如識別紅色球H范圍可能是[0, 10]和[160, 180]因?yàn)镠SV色調(diào)環(huán)是0-180S和V可以是[50, 255]和[50, 255]。實(shí)戰(zhàn)技巧二背景減除法應(yīng)對復(fù)雜背景如果背景顏色與目標(biāo)相近顏色閾值就會(huì)失效。這時(shí)可以考慮背景減除Background Subtraction。OpenCV的MOG2或KNN背景減除器可以學(xué)習(xí)背景模型將運(yùn)動(dòng)的前景提取出來。這對于追蹤移動(dòng)的小車或球非常有效但它對攝像頭抖動(dòng)和光照突變敏感需要穩(wěn)定攝像頭。實(shí)戰(zhàn)技巧三多特征融合篩選找到輪廓后別只用一個(gè)面積過濾。結(jié)合多個(gè)特征像漏斗一樣層層篩選輪廓面積 某個(gè)最小值過濾噪點(diǎn)。輪廓面積 某個(gè)最大值過濾過大物體。輪廓的寬高比接近1如果是圓形或方形目標(biāo)。輪廓的圓形度4*pi*面積/周長^2接近1如果是球體?？蛇x輪廓的凸性檢測。用代碼實(shí)現(xiàn)一個(gè)多條件篩選能極大提升抗干擾能力。import cv2 import numpy as np def find_target_contour(binary_image): contours, _ cv2.findContours(binary_image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) target_contour None for cnt in contours: area cv2.contourArea(cnt) # 條件1: 面積過濾 if area 100 or area 5000: continue # 條件2: 外接矩形寬高比 x, y, w, h cv2.boundingRect(cnt) aspect_ratio w / float(h) if aspect_ratio 0.8 or aspect_ratio 1.2: # 假設(shè)目標(biāo)接近正方形 continue # 條件3: 圓形度 perimeter cv2.arcLength(cnt, True) if perimeter 0: continue circularity 4 * np.pi * area / (perimeter * perimeter) if circularity 0.7: # 圓形度閾值 continue # 通過所有篩選認(rèn)為是目標(biāo) target_contour cnt break return target_contour4.2 單目視覺測距原理與標(biāo)定實(shí)踐知道目標(biāo)在畫面的u, v坐標(biāo)后如何得到距離z這是實(shí)現(xiàn)追蹤的關(guān)鍵。雙目視覺精度高但復(fù)雜單目測足矣應(yīng)付多數(shù)電賽場景。其核心原理是相似三角形。原理簡述 假設(shè)我們有一個(gè)已知實(shí)際寬度為W(單位米) 的目標(biāo)比如一個(gè)邊長為15cm的方塊在圖像中檢測到的像素寬度為w(單位像素)。攝像頭的焦距f(單位像素) 可以通過標(biāo)定得到。那么根據(jù)相似三角形目標(biāo)到相機(jī)的距離d為d (W * f) / w實(shí)操步驟攝像頭標(biāo)定與測距實(shí)現(xiàn)攝像頭標(biāo)定獲取焦距 f打印一張棋盤格標(biāo)定板OpenCV自帶。用你的攝像頭從不同角度拍攝10-20張標(biāo)定板圖片。使用OpenCV的cv2.calibrateCamera函數(shù)進(jìn)行標(biāo)定可以得到相機(jī)的內(nèi)參矩陣K。其中K[0,0]和K[1,1]就是焦距fx和fy通常兩者接近取平均值即可。你還會(huì)得到畸變系數(shù)用于校正圖像。重要標(biāo)定時(shí)的圖像分辨率必須和實(shí)際使用時(shí)一致實(shí)際測距代碼示例import cv2 import numpy as np # 假設(shè)通過標(biāo)定得到焦距 f像素 focal_length 800 # 像素 # 已知目標(biāo)的實(shí)際寬度米 known_width 0.15 # 例如15cm的方塊 def calculate_distance(pixel_width): 根據(jù)檢測到的像素寬度計(jì)算距離 if pixel_width 0: return 0 distance (known_width * focal_length) / pixel_width return distance # 在主循環(huán)中找到目標(biāo)輪廓后計(jì)算其像素寬度 target_contour find_target_contour(binary_img) if target_contour is not None: x, y, w_pixel, h_pixel cv2.boundingRect(target_contour) distance calculate_distance(w_pixel) # 使用寬度或高度 print(f目標(biāo)距離: {distance:.2f} 米)避坑指南標(biāo)定板要平整拍攝時(shí)標(biāo)定板盡量平整角度多樣。焦距的單位標(biāo)定得到的焦距單位是像素不是毫米。這是因?yàn)槲覀冊趫D像平面像素坐標(biāo)系測量。目標(biāo)寬度需精確known_width的測量誤差會(huì)直接導(dǎo)致測距誤差。俯仰角影響上述公式假設(shè)攝像頭光軸與目標(biāo)平面垂直。如果存在俯仰角測距公式會(huì)更復(fù)雜需要考慮透視投影。對于電賽小車追蹤地面目標(biāo)如果攝像頭水平安裝這個(gè)假設(shè)基本成立。5. 提升追蹤性能濾波、預(yù)測與通信優(yōu)化得到每一幀的目標(biāo)位置和距離后原始數(shù)據(jù)往往是充滿噪聲和抖動(dòng)的。直接把這些數(shù)據(jù)發(fā)給控制系統(tǒng)云臺(tái)或小車會(huì)瘋狂抖動(dòng)。因此濾波和預(yù)測至關(guān)重要。5.1 卡爾曼濾波讓運(yùn)動(dòng)“平滑”且“可預(yù)測”卡爾曼濾波Kalman Filter是運(yùn)動(dòng)狀態(tài)估計(jì)的利器。它不僅僅是一個(gè)濾波器更是一個(gè)預(yù)測器。它根據(jù)系統(tǒng)模型目標(biāo)如何運(yùn)動(dòng)和觀測值視覺檢測到的位置給出一個(gè)最優(yōu)估計(jì)。在追蹤中的簡單應(yīng)用 我們可以建立一個(gè)勻速運(yùn)動(dòng)模型。狀態(tài)量包括位置(x, y)和速度(vx, vy)。即使我們的視覺只能觀測到位置卡爾曼濾波也能估計(jì)出速度并預(yù)測下一時(shí)刻的位置。這對于處理視覺檢測偶爾丟失遮擋、誤識別的情況非常有幫助。OpenCV中的簡易使用# 初始化卡爾曼濾波器 (狀態(tài)維度4: x, y, vx, vy; 觀測維度2: x, y) kalman cv2.KalmanFilter(4, 2) kalman.transitionMatrix np.array([[1,0,1,0], [0,1,0,1], [0,0,1,0], [0,0,0,1]], np.float32) # 勻速模型 kalman.measurementMatrix np.array([[1,0,0,0], [0,1,0,0]], np.float32) # 只能觀測位置 # 初始化狀態(tài)和協(xié)方差矩陣... kalman.statePost np.array([initial_x, initial_y, 0, 0], dtypenp.float32) # 在主循環(huán)中 if target_found: # 1. 預(yù)測 prediction kalman.predict() predicted_x, predicted_y prediction[0], prediction[1] # 2. 用當(dāng)前觀測值更新 measurement np.array([[current_x], [current_y]], dtypenp.float32) kalman.correct(measurement) # 使用 kalman.statePost 作為平滑后的最優(yōu)估計(jì)狀態(tài) else: # 目標(biāo)丟失只進(jìn)行預(yù)測使用預(yù)測值作為輸出 prediction kalman.predict() # 使用預(yù)測值直到目標(biāo)重新出現(xiàn)5.2 串口通信穩(wěn)定與效率的平衡視覺處理單元樹莓派等與主控MCU的通信串口UART是最常見、最可靠的方式。這里的關(guān)鍵是協(xié)議設(shè)計(jì)。不要發(fā)送字符串像“x:123,y:456\n”這樣的字符串解析慢、占用帶寬、容易出錯(cuò)。應(yīng)該使用二進(jìn)制協(xié)議。一個(gè)簡單的二進(jìn)制幀結(jié)構(gòu)示例幀頭 (2字節(jié))數(shù)據(jù)長度 (1字節(jié))數(shù)據(jù)區(qū) (N字節(jié))校驗(yàn)和 (1字節(jié))幀尾 (2字節(jié))0xAA, 0x55Nx(4字節(jié)float), y, z, vx, vy...sum0x0D, 0x0APython端發(fā)送示例 (使用pyserial)import struct import serial ser serial.Serial(/dev/ttyUSB0, 115200, timeout1) def send_data(x, y, z, vx, vy): # 打包數(shù)據(jù)f表示4字節(jié)float data struct.pack(fffff, x, y, z, vx, vy) data_len len(data) checksum sum(data) 0xFF # 簡單求和校驗(yàn) frame b\xAA\x55 bytes([data_len]) data bytes([checksum]) b\x0D\x0A ser.write(frame)STM32端接收解析示例 (HAL庫)uint8_t rx_buffer[256]; uint8_t rx_index 0; enum {STATE_HEAD1, STATE_HEAD2, STATE_LEN, STATE_DATA, STATE_CHECKSUM, STATE_TAIL1} state STATE_HEAD1; void USART_IRQHandler() { uint8_t byte USART_ReceiveData(USART1); switch(state) { case STATE_HEAD1: if(byte 0xAA) state STATE_HEAD2; break; case STATE_HEAD2: if(byte 0x55) state STATE_LEN; else state STATE_HEAD1; break; case STATE_LEN: data_length byte; if(data_length sizeof(data)) { state STATE_HEAD1; break; } data_index 0; state STATE_DATA; break; case STATE_DATA: data[data_index] byte; if(data_index data_length) state STATE_CHECKSUM; break; case STATE_CHECKSUM: // 計(jì)算校驗(yàn)和并比較 if(checksum byte) state STATE_TAIL1; else state STATE_HEAD1; break; case STATE_TAIL1: if(byte 0x0D) state STATE_TAIL2; else state STATE_HEAD1; break; case STATE_TAIL2: if(byte 0x0A) { // 一幀完整接收解析data數(shù)組 parse_data(data); } state STATE_HEAD1; break; } }通信避坑點(diǎn)波特率匹配兩端波特率必須嚴(yán)格一致。流控制如果數(shù)據(jù)量大考慮啟用硬件流控RTS/CTS或軟件流控XON/XOFF防止緩沖區(qū)溢出。超時(shí)機(jī)制在STM32端如果一段時(shí)間沒收到完整幀應(yīng)重置狀態(tài)機(jī)防止錯(cuò)幀。數(shù)據(jù)對齊確保發(fā)送和接收端對數(shù)據(jù)類型的解釋一致如float的字節(jié)序。6. 系統(tǒng)聯(lián)調(diào)與現(xiàn)場避坑指南當(dāng)視覺模塊單獨(dú)測試良好與下位機(jī)通信也正常后真正的挑戰(zhàn)——系統(tǒng)聯(lián)調(diào)才剛剛開始。以下是我從多次比賽中總結(jié)出的“血淚”經(jīng)驗(yàn)。6.1 延遲延遲延遲視覺追蹤系統(tǒng)的最大敵人是延遲。延遲由三部分構(gòu)成圖像采集延遲、處理延遲、通信延遲。診斷方法在視覺程序開頭和結(jié)尾打時(shí)間戳計(jì)算處理一幀的時(shí)間。同時(shí)讓下位機(jī)收到數(shù)據(jù)后立刻返回一個(gè)信號計(jì)算往返總延遲。優(yōu)化手段降低分辨率這是提升FPS最有效的方法。從1080p降到640x480處理速度可能提升數(shù)倍而精度損失在可控范圍內(nèi)。優(yōu)化算法避免在循環(huán)里進(jìn)行不必要的圖像復(fù)制、縮放。使用cv2.UMatOpenCL加速如果硬件支持。選擇高效攝像頭USB攝像頭有MJPEG、YUYV等格式MJPEG壓縮率高傳輸快但需要解碼。測試不同格式和驅(qū)動(dòng)如V4L2下的性能。非阻塞式通信視覺程序發(fā)送數(shù)據(jù)不要等待ACK采用“發(fā)完即走”的方式避免通信阻塞處理循環(huán)。6.2 光照光照光照比賽現(xiàn)場的光照條件是不可控的。你可能在窗戶邊也可能在日光燈下。賽前準(zhǔn)備采集多種光照樣本在實(shí)驗(yàn)室模擬強(qiáng)光、弱光、頂光、側(cè)光、日光燈、自然光等條件錄制視頻。測試算法魯棒性用這些視頻離線測試你的視覺程序調(diào)整HSV閾值、預(yù)處理參數(shù)找到一個(gè)在各種光照下都能工作的“折中”參數(shù)集。準(zhǔn)備應(yīng)急方案寫一個(gè)簡單的自動(dòng)曝光/白平衡調(diào)整函數(shù)或者在現(xiàn)場準(zhǔn)備一個(gè)可調(diào)亮度的補(bǔ)光燈如果規(guī)則允許?，F(xiàn)場調(diào)試如果現(xiàn)場光照導(dǎo)致識別失敗不要慌。優(yōu)先調(diào)整HSV中的V明度通道閾值或者啟用直方圖均衡化cv2.equalizeHist來增強(qiáng)對比度。6.3 當(dāng)目標(biāo)丟失時(shí)邏輯恢復(fù)策略追蹤過程中目標(biāo)被短暫遮擋或識別失敗是常態(tài)。你的程序必須有健壯的恢復(fù)邏輯。預(yù)測引導(dǎo)如上文所述使用卡爾曼濾波的預(yù)測值作為臨時(shí)目標(biāo)位置繼續(xù)發(fā)送給下位機(jī)同時(shí)擴(kuò)大圖像搜索區(qū)域ROI。搜索模式如果連續(xù)多幀如10幀丟失視覺系統(tǒng)應(yīng)通知下位機(jī)進(jìn)入“搜索模式”例如云臺(tái)緩慢掃描同時(shí)視覺程序?qū)OI擴(kuò)大到全圖重新進(jìn)行全局搜索。狀態(tài)機(jī)管理在程序中實(shí)現(xiàn)一個(gè)簡單的狀態(tài)機(jī)如SEARCHING,TRACKING,LOST根據(jù)連續(xù)成功/失敗的幀數(shù)切換狀態(tài)不同狀態(tài)對應(yīng)不同的處理策略和參數(shù)。6.4 硬件與供電的“玄學(xué)”問題攝像頭供電不足USB攝像頭從樹莓派取電可能因供電不穩(wěn)導(dǎo)致畫面卡頓、掉幀。使用帶電源的USB HUB為攝像頭獨(dú)立供電。電磁干擾電機(jī)尤其是直流有刷電機(jī)驅(qū)動(dòng)時(shí)會(huì)產(chǎn)生強(qiáng)烈電磁干擾可能影響攝像頭數(shù)據(jù)線或串口通信。做好屏蔽使用帶屏蔽層的USB線串口線使用雙絞線電源走線與信號走線分開。散熱樹莓派等開發(fā)板長時(shí)間高負(fù)荷運(yùn)行會(huì)發(fā)熱降頻導(dǎo)致處理速度變慢。加裝散熱片甚至小風(fēng)扇。7. 從視覺到控制閉環(huán)系統(tǒng)的協(xié)同設(shè)計(jì)視覺部分不是孤立的它的設(shè)計(jì)必須與控制系統(tǒng)緊密協(xié)同。坐標(biāo)系統(tǒng)一視覺輸出的坐標(biāo)必須是以云臺(tái)旋轉(zhuǎn)中心或車體中心為原點(diǎn)的坐標(biāo)系。這需要在安裝攝像頭時(shí)進(jìn)行測量和標(biāo)定手眼標(biāo)定。例如攝像頭在云臺(tái)上方10cm前方5cm那么視覺檢測到的目標(biāo)像素坐標(biāo)需要經(jīng)過平移轉(zhuǎn)換才能得到相對于云臺(tái)旋轉(zhuǎn)中心的坐標(biāo)?？刂祁l率匹配視覺的數(shù)據(jù)更新頻率如30Hz應(yīng)高于或等于控制器的頻率如50Hz。如果視覺頻率低控制器需要進(jìn)行插值。更常見的做法是控制器以固定頻率運(yùn)行每次控制周期讀取視覺的最新數(shù)據(jù)如果數(shù)據(jù)未更新則使用上一次的數(shù)據(jù)或預(yù)測值。數(shù)據(jù)有效性判斷控制器在收到視覺數(shù)據(jù)后應(yīng)先判斷其有效性例如通過校驗(yàn)和、數(shù)據(jù)范圍、置信度等。無效數(shù)據(jù)應(yīng)被丟棄控制器維持上一時(shí)刻的控制輸出或進(jìn)入安全模式。構(gòu)建一個(gè)運(yùn)動(dòng)目標(biāo)追蹤系統(tǒng)視覺是起點(diǎn)也是難點(diǎn)。它要求你不僅懂圖像處理還要懂幾何、懂濾波、懂通信、懂硬件。這個(gè)過程沒有捷徑就是不斷地調(diào)試、測試、失敗、再調(diào)試。當(dāng)你看到云臺(tái)穩(wěn)穩(wěn)地鎖住運(yùn)動(dòng)的小球或者小車精準(zhǔn)地駛向目標(biāo)時(shí)那種成就感是無與倫比的。希望這篇基于實(shí)戰(zhàn)經(jīng)驗(yàn)的梳理能幫你理清思路避開我們曾經(jīng)踩過的坑在電賽的戰(zhàn)場上搭建出一雙穩(wěn)定而銳利的“眼睛”。記住把復(fù)雜的問題分解把簡單的步驟做扎實(shí)勝利往往就在堅(jiān)持調(diào)試的下一分鐘里。