提到OpenCV很多人第一反應(yīng)是人臉識(shí)別、物體檢測這種“正經(jīng)”功能。但今天我想聊點(diǎn)好玩的——用OpenCV給圖像做特效變換具體一點(diǎn)就是扭曲變換、球形變換、波動(dòng)變換。這三個(gè)效果看起來像加了特殊濾鏡其實(shí)底層全是數(shù)學(xué)公式在像素坐標(biāo)上做文章屬于OpenCV圖像處理里少有人細(xì)講、但用來練手或者做創(chuàng)意效果特別過癮的一類內(nèi)容。這類變換能做什么往小了說可以給你的頭像做個(gè)哈哈鏡效果往大了說可以做魚眼鏡頭校正、VR全景圖映射、圖片水波紋特效甚至一些老照片修復(fù)里的幾何矯正也會(huì)用到類似思路。不管你是剛?cè)腴TOpenCV的初學(xué)者還是已經(jīng)寫過不少常規(guī)圖像處理代碼的開發(fā)者這篇文章都能讓你對“怎么通過改變像素坐標(biāo)來重塑圖像”這件事有一個(gè)通透的理解。我會(huì)從原理講到代碼再講到參數(shù)怎么調(diào)、坑在哪里盡量讓你看完就能照著寫出來。1. 環(huán)境準(zhǔn)備與基本原理先搞清楚“變換到底在變什么”動(dòng)手寫代碼之前我建議先花兩分鐘把底層的概念捋清楚。因?yàn)橹灰憷斫饬诉@一步后面所有變換都是往一個(gè)模板里套公式而已。1.1 5分鐘搭建OpenCV開發(fā)環(huán)境如果你已經(jīng)裝好了OpenCV這節(jié)可以直接跳過。還沒裝的話我推薦用Python環(huán)境因?yàn)閷憟D像變換這類算法Python配合NumPy簡直不要太順滑。創(chuàng)建一個(gè)虛擬環(huán)境然后安裝python -m venv cv_env source cv_env/bin/activate # Windows下是 cv_env\Scripts\activate pip install opencv-python numpy matplotlib這里有幾個(gè)細(xì)節(jié)值得說下。第一一定要用虛擬環(huán)境別直接裝到系統(tǒng)Python里不然以后項(xiàng)目多了依賴版本沖突起來會(huì)讓你懷疑人生。第二只做圖像處理的話裝opencv-python就夠了opencv-contrib-python里面主要多了一些SIFT、SURF這類專利算法和擴(kuò)展模塊當(dāng)前用不上。第三檢查安裝是否成功在Python里執(zhí)行import cv2 print(cv2.__version__)能正常輸出版本號(hào)就說明環(huán)境沒問題。這里補(bǔ)充一個(gè)我個(gè)人踩過的坑如果你在Windows下用pip install opencv-python裝完import時(shí)報(bào)DLL load failed之類的錯(cuò)誤大概率是Visual C Redistributable沒裝去微軟官網(wǎng)下一個(gè)裝上就好了跟OpenCV本身的安裝路徑?jīng)]關(guān)系。1.2 圖像變換的本質(zhì)像素坐標(biāo)的“搬家”我們平時(shí)做的很多圖像處理操作比如亮度調(diào)整、對比度增強(qiáng)、濾波去噪本質(zhì)上都是在修改像素的像素值。但幾何變換不一樣它修改的是像素的坐標(biāo)位置。打個(gè)比方你就明白了。想象一張照片是鋪在桌子上的一堆彩色小方塊每個(gè)方塊都有自己的位置?，F(xiàn)在你用手掌在小方塊堆上用力一推——小方塊們還是那些小方塊顏色一個(gè)沒變但位置全都偏移了。推的方向不同、力度不同就會(huì)形成扭曲、波浪、凸起等不同的視覺效果。這就是幾何變換的全部秘密像素值不變坐標(biāo)變。用數(shù)學(xué)語言來說原始圖像上坐標(biāo)為(x, y)的像素經(jīng)過某個(gè)函數(shù)f變換后跑到新圖像上的坐標(biāo)(x, y)去了。如果我們知道每個(gè)原圖坐標(biāo)對應(yīng)的新坐標(biāo)就可以把像素“搬”過去。這個(gè)函數(shù)f就是變換的核心不同的f造就不同的特效。但在OpenCV里我們實(shí)際做的時(shí)候通常是反著來的。不是從原圖坐標(biāo)算新圖坐標(biāo)而是從目標(biāo)圖像的每個(gè)像素坐標(biāo)出發(fā)去算它在原圖上的對應(yīng)位置然后把這個(gè)位置的像素值取過來。這叫做反向映射英文叫inverse mapping。為什么要反過來做因?yàn)檎蛴成鋾?huì)出現(xiàn)一個(gè)問題原圖里兩個(gè)相鄰像素經(jīng)過變換后可能落到目標(biāo)圖像的同一個(gè)位置造成重疊而另一些位置可能壓根沒有像素落過去形成空洞。反向映射配合插值算法就可以保證目標(biāo)圖像的每個(gè)像素都能找到合理的取值。這個(gè)“反向映射”的思路基本貫穿著今天所有變換的實(shí)現(xiàn)你先把這句話刻在腦子里我們寫代碼的時(shí)候循環(huán)遍歷的是目標(biāo)圖像的坐標(biāo)計(jì)算的是它們對應(yīng)的原圖坐標(biāo)再用插值把像素值取回來。2. OpenCV自帶變換方式一眼看穿官方代碼的套路在動(dòng)手寫自定義變換之前先看看OpenCV里已有的工具。官方其實(shí)已經(jīng)給我們準(zhǔn)備好了幾何變換的基礎(chǔ)函數(shù)理解這些函數(shù)怎么用后面自己寫算法才能得心應(yīng)手。2.1 仿射變換和透視變換最簡單的一類坐標(biāo)變換OpenCV中最基本的幾何變換是仿射變換和透視變換。仿射變換保持直線和平行線不變可以完成旋轉(zhuǎn)、縮放、平移和錯(cuò)切透視變換則可以模擬人眼觀察不同角度平面時(shí)的效果讓圖像產(chǎn)生“近大遠(yuǎn)小”的透視感。仿射變換通常用cv2.warpAffine來實(shí)現(xiàn)核心是構(gòu)造一個(gè)2x3的變換矩陣M。旋轉(zhuǎn)加縮放可以這樣寫import cv2 import numpy as np img cv2.imread(photo.jpg) h, w img.shape[:2] # 構(gòu)造旋轉(zhuǎn)矩陣center為旋轉(zhuǎn)中心angle為旋轉(zhuǎn)角度scale為縮放系數(shù) M cv2.getRotationMatrix2D((w // 2, h // 2), 45, 0.75) rotated cv2.warpAffine(img, M, (w, h))透視變換用cv2.warpPerspective需要給出原圖中四個(gè)點(diǎn)和目標(biāo)圖中四個(gè)點(diǎn)的對應(yīng)關(guān)系算出3x3的透視矩陣Hsrc_pts np.float32([[100, 100], [500, 100], [100, 500], [500, 500]]) dst_pts np.float32([[0, 0], [450, 50], [50, 450], [500, 500]]) H cv2.getPerspectiveTransform(src_pts, dst_pts) warped cv2.warpPerspective(img, H, (w, h))這兩個(gè)函數(shù)屬于最基礎(chǔ)的坐標(biāo)變換原理都是線性代數(shù)中的矩陣運(yùn)算。但注意了它們能表達(dá)的變換類型非常有限。扭曲變換那種“不同位置偏移量不同”的效果仿射變換做不了球形變換那種“中間凸起、四周壓縮”的效果透視變換也做不了。2.2 重映射remap特效變換的全能鑰匙真正能實(shí)現(xiàn)任意特效變換的OpenCV函數(shù)是cv2.remap它接受兩張映射表一張表示目標(biāo)圖像每個(gè)像素的x坐標(biāo)在原圖中對應(yīng)的x值另一張對應(yīng)y值。這么說有點(diǎn)繞直接看代碼import cv2 import numpy as np img cv2.imread(photo.jpg) h, w img.shape[:2] map_x np.zeros((h, w), dtypenp.float32) map_y np.zeros((h, w), dtypenp.float32) for i in range(h): for j in range(w): map_x[i, j] j # 目標(biāo)圖像(i,j)處取原圖的第j列 map_y[i, j] i # 目標(biāo)圖像(i,j)處取原圖的第i行 result cv2.remap(img, map_x, map_y, interpolationcv2.INTER_LINEAR)上面這段代碼生成的映射表相當(dāng)于什么都沒做——目標(biāo)圖像每個(gè)像素都是從原圖相同位置取值。但如果你在循環(huán)里加點(diǎn)“花活”比如讓map_x[i, j] j 5 * np.sin(i / 10.0)就會(huì)得到一個(gè)上下波動(dòng)的橫向偏移效果。cv2.remap就是所有自定義變換的萬能鑰匙。它做的事情本質(zhì)上就是你告訴我目標(biāo)圖像每個(gè)像素該從原圖的哪個(gè)位置取值我負(fù)責(zé)用插值算法高效地把像素填好。你只需要負(fù)責(zé)“告訴它”這件事——也就是構(gòu)造map_x和map_y。OpenCV內(nèi)部會(huì)做數(shù)值優(yōu)化比你用Python寫雙重循環(huán)去img[y, x]提取像素快得多。這里補(bǔ)充一個(gè)關(guān)鍵經(jīng)驗(yàn)map_x和map_y的數(shù)據(jù)類型必須是float32。很多人第一次寫會(huì)順手用np.zeros((h, w), dtypenp.int32)然后發(fā)現(xiàn)cv2.remap直接報(bào)錯(cuò)。官方文檔里明確寫著要求是浮點(diǎn)型因?yàn)椴逯涤?jì)算需要用到小數(shù)坐標(biāo)。3. 自定義三類變換從公式到代碼一步步實(shí)現(xiàn)接下來進(jìn)入正題。今天要實(shí)現(xiàn)的三種變換——扭曲變換、球形變換、波動(dòng)變換從原理上分屬三類不同的坐標(biāo)映射方式全局非線性扭曲、局部徑向變形、周期性波動(dòng)偏移。下面分別展開。3.1 扭曲變換讓圖像像被擰過一樣先說扭曲變換效果上類似于把圖像放在一塊柔軟橡膠板上然后揪住不同位置往不同方向擰。它的核心公式可以寫成這樣map_x(i, j) j strength * sin(i * frequency) * cos(j * frequency) map_y(i, j) i strength * cos(i * frequency) * sin(j * frequency)不要被復(fù)雜的數(shù)學(xué)表達(dá)式嚇到拆開來看就很好理解了。map_x(i, j)表示目標(biāo)圖像第(i, j)個(gè)像素應(yīng)該從原圖的哪個(gè)x坐標(biāo)取值。j是原始位置后面那一串是一個(gè)偏移量讓像素在實(shí)際位置的基礎(chǔ)上產(chǎn)生正弦波狀的位移。因?yàn)閟in和cos是正負(fù)交替的所以不同位置的偏移方向不同有的像素往左移有的往右移有的往上走有的往下走組合起來就會(huì)形成那種“擰麻花”的扭曲感。完整代碼實(shí)現(xiàn)如下import cv2 import numpy as np def twist_tranform(img, strength20, frequency0.05): h, w img.shape[:2] map_x np.zeros((h, w), dtypenp.float32) map_y np.zeros((h, w), dtypenp.float32) rows, cols np.indices((h, w), dtypenp.float32) map_x cols strength * np.sin(rows * frequency) * np.cos(cols * frequency) map_y rows strength * np.cos(rows * frequency) * np.sin(cols * frequency) twisted cv2.remap(img, map_x, map_y, interpolationcv2.INTER_LINEAR) return twisted img cv2.imread(photo.jpg) twisted_img twist_tranform(img, strength25, frequency0.03) cv2.imwrite(twisted_result.jpg, twisted_img)這里我用了np.indices一次性生成所有坐標(biāo)網(wǎng)格配合NumPy的向量化操作比雙重for循環(huán)快上一兩個(gè)數(shù)量級。核心的邏輯變成了對兩個(gè)尺寸等同原圖的浮點(diǎn)矩陣做公式運(yùn)算remap讀這兩個(gè)矩陣就知道每個(gè)目標(biāo)像素該去哪取值。效果上strength參數(shù)控制扭曲的幅度值越大變形越劇烈frequency控制扭曲的空間頻率值越小波紋越大越平滑值越大扭曲越細(xì)密。建議從strength15, frequency0.05開始調(diào)然后根據(jù)自己的圖片分辨率縮放。需要注意的是如果strength設(shè)得過大圖像邊緣會(huì)出現(xiàn)嚴(yán)重的拉絲現(xiàn)象——這是因?yàn)檫吘壪袼乇挥成涞搅嗽瓐D之外沒有任何對應(yīng)像素可取。3.2 球形變換把平面圖像鼓成球面球形變換做出來的效果就像你把一張照片貼在了一個(gè)凸球面上中間向外鼓出來邊緣向內(nèi)收攏。這在攝影后期里很常見比如制作魚眼鏡頭效果時(shí)就會(huì)用到類似的反向計(jì)算。球形變換的數(shù)學(xué)原理相對復(fù)雜一些核心思路是先把平面坐標(biāo)歸一化到[-1, 1]區(qū)間然后把平面想象成一個(gè)球面在z軸方向上的投影最后反解出每個(gè)點(diǎn)在“原始平面”上的位置。具體公式如下歸一化坐標(biāo) nx (j - cx) / cx ny (i - cy) / cy 徑向距離 r2 nx * nx ny * ny 映射回原圖坐標(biāo) map_x(i, j) cx nx * sqrt(1 - r2 / 2) * cx map_y(i, j) cy ny * sqrt(1 - r2 / 2) * cy你可能會(huì)問這個(gè)sqrt(1 - r2 / 2)是怎么來的。我的理解是我們在模擬一個(gè)半徑為R的單位球面某個(gè)平面點(diǎn)到球心的距離為d那么這個(gè)點(diǎn)在球面上的高度就是sqrt(R^2 - d^2)。當(dāng)R一定時(shí)這個(gè)高度指的其實(shí)是球面上對應(yīng)點(diǎn)的“拉伸比例”。這個(gè)公式具體推導(dǎo)涉及球面參數(shù)方程這里不展開但你要抓的重點(diǎn)是離中心越遠(yuǎn)的點(diǎn)映射后的位置越靠近中心產(chǎn)生向內(nèi)收縮的效果于是中間就“鼓”出來了。完整代碼如下import cv2 import numpy as np def spherical_transform(img, scale1.0): h, w img.shape[:2] cx, cy w / 2.0, h / 2.0 rows, cols np.indices((h, w), dtypenp.float32) nx (cols - cx) / cx ny (rows - cy) / cy r2 nx * nx ny * ny # 防止r2大于2否則sqrt里面會(huì)是負(fù)數(shù) r2 np.clip(r2, 0, 2) map_x cx nx * np.sqrt(1 - r2 / 2) * cx * scale map_y cy ny * np.sqrt(1 - r2 / 2) * cy * scale spherical cv2.remap(img, map_x.astype(np.float32), map_y.astype(np.float32), interpolationcv2.INTER_LINEAR) return spherical img cv2.imread(photo.jpg) spherical_img spherical_transform(img, scale0.9) cv2.imwrite(spherical_result.jpg, spherical_img)實(shí)際操作中我建議把scale參數(shù)控制在0.8到1.2之間。小于0.8時(shí)圖像中心膨脹得太厲害人臉會(huì)變得像照了哈哈鏡大于1.2時(shí)邊緣收縮太猛四個(gè)角的信息幾乎全丟。另外有個(gè)容易忽略的點(diǎn)圖像四個(gè)角的像素在球形變換后會(huì)被“擠壓”到離中心更近的位置所以大部分情況下四個(gè)角會(huì)出現(xiàn)黑色區(qū)域或者空白區(qū)域這是正?，F(xiàn)象不是代碼bug。如果你需要保持原圖完整可以考慮在變換前先把四角區(qū)域向外擴(kuò)展填充一圈或者用cv2.copyMakeBorder給圖像加個(gè)邊緣。3.3 波動(dòng)變換讓圖像泛起水波紋波動(dòng)變換是三種變換里視覺沖擊力最強(qiáng)的也是最好理解的。它能產(chǎn)生水面上蕩起漣漪的效果或者說像透過晃動(dòng)的水面看照片的那種扭曲感。實(shí)現(xiàn)方法是在x和y方向的映射中疊加一個(gè)正弦波偏移map_x(i, j) j amplitude * sin(2 * pi * frequency * i phase) map_y(i, j) i amplitude * cos(2 * pi * frequency * j phase)注意這里的兩個(gè)式子map_x疊加的是沿j方向的正弦波偏移map_y疊加的是沿i方向的余弦波偏移。交叉使用可以避免圖像往單一方向漂移形成更自然的水波紋效果。代碼import cv2 import numpy as np def wave_transform(img, amplitude10, frequency0.02, phase0): h, w img.shape[:2] rows, cols np.indices((h, w), dtypenp.float32) map_x cols amplitude * np.sin(2 * np.pi * frequency * rows phase) map_y rows amplitude * np.cos(2 * np.pi * frequency * cols phase) wave cv2.remap(img, map_x, map_y, interpolationcv2.INTER_LINEAR, borderModecv2.BORDER_REFLECT) return wave img cv2.imread(photo.jpg) wave_img wave_transform(img, amplitude12, frequency0.01) cv2.imwrite(wave_result.jpg, wave_img)波動(dòng)變換里有三個(gè)參數(shù)值得細(xì)說。amplitude是波動(dòng)幅度單位是像素?cái)?shù)值越大波紋越劇烈但太大圖像會(huì)出現(xiàn)明顯的斷裂感。frequency控制波動(dòng)的疏密頻率值越小波紋越寬大平滑頻率值越大波紋越細(xì)密。phase控制波的初始相位如果你要做動(dòng)畫效果——比如水波蕩漾的視頻——只需要隨時(shí)間改變phase的值就能讓波紋動(dòng)起來。這里我特意加了一個(gè)borderModecv2.BORDER_REFLECT參數(shù)作用是在圖像邊緣進(jìn)行反射填充。不添加這個(gè)參數(shù)的話波動(dòng)變換在圖像邊緣會(huì)產(chǎn)生大片黑色區(qū)域因?yàn)槟繕?biāo)圖像邊緣的像素在原圖中找不到對應(yīng)位置。反射填充可以利用邊緣像素的鏡像值填補(bǔ)這些空缺讓邊緣過渡自然很多。我試過幾種填充模式BORDER_REFLECT在處理水波紋效果時(shí)最自然而BORDER_WRAP在邊緣會(huì)產(chǎn)生奇怪的循環(huán)紋理。4. 三種變換的對比與參數(shù)控制一張表幫你快速找準(zhǔn)手感光有代碼還不夠?qū)嶋H使用的時(shí)候你很可能遇到“為什么我照參數(shù)調(diào)出來的效果跟別人不一樣”這種問題。這里我做個(gè)橫向?qū)Ρ葞湍憧焖俣ㄎ辉撚媚膫€(gè)變換、參數(shù)往哪個(gè)方向調(diào)。4.1 視覺特效與適用場景對比我把三種變換的視覺特性整理成了下面這張表方便你根據(jù)需求快速選擇變換類型視覺特點(diǎn)典型應(yīng)用場景參數(shù)敏感度扭曲變換圖像像被擰過整張圖均有偏移方向交錯(cuò)創(chuàng)意藝術(shù)效果、錯(cuò)位合成、背景紋理擾動(dòng)頻率參數(shù)極敏感過大直接墨糊球形變換中心向外鼓起邊緣向內(nèi)收縮魚眼鏡頭模擬、球面貼圖預(yù)覽、人像趣味效果中心位置直接影響變形范圍scale穩(wěn)定性中等波動(dòng)變換水波紋樣起伏方向感強(qiáng)水面倒影處理、動(dòng)態(tài)波紋動(dòng)畫、圖片趣味特效振幅和頻率搭配需控制參數(shù)過大則斷裂明顯從實(shí)現(xiàn)難度來說三者差別不大理解了remap之后都只是填公式的事。但從效果穩(wěn)定性來說球形變換最容易控制因?yàn)閰?shù)少效果和參數(shù)之間的對應(yīng)關(guān)系直觀扭曲變換最需要小心頻率參數(shù)稍微調(diào)大一點(diǎn)圖像就糊成一團(tuán)波動(dòng)變換居中花點(diǎn)時(shí)間調(diào)好參數(shù)后視覺反饋?zhàn)詈谩?.2 參數(shù)調(diào)節(jié)的“手感”經(jīng)驗(yàn)分享參數(shù)怎么調(diào)這是個(gè)經(jīng)驗(yàn)活。我不建議你在網(wǎng)上抄一組參數(shù)直接跑因?yàn)閳D像的尺寸、內(nèi)容、分辨率都會(huì)影響觀感。我的習(xí)慣是先拿一張分辨率適中的測試圖用OpenCV的cv2.getTrackbarPos做一個(gè)參數(shù)調(diào)節(jié)窗口邊拖邊看效果。一個(gè)簡易的調(diào)節(jié)框架如下import cv2 import numpy as np img cv2.imread(photo.jpg) def on_trackbar(val): strength cv2.getTrackbarPos(Strength, Adjust) freq cv2.getTrackbarPos(Freq, Adjust) / 100.0 result twist_tranform(img, strengthstrength, frequencyfreq) cv2.imshow(Adjust, result) cv2.namedWindow(Adjust) cv2.createTrackbar(Strength, Adjust, 15, 50, on_trackbar) cv2.createTrackbar(Freq, Adjust, 5, 30, on_trackbar) while True: on_trackbar(0) if cv2.waitKey(1) 0xFF ord(q): break cv2.destroyAllWindows()這個(gè)框架好處在于你可以實(shí)時(shí)感受每個(gè)參數(shù)對效果的影響而不是改一次代碼跑一次效率高太多。從我個(gè)人調(diào)參經(jīng)驗(yàn)來看扭曲變換的frequency控制在0.02到0.08之間比較出效果太小圖案看不出扭曲太大圖像糊成馬賽克球形變換的scale影響全局建議先固定scale1調(diào)中心位置再把scale往0.8到1.1的方向微調(diào)波動(dòng)變換的amplitude在8到20像素之間效果最好frequency在0.005到0.03之間比較自然。4.3 局部變形把球形變換限定到指定區(qū)域有時(shí)候你不想整張圖都變形只想把照片里人物的臉“鼓”一下或者只對某一塊區(qū)域做水波紋。比如你只想對圖像中心區(qū)域做局部球形變換就需要引入一個(gè)區(qū)域掩膜。實(shí)現(xiàn)思路是生成一個(gè)與圖像同尺寸的掩膜指定區(qū)域?yàn)?其他區(qū)域?yàn)?球形變換只作用于掩膜為1的像素其他像素保持原來的坐標(biāo)。代碼實(shí)現(xiàn)如下def local_spherical_transform(img, center, radius, scale1.0): h, w img.shape[:2] cx, cy center rows, cols np.indices((h, w), dtypenp.float32) mask np.sqrt((cols - cx) ** 2 (rows - cy) ** 2) radius nx (cols - cx) / radius ny (rows - cy) / radius r2 nx * nx ny * ny r2 np.clip(r2, 0, 2) map_x cols.copy() map_y rows.copy() map_x[mask] cx nx[mask] * np.sqrt(1 - r2[mask] / 2) * radius * scale map_y[mask] cy ny[mask] * np.sqrt(1 - r2[mask] / 2) * radius * scale result cv2.remap(img, map_x.astype(np.float32), map_y.astype(np.float32), interpolationcv2.INTER_LINEAR) return result這里的關(guān)鍵是通過布爾索引mask只對選定區(qū)域內(nèi)的像素更新映射值。注意map_x和map_y在其他位置要保持原始坐標(biāo)因此在初始化的時(shí)候用了cols.copy()和rows.copy()。這個(gè)邏輯可以推廣到任意變換比如局部扭曲、局部波動(dòng)等只需要在生成映射矩陣時(shí)判斷當(dāng)前像素是否在區(qū)域內(nèi)即可?？赡苡腥藭?huì)問為什么區(qū)域外的像素也要放在map_x里因?yàn)閞emap要求你給出目標(biāo)圖像每一個(gè)像素的映射坐標(biāo)不能只給一部分。所以區(qū)域外的坐標(biāo)就是“自己到取自己”保證圖像不動(dòng)。5. 常見問題與性能優(yōu)化技巧代碼跑通了效果也出來了但真要拿到實(shí)際項(xiàng)目里用的時(shí)候你大概率還會(huì)碰上一堆奇怪問題。我把遇到過的高頻問題整理了一份“速查表”順帶說說怎么讓代碼跑得更快。5.1 高頻報(bào)錯(cuò)與現(xiàn)象排查速查表問題現(xiàn)象可能原因解決辦法cv2.remap報(bào)錯(cuò)說輸入類型不對map_x或map_y不是float32類型用np.float32顯式轉(zhuǎn)換圖像出現(xiàn)大面積黑色區(qū)域變換后大量像素坐標(biāo)超出原圖范圍且沒設(shè)置borderMode在remap中指定borderModecv2.BORDER_REFLECT或cv2.BORDER_WRAP必要時(shí)先加邊框變換后圖像出現(xiàn)“鋸齒”插值方式不合適改用cv2.INTER_CUBIC獲得更平滑效果速度略慢處理實(shí)時(shí)視頻可保持INTER_LINEAR變形過于劇烈圖像斷裂參數(shù)設(shè)置過大或者變換公式本身在部分區(qū)域產(chǎn)生奇點(diǎn)分母為0、根號(hào)為負(fù)減小參數(shù)對公式中的中間量做np.clip防止越界速度太慢大圖要好幾秒Python循環(huán)計(jì)算映射表太耗時(shí)用np.indices向量化替換嵌套for循環(huán)先縮放小圖驗(yàn)效果再處理原圖輸出圖像邊緣有奇怪的條紋映射表中出現(xiàn)了NaN比如球面變換里根號(hào)下為負(fù)檢查公式中間變量用np.clip和np.nan_to_num處理真正常見且最隱蔽的坑是第五行速度太慢。很多人第一次寫這類變換時(shí)會(huì)用雙層for循環(huán)遍歷每個(gè)像素然后逐個(gè)填map_x[i][j]。在1080P圖像上約207萬個(gè)像素Python跑這種嵌套循環(huán)一遍下來少說三五秒體驗(yàn)極差。我用np.indices 向量化運(yùn)算后同樣操作壓縮到幾十毫秒速度提升接近兩個(gè)數(shù)量級。這是這類算法從“能跑”到“實(shí)用”最關(guān)鍵的優(yōu)化手段。5.2 性能優(yōu)化從秒級到毫秒級的關(guān)鍵手段除了向量化還有一個(gè)更極端的性能優(yōu)化方案預(yù)計(jì)算映射表。如果你的變換參數(shù)固定圖像尺寸固定那么map_x和map_y只需要計(jì)算一次之后每一幀直接調(diào)用cv2.remap即可。比如你想給攝像頭視頻流加實(shí)時(shí)水波紋特效每次處理新幀時(shí)都重新計(jì)算映射表非常浪費(fèi)。正確的做法是第一次啟動(dòng)時(shí)根據(jù)視頻幀尺寸計(jì)算好映射表之后每一幀直接復(fù)用# 初始化階段只執(zhí)行一次 map_x, map_y generate_wave_maps(w, h, amplitude10, frequency0.02) # 每幀處理直接調(diào)用remap frame capture.read() frame_wave cv2.remap(frame, map_x, map_y, interpolationcv2.INTER_LINEAR)一個(gè)額外的優(yōu)化是使用cv2.UMat()或GPU模塊。但說實(shí)話OpenCV的Python接口只要用了向量化CPU上跑1080P的remap也能達(dá)到30ms左右完全可以滿足實(shí)時(shí)視頻處理的需求。除非你要處理4K甚至8K分辨率的視頻再去研究cv2.cuda.remap也不遲。5.3 幾個(gè)值得分享的調(diào)試技巧調(diào)試這類變換算法最容易犯的錯(cuò)就是“我只知道效果不對但不知道哪一步錯(cuò)了”。我的經(jīng)驗(yàn)是把中間過程可視化一幀一幀看。第一招先做小圖測試。把原圖縮放到200x200左右跑一遍速度極快方便快速驗(yàn)證公式和參數(shù)。效果對了再換大圖避免每次調(diào)試等好幾秒。第二招畫網(wǎng)格輔助觀察。在測試圖上畫一層細(xì)膩的網(wǎng)格線然后做變換看網(wǎng)格線的彎曲方向是否符合預(yù)期。這個(gè)方法能非常直觀地暴露公式的符號(hào)問題或者坐標(biāo)方向問題比對著抽象的效果圖猜測有用得多。第三招檢查映射表的數(shù)值范圍。直接打印map_x.min()和map_x.max()看是否超出了原圖寬度范圍如果超得太多結(jié)果必然會(huì)有大面積黑邊。另外提醒一句OpenCV的坐標(biāo)系統(tǒng)是(x, y)對應(yīng)數(shù)組訪問是img[y, x]也就是行是y列是x。在構(gòu)造map_x和map_y時(shí)千萬別搞混。我見過不少人在生成map_x時(shí)誤寫成了按行索引結(jié)果圖像上下左右全亂了。一個(gè)簡單的驗(yàn)證方法生成一個(gè)什么都不改的恒等映射跑一下看輸出是否跟原圖一致如果不一致說明坐標(biāo)系搞反了。6. 擴(kuò)展玩法如何用同一套思路做更多特效到這里三種變換的原理、代碼和調(diào)參你都掌握了。這套“生成映射表 cv2.remap”組合拳的價(jià)值遠(yuǎn)不止這三類效果。下面分享幾個(gè)擴(kuò)展方向如果你手頭正好有項(xiàng)目需要做類似創(chuàng)意效果可以少走彎路。6.1 把水波紋做成動(dòng)態(tài)視頻波動(dòng)變換的phase參數(shù)就是天然的動(dòng)畫開關(guān)。只要在視頻處理循環(huán)里不斷更新phase的值波紋就會(huì)動(dòng)起來。實(shí)現(xiàn)方式是在計(jì)算映射表時(shí)把phase作為變量傳入每幀增加一個(gè)小步長phase_accumulator 0.0 while True: ret, frame cap.read() if not ret: break phase_accumulator 0.1 map_x, map_y generate_wave_maps( frame.shape[1], frame.shape[0], amplitude15, frequency0.02, phasephase_accumulator ) frame_wave cv2.remap(frame, map_x, map_y, interpolationcv2.INTER_LINEAR) cv2.imshow(Wave, frame_wave) if cv2.waitKey(30) 0xFF ord(q): break因?yàn)橛成浔砻繋家匦律蛇@里的計(jì)算性能就更重要了。用向量化方式生成1080P的映射表一幀大概10-20ms配合remap本身的耗時(shí)整體能跑到25fps左右實(shí)時(shí)視頻用是夠的。6.2 結(jié)合圖像拼接做全景效果球形變換和魚眼照片校正有著天然的血緣關(guān)系。如果你手里有一批用廣角鏡頭拍的照片想拼成全景圖很多場景下第一步就是把每張圖先做球形變換把圖片投影到球面坐標(biāo)系再使用cv2.Stitcher拼接。這個(gè)過程本質(zhì)上是利用球形變換把平面圖的透視變形消除讓相鄰照片之間更容易找到匹配關(guān)系。我自己做過一個(gè)簡單的360度全景拼接demo效果雖然不如商業(yè)軟件那么完美但理論鏈路完全跑通。6.3 用隨機(jī)擾動(dòng)映射做藝術(shù)特效扭曲變換中除了正弦波你還可以引入隨機(jī)噪聲。比如用np.random.randn(h, w)生成高斯隨機(jī)偏移場再疊加到坐標(biāo)上圖像就會(huì)產(chǎn)生一種類似“油墨在水里化開”的抖動(dòng)效果。如果擔(dān)心隨機(jī)噪聲太過于混亂可以先用cv2.GaussianBlur對噪聲做平滑讓偏移更柔和。這種玩法非常適合做頭像特效、封面圖設(shè)計(jì)。老實(shí)講OpenCV的幾何變換體系遠(yuǎn)不止今天聊的這三種。理解了remap背后的“映射表”思想你就掌握了這一類特效的萬能鑰匙——不管是圓柱面投影、極坐標(biāo)轉(zhuǎn)換、拱形變形、透鏡畸變模擬本質(zhì)上都是往映射表里填不同的公式。希望這篇文章能幫你把這一塊的知識(shí)點(diǎn)徹底打通下次遇到“想把圖片變個(gè)形”的需求不再是到處找現(xiàn)成濾鏡而是自己動(dòng)手寫一個(gè)出來。最后分享一個(gè)我自己的使用習(xí)慣日常做圖像特效處理時(shí)只把算法核心留在代碼里參數(shù)全部放到配置文件或者GUI滑條上。做研究和調(diào)參階段用滑條實(shí)時(shí)預(yù)覽找到滿意參數(shù)后再固定到代碼中。這套流程看起來慢實(shí)際能幫你省下大量反復(fù)改參數(shù)的時(shí)間。如果你體驗(yàn)下來有更好的調(diào)參思路也歡迎自己折騰圖像特效這塊最大的樂趣就是能反復(fù)試、反復(fù)玩一個(gè)公式改動(dòng)一點(diǎn)點(diǎn)出來的效果完全不一樣。