單應(yīng)性矩陣、基礎(chǔ)矩陣、本質(zhì)矩陣都是在解決已知圖像 1 中的點(diǎn) p1 和圖像 2 中對(duì)應(yīng)的點(diǎn) p2兩幅圖像之間到底存在什么幾何關(guān)系三者最大的區(qū)別是其中H 直接把一個(gè)圖像點(diǎn)變到另一個(gè)圖像點(diǎn)上F : 告訴你另一個(gè)圖像點(diǎn)應(yīng)該落在哪條極線上E: 在去掉相機(jī)內(nèi)參后描述相機(jī)運(yùn)動(dòng)和極幾何單應(yīng)性矩陣1.核心定義單應(yīng)性矩陣是一個(gè)3*3的可逆矩陣通常有個(gè)8個(gè)自由度它描述了兩個(gè)平面之間的映射關(guān)系。2. 幾何物理意義單應(yīng)性矩陣本質(zhì)是把一個(gè)平面上的點(diǎn)從一個(gè)成像平面投影到另一個(gè)成像平面的線性變換。想象你拍了一張明信片正面然后你換了個(gè)角度再拍一張。雖然明信片在兩幅圖中形狀變了長(zhǎng)方形變梯形但明信片表面上的所有點(diǎn)在兩張照片之間的映射關(guān)系就是一個(gè)單應(yīng)性矩陣。關(guān)鍵前提所有點(diǎn)必須共面比如地面、墻面、書(shū)本封面。3. 矩陣結(jié)構(gòu)與自由度4. 從世界平面到圖像平面假設(shè)世界坐標(biāo)系中有一個(gè)平面其法向量為 n距離相機(jī)光心距離為 d。第一個(gè)視角相機(jī)內(nèi)參 K1?外參 [R1∣t1]第二個(gè)視角相機(jī)內(nèi)參 K2?外參 [R2∣t2]對(duì)于平面上一點(diǎn) X滿足平面方程。推導(dǎo)可得結(jié)論單應(yīng)性矩陣由相機(jī)內(nèi)參、兩幀之間的旋轉(zhuǎn)和平移以及平面的距離和朝向共同決定。5. 單應(yīng)性矩陣的分解如果你已知相機(jī)內(nèi)參 K可以從 H中分解出旋轉(zhuǎn)矩陣 R和平移向量 t以及平面法向量 n。分解結(jié)果是多解的通常有 4 組解但通過(guò)物理約束如法向量朝前、點(diǎn)在前方可篩選出唯一正確解。這在視覺(jué) SLAM和AR/VR中非常常見(jiàn)——用于從平面特征恢復(fù)相機(jī)運(yùn)動(dòng)。6. 如何求解單應(yīng)性矩陣1直接線性變換法DLT2RANSACDLTRANSAC 算法1. 隨機(jī)抽樣隨機(jī)選取一小部分?jǐn)?shù)據(jù)點(diǎn)計(jì)算擬合模型2.檢查一致性檢查哪些數(shù)據(jù)點(diǎn)符合模型符合這個(gè)模型的稱(chēng)為內(nèi)點(diǎn)不符合稱(chēng)為外點(diǎn)3.重復(fù)迭代重復(fù)上述步驟多次找到最好的模型內(nèi)點(diǎn)數(shù)量最大并剔除外點(diǎn)。本質(zhì)矩陣1. 核心定義本質(zhì)矩陣E是一個(gè) 3*3 的矩陣用于描述已標(biāo)定相機(jī)已知內(nèi)參K在不同視角下同一空間點(diǎn)之間的幾何約束。它是對(duì)極幾何在歸一化坐標(biāo)下的表示2. 幾何意義根據(jù)定義本質(zhì)矩陣 E 是一個(gè) 3 × 3 的矩陣內(nèi)有 9 個(gè)未知數(shù)。從 E 的構(gòu)造方式上看有以下值得注意的地方? 本質(zhì)矩陣是由對(duì)極約束定義的。由于對(duì)極約束是等式為零的約束所以對(duì) E 乘以任意非零常數(shù)后對(duì)極約束依然滿足。我們把這件事情稱(chēng)為E 在不同尺度下是等價(jià)的。? 本質(zhì)矩陣E 的奇異值必定是 [σ, σ, 0] 的形式。這稱(chēng)為本質(zhì)矩陣的內(nèi)在性質(zhì)。? 另一方面由于平移和旋轉(zhuǎn)各有 3 個(gè)自由度故 t ∧ R 共有 6 個(gè)自由度。但由于尺度等價(jià)性故E 實(shí)際上有 5 個(gè)自由度。3. 矩陣結(jié)構(gòu)與自由度本質(zhì)矩陣的秩為2僅在已經(jīng)經(jīng)過(guò)標(biāo)定的相機(jī)下使用4. 本質(zhì)矩陣的求解E 具有 5 個(gè)自由度的事實(shí)表明我們最少可以用 5 對(duì)點(diǎn)來(lái)求解 E。但是E 的內(nèi)在性質(zhì)是一種非線性性質(zhì)在估計(jì)時(shí)會(huì)帶來(lái)麻煩因此也可以只考慮它的尺度等價(jià)性使用 8 對(duì)點(diǎn)來(lái)估計(jì) E——這就是經(jīng)典的八點(diǎn)法Eight-point-algorithm。如果 8 對(duì)匹配點(diǎn)組成的矩陣滿足秩為 8 的條件那么 E 的各元素就可由上述方程解得。接下來(lái)就是從E中分解出R 、t的問(wèn)題。從 E 分解到 t, R 時(shí)一共存在 4 個(gè)可能的解。不過(guò)幸運(yùn)的是只有第一種解中 P 在兩個(gè)相機(jī)中都具有正的深度。因此只要把任意一點(diǎn)代入 4 種解中檢測(cè)該點(diǎn)在兩個(gè)相機(jī)下的深度就可以確定哪個(gè)解是正確的了?；A(chǔ)矩陣張正友標(biāo)定法張正友標(biāo)定法利用多幅不同姿態(tài)的平面棋盤(pán)格圖像通過(guò)棋盤(pán)格平面與圖像之間的單應(yīng)性關(guān)系建立約束并利用旋轉(zhuǎn)矩陣列向量的正交性和等模性質(zhì)求解相機(jī)內(nèi)參隨后結(jié)合畸變模型通過(guò)最小化棋盤(pán)格角點(diǎn)的重投影誤差對(duì)相機(jī)內(nèi)參、畸變參數(shù)以及棋盤(pán)格外參進(jìn)行非線性?xún)?yōu)化。張正友標(biāo)定法的核心其實(shí)就是“利用平面棋盤(pán)格 → 求單應(yīng)性 H → 利用旋轉(zhuǎn)矩陣的正交約束 → 求相機(jī)內(nèi)參 K” 即利用H反推K。Kalibr標(biāo)定張正友標(biāo)定法主要是在“相機(jī)看到棋盤(pán)格”這件事上求相機(jī)參數(shù)Kalibr的核心思想則是讓多個(gè)傳感器同時(shí)觀測(cè)/感知同一個(gè)運(yùn)動(dòng)通過(guò)建立統(tǒng)一的運(yùn)動(dòng)和觀測(cè)模型把相機(jī)內(nèi)參、相機(jī)-IMU外參、時(shí)間偏移等參數(shù)放進(jìn)一個(gè)優(yōu)化問(wèn)題中聯(lián)合估計(jì)。猜一組參數(shù) │ ▼ 計(jì)算Camera預(yù)測(cè)結(jié)果 │ ▼ 計(jì)算IMU預(yù)測(cè)結(jié)果 │ ▼ 和真實(shí)數(shù)據(jù)比較 │ ▼ 計(jì)算誤差 │ ▼ 調(diào)整參數(shù) │ ▼ 再次計(jì)算 │ ▼ 誤差越來(lái)越小PnP已知一組 3D 空間點(diǎn) Pi和它們?cè)趫D像上的 2D 投影點(diǎn) pi求相機(jī)的位姿 R,t相機(jī)看到一個(gè)世界點(diǎn)實(shí)際上經(jīng)歷了三角化已知兩個(gè)相機(jī)的位置和姿態(tài)以及同一個(gè)空間點(diǎn)在兩個(gè)圖像中的 2D 像素位置反推出這個(gè)空間點(diǎn)的 3D 坐標(biāo)。假設(shè)空間中有一個(gè)點(diǎn)PP ● / \ / \ / \ / \ / \ ● C1 C2 ● 相機(jī)1 相機(jī)2