優(yōu)實(shí)踐)
1. 遠(yuǎn)處的摩爾紋和近處的模型抖動(dòng)Mipmap與LOD到底在解決什么1.1 一個(gè)簡(jiǎn)單引擎也躲不過(guò)的渲染事故當(dāng)我在做一個(gè)簡(jiǎn)化版引擎時(shí)第一個(gè)真正讓我頭皮發(fā)麻的畫(huà)面問(wèn)題不是光照不對(duì)而是地板紋理在鏡頭拉遠(yuǎn)時(shí)開(kāi)始瘋狂閃爍像有一層白色雪花在瓷磚縫里跳舞。與此同時(shí)遠(yuǎn)處山坡上的低模樹(shù)樁每一幀都在輕微抖動(dòng)邊緣像有碎振動(dòng)。這兩個(gè)現(xiàn)象一個(gè)是典型的高頻紋理欠采樣另一個(gè)是幾何體下采樣后的時(shí)序抖動(dòng)——本質(zhì)上都是同一類(lèi)問(wèn)題我們讓渲染管線(xiàn)以超出它分辨率能力的方式去表達(dá)細(xì)節(jié)。Mipmaps和LOD就是解決這兩個(gè)問(wèn)題最經(jīng)典也最實(shí)用的工程手段。Mipmap為紋理提前生成一組逐級(jí)降低分辨率的備份當(dāng)屏幕像素密度不足以重現(xiàn)高頻細(xì)節(jié)時(shí)GPU自動(dòng)切換到模糊的層級(jí)避免閃爍和摩爾紋。LOD則為同一個(gè)物體準(zhǔn)備多檔精度的網(wǎng)格離得遠(yuǎn)就畫(huà)粗模型的把三角形預(yù)算讓給屏幕里更值得表現(xiàn)的部分。在商業(yè)引擎里這兩個(gè)功能往往是一行設(shè)置的事勾上Generate Mipmaps再開(kāi)一個(gè)Auto LOD。但在一個(gè)自己從零搭的簡(jiǎn)單引擎里這兩件事都要親手串起來(lái)——從紋理資源的生成、上傳到渲染管線(xiàn)的采樣狀態(tài)再到模型數(shù)據(jù)的組織與運(yùn)行時(shí)切換。整個(gè)過(guò)程走一遍比看十遍文檔都有效。這篇內(nèi)容適合正在自研引擎、或者想搞明白引擎里那個(gè)Mipmap選項(xiàng)到底在做什么的開(kāi)發(fā)者。我會(huì)把原理、實(shí)現(xiàn)鏈路、工程接入和踩坑記錄全部攤開(kāi)講代碼以O(shè)penGL風(fēng)格為例但思路是圖形API通用的。1.2 為什么遠(yuǎn)處的細(xì)節(jié)會(huì)爆炸欠采樣原理快速回顧先把最基礎(chǔ)的概念補(bǔ)上。屏幕上每個(gè)像素對(duì)應(yīng)紋理上的一個(gè)區(qū)域當(dāng)物體拉遠(yuǎn)時(shí)一個(gè)像素對(duì)應(yīng)的紋理區(qū)域會(huì)變大。如果這個(gè)區(qū)域里包含了很多明暗交替的細(xì)節(jié)高頻分量而GPU只取一個(gè)點(diǎn)去采樣點(diǎn)濾波那這個(gè)像素就會(huì)被隨機(jī)落到某個(gè)亮或暗的texel上。相鄰像素隨機(jī)性不同就形成了閃爍和摩爾紋。這本質(zhì)上是采樣頻率低于信號(hào)頻率導(dǎo)致的混疊。根據(jù)奈奎斯特采樣定理要無(wú)失真地重建一個(gè)頻率為f的信號(hào)采樣頻率必須至少達(dá)到2f。屏幕上每個(gè)像素是一個(gè)采樣點(diǎn)它的采樣頻率由投影后的像素密度決定當(dāng)紋理細(xì)節(jié)頻率高于這個(gè)密度時(shí)必然產(chǎn)生混疊?，F(xiàn)實(shí)里我見(jiàn)過(guò)不少同學(xué)試圖靠把紋理分辨率調(diào)低一點(diǎn)來(lái)解決問(wèn)題其實(shí)方向反了——分辨率再高相機(jī)拉得足夠遠(yuǎn)高頻細(xì)節(jié)一樣會(huì)超出像素密度的表達(dá)上限閃爍只會(huì)換個(gè)距離重新出現(xiàn)。解決方向只有兩個(gè)一是提高采樣頻率也就是提高渲染分辨率但這是治標(biāo)不治本二是在采樣之前把高頻過(guò)濾掉這正是Mipmap在做的事——預(yù)先對(duì)紋理做低通濾波每一級(jí)mip相當(dāng)于以不同頻率上限得到的模糊但無(wú)鋸齒的版本。1.3 這兩個(gè)問(wèn)題為什么經(jīng)常一起處理如果只看畫(huà)面問(wèn)題Mipmap和LOD可以完全分開(kāi)解決。但它們?cè)诠こ探M織上有兩個(gè)共同點(diǎn)都需要預(yù)生成多份數(shù)據(jù)都需要運(yùn)行時(shí)根據(jù)視距選擇合適版本。很多引擎把Mipmap和LOD放在同一個(gè)Resource Manager里管理原因就在這里紋理有一套mip chain模型有一套LOD chain本質(zhì)都是同一個(gè)思路——預(yù)生成、運(yùn)行時(shí)選擇、生命周期管理。它們還有一個(gè)共同的收益降低帶寬。Mipmap讓GPU在遠(yuǎn)處像素上不必讀取全分辨率紋理的texel代價(jià)是紋理總內(nèi)存增加約1/3LOD讓GPU不必渲染遠(yuǎn)處龐大三角形數(shù)的網(wǎng)格代價(jià)是維護(hù)多套網(wǎng)格數(shù)據(jù)。在帶寬受限的移動(dòng)平臺(tái)上這兩個(gè)優(yōu)化往往是不做就卡做了就順的關(guān)鍵。所以我一直認(rèn)為簡(jiǎn)單引擎也值得認(rèn)真做這兩件事它們直接決定引擎在不同場(chǎng)景下的幀率下限和畫(huà)面質(zhì)量下限。2. 從2x2平均到4/3內(nèi)存Mipmap的生成算法與采樣鏈路拆解2.1 Mipmap不是一堆縮小圖而是一組預(yù)濾波結(jié)果Mipmap這個(gè)概念最早在1983年的圖形學(xué)論文中提出思路是把一張?jiān)技y理做一系列2x2降采樣得到第0級(jí)原始尺寸、第1級(jí)1/2寬高、第2級(jí)1/4寬高一直到1x1像素。每一級(jí)都攜帶了前一級(jí)的高頻信息被低頻過(guò)濾后的結(jié)果。你可能覺(jué)得這不過(guò)是把圖縮小幾份遠(yuǎn)處選張模糊貼上去實(shí)際不是。GPU采樣的時(shí)候并不是只選某一級(jí)而是在相鄰兩級(jí)之間做三線(xiàn)性插值Trilinear Filtering先在同一級(jí)內(nèi)做雙線(xiàn)性插值再在相鄰兩級(jí)之間做一次線(xiàn)性混合。這個(gè)混合系數(shù)來(lái)自屏幕像素在紋理坐標(biāo)上的導(dǎo)數(shù)也就是這個(gè)像素實(shí)際覆蓋了多大一塊紋理區(qū)域。代碼里你通常只設(shè)置采樣器的過(guò)濾方式很少直接干預(yù)mip級(jí)但調(diào)試時(shí)要理解GPU內(nèi)部會(huì)通過(guò)紋理坐標(biāo)的偏導(dǎo)數(shù)估算足跡再換算成需要哪一級(jí)。所以mip級(jí)別的選擇本質(zhì)是一個(gè)由視距和斜率驅(qū)動(dòng)的自動(dòng)過(guò)程。把物體拉遠(yuǎn)紋理足跡變大系統(tǒng)自動(dòng)往高mip級(jí)模糊那邊走湊近看又自動(dòng)回到第0級(jí)取細(xì)節(jié)。這個(gè)自動(dòng)切換如果做得好肉眼幾乎察覺(jué)不到做得不好就會(huì)出現(xiàn)一層一層模糊跳變那是后面要聊的采樣參數(shù)問(wèn)題。2.2 在CPU端自己生成mip鏈濾波核與邊緣處理在簡(jiǎn)單引擎中最省事的方案是調(diào)用圖形API的自動(dòng)生成接口比如OpenGL里的glGenerateMipmap。但如果你希望資源加載階段可控、可調(diào)試、可離線(xiàn)預(yù)處理自己實(shí)現(xiàn)一遍生成邏輯會(huì)更有底。最經(jīng)典的生成器是盒式濾波器把2x2的四個(gè)texel顏色做平均得到下一級(jí)的一個(gè)texel。每降一級(jí)圖像細(xì)節(jié)減半。偽代碼如下void GenerateMipChain(std::vectorImage mips) { const Image base mips[0]; Image prev base; while (prev.width 1 || prev.height 1) { Image next(prev.width / 2, prev.height / 2); for (int y 0; y next.height; y) { for (int x 0; x next.width; x) { Color c Average4( prev.GetPixel(2*x, 2*y), prev.GetPixel(2*x 1, 2*y), prev.GetPixel(2*x, 2*y 1), prev.GetPixel(2*x 1, 2*y 1)); next.SetPixel(x, y, c); } } mips.push_back(next); prev next; } }這段代碼里有一個(gè)容易忽略的細(xì)節(jié)奇數(shù)尺寸紋理。寬高除以2向下取整時(shí)最后一行或一列會(huì)被丟掉。實(shí)踐里更穩(wěn)妥的做法是面積平均——讓每個(gè)mip像素覆蓋上游對(duì)應(yīng)范圍內(nèi)所有texel的均值而不是嚴(yán)格的2x2。對(duì)普通素材兩者差別不大純盒式濾波就夠用了。只有做高質(zhì)量離線(xiàn)工具時(shí)才需要考慮Kaiser窗口、三角形濾波器或Catmull-Rom銳化那些更復(fù)雜的方案。另一個(gè)關(guān)鍵點(diǎn)是邊緣處理。當(dāng)UV超出[0,1]范圍比如用了重復(fù)尋址模式GPU生成mip時(shí)如何處理邊緣直接影響平鋪紋理在遠(yuǎn)處的接縫表現(xiàn)。最穩(wěn)妥的做法是在生成第0級(jí)之前把紋理左右、上下各擴(kuò)展復(fù)制一圈——把靠邊的像素鏡像到對(duì)側(cè)去這樣降采樣時(shí)能感知到相鄰周期內(nèi)的顏色生成的mip鏈在REPEAT模式下才不會(huì)出現(xiàn)黑邊或白邊。這個(gè)坑我在第五節(jié)詳細(xì)說(shuō)。2.3 GPU端采樣狀態(tài)兩個(gè)過(guò)濾器參數(shù)決定畫(huà)質(zhì)紋理上傳并攜帶mip鏈之后渲染時(shí)真正需要決策的只有兩個(gè)采樣參數(shù)MIN_FILTER和MAG_FILTER。前者決定當(dāng)屏幕像素覆蓋的texel區(qū)域大于1時(shí)縮小采樣如何選點(diǎn)后者決定當(dāng)覆蓋小于1個(gè)texel時(shí)放大采樣如何選點(diǎn)。常規(guī)配置可以參考這張表使用場(chǎng)景MIN_FILTERMAG_FILTER效果三線(xiàn)性推薦默認(rèn)GL_LINEAR_MIPMAP_LINEARGL_LINEAR相鄰mip級(jí)平滑過(guò)渡雙線(xiàn)性mip就近GL_LINEAR_MIPMAP_NEARESTGL_LINEAR有明顯mip切換跳變關(guān)閉mip只雙線(xiàn)性GL_LINEARGL_LINEAR遠(yuǎn)處會(huì)閃爍、摩爾紋調(diào)試用全點(diǎn)采樣GL_NEARESTGL_NEAREST無(wú)可參考性通常只用于觀察像素化三線(xiàn)性過(guò)濾是最容易獲得還算不錯(cuò)畫(huà)質(zhì)的起點(diǎn)。再往上升一步就是各向異性過(guò)濾Anisotropic Filtering它能處理斜視地面這類(lèi)場(chǎng)景——像素在紋理空間里呈現(xiàn)為不對(duì)稱(chēng)的長(zhǎng)條形狀標(biāo)準(zhǔn)mipmap會(huì)把兩個(gè)方向一起模糊導(dǎo)致地板斜著看糊成一片。各向異性過(guò)濾會(huì)沿最長(zhǎng)導(dǎo)數(shù)方向多采樣幾次斜視清晰度提升非常明顯。實(shí)際開(kāi)啟方式上現(xiàn)代GPU普遍支持到8x或16x各向異性但接口寫(xiě)得比較啰嗦需要先查詢(xún)能力再設(shè)置參數(shù)GLfloat maxAniso 0.f; glGetFloatv(GL_MAX_TEXTURE_MAX_ANISOTROPY_EXT, maxAniso); glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MAX_ANISOTROPY_EXT, std::min(4.0f, maxAniso));提示各向異性過(guò)濾不是替代Mipmap而是在Mipmap基礎(chǔ)上對(duì)斜視采樣做補(bǔ)償兩者是疊加關(guān)系。先保證mipchain存在再談各向異性順序別反。3. 一套模型的多副面孔幾何LOD的構(gòu)建、簡(jiǎn)化與切換策略3.1 三角形預(yù)算視角為什么遠(yuǎn)處的東西不該那么精致幾何LOD的核心思想一句話(huà)就能說(shuō)清遠(yuǎn)處物體在屏幕上只占幾個(gè)像素你卻用幾萬(wàn)三角形去渲染純屬浪費(fèi)?，F(xiàn)代GPU三角形吞吐量不低但頂點(diǎn)處理、光柵化、帶寬和后續(xù)像素填充的開(kāi)銷(xiāo)都會(huì)隨三角形數(shù)上升。場(chǎng)景里如果有大量重復(fù)物件差距立刻被放大。舉個(gè)我實(shí)際跑過(guò)的例子場(chǎng)景里放100棵樹(shù)每棵5萬(wàn)三角形合計(jì)500萬(wàn)三角形。沒(méi)有LOD時(shí)哪怕樹(shù)已經(jīng)退到屏幕邊緣變成幾個(gè)像素也得把這500萬(wàn)三角形全部處理完。加LOD后遠(yuǎn)處樹(shù)切到500三角形的版本100棵樹(shù)的三角形開(kāi)銷(xiāo)降到5萬(wàn)節(jié)省99%。移動(dòng)端上這種優(yōu)化尤其重要因?yàn)橐苿?dòng)GPU頂點(diǎn)處理能力比桌面差得多帶寬和發(fā)熱也都是硬約束。LOD不止是省三角形還關(guān)系到幀率的穩(wěn)定性。如果近距離三角形激增、遠(yuǎn)距離驟減幀時(shí)間會(huì)忽高忽低體感就是卡一下、順一下。合理的LOD切換能讓GPU負(fù)載在不同距離范圍保持相對(duì)均勻幀時(shí)間曲線(xiàn)平滑很多。3.2 網(wǎng)格簡(jiǎn)化從自動(dòng)減面工具到離線(xiàn)管線(xiàn)準(zhǔn)備多檔LOD第一步是生成簡(jiǎn)化網(wǎng)格。簡(jiǎn)單引擎里最務(wù)實(shí)的做法不是自己寫(xiě)一套簡(jiǎn)化算法而是用離線(xiàn)工具或開(kāi)源算法庫(kù)預(yù)先減面導(dǎo)出為多套網(wǎng)格文件。業(yè)界用得最廣的簡(jiǎn)化算法是QEMQuadric Error Metrics二次誤差度量思路是迭代地挑選合并后幾何誤差最小的邊進(jìn)行坍縮直到三角形數(shù)達(dá)到目標(biāo)。誤差用二次曲面近似衡量所以能優(yōu)先保住輪廓和特征線(xiàn)。自己在簡(jiǎn)單項(xiàng)目里完全可以直接用3D建模軟件或開(kāi)源網(wǎng)格處理庫(kù)的減面功能把高模減到75%、50%、25%、10%三角形數(shù)導(dǎo)出成幾個(gè)文件。我的做法是在資源管線(xiàn)里約定命名規(guī)則tree_LOD0.mesh、tree_LOD1.mesh……加載時(shí)統(tǒng)一裝入同一個(gè)LODGroup組件。如果確實(shí)想自己實(shí)現(xiàn)簡(jiǎn)化算法推薦從最基礎(chǔ)的頂點(diǎn)聚類(lèi)Vertex Clustering開(kāi)始把模型所在空間劃分成均勻網(wǎng)格每個(gè)格子內(nèi)的頂點(diǎn)合并成一個(gè)代表點(diǎn)從而降低頂點(diǎn)數(shù)。這個(gè)方法簡(jiǎn)單、可控、穩(wěn)定畫(huà)質(zhì)損失確實(shí)比QEM明顯但用來(lái)理解簡(jiǎn)化的本質(zhì)是信息取舍非常合適。跑通這條鏈路之后再去換成QEM也不遲。3.3 距離計(jì)算與切換閾值別讓LOD閃來(lái)閃去網(wǎng)格準(zhǔn)備好之后運(yùn)行時(shí)要做兩件事算距離、選LOD。距離計(jì)算通常有兩種口徑相機(jī)到物體包圍球中心的距離簡(jiǎn)單穩(wěn)定相機(jī)到包圍盒表面的距離更精確適合從內(nèi)部穿過(guò)的隧道類(lèi)物體。我默認(rèn)用包圍球中心距離開(kāi)銷(xiāo)低戶(hù)外場(chǎng)景里差距不大。切換閾值的選擇也有兩種思路。一種是直接給世界距離閾值比如50米切LOD1、150米切LOD2直觀、好調(diào)、容易理解。另一種是屏幕空間誤差Screen-Space Error把物體最大簡(jiǎn)化誤差投影到屏幕上當(dāng)誤差小于某個(gè)像素?cái)?shù)時(shí)才切換更專(zhuān)業(yè)但調(diào)試成本高。簡(jiǎn)單引擎強(qiáng)烈建議先用距離閾值跑起來(lái)之后再手工微調(diào)。這里有一個(gè)非常容易踩的細(xì)節(jié)延遲切換Hysteresis。如果切換閾值是20米物體在19.9米和20.1米之間來(lái)回移動(dòng)就會(huì)出現(xiàn)頻繁切換肉眼看到的就是模型在抽搐。解決辦法是讓升到更精細(xì)檔和降到更粗糙檔的閾值之間留一段緩沖區(qū)。比如LOD1在距離小于30米時(shí)切上來(lái)但要到距離大于45米時(shí)才切下去。這個(gè)緩沖區(qū)間能消掉大部分抖動(dòng)。3.4 離散LOD vs 連續(xù)LOD簡(jiǎn)單引擎先走哪條路主流水引擎里還有一種做法叫連續(xù)LODContinuous LOD同一份數(shù)據(jù)在運(yùn)行時(shí)根據(jù)距離動(dòng)態(tài)調(diào)整拓?fù)鋵?shí)時(shí)增減三角形。它省內(nèi)存還能避免切換瞬間的pop模型突變但實(shí)現(xiàn)復(fù)雜度高而且在Deferred渲染或靜態(tài)批次場(chǎng)景里要處理很多邊界情況。對(duì)simple engine我的建議非常明確先用離散LOD每檔一個(gè)mesh把框架跑通再說(shuō)。離散LOD唯一的缺點(diǎn)就是切換時(shí)可能有個(gè)可見(jiàn)突變但這個(gè)突變可以通過(guò)三種手段壓到很低把切換點(diǎn)放在物體移動(dòng)慢、屏幕占比小的位置用淡入淡出或頂點(diǎn)位置的線(xiàn)性過(guò)渡以及最樸素的——讓相鄰兩檔網(wǎng)格的拓?fù)浔M量接近。等框架穩(wěn)了若真有地形或大量植被需要連續(xù)過(guò)渡再演進(jìn)到CLOD也不晚。4. 接入渲染管線(xiàn)的工程細(xì)節(jié)驅(qū)動(dòng)能力、內(nèi)存開(kāi)銷(xiāo)與采樣器配置4.1 紋理上傳一次提交整個(gè)mip鏈在簡(jiǎn)單引擎里合理的數(shù)據(jù)流是導(dǎo)入器把mip鏈全部生成好渲染層創(chuàng)建紋理時(shí)用glTexImage2D逐級(jí)上傳。如果你用glGenerateMipmap自動(dòng)生成第0級(jí)上傳完后調(diào)用一次接口即可但這會(huì)在運(yùn)行時(shí)產(chǎn)生GPU端生成開(kāi)銷(xiāo)。我更傾向于在資源加載階段就準(zhǔn)備好完整mip鏈避免每次新建紋理時(shí)重復(fù)計(jì)算。偽代碼如下GLuint CreateTexture2D(const std::vectorImage mips, bool aniso) { GLuint tex; glGenTextures(1, tex); glBindTexture(GL_TEXTURE_2D, tex); for (int level 0; level (int)mips.size(); level) { const Image img mips[level]; glTexImage2D(GL_TEXTURE_2D, level, GL_RGBA8, img.width, img.height, 0, GL_RGBA, GL_UNSIGNED_BYTE, img.data.data()); } glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR_MIPMAP_LINEAR); glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR); glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_REPEAT); glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_REPEAT); if (aniso) { GLfloat maxAniso 0.f; glGetFloatv(GL_MAX_TEXTURE_MAX_ANISOTROPY_EXT, maxAniso); glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MAX_ANISOTROPY_EXT, std::min(4.0f, maxAniso)); } return tex; }這段代碼的潛在問(wèn)題在于GL_MAX_TEXTURE_MAX_ANISOTROPY_EXT這個(gè)枚舉在不同驅(qū)動(dòng)上的兼容性以及從glTexImage2D開(kāi)始到設(shè)置參數(shù)過(guò)程中任何一步的資源泄漏——如果外部代碼忘了glDeleteTextures一個(gè)帶mip鏈的紋理就會(huì)白白占著幾MB顯存不放。所以我會(huì)建議在Texture類(lèi)里用RAII管理生命周期析構(gòu)時(shí)統(tǒng)一釋放。4.2 內(nèi)存賬要算清Mipmap實(shí)際只多占1/3很多人一聽(tīng)說(shuō)mipmap以為內(nèi)存會(huì)翻倍其實(shí)并沒(méi)有。等比降采樣后整條mip鏈的總內(nèi)存是原始紋理的4/3也就是增加約33%。推導(dǎo)很簡(jiǎn)單第0級(jí)占1份第1級(jí)占1/4第2級(jí)占1/16……幾何級(jí)數(shù)求和S 1 1/4 1/16 1/64 ... 1 / (1 - 1/4) 4/3所以1024x1024的RGBA8紋理原始占4MB帶完整mip鏈后約5.33MB。場(chǎng)面上一串小紋理累加大概多占1/3顯存——這個(gè)代價(jià)換來(lái)的卻是巨大的帶寬節(jié)省因?yàn)檫h(yuǎn)處的像素不再需要把全分辨率texel從顯存拖進(jìn)緩存。做性能分析時(shí)這是一個(gè)非常劃算的交換。但要注意壓縮紋理的情況。ASTC、BC7等格式的每一級(jí)mip都有獨(dú)立的壓縮尺寸而且不同格式對(duì)最小尺寸對(duì)齊有要求比如某些格式要求每級(jí)寬高是4的倍數(shù)。如果在生成mip鏈時(shí)沒(méi)有提前對(duì)齊尺寸最后一兩級(jí)可能出現(xiàn)無(wú)效數(shù)據(jù)或加載失敗。這個(gè)問(wèn)題在導(dǎo)入管線(xiàn)里就要定好規(guī)范壓縮紋理由離線(xiàn)工具統(tǒng)一做好mip鏈運(yùn)行時(shí)只負(fù)責(zé)上傳不做在線(xiàn)生成。4.3 LOD數(shù)據(jù)組織LODGroup和渲染器的協(xié)作在運(yùn)行時(shí)我用一個(gè)LODGroup組件來(lái)管理一個(gè)物體的所有LOD網(wǎng)格struct LODGroup { std::vectorMesh* meshes; // LOD0, LOD1, ... std::vectorfloat minDistances; // 每級(jí)生效的最小距離 float switchRange; // 遲滯緩沖區(qū)間 };渲染器每幀的邏輯是取出相機(jī)位置計(jì)算物體中心到相機(jī)的距離從LOD0開(kāi)始向后找選擇第一個(gè)滿(mǎn)足dist minDistances[i]的mesh找不到則使用最后一級(jí)。配合前面說(shuō)的遲滯升級(jí)和降級(jí)各用一張不同的距離表就能有效防止抖動(dòng)。這里還有一個(gè)容易忽略的優(yōu)化LOD選擇不一定每幀都算。很多引擎會(huì)做按幀抽樣比如每隔0.2秒重新計(jì)算一次距離并選擇LOD中間幀沿用上一次結(jié)果。對(duì)慢速移動(dòng)的物體效果明顯能省一點(diǎn)CPU但要注意延遲不能大否則玩家快速轉(zhuǎn)頭時(shí)會(huì)看到遠(yuǎn)處的LOD切換明顯滯后。4.4 Shader側(cè)配合采樣器聲明與mip級(jí)控制接入渲染管線(xiàn)后Shader里通常只需要把紋理采樣器聲明成sampler2D過(guò)濾狀態(tài)由紋理對(duì)象本身決定。但如果你想主動(dòng)控制mip級(jí)比如做基于視角的銳化或者某些混合特效可以用textureLod(sampler, uv, lod)顯式指定。這在Mipmap調(diào)試時(shí)特別有用固定寫(xiě)一個(gè)LOD值就能直接觀察某個(gè)層級(jí)的畫(huà)面。還有一個(gè)常見(jiàn)誤區(qū)設(shè)置GL_TEXTURE_MAX_LOD限制了最大mip級(jí)卻忘記設(shè)GL_TEXTURE_MIN_LOD下限導(dǎo)致某些驅(qū)動(dòng)從異常層級(jí)開(kāi)始采樣。低配設(shè)備上偶爾出現(xiàn)的顏色偏差排查時(shí)先看這組參數(shù)是否對(duì)稱(chēng)設(shè)置能省下大量時(shí)間。5. 用調(diào)試視圖和性能數(shù)據(jù)說(shuō)話(huà)踩坑記錄與調(diào)優(yōu)驗(yàn)證5.1 先把當(dāng)前用的是哪一級(jí)可視化出來(lái)Mipmap和LOD的調(diào)試最怕的是看不出問(wèn)題在哪。我的第一個(gè)建議是給引擎加兩組可視化工具。第一組是mip級(jí)別顯示。用一個(gè)debug shader把實(shí)際采到的mip級(jí)編碼成顏色輸出比如LOD0紅、LOD1綠、LOD2藍(lán)、LOD3黃。一眼就能看出場(chǎng)景里哪些區(qū)域用了過(guò)高的mip級(jí)。如果你的API支持textureQueryLod之類(lèi)的查詢(xún)可以直接在shader里拿到實(shí)際的mip level不需要再猜。第二組是LOD邊界繪制。把每級(jí)LOD的切換距離用線(xiàn)框球體畫(huà)出來(lái)調(diào)試時(shí)拖動(dòng)相機(jī)進(jìn)出邊界直觀感受切換點(diǎn)是否合理。我還會(huì)在Debug UI里加兩個(gè)按鍵手動(dòng)強(qiáng)制切到LOD0或LOD2之類(lèi)的級(jí)別用來(lái)單獨(dú)觀察某一檔網(wǎng)格的視覺(jué)質(zhì)量。這兩組工具加在一起調(diào)參就不再是盲人摸象。5.2 我踩過(guò)的三個(gè)坑以及對(duì)應(yīng)解法第一個(gè)坑是mip邊緣顏色滲透。我用REPEAT尋址平鋪了一張帶高亮邊緣的磚墻貼圖拉遠(yuǎn)之后磚縫之間出現(xiàn)奇怪的暗色條紋。原因在于CPU生成mip時(shí)2x2平均跨過(guò)了平鋪邊界但驅(qū)動(dòng)在REPEAT模式下的自動(dòng)mip處理并不一定和我的生成邏輯一致。解法是在生成mip前把第0級(jí)紋理做邊緣擴(kuò)展復(fù)制讓降采樣能感知到平鋪的連續(xù)性實(shí)在不行就改用GL_CLAMP_TO_EDGE專(zhuān)門(mén)處理含邊緣語(yǔ)義的貼圖平鋪面另開(kāi)一張REPEAT紋理。第二個(gè)坑是NPOT紋理。某張道具貼圖尺寸是512x300我在某臺(tái)舊設(shè)備上上傳帶mip鏈的NPOT紋理后畫(huà)面直接黑屏回退到雙線(xiàn)性又正常了。原因是部分舊驅(qū)動(dòng)對(duì)NPOT紋理加Mipmap的支持不完整。解法要么在導(dǎo)入管線(xiàn)把NPOT紋理統(tǒng)一重采樣到二次冪既規(guī)整又能更好對(duì)齊壓縮格式要么提前確認(rèn)目標(biāo)設(shè)備對(duì)NPOT紋理加Mipmap的支持情況做功能開(kāi)關(guān)動(dòng)態(tài)回退。第三個(gè)坑是LOD切換引起的幾何漣漪。一套山體從LOD0切到LOD1時(shí)頂點(diǎn)位置變化太大切換瞬間山脊出現(xiàn)一圈肉眼可見(jiàn)的漣漪。解法有三個(gè)方向調(diào)整簡(jiǎn)化算法參數(shù)讓低模在切換臨界處盡量貼近高模位置也就是做保持邊緣拉開(kāi)切換距離讓變化發(fā)生在視覺(jué)注意力不集中的位置最后還可以做頂點(diǎn)混合過(guò)渡在過(guò)渡區(qū)間內(nèi)對(duì)兩個(gè)mesh的頂點(diǎn)位置做lerp。我最終用了頂點(diǎn)混合效果最好只是多花了一點(diǎn)CPU。5.3 實(shí)測(cè)數(shù)據(jù)多少優(yōu)化才算值得以我那個(gè)模擬項(xiàng)目X為例場(chǎng)景是一個(gè)約200米見(jiàn)方的區(qū)域里面大約300個(gè)帶LOD的靜態(tài)物體40張使用Mipmap的紋理。改造前既沒(méi)開(kāi)Mipmap也沒(méi)做LOD遠(yuǎn)處場(chǎng)景最低幀大約35fps改造完成后同樣場(chǎng)景能跑到55fps以上。拆開(kāi)看數(shù)據(jù)開(kāi)啟Mipmap后遠(yuǎn)處地面紋理的閃爍徹底消失紋理帶寬占用下降約30%加離散LOD后三角形數(shù)從約850萬(wàn)降到180萬(wàn)draw call數(shù)沒(méi)變但頂點(diǎn)處理時(shí)間明顯縮短。幀時(shí)間抖動(dòng)也從改造前的±8ms縮小到±2ms。這不是什么理想環(huán)境下的漂亮數(shù)字就是很普通場(chǎng)景量級(jí)的表現(xiàn)足以證明這兩個(gè)優(yōu)化在簡(jiǎn)單引擎里的性?xún)r(jià)比有多高。關(guān)鍵還是那句話(huà)不要拍腦袋設(shè)LOD閾值。先用場(chǎng)景截圖和profiler數(shù)據(jù)確定瓶頸再?zèng)Q定每檔LOD的切換距離。我把所有閾值都放在一個(gè)配置文件中每次調(diào)參后跑同一段固定路徑錄像對(duì)比比肉眼反復(fù)進(jìn)出場(chǎng)景高效得多。5.4 幾個(gè)親測(cè)有效的調(diào)優(yōu)小習(xí)慣第一Mipmap從大紋理開(kāi)始開(kāi)。512x512的磚墻可能看不出太大差異但2048x2048的復(fù)雜貼圖在遠(yuǎn)處就是重災(zāi)區(qū)。優(yōu)先把大尺寸紋理的mip鏈補(bǔ)上效果立竿見(jiàn)影。第二LOD從遠(yuǎn)處數(shù)量多的物體開(kāi)始做。樹(shù)木、石塊、路燈這類(lèi)重復(fù)物件才是LOD最大的受益者反而是那個(gè)唯一的主角模型優(yōu)先級(jí)沒(méi)這么高。第三每次改動(dòng)只做一件事。把Mipmap和LOD拆成兩個(gè)獨(dú)立分支來(lái)做獨(dú)立測(cè)、獨(dú)立回滾。這兩項(xiàng)優(yōu)化都有視覺(jué)上沒(méi)那么明顯但profiler上很顯著的特點(diǎn)一旦混在一起調(diào)試很容易錯(cuò)誤歸因。第四保留一個(gè)強(qiáng)制關(guān)閉的開(kāi)關(guān)。引擎里加一個(gè)--no-mip和--force-lod0的命令行參數(shù)方便隨時(shí)對(duì)照開(kāi)啟前后的畫(huà)面與幀率。這個(gè)開(kāi)關(guān)在后續(xù)優(yōu)化shader和材質(zhì)時(shí)也會(huì)派上大用場(chǎng)。第五調(diào)試Mipmap時(shí)給各級(jí)加上固定假色跑一個(gè)固定旋轉(zhuǎn)鏡頭看整體變化節(jié)奏。很多時(shí)候看起來(lái)糊并不是mip級(jí)別選得不對(duì)而是相鄰mip之間的過(guò)渡區(qū)太窄或太寬用假色視圖能直觀發(fā)現(xiàn)問(wèn)題出在切換節(jié)奏上。 自研引擎必修課：Mipmap與LOD的生成、接入與調(diào)優(yōu)實(shí)踐
1. 遠(yuǎn)處的摩爾紋和近處的模型抖動(dòng)Mipmap與LOD到底在解決什么1.1 一個(gè)簡(jiǎn)單引擎也躲不過(guò)的渲染事故當(dāng)我在做一個(gè)簡(jiǎn)化版引擎時(shí)第一個(gè)真正讓我頭皮發(fā)麻的畫(huà)面問(wèn)題不是光照不對(duì)而是地板紋理在鏡頭拉遠(yuǎn)時(shí)開(kāi)始瘋狂閃爍像有一層白色雪花在瓷磚縫里跳舞。與此同時(shí)遠(yuǎn)處山坡上的低模樹(shù)樁每一幀都在輕微抖動(dòng)邊緣像有碎振動(dòng)。這兩個(gè)現(xiàn)象一個(gè)是典型的高頻紋理欠采樣另一個(gè)是幾何體下采樣后的時(shí)序抖動(dòng)——本質(zhì)上都是同一類(lèi)問(wèn)題我們讓渲染管線(xiàn)以超出它分辨率能力的方式去表達(dá)細(xì)節(jié)。Mipmaps和LOD就是解決這兩個(gè)問(wèn)題最經(jīng)典也最實(shí)用的工程手段。Mipmap為紋理提前生成一組逐級(jí)降低分辨率的備份當(dāng)屏幕像素密度不足以重現(xiàn)高頻細(xì)節(jié)時(shí)GPU自動(dòng)切換到模糊的層級(jí)避免閃爍和摩爾紋。LOD則為同一個(gè)物體準(zhǔn)備多檔精度的網(wǎng)格離得遠(yuǎn)就畫(huà)粗模型的把三角形預(yù)算讓給屏幕里更值得表現(xiàn)的部分。在商業(yè)引擎里這兩個(gè)功能往往是一行設(shè)置的事勾上Generate Mipmaps再開(kāi)一個(gè)Auto LOD。但在一個(gè)自己從零搭的簡(jiǎn)單引擎里這兩件事都要親手串起來(lái)——從紋理資源的生成、上傳到渲染管線(xiàn)的采樣狀態(tài)再到模型數(shù)據(jù)的組織與運(yùn)行時(shí)切換。整個(gè)過(guò)程走一遍比看十遍文檔都有效。這篇內(nèi)容適合正在自研引擎、或者想搞明白引擎里那個(gè)Mipmap選項(xiàng)到底在做什么的開(kāi)發(fā)者。我會(huì)把原理、實(shí)現(xiàn)鏈路、工程接入和踩坑記錄全部攤開(kāi)講代碼以O(shè)penGL風(fēng)格為例但思路是圖形API通用的。1.2 為什么遠(yuǎn)處的細(xì)節(jié)會(huì)爆炸欠采樣原理快速回顧先把最基礎(chǔ)的概念補(bǔ)上。屏幕上每個(gè)像素對(duì)應(yīng)紋理上的一個(gè)區(qū)域當(dāng)物體拉遠(yuǎn)時(shí)一個(gè)像素對(duì)應(yīng)的紋理區(qū)域會(huì)變大。如果這個(gè)區(qū)域里包含了很多明暗交替的細(xì)節(jié)高頻分量而GPU只取一個(gè)點(diǎn)去采樣點(diǎn)濾波那這個(gè)像素就會(huì)被隨機(jī)落到某個(gè)亮或暗的texel上。相鄰像素隨機(jī)性不同就形成了閃爍和摩爾紋。這本質(zhì)上是采樣頻率低于信號(hào)頻率導(dǎo)致的混疊。根據(jù)奈奎斯特采樣定理要無(wú)失真地重建一個(gè)頻率為f的信號(hào)采樣頻率必須至少達(dá)到2f。屏幕上每個(gè)像素是一個(gè)采樣點(diǎn)它的采樣頻率由投影后的像素密度決定當(dāng)紋理細(xì)節(jié)頻率高于這個(gè)密度時(shí)必然產(chǎn)生混疊?，F(xiàn)實(shí)里我見(jiàn)過(guò)不少同學(xué)試圖靠把紋理分辨率調(diào)低一點(diǎn)來(lái)解決問(wèn)題其實(shí)方向反了——分辨率再高相機(jī)拉得足夠遠(yuǎn)高頻細(xì)節(jié)一樣會(huì)超出像素密度的表達(dá)上限閃爍只會(huì)換個(gè)距離重新出現(xiàn)。解決方向只有兩個(gè)一是提高采樣頻率也就是提高渲染分辨率但這是治標(biāo)不治本二是在采樣之前把高頻過(guò)濾掉這正是Mipmap在做的事——預(yù)先對(duì)紋理做低通濾波每一級(jí)mip相當(dāng)于以不同頻率上限得到的模糊但無(wú)鋸齒的版本。1.3 這兩個(gè)問(wèn)題為什么經(jīng)常一起處理如果只看畫(huà)面問(wèn)題Mipmap和LOD可以完全分開(kāi)解決。但它們?cè)诠こ探M織上有兩個(gè)共同點(diǎn)都需要預(yù)生成多份數(shù)據(jù)都需要運(yùn)行時(shí)根據(jù)視距選擇合適版本。很多引擎把Mipmap和LOD放在同一個(gè)Resource Manager里管理原因就在這里紋理有一套mip chain模型有一套LOD chain本質(zhì)都是同一個(gè)思路——預(yù)生成、運(yùn)行時(shí)選擇、生命周期管理。它們還有一個(gè)共同的收益降低帶寬。Mipmap讓GPU在遠(yuǎn)處像素上不必讀取全分辨率紋理的texel代價(jià)是紋理總內(nèi)存增加約1/3LOD讓GPU不必渲染遠(yuǎn)處龐大三角形數(shù)的網(wǎng)格代價(jià)是維護(hù)多套網(wǎng)格數(shù)據(jù)。在帶寬受限的移動(dòng)平臺(tái)上這兩個(gè)優(yōu)化往往是不做就卡做了就順的關(guān)鍵。所以我一直認(rèn)為簡(jiǎn)單引擎也值得認(rèn)真做這兩件事它們直接決定引擎在不同場(chǎng)景下的幀率下限和畫(huà)面質(zhì)量下限。2. 從2x2平均到4/3內(nèi)存Mipmap的生成算法與采樣鏈路拆解2.1 Mipmap不是一堆縮小圖而是一組預(yù)濾波結(jié)果Mipmap這個(gè)概念最早在1983年的圖形學(xué)論文中提出思路是把一張?jiān)技y理做一系列2x2降采樣得到第0級(jí)原始尺寸、第1級(jí)1/2寬高、第2級(jí)1/4寬高一直到1x1像素。每一級(jí)都攜帶了前一級(jí)的高頻信息被低頻過(guò)濾后的結(jié)果。你可能覺(jué)得這不過(guò)是把圖縮小幾份遠(yuǎn)處選張模糊貼上去實(shí)際不是。GPU采樣的時(shí)候并不是只選某一級(jí)而是在相鄰兩級(jí)之間做三線(xiàn)性插值Trilinear Filtering先在同一級(jí)內(nèi)做雙線(xiàn)性插值再在相鄰兩級(jí)之間做一次線(xiàn)性混合。這個(gè)混合系數(shù)來(lái)自屏幕像素在紋理坐標(biāo)上的導(dǎo)數(shù)也就是這個(gè)像素實(shí)際覆蓋了多大一塊紋理區(qū)域。代碼里你通常只設(shè)置采樣器的過(guò)濾方式很少直接干預(yù)mip級(jí)但調(diào)試時(shí)要理解GPU內(nèi)部會(huì)通過(guò)紋理坐標(biāo)的偏導(dǎo)數(shù)估算足跡再換算成需要哪一級(jí)。所以mip級(jí)別的選擇本質(zhì)是一個(gè)由視距和斜率驅(qū)動(dòng)的自動(dòng)過(guò)程。把物體拉遠(yuǎn)紋理足跡變大系統(tǒng)自動(dòng)往高mip級(jí)模糊那邊走湊近看又自動(dòng)回到第0級(jí)取細(xì)節(jié)。這個(gè)自動(dòng)切換如果做得好肉眼幾乎察覺(jué)不到做得不好就會(huì)出現(xiàn)一層一層模糊跳變那是后面要聊的采樣參數(shù)問(wèn)題。2.2 在CPU端自己生成mip鏈濾波核與邊緣處理在簡(jiǎn)單引擎中最省事的方案是調(diào)用圖形API的自動(dòng)生成接口比如OpenGL里的glGenerateMipmap。但如果你希望資源加載階段可控、可調(diào)試、可離線(xiàn)預(yù)處理自己實(shí)現(xiàn)一遍生成邏輯會(huì)更有底。最經(jīng)典的生成器是盒式濾波器把2x2的四個(gè)texel顏色做平均得到下一級(jí)的一個(gè)texel。每降一級(jí)圖像細(xì)節(jié)減半。偽代碼如下void GenerateMipChain(std::vectorImage mips) { const Image base mips[0]; Image prev base; while (prev.width 1 || prev.height 1) { Image next(prev.width / 2, prev.height / 2); for (int y 0; y next.height; y) { for (int x 0; x next.width; x) { Color c Average4( prev.GetPixel(2*x, 2*y), prev.GetPixel(2*x 1, 2*y), prev.GetPixel(2*x, 2*y 1), prev.GetPixel(2*x 1, 2*y 1)); next.SetPixel(x, y, c); } } mips.push_back(next); prev next; } }這段代碼里有一個(gè)容易忽略的細(xì)節(jié)奇數(shù)尺寸紋理。寬高除以2向下取整時(shí)最后一行或一列會(huì)被丟掉。實(shí)踐里更穩(wěn)妥的做法是面積平均——讓每個(gè)mip像素覆蓋上游對(duì)應(yīng)范圍內(nèi)所有texel的均值而不是嚴(yán)格的2x2。對(duì)普通素材兩者差別不大純盒式濾波就夠用了。只有做高質(zhì)量離線(xiàn)工具時(shí)才需要考慮Kaiser窗口、三角形濾波器或Catmull-Rom銳化那些更復(fù)雜的方案。另一個(gè)關(guān)鍵點(diǎn)是邊緣處理。當(dāng)UV超出[0,1]范圍比如用了重復(fù)尋址模式GPU生成mip時(shí)如何處理邊緣直接影響平鋪紋理在遠(yuǎn)處的接縫表現(xiàn)。最穩(wěn)妥的做法是在生成第0級(jí)之前把紋理左右、上下各擴(kuò)展復(fù)制一圈——把靠邊的像素鏡像到對(duì)側(cè)去這樣降采樣時(shí)能感知到相鄰周期內(nèi)的顏色生成的mip鏈在REPEAT模式下才不會(huì)出現(xiàn)黑邊或白邊。這個(gè)坑我在第五節(jié)詳細(xì)說(shuō)。2.3 GPU端采樣狀態(tài)兩個(gè)過(guò)濾器參數(shù)決定畫(huà)質(zhì)紋理上傳并攜帶mip鏈之后渲染時(shí)真正需要決策的只有兩個(gè)采樣參數(shù)MIN_FILTER和MAG_FILTER。前者決定當(dāng)屏幕像素覆蓋的texel區(qū)域大于1時(shí)縮小采樣如何選點(diǎn)后者決定當(dāng)覆蓋小于1個(gè)texel時(shí)放大采樣如何選點(diǎn)。常規(guī)配置可以參考這張表使用場(chǎng)景MIN_FILTERMAG_FILTER效果三線(xiàn)性推薦默認(rèn)GL_LINEAR_MIPMAP_LINEARGL_LINEAR相鄰mip級(jí)平滑過(guò)渡雙線(xiàn)性mip就近GL_LINEAR_MIPMAP_NEARESTGL_LINEAR有明顯mip切換跳變關(guān)閉mip只雙線(xiàn)性GL_LINEARGL_LINEAR遠(yuǎn)處會(huì)閃爍、摩爾紋調(diào)試用全點(diǎn)采樣GL_NEARESTGL_NEAREST無(wú)可參考性通常只用于觀察像素化三線(xiàn)性過(guò)濾是最容易獲得還算不錯(cuò)畫(huà)質(zhì)的起點(diǎn)。再往上升一步就是各向異性過(guò)濾Anisotropic Filtering它能處理斜視地面這類(lèi)場(chǎng)景——像素在紋理空間里呈現(xiàn)為不對(duì)稱(chēng)的長(zhǎng)條形狀標(biāo)準(zhǔn)mipmap會(huì)把兩個(gè)方向一起模糊導(dǎo)致地板斜著看糊成一片。各向異性過(guò)濾會(huì)沿最長(zhǎng)導(dǎo)數(shù)方向多采樣幾次斜視清晰度提升非常明顯。實(shí)際開(kāi)啟方式上現(xiàn)代GPU普遍支持到8x或16x各向異性但接口寫(xiě)得比較啰嗦需要先查詢(xún)能力再設(shè)置參數(shù)GLfloat maxAniso 0.f; glGetFloatv(GL_MAX_TEXTURE_MAX_ANISOTROPY_EXT, maxAniso); glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MAX_ANISOTROPY_EXT, std::min(4.0f, maxAniso));提示各向異性過(guò)濾不是替代Mipmap而是在Mipmap基礎(chǔ)上對(duì)斜視采樣做補(bǔ)償兩者是疊加關(guān)系。先保證mipchain存在再談各向異性順序別反。3. 一套模型的多副面孔幾何LOD的構(gòu)建、簡(jiǎn)化與切換策略3.1 三角形預(yù)算視角為什么遠(yuǎn)處的東西不該那么精致幾何LOD的核心思想一句話(huà)就能說(shuō)清遠(yuǎn)處物體在屏幕上只占幾個(gè)像素你卻用幾萬(wàn)三角形去渲染純屬浪費(fèi)?，F(xiàn)代GPU三角形吞吐量不低但頂點(diǎn)處理、光柵化、帶寬和后續(xù)像素填充的開(kāi)銷(xiāo)都會(huì)隨三角形數(shù)上升。場(chǎng)景里如果有大量重復(fù)物件差距立刻被放大。舉個(gè)我實(shí)際跑過(guò)的例子場(chǎng)景里放100棵樹(shù)每棵5萬(wàn)三角形合計(jì)500萬(wàn)三角形。沒(méi)有LOD時(shí)哪怕樹(shù)已經(jīng)退到屏幕邊緣變成幾個(gè)像素也得把這500萬(wàn)三角形全部處理完。加LOD后遠(yuǎn)處樹(shù)切到500三角形的版本100棵樹(shù)的三角形開(kāi)銷(xiāo)降到5萬(wàn)節(jié)省99%。移動(dòng)端上這種優(yōu)化尤其重要因?yàn)橐苿?dòng)GPU頂點(diǎn)處理能力比桌面差得多帶寬和發(fā)熱也都是硬約束。LOD不止是省三角形還關(guān)系到幀率的穩(wěn)定性。如果近距離三角形激增、遠(yuǎn)距離驟減幀時(shí)間會(huì)忽高忽低體感就是卡一下、順一下。合理的LOD切換能讓GPU負(fù)載在不同距離范圍保持相對(duì)均勻幀時(shí)間曲線(xiàn)平滑很多。3.2 網(wǎng)格簡(jiǎn)化從自動(dòng)減面工具到離線(xiàn)管線(xiàn)準(zhǔn)備多檔LOD第一步是生成簡(jiǎn)化網(wǎng)格。簡(jiǎn)單引擎里最務(wù)實(shí)的做法不是自己寫(xiě)一套簡(jiǎn)化算法而是用離線(xiàn)工具或開(kāi)源算法庫(kù)預(yù)先減面導(dǎo)出為多套網(wǎng)格文件。業(yè)界用得最廣的簡(jiǎn)化算法是QEMQuadric Error Metrics二次誤差度量思路是迭代地挑選合并后幾何誤差最小的邊進(jìn)行坍縮直到三角形數(shù)達(dá)到目標(biāo)。誤差用二次曲面近似衡量所以能優(yōu)先保住輪廓和特征線(xiàn)。自己在簡(jiǎn)單項(xiàng)目里完全可以直接用3D建模軟件或開(kāi)源網(wǎng)格處理庫(kù)的減面功能把高模減到75%、50%、25%、10%三角形數(shù)導(dǎo)出成幾個(gè)文件。我的做法是在資源管線(xiàn)里約定命名規(guī)則tree_LOD0.mesh、tree_LOD1.mesh……加載時(shí)統(tǒng)一裝入同一個(gè)LODGroup組件。如果確實(shí)想自己實(shí)現(xiàn)簡(jiǎn)化算法推薦從最基礎(chǔ)的頂點(diǎn)聚類(lèi)Vertex Clustering開(kāi)始把模型所在空間劃分成均勻網(wǎng)格每個(gè)格子內(nèi)的頂點(diǎn)合并成一個(gè)代表點(diǎn)從而降低頂點(diǎn)數(shù)。這個(gè)方法簡(jiǎn)單、可控、穩(wěn)定畫(huà)質(zhì)損失確實(shí)比QEM明顯但用來(lái)理解簡(jiǎn)化的本質(zhì)是信息取舍非常合適。跑通這條鏈路之后再去換成QEM也不遲。3.3 距離計(jì)算與切換閾值別讓LOD閃來(lái)閃去網(wǎng)格準(zhǔn)備好之后運(yùn)行時(shí)要做兩件事算距離、選LOD。距離計(jì)算通常有兩種口徑相機(jī)到物體包圍球中心的距離簡(jiǎn)單穩(wěn)定相機(jī)到包圍盒表面的距離更精確適合從內(nèi)部穿過(guò)的隧道類(lèi)物體。我默認(rèn)用包圍球中心距離開(kāi)銷(xiāo)低戶(hù)外場(chǎng)景里差距不大。切換閾值的選擇也有兩種思路。一種是直接給世界距離閾值比如50米切LOD1、150米切LOD2直觀、好調(diào)、容易理解。另一種是屏幕空間誤差Screen-Space Error把物體最大簡(jiǎn)化誤差投影到屏幕上當(dāng)誤差小于某個(gè)像素?cái)?shù)時(shí)才切換更專(zhuān)業(yè)但調(diào)試成本高。簡(jiǎn)單引擎強(qiáng)烈建議先用距離閾值跑起來(lái)之后再手工微調(diào)。這里有一個(gè)非常容易踩的細(xì)節(jié)延遲切換Hysteresis。如果切換閾值是20米物體在19.9米和20.1米之間來(lái)回移動(dòng)就會(huì)出現(xiàn)頻繁切換肉眼看到的就是模型在抽搐。解決辦法是讓升到更精細(xì)檔和降到更粗糙檔的閾值之間留一段緩沖區(qū)。比如LOD1在距離小于30米時(shí)切上來(lái)但要到距離大于45米時(shí)才切下去。這個(gè)緩沖區(qū)間能消掉大部分抖動(dòng)。3.4 離散LOD vs 連續(xù)LOD簡(jiǎn)單引擎先走哪條路主流水引擎里還有一種做法叫連續(xù)LODContinuous LOD同一份數(shù)據(jù)在運(yùn)行時(shí)根據(jù)距離動(dòng)態(tài)調(diào)整拓?fù)鋵?shí)時(shí)增減三角形。它省內(nèi)存還能避免切換瞬間的pop模型突變但實(shí)現(xiàn)復(fù)雜度高而且在Deferred渲染或靜態(tài)批次場(chǎng)景里要處理很多邊界情況。對(duì)simple engine我的建議非常明確先用離散LOD每檔一個(gè)mesh把框架跑通再說(shuō)。離散LOD唯一的缺點(diǎn)就是切換時(shí)可能有個(gè)可見(jiàn)突變但這個(gè)突變可以通過(guò)三種手段壓到很低把切換點(diǎn)放在物體移動(dòng)慢、屏幕占比小的位置用淡入淡出或頂點(diǎn)位置的線(xiàn)性過(guò)渡以及最樸素的——讓相鄰兩檔網(wǎng)格的拓?fù)浔M量接近。等框架穩(wěn)了若真有地形或大量植被需要連續(xù)過(guò)渡再演進(jìn)到CLOD也不晚。4. 接入渲染管線(xiàn)的工程細(xì)節(jié)驅(qū)動(dòng)能力、內(nèi)存開(kāi)銷(xiāo)與采樣器配置4.1 紋理上傳一次提交整個(gè)mip鏈在簡(jiǎn)單引擎里合理的數(shù)據(jù)流是導(dǎo)入器把mip鏈全部生成好渲染層創(chuàng)建紋理時(shí)用glTexImage2D逐級(jí)上傳。如果你用glGenerateMipmap自動(dòng)生成第0級(jí)上傳完后調(diào)用一次接口即可但這會(huì)在運(yùn)行時(shí)產(chǎn)生GPU端生成開(kāi)銷(xiāo)。我更傾向于在資源加載階段就準(zhǔn)備好完整mip鏈避免每次新建紋理時(shí)重復(fù)計(jì)算。偽代碼如下GLuint CreateTexture2D(const std::vectorImage mips, bool aniso) { GLuint tex; glGenTextures(1, tex); glBindTexture(GL_TEXTURE_2D, tex); for (int level 0; level (int)mips.size(); level) { const Image img mips[level]; glTexImage2D(GL_TEXTURE_2D, level, GL_RGBA8, img.width, img.height, 0, GL_RGBA, GL_UNSIGNED_BYTE, img.data.data()); } glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR_MIPMAP_LINEAR); glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR); glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_REPEAT); glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_REPEAT); if (aniso) { GLfloat maxAniso 0.f; glGetFloatv(GL_MAX_TEXTURE_MAX_ANISOTROPY_EXT, maxAniso); glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MAX_ANISOTROPY_EXT, std::min(4.0f, maxAniso)); } return tex; }這段代碼的潛在問(wèn)題在于GL_MAX_TEXTURE_MAX_ANISOTROPY_EXT這個(gè)枚舉在不同驅(qū)動(dòng)上的兼容性以及從glTexImage2D開(kāi)始到設(shè)置參數(shù)過(guò)程中任何一步的資源泄漏——如果外部代碼忘了glDeleteTextures一個(gè)帶mip鏈的紋理就會(huì)白白占著幾MB顯存不放。所以我會(huì)建議在Texture類(lèi)里用RAII管理生命周期析構(gòu)時(shí)統(tǒng)一釋放。4.2 內(nèi)存賬要算清Mipmap實(shí)際只多占1/3很多人一聽(tīng)說(shuō)mipmap以為內(nèi)存會(huì)翻倍其實(shí)并沒(méi)有。等比降采樣后整條mip鏈的總內(nèi)存是原始紋理的4/3也就是增加約33%。推導(dǎo)很簡(jiǎn)單第0級(jí)占1份第1級(jí)占1/4第2級(jí)占1/16……幾何級(jí)數(shù)求和S 1 1/4 1/16 1/64 ... 1 / (1 - 1/4) 4/3所以1024x1024的RGBA8紋理原始占4MB帶完整mip鏈后約5.33MB。場(chǎng)面上一串小紋理累加大概多占1/3顯存——這個(gè)代價(jià)換來(lái)的卻是巨大的帶寬節(jié)省因?yàn)檫h(yuǎn)處的像素不再需要把全分辨率texel從顯存拖進(jìn)緩存。做性能分析時(shí)這是一個(gè)非常劃算的交換。但要注意壓縮紋理的情況。ASTC、BC7等格式的每一級(jí)mip都有獨(dú)立的壓縮尺寸而且不同格式對(duì)最小尺寸對(duì)齊有要求比如某些格式要求每級(jí)寬高是4的倍數(shù)。如果在生成mip鏈時(shí)沒(méi)有提前對(duì)齊尺寸最后一兩級(jí)可能出現(xiàn)無(wú)效數(shù)據(jù)或加載失敗。這個(gè)問(wèn)題在導(dǎo)入管線(xiàn)里就要定好規(guī)范壓縮紋理由離線(xiàn)工具統(tǒng)一做好mip鏈運(yùn)行時(shí)只負(fù)責(zé)上傳不做在線(xiàn)生成。4.3 LOD數(shù)據(jù)組織LODGroup和渲染器的協(xié)作在運(yùn)行時(shí)我用一個(gè)LODGroup組件來(lái)管理一個(gè)物體的所有LOD網(wǎng)格struct LODGroup { std::vectorMesh* meshes; // LOD0, LOD1, ... std::vectorfloat minDistances; // 每級(jí)生效的最小距離 float switchRange; // 遲滯緩沖區(qū)間 };渲染器每幀的邏輯是取出相機(jī)位置計(jì)算物體中心到相機(jī)的距離從LOD0開(kāi)始向后找選擇第一個(gè)滿(mǎn)足dist minDistances[i]的mesh找不到則使用最后一級(jí)。配合前面說(shuō)的遲滯升級(jí)和降級(jí)各用一張不同的距離表就能有效防止抖動(dòng)。這里還有一個(gè)容易忽略的優(yōu)化LOD選擇不一定每幀都算。很多引擎會(huì)做按幀抽樣比如每隔0.2秒重新計(jì)算一次距離并選擇LOD中間幀沿用上一次結(jié)果。對(duì)慢速移動(dòng)的物體效果明顯能省一點(diǎn)CPU但要注意延遲不能大否則玩家快速轉(zhuǎn)頭時(shí)會(huì)看到遠(yuǎn)處的LOD切換明顯滯后。4.4 Shader側(cè)配合采樣器聲明與mip級(jí)控制接入渲染管線(xiàn)后Shader里通常只需要把紋理采樣器聲明成sampler2D過(guò)濾狀態(tài)由紋理對(duì)象本身決定。但如果你想主動(dòng)控制mip級(jí)比如做基于視角的銳化或者某些混合特效可以用textureLod(sampler, uv, lod)顯式指定。這在Mipmap調(diào)試時(shí)特別有用固定寫(xiě)一個(gè)LOD值就能直接觀察某個(gè)層級(jí)的畫(huà)面。還有一個(gè)常見(jiàn)誤區(qū)設(shè)置GL_TEXTURE_MAX_LOD限制了最大mip級(jí)卻忘記設(shè)GL_TEXTURE_MIN_LOD下限導(dǎo)致某些驅(qū)動(dòng)從異常層級(jí)開(kāi)始采樣。低配設(shè)備上偶爾出現(xiàn)的顏色偏差排查時(shí)先看這組參數(shù)是否對(duì)稱(chēng)設(shè)置能省下大量時(shí)間。5. 用調(diào)試視圖和性能數(shù)據(jù)說(shuō)話(huà)踩坑記錄與調(diào)優(yōu)驗(yàn)證5.1 先把當(dāng)前用的是哪一級(jí)可視化出來(lái)Mipmap和LOD的調(diào)試最怕的是看不出問(wèn)題在哪。我的第一個(gè)建議是給引擎加兩組可視化工具。第一組是mip級(jí)別顯示。用一個(gè)debug shader把實(shí)際采到的mip級(jí)編碼成顏色輸出比如LOD0紅、LOD1綠、LOD2藍(lán)、LOD3黃。一眼就能看出場(chǎng)景里哪些區(qū)域用了過(guò)高的mip級(jí)。如果你的API支持textureQueryLod之類(lèi)的查詢(xún)可以直接在shader里拿到實(shí)際的mip level不需要再猜。第二組是LOD邊界繪制。把每級(jí)LOD的切換距離用線(xiàn)框球體畫(huà)出來(lái)調(diào)試時(shí)拖動(dòng)相機(jī)進(jìn)出邊界直觀感受切換點(diǎn)是否合理。我還會(huì)在Debug UI里加兩個(gè)按鍵手動(dòng)強(qiáng)制切到LOD0或LOD2之類(lèi)的級(jí)別用來(lái)單獨(dú)觀察某一檔網(wǎng)格的視覺(jué)質(zhì)量。這兩組工具加在一起調(diào)參就不再是盲人摸象。5.2 我踩過(guò)的三個(gè)坑以及對(duì)應(yīng)解法第一個(gè)坑是mip邊緣顏色滲透。我用REPEAT尋址平鋪了一張帶高亮邊緣的磚墻貼圖拉遠(yuǎn)之后磚縫之間出現(xiàn)奇怪的暗色條紋。原因在于CPU生成mip時(shí)2x2平均跨過(guò)了平鋪邊界但驅(qū)動(dòng)在REPEAT模式下的自動(dòng)mip處理并不一定和我的生成邏輯一致。解法是在生成mip前把第0級(jí)紋理做邊緣擴(kuò)展復(fù)制讓降采樣能感知到平鋪的連續(xù)性實(shí)在不行就改用GL_CLAMP_TO_EDGE專(zhuān)門(mén)處理含邊緣語(yǔ)義的貼圖平鋪面另開(kāi)一張REPEAT紋理。第二個(gè)坑是NPOT紋理。某張道具貼圖尺寸是512x300我在某臺(tái)舊設(shè)備上上傳帶mip鏈的NPOT紋理后畫(huà)面直接黑屏回退到雙線(xiàn)性又正常了。原因是部分舊驅(qū)動(dòng)對(duì)NPOT紋理加Mipmap的支持不完整。解法要么在導(dǎo)入管線(xiàn)把NPOT紋理統(tǒng)一重采樣到二次冪既規(guī)整又能更好對(duì)齊壓縮格式要么提前確認(rèn)目標(biāo)設(shè)備對(duì)NPOT紋理加Mipmap的支持情況做功能開(kāi)關(guān)動(dòng)態(tài)回退。第三個(gè)坑是LOD切換引起的幾何漣漪。一套山體從LOD0切到LOD1時(shí)頂點(diǎn)位置變化太大切換瞬間山脊出現(xiàn)一圈肉眼可見(jiàn)的漣漪。解法有三個(gè)方向調(diào)整簡(jiǎn)化算法參數(shù)讓低模在切換臨界處盡量貼近高模位置也就是做保持邊緣拉開(kāi)切換距離讓變化發(fā)生在視覺(jué)注意力不集中的位置最后還可以做頂點(diǎn)混合過(guò)渡在過(guò)渡區(qū)間內(nèi)對(duì)兩個(gè)mesh的頂點(diǎn)位置做lerp。我最終用了頂點(diǎn)混合效果最好只是多花了一點(diǎn)CPU。5.3 實(shí)測(cè)數(shù)據(jù)多少優(yōu)化才算值得以我那個(gè)模擬項(xiàng)目X為例場(chǎng)景是一個(gè)約200米見(jiàn)方的區(qū)域里面大約300個(gè)帶LOD的靜態(tài)物體40張使用Mipmap的紋理。改造前既沒(méi)開(kāi)Mipmap也沒(méi)做LOD遠(yuǎn)處場(chǎng)景最低幀大約35fps改造完成后同樣場(chǎng)景能跑到55fps以上。拆開(kāi)看數(shù)據(jù)開(kāi)啟Mipmap后遠(yuǎn)處地面紋理的閃爍徹底消失紋理帶寬占用下降約30%加離散LOD后三角形數(shù)從約850萬(wàn)降到180萬(wàn)draw call數(shù)沒(méi)變但頂點(diǎn)處理時(shí)間明顯縮短。幀時(shí)間抖動(dòng)也從改造前的±8ms縮小到±2ms。這不是什么理想環(huán)境下的漂亮數(shù)字就是很普通場(chǎng)景量級(jí)的表現(xiàn)足以證明這兩個(gè)優(yōu)化在簡(jiǎn)單引擎里的性?xún)r(jià)比有多高。關(guān)鍵還是那句話(huà)不要拍腦袋設(shè)LOD閾值。先用場(chǎng)景截圖和profiler數(shù)據(jù)確定瓶頸再?zèng)Q定每檔LOD的切換距離。我把所有閾值都放在一個(gè)配置文件中每次調(diào)參后跑同一段固定路徑錄像對(duì)比比肉眼反復(fù)進(jìn)出場(chǎng)景高效得多。5.4 幾個(gè)親測(cè)有效的調(diào)優(yōu)小習(xí)慣第一Mipmap從大紋理開(kāi)始開(kāi)。512x512的磚墻可能看不出太大差異但2048x2048的復(fù)雜貼圖在遠(yuǎn)處就是重災(zāi)區(qū)。優(yōu)先把大尺寸紋理的mip鏈補(bǔ)上效果立竿見(jiàn)影。第二LOD從遠(yuǎn)處數(shù)量多的物體開(kāi)始做。樹(shù)木、石塊、路燈這類(lèi)重復(fù)物件才是LOD最大的受益者反而是那個(gè)唯一的主角模型優(yōu)先級(jí)沒(méi)這么高。第三每次改動(dòng)只做一件事。把Mipmap和LOD拆成兩個(gè)獨(dú)立分支來(lái)做獨(dú)立測(cè)、獨(dú)立回滾。這兩項(xiàng)優(yōu)化都有視覺(jué)上沒(méi)那么明顯但profiler上很顯著的特點(diǎn)一旦混在一起調(diào)試很容易錯(cuò)誤歸因。第四保留一個(gè)強(qiáng)制關(guān)閉的開(kāi)關(guān)。引擎里加一個(gè)--no-mip和--force-lod0的命令行參數(shù)方便隨時(shí)對(duì)照開(kāi)啟前后的畫(huà)面與幀率。這個(gè)開(kāi)關(guān)在后續(xù)優(yōu)化shader和材質(zhì)時(shí)也會(huì)派上大用場(chǎng)。第五調(diào)試Mipmap時(shí)給各級(jí)加上固定假色跑一個(gè)固定旋轉(zhuǎn)鏡頭看整體變化節(jié)奏。很多時(shí)候看起來(lái)糊并不是mip級(jí)別選得不對(duì)而是相鄰mip之間的過(guò)渡區(qū)太窄或太寬用假色視圖能直觀發(fā)現(xiàn)問(wèn)題出在切換節(jié)奏上。