1. 顯示驅(qū)動(dòng)調(diào)試的底層邏輯與工具選型思路顯示驅(qū)動(dòng)這個(gè)方向做過(guò)的朋友都清楚它跟普通的應(yīng)用層開(kāi)發(fā)完全是兩碼事。應(yīng)用層出了問(wèn)題你打個(gè)日志、斷個(gè)點(diǎn)大概率能定位到但顯示驅(qū)動(dòng)跑在內(nèi)核態(tài)一旦時(shí)序不對(duì)、寄存器配錯(cuò)輕則花屏閃屏重則直接黑屏死機(jī)連日志都來(lái)不及打。所以調(diào)試工具的選擇和使用基本決定了你排查問(wèn)題的效率上限。我這些年接觸過(guò)不少做顯示驅(qū)動(dòng)的同行發(fā)現(xiàn)一個(gè)普遍現(xiàn)象新手往往一上來(lái)就盯著代碼看試圖靠純邏輯推演找到問(wèn)題而老手第一反應(yīng)是先把工具鏈搭好用工具把“看不見(jiàn)”的信號(hào)變成“看得見(jiàn)”的數(shù)據(jù)。這個(gè)思維差異本質(zhì)上就是對(duì)調(diào)試工具價(jià)值的認(rèn)知差距。顯示驅(qū)動(dòng)的調(diào)試工具按功能維度大致可以分成幾類。第一類是寄存器讀寫與查看工具用來(lái)直接操作顯示控制器內(nèi)部的寄存器驗(yàn)證配置是否生效第二類是時(shí)序測(cè)量工具比如示波器和邏輯分析儀用來(lái)抓取實(shí)際的信號(hào)波形確認(rèn)時(shí)序參數(shù)是否符合預(yù)期第三類是幀緩沖與圖層調(diào)試工具用來(lái)查看當(dāng)前顯示內(nèi)容的合成狀態(tài)第四類是內(nèi)核日志與追蹤工具用來(lái)觀察驅(qū)動(dòng)內(nèi)部的執(zhí)行流程和狀態(tài)變化。為什么要把工具按這個(gè)維度分類因?yàn)轱@示驅(qū)動(dòng)的問(wèn)題歸根結(jié)底就三種配置問(wèn)題、時(shí)序問(wèn)題、數(shù)據(jù)問(wèn)題。配置問(wèn)題靠寄存器工具查時(shí)序問(wèn)題靠測(cè)量工具抓數(shù)據(jù)問(wèn)題靠幀緩沖工具看。你把問(wèn)題類型和工具對(duì)應(yīng)起來(lái)排查路徑就清晰了不會(huì)像無(wú)頭蒼蠅一樣亂撞。選型的時(shí)候還有一個(gè)關(guān)鍵考量工具的侵入性。有些調(diào)試手段需要修改驅(qū)動(dòng)代碼、重新編譯內(nèi)核這在開(kāi)發(fā)階段沒(méi)問(wèn)題但在產(chǎn)線調(diào)試或者客戶現(xiàn)場(chǎng)就很不方便。所以一個(gè)成熟的顯示驅(qū)動(dòng)工程師手里應(yīng)該同時(shí)備著“重武器”和“輕武器”——重武器用來(lái)深度分析輕武器用來(lái)快速定位。提示工具選型的第一原則不是“哪個(gè)功能最強(qiáng)”而是“哪個(gè)最適合當(dāng)前場(chǎng)景”。開(kāi)發(fā)階段可以用全套工具產(chǎn)線階段優(yōu)先選非侵入式方案。2. 寄存器級(jí)調(diào)試工具的核心用法與實(shí)操細(xì)節(jié)2.1 寄存器讀寫工具的工作原理顯示控制器的寄存器本質(zhì)上就是一塊內(nèi)存映射區(qū)域。CPU通過(guò)總線地址訪問(wèn)這些寄存器寫入配置值讀取狀態(tài)值。寄存器調(diào)試工具做的事情就是幫你完成這個(gè)讀寫過(guò)程并且把結(jié)果以可讀的形式呈現(xiàn)出來(lái)。常見(jiàn)的寄存器操作方式有兩種一種是通過(guò)調(diào)試文件系統(tǒng)接口比如在很多嵌入式平臺(tái)上可以直接用命令行工具讀寫物理地址空間另一種是通過(guò)驅(qū)動(dòng)暴露的調(diào)試節(jié)點(diǎn)這種方式更安全因?yàn)轵?qū)動(dòng)會(huì)幫你處理地址映射和并發(fā)保護(hù)。我個(gè)人的習(xí)慣是在驅(qū)動(dòng)初始化階段就把關(guān)鍵寄存器的默認(rèn)值打印出來(lái)存一份“基準(zhǔn)快照”。后面一旦出現(xiàn)異常先讀一遍當(dāng)前寄存器值跟基準(zhǔn)快照對(duì)比差異點(diǎn)往往就是問(wèn)題所在。這個(gè)思路聽(tīng)起來(lái)簡(jiǎn)單但實(shí)際用起來(lái)非常高效尤其是排查那些“改了一行代碼就花屏”的問(wèn)題。2.2 關(guān)鍵寄存器分組與排查優(yōu)先級(jí)顯示控制器的寄存器數(shù)量通常很多從幾十個(gè)到上百個(gè)不等。如果一個(gè)個(gè)看效率太低。我的做法是按功能分組然后按優(yōu)先級(jí)排查。寄存器分組主要功能排查優(yōu)先級(jí)常見(jiàn)異常表現(xiàn)時(shí)鐘與電源控制控制像素時(shí)鐘、接口時(shí)鐘、模塊供電最高黑屏、無(wú)信號(hào)輸出時(shí)序參數(shù)配置行場(chǎng)同步、前后肩、有效像素高畫(huà)面偏移、閃爍、分辨率不對(duì)圖層與合成圖層使能、混合模式、位置大小中圖層缺失、疊加異常接口協(xié)議MIPI/LVDS/eDP等接口參數(shù)高無(wú)顯示、花屏、顏色異常中斷與狀態(tài)中斷使能、狀態(tài)標(biāo)志中中斷不觸發(fā)、狀態(tài)卡死這個(gè)表格是我自己總結(jié)的實(shí)際排查時(shí)基本按這個(gè)順序走。時(shí)鐘和電源永遠(yuǎn)排第一因?yàn)槿绻麜r(shí)鐘沒(méi)起來(lái)后面所有配置都是白搭。我見(jiàn)過(guò)不少新手一上來(lái)就調(diào)時(shí)序參數(shù)結(jié)果查了半天發(fā)現(xiàn)是時(shí)鐘模塊的電源域沒(méi)打開(kāi)。2.3 寄存器調(diào)試的實(shí)操步驟與避坑經(jīng)驗(yàn)具體操作上我通常按這個(gè)流程走確認(rèn)模塊上電和時(shí)鐘使能先讀電源狀態(tài)寄存器和時(shí)鐘控制寄存器確認(rèn)顯示模塊已經(jīng)處于工作狀態(tài)。這一步可以用命令行工具直接讀也可以加打印。讀取時(shí)序配置寄存器把行場(chǎng)同步、前后肩、有效區(qū)域這些參數(shù)讀出來(lái)跟手冊(cè)上的預(yù)期值對(duì)比。這里要注意有些平臺(tái)的寄存器值是從實(shí)際值減一得到的別直接拿計(jì)算值去比。檢查圖層使能和格式確認(rèn)目標(biāo)圖層已經(jīng)使能像素格式配置正確。我遇到過(guò)好幾次花屏最后發(fā)現(xiàn)是圖層格式設(shè)成了RGB565但實(shí)際數(shù)據(jù)是RGB888。查看中斷狀態(tài)寄存器如果畫(huà)面不動(dòng)先看中斷有沒(méi)有正常觸發(fā)。中斷狀態(tài)寄存器的標(biāo)志位能告訴你很多信息比如vsync有沒(méi)有來(lái)、underflow有沒(méi)有發(fā)生。注意讀寫寄存器時(shí)一定要確認(rèn)地址映射關(guān)系。有些平臺(tái)有多個(gè)地址空間搞錯(cuò)了可能讀到別的模塊的寄存器得出完全錯(cuò)誤的結(jié)論。還有一個(gè)坑值得單獨(dú)說(shuō)寄存器寫入的時(shí)序依賴。有些寄存器必須在特定條件下寫入才生效比如必須在vsync中斷里寫、或者必須先關(guān)掉某個(gè)使能位再寫。如果你發(fā)現(xiàn)寫了寄存器但沒(méi)效果先別懷疑工具去查手冊(cè)確認(rèn)寫入條件。3. 時(shí)序測(cè)量工具在顯示驅(qū)動(dòng)中的實(shí)戰(zhàn)應(yīng)用3.1 示波器與邏輯分析儀的分工時(shí)序問(wèn)題在顯示驅(qū)動(dòng)里非常常見(jiàn)而且往往是最難排查的一類。因?yàn)闀r(shí)序是“動(dòng)態(tài)”的你光看寄存器配置值只能知道“應(yīng)該是什么樣”但實(shí)際信號(hào)“是不是這樣”必須用測(cè)量工具抓。示波器和邏輯分析儀是兩把不同的刀。示波器擅長(zhǎng)看模擬特性比如信號(hào)質(zhì)量、上升沿下降沿、電平幅度、抖動(dòng)邏輯分析儀擅長(zhǎng)看數(shù)字協(xié)議比如MIPI的包內(nèi)容、LVDS的串行數(shù)據(jù)解碼。顯示驅(qū)動(dòng)調(diào)試中兩者經(jīng)常配合使用。我的經(jīng)驗(yàn)是先看時(shí)鐘和數(shù)據(jù)線的模擬波形確認(rèn)信號(hào)完整性沒(méi)問(wèn)題再用邏輯分析儀解碼協(xié)議層內(nèi)容。如果模擬層就有問(wèn)題比如時(shí)鐘抖動(dòng)太大、數(shù)據(jù)線電平不對(duì)那協(xié)議層肯定也是錯(cuò)的先解決模擬問(wèn)題再說(shuō)。3.2 關(guān)鍵時(shí)序參數(shù)的測(cè)量方法顯示接口的時(shí)序參數(shù)核心就是幾個(gè)像素時(shí)鐘頻率、行同步寬度、場(chǎng)同步寬度、前后肩。這些參數(shù)在寄存器里配置但實(shí)際輸出是否準(zhǔn)確必須測(cè)量。以像素時(shí)鐘為例測(cè)量方法是用示波器探頭接時(shí)鐘線看頻率和占空比。這里有個(gè)細(xì)節(jié)探頭的帶寬和負(fù)載效應(yīng)。如果探頭帶寬不夠測(cè)出來(lái)的時(shí)鐘波形會(huì)失真頻率讀數(shù)可能偏差很大。我一般用帶寬至少是時(shí)鐘頻率5倍以上的探頭并且用高阻模式減少負(fù)載。行場(chǎng)同步的測(cè)量稍微復(fù)雜一點(diǎn)。你需要同時(shí)抓時(shí)鐘線和同步線然后看同步信號(hào)跟時(shí)鐘的對(duì)應(yīng)關(guān)系。邏輯分析儀在這方面更方便因?yàn)樗梢酝瑫r(shí)抓多路信號(hào)并且自動(dòng)解碼時(shí)序關(guān)系。測(cè)量項(xiàng)目推薦工具關(guān)鍵觀察點(diǎn)常見(jiàn)異常像素時(shí)鐘頻率示波器頻率、占空比、抖動(dòng)頻率偏差大、抖動(dòng)超標(biāo)行同步時(shí)序邏輯分析儀同步寬度、前后肩同步寬度不對(duì)、極性反了場(chǎng)同步時(shí)序邏輯分析儀場(chǎng)頻、場(chǎng)同步寬度場(chǎng)頻不對(duì)、畫(huà)面滾動(dòng)數(shù)據(jù)線信號(hào)質(zhì)量示波器眼圖、電平幅度眼圖閉合、電平不達(dá)標(biāo)協(xié)議層內(nèi)容邏輯分析儀包格式、數(shù)據(jù)類型包錯(cuò)誤、數(shù)據(jù)類型不匹配3.3 時(shí)序問(wèn)題排查的典型場(chǎng)景說(shuō)一個(gè)我印象比較深的場(chǎng)景。有一次調(diào)試一個(gè)MIPI接口的屏畫(huà)面能顯示但偶爾會(huì)閃一下。寄存器配置查了好幾遍都沒(méi)問(wèn)題最后用邏輯分析儀抓了長(zhǎng)時(shí)間的波形發(fā)現(xiàn)每隔幾秒會(huì)出現(xiàn)一次時(shí)鐘抖動(dòng)超標(biāo)。順著這個(gè)線索查下去發(fā)現(xiàn)是電源紋波導(dǎo)致的時(shí)鐘不穩(wěn)定。這種問(wèn)題你不抓波形根本不可能找到。還有一個(gè)常見(jiàn)場(chǎng)景是畫(huà)面偏移。表現(xiàn)是圖像整體往左或往右偏了幾個(gè)像素。這種問(wèn)題通常是行同步的前肩或后肩配置不對(duì)。用邏輯分析儀抓一下行同步信號(hào)和有效數(shù)據(jù)的關(guān)系很快就能定位。提示時(shí)序測(cè)量一定要在穩(wěn)定顯示的狀態(tài)下抓如果畫(huà)面本身就在閃先解決閃的問(wèn)題再測(cè)時(shí)序否則數(shù)據(jù)沒(méi)有參考價(jià)值。4. 幀緩沖與圖層調(diào)試工具的深度解析4.1 幀緩沖查看工具的使用場(chǎng)景幀緩沖是顯示驅(qū)動(dòng)最終輸出的數(shù)據(jù)。很多時(shí)候問(wèn)題出在“驅(qū)動(dòng)以為輸出對(duì)了但實(shí)際數(shù)據(jù)不對(duì)”。這時(shí)候就需要幀緩沖查看工具把當(dāng)前幀的內(nèi)容dump出來(lái)看看實(shí)際是什么。這類工具的使用場(chǎng)景主要有幾個(gè)一是畫(huà)面顏色不對(duì)懷疑像素格式或顏色空間轉(zhuǎn)換有問(wèn)題二是畫(huà)面內(nèi)容不對(duì)懷疑圖層合成順序或位置有問(wèn)題三是畫(huà)面有撕裂懷疑幀同步機(jī)制有問(wèn)題。dump幀緩沖的方法不同平臺(tái)不太一樣。有些平臺(tái)支持通過(guò)調(diào)試節(jié)點(diǎn)直接導(dǎo)出有些需要寫個(gè)小工具從顯存里讀。我一般會(huì)寫一個(gè)簡(jiǎn)單的腳本把幀緩沖數(shù)據(jù)導(dǎo)出成圖片格式然后用圖片查看器打開(kāi)這樣最直觀。4.2 圖層合成狀態(tài)的調(diào)試方法現(xiàn)代顯示控制器基本都支持多層合成。圖層調(diào)試的核心是確認(rèn)每個(gè)圖層的狀態(tài)使能了沒(méi)有、位置對(duì)不對(duì)、大小對(duì)不對(duì)、格式對(duì)不對(duì)、混合模式對(duì)不對(duì)。我通常的做法是先把所有圖層關(guān)掉只開(kāi)一個(gè)背景層確認(rèn)基礎(chǔ)顯示正常。然后逐個(gè)打開(kāi)圖層每開(kāi)一個(gè)就看一次效果。這樣能快速定位是哪個(gè)圖層出了問(wèn)題。圖層調(diào)試還有一個(gè)容易忽略的點(diǎn)圖層的Z序。Z序決定了哪個(gè)圖層在上面。如果Z序配錯(cuò)了該顯示的圖層被蓋住了看起來(lái)就像圖層沒(méi)生效。我遇到過(guò)好幾次查了半天圖層配置最后發(fā)現(xiàn)是Z序反了。4.3 幀緩沖調(diào)試的實(shí)操案例說(shuō)一個(gè)具體的例子。有一次調(diào)試一個(gè)雙圖層場(chǎng)景背景層是視頻前景層是UI。問(wèn)題是UI層偶爾會(huì)閃一下背景的內(nèi)容。用幀緩沖dump工具抓了出問(wèn)題時(shí)的幀數(shù)據(jù)發(fā)現(xiàn)UI層的緩沖區(qū)里混入了背景層的數(shù)據(jù)。順著這個(gè)線索查下去發(fā)現(xiàn)是兩層共用了同一塊內(nèi)存區(qū)域在某些時(shí)序下發(fā)生了寫沖突。這種問(wèn)題你不dump幀緩沖根本看不出來(lái)因?yàn)閺募拇嫫髋渲蒙峡匆磺姓?。調(diào)試場(chǎng)景工具觀察重點(diǎn)解決思路顏色異常幀緩沖dump像素值、格式檢查格式配置和轉(zhuǎn)換矩陣圖層缺失圖層狀態(tài)查看使能位、Z序確認(rèn)使能和層級(jí)配置畫(huà)面撕裂幀同步追蹤幀計(jì)數(shù)、vsync檢查同步機(jī)制和緩沖數(shù)量?jī)?nèi)容錯(cuò)亂幀緩沖dump內(nèi)存內(nèi)容檢查內(nèi)存分配和寫保護(hù)5. 內(nèi)核日志與追蹤工具的高階技巧5.1 顯示驅(qū)動(dòng)日志的分級(jí)與過(guò)濾內(nèi)核日志是顯示驅(qū)動(dòng)調(diào)試的基礎(chǔ)工具但很多人用不好原因是日志太多太雜關(guān)鍵信息被淹沒(méi)了。我的做法是給顯示驅(qū)動(dòng)的日志做分級(jí)然后按級(jí)別過(guò)濾。一般分三級(jí)錯(cuò)誤級(jí)只打印致命錯(cuò)誤比如初始化失敗、中斷異常警告級(jí)打印可能有問(wèn)題但不致命的情況比如參數(shù)超出預(yù)期范圍調(diào)試級(jí)打印詳細(xì)的流程信息比如每個(gè)函數(shù)的進(jìn)出、關(guān)鍵變量的值。開(kāi)發(fā)階段可以開(kāi)調(diào)試級(jí)但產(chǎn)線階段一定要關(guān)掉否則日志量太大會(huì)影響性能。我見(jiàn)過(guò)一個(gè)案例調(diào)試日志沒(méi)關(guān)導(dǎo)致每幀都打印大量信息最后顯示性能嚴(yán)重下降還以為是驅(qū)動(dòng)本身的問(wèn)題。5.2 追蹤工具在顯示驅(qū)動(dòng)中的特殊用法除了普通日志追蹤工具在顯示驅(qū)動(dòng)里也有大用。比如你可以用追蹤工具記錄每幀的vsync中斷時(shí)間戳然后分析幀率的穩(wěn)定性。如果發(fā)現(xiàn)幀間隔忽大忽小說(shuō)明系統(tǒng)里有其他任務(wù)在搶資源。還有一種用法是追蹤寄存器的寫入序列。有些問(wèn)題只在特定的寄存器寫入順序下出現(xiàn)用追蹤工具把寫入序列記錄下來(lái)對(duì)比正常和異常情況差異點(diǎn)就是線索。注意追蹤工具本身也會(huì)消耗系統(tǒng)資源開(kāi)啟前先評(píng)估對(duì)顯示性能的影響。如果追蹤本身導(dǎo)致問(wèn)題消失那說(shuō)明問(wèn)題是時(shí)序敏感的反而給了你排查方向。5.3 日志分析的實(shí)戰(zhàn)經(jīng)驗(yàn)分析日志有個(gè)技巧不要只看錯(cuò)誤日志要看錯(cuò)誤之前的最后幾條正常日志。錯(cuò)誤往往是前面某個(gè)操作的結(jié)果而不是原因。我習(xí)慣把日志按時(shí)間軸排開(kāi)從錯(cuò)誤點(diǎn)往前推看最近一次狀態(tài)變化是什么。還有一個(gè)經(jīng)驗(yàn)是給關(guān)鍵流程加上唯一標(biāo)識(shí)。比如每幀處理開(kāi)始和結(jié)束都打印同一個(gè)幀號(hào)這樣你就能追蹤一幀的完整生命周期看看在哪一步卡住了或者走錯(cuò)了分支。6. 常見(jiàn)問(wèn)題速查與避坑指南6.1 顯示驅(qū)動(dòng)調(diào)試常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因排查工具解決方向完全黑屏?xí)r鐘未使能、電源未上電寄存器工具檢查時(shí)鐘和電源寄存器花屏像素格式錯(cuò)誤、內(nèi)存沖突幀緩沖dump檢查格式配置和內(nèi)存分配閃屏?xí)r鐘抖動(dòng)、電源紋波示波器檢查時(shí)鐘質(zhì)量和電源穩(wěn)定性畫(huà)面偏移時(shí)序參數(shù)錯(cuò)誤邏輯分析儀調(diào)整前后肩參數(shù)圖層不顯示使能位未開(kāi)、Z序錯(cuò)誤圖層狀態(tài)查看確認(rèn)使能和層級(jí)配置幀率不穩(wěn)資源競(jìng)爭(zhēng)、中斷延遲追蹤工具分析中斷時(shí)間戳和任務(wù)調(diào)度顏色異常顏色空間轉(zhuǎn)換錯(cuò)誤幀緩沖dump檢查轉(zhuǎn)換矩陣和格式撕裂幀同步機(jī)制問(wèn)題幀同步追蹤檢查緩沖數(shù)量和同步策略6.2 獨(dú)家避坑技巧第一個(gè)坑不要迷信寄存器手冊(cè)的默認(rèn)值。有些平臺(tái)的寄存器復(fù)位值跟手冊(cè)寫的不一樣或者被bootloader改過(guò)。我習(xí)慣在驅(qū)動(dòng)初始化時(shí)先把所有關(guān)鍵寄存器讀一遍確認(rèn)實(shí)際值而不是假設(shè)它們都是默認(rèn)值。第二個(gè)坑時(shí)序參數(shù)的計(jì)算要考慮實(shí)際時(shí)鐘頻率。手冊(cè)上給的參數(shù)往往是基于理想時(shí)鐘頻率的但實(shí)際時(shí)鐘可能有偏差。我一般會(huì)留一定的余量比如前后肩多給幾個(gè)像素的時(shí)間避免因?yàn)闀r(shí)鐘偏差導(dǎo)致時(shí)序不滿足。第三個(gè)坑調(diào)試工具本身可能影響被測(cè)系統(tǒng)。比如邏輯分析儀的探頭負(fù)載可能影響信號(hào)質(zhì)量追蹤工具可能改變?nèi)蝿?wù)調(diào)度。如果發(fā)現(xiàn)加上工具后問(wèn)題消失別高興太早那說(shuō)明問(wèn)題是邊界條件觸發(fā)的反而要更小心地分析。第四個(gè)坑不要忽略硬件問(wèn)題。我見(jiàn)過(guò)太多案例軟件查了半天最后發(fā)現(xiàn)是硬件連接問(wèn)題比如排線接觸不良、電源不穩(wěn)。遇到詭異問(wèn)題先確認(rèn)硬件沒(méi)問(wèn)題再查軟件。6.3 工具鏈搭建的個(gè)人建議如果你剛開(kāi)始做顯示驅(qū)動(dòng)調(diào)試我建議按這個(gè)順序搭建工具鏈先搞定寄存器讀寫工具這是最基礎(chǔ)的然后搞一套日志系統(tǒng)能分級(jí)過(guò)濾再根據(jù)實(shí)際需要逐步添置示波器、邏輯分析儀這些測(cè)量設(shè)備。工具不在多在于用熟。我見(jiàn)過(guò)有人工具一大堆但每個(gè)都只會(huì)基本操作遇到問(wèn)題還是抓瞎。反而是那些把兩三種工具用到極致的人排查效率最高。最后分享一個(gè)小技巧建立自己的調(diào)試筆記。每次遇到問(wèn)題把現(xiàn)象、排查過(guò)程、最終原因、解決方法都記下來(lái)。時(shí)間長(zhǎng)了這就是你自己的知識(shí)庫(kù)比任何手冊(cè)都管用。我這些年積累的筆記幫我省了無(wú)數(shù)重復(fù)排查的時(shí)間。