1. 先糾正一個(gè)直覺(jué)主頻高、跑得快并不會(huì)讓系統(tǒng)“實(shí)時(shí)”我調(diào)試過(guò)一臺(tái)設(shè)備主控從一顆中等主頻的MCU換成更高主頻、帶浮點(diǎn)單元的新芯片采集周期、控制算法代碼一行沒(méi)改。結(jié)果反而出現(xiàn)偶發(fā)抖動(dòng)甚至有過(guò)一次看起來(lái)完全不該發(fā)生的重啟。當(dāng)時(shí)團(tuán)隊(duì)第一反應(yīng)是“新芯片沒(méi)調(diào)好”查下去才發(fā)現(xiàn)問(wèn)題壓根不出在算力上。做嵌入式的人很容易把“實(shí)時(shí)性”理解成“處理得快”。這恰恰是整個(gè)領(lǐng)域最貴的一個(gè)誤會(huì)。實(shí)時(shí)性真正的意思是系統(tǒng)能不能在約定的時(shí)間點(diǎn)之前確定地完成該做的事。它不關(guān)心你平均跑得多快、峰值吞吐有多高只關(guān)心一個(gè)最壞情況下的邊界——也就是“截止時(shí)間”deadline。1.1 實(shí)時(shí)性衡量的不是“平均速度”而是“最壞情況下的上界”先看一組我經(jīng)常拿來(lái)測(cè)試新人的對(duì)比數(shù)據(jù)。假設(shè)有兩個(gè)系統(tǒng)都要處理一個(gè)周期為50ms的控制任務(wù)指標(biāo)系統(tǒng)A系統(tǒng)B平均執(zhí)行時(shí)間1ms5ms最壞執(zhí)行時(shí)間40ms6ms能否穩(wěn)定滿(mǎn)足50ms截止時(shí)間偶爾能經(jīng)常懸穩(wěn)定滿(mǎn)足系統(tǒng)A的平均執(zhí)行時(shí)間只有1ms看起來(lái)比系統(tǒng)B的5ms快很多。但在實(shí)時(shí)系統(tǒng)里A是災(zāi)難級(jí)的因?yàn)樗顗那闆r下要跑40ms而且這個(gè)最壞值何時(shí)出現(xiàn)完全無(wú)法預(yù)測(cè)。一旦它出現(xiàn)下一個(gè)周期的任務(wù)又會(huì)跟著推遲系統(tǒng)直接進(jìn)入超時(shí)狀態(tài)。系統(tǒng)B平時(shí)看起來(lái)“笨”一點(diǎn)但它最壞也就6ms離截止時(shí)間有充足余量整個(gè)控制回路都能在可預(yù)測(cè)的節(jié)奏里跑。對(duì)實(shí)時(shí)系統(tǒng)來(lái)說(shuō)B才是合格的。這就像一個(gè)物流公司承諾“平均3天送到”和“最遲5天必到”之間的差別。做實(shí)時(shí)系統(tǒng)你需要的不是平均你需要的是“承諾”本身。截止時(shí)間就是這個(gè)承諾的邊界超過(guò)它任務(wù)即使完成了也是失敗。1.2 “跑得快”掩蓋了什么中斷延遲、調(diào)度延遲與阻塞時(shí)間那提高主頻是不是完全沒(méi)用有用但它只能在“純計(jì)算時(shí)間”上做文章。而實(shí)時(shí)系統(tǒng)里一個(gè)任務(wù)從“事件發(fā)生”到“動(dòng)作輸出”時(shí)間開(kāi)銷(xiāo)分布在很多環(huán)節(jié)中斷延遲外設(shè)發(fā)出中斷請(qǐng)求到CPU真正跳進(jìn)ISR第一條指令之間的時(shí)間。只要系統(tǒng)里有任何一段關(guān)中斷的臨界區(qū)這段延遲就會(huì)被拉長(zhǎng)。調(diào)度延遲任務(wù)已經(jīng)就緒但RTOS調(diào)度器要等當(dāng)前任務(wù)主動(dòng)出讓CPU或被搶占才能把控制權(quán)交給高優(yōu)先級(jí)任務(wù)。上下文切換開(kāi)銷(xiāo)寄存器保存、棧切換、內(nèi)核態(tài)進(jìn)出這部分和主頻相關(guān)但在整體時(shí)間里占比通常不大。阻塞時(shí)間等待互斥鎖、信號(hào)量、硬件總線(xiàn)I2C、SPI、CAN的時(shí)間。這種等待可能持續(xù)幾百微秒甚至幾毫秒和主頻沒(méi)有任何關(guān)系。所以會(huì)出現(xiàn)一種反直覺(jué)的現(xiàn)象主頻提升后任務(wù)平均執(zhí)行時(shí)間確實(shí)縮短了但某一次鎖沖突、某一次DMA搬運(yùn)等待、某一次關(guān)中斷臨界區(qū)調(diào)度延遲輕輕松松就把省下的零點(diǎn)幾毫秒全部吃回去甚至倒虧。高主頻還帶來(lái)新的問(wèn)題功耗上升散熱變差flash讀取需要插入等待周期CPU cache命中率不穩(wěn)定外設(shè)和總線(xiàn)時(shí)鐘不一定跟著同步提升。這些都是時(shí)序抖動(dòng)的來(lái)源。我后來(lái)復(fù)盤(pán)那次“換芯片后偶發(fā)抖動(dòng)”的經(jīng)驗(yàn)發(fā)現(xiàn)新芯片雖然算得快但內(nèi)存系統(tǒng)的延遲和中斷控制器行為變了反而把系統(tǒng)最壞延遲從原來(lái)的可預(yù)測(cè)變成不可預(yù)測(cè)。所以實(shí)時(shí)性設(shè)計(jì)的第一條原則不是問(wèn)“這顆芯片有多快”而是問(wèn)“這條路徑上所有環(huán)節(jié)的最壞時(shí)間加在一起能不能壓進(jìn)截止時(shí)間以?xún)?nèi)。”2. 錯(cuò)過(guò)截止時(shí)間后系統(tǒng)是怎么一步步“失穩(wěn)”的標(biāo)題里說(shuō)要“失穩(wěn)”不是嚇唬人。錯(cuò)過(guò)截止時(shí)間的直接后果往往不是立刻崩潰而是系統(tǒng)進(jìn)入一種持續(xù)偏離正常狀態(tài)、自我放大的過(guò)程。不同結(jié)構(gòu)的系統(tǒng)失穩(wěn)的路徑不一樣但底層邏輯是共通的每一個(gè)任務(wù)都以為自己是偶發(fā)地慢了一次但下游任務(wù)、緩沖區(qū)、控制回路會(huì)把這一次次的“偶發(fā)”累積成系統(tǒng)性故障。2.1 控制回路的“相位滯后→振蕩→發(fā)散”鏈條做電機(jī)控制、電源控制、溫控、飛行姿態(tài)控制的工程師對(duì)這節(jié)的內(nèi)容會(huì)特別有共鳴。一個(gè)典型的閉環(huán)反饋系統(tǒng)控制器以固定周期T反復(fù)執(zhí)行采樣傳感器數(shù)據(jù)計(jì)算控制量輸出到執(zhí)行器。這個(gè)周期T為什么不能隨意亂變因?yàn)樵诳刂圃砝锊蓸又芷诤蛨?zhí)行延遲都直接作用于回路增益與相位。假設(shè)控制任務(wù)從采樣到輸出之間的延遲是τ那么這個(gè)延遲對(duì)應(yīng)一個(gè)相位滯后相位滯后 2π f τ。f是信號(hào)的頻率τ越大滯后越嚴(yán)重。當(dāng)相位滯后增大到一定程度系統(tǒng)的相位裕度下降原本穩(wěn)定的回路開(kāi)始振蕩甚至發(fā)散。關(guān)鍵在這里如果τ是一個(gè)固定值那還好設(shè)計(jì)階段可以把它算進(jìn)模型里。但實(shí)時(shí)系統(tǒng)里錯(cuò)過(guò)截止時(shí)間意味著τ不再是固定值它會(huì)隨著任務(wù)拖欠、排隊(duì)時(shí)間變化而不斷波動(dòng)。一個(gè)本來(lái)只有2ms的延遲某次變成10ms再下一次變成15ms。相位裕度在不同周期之間忽大忽小系統(tǒng)就會(huì)表現(xiàn)出間歇性的振蕩溫度過(guò)沖、電機(jī)抖動(dòng)、PWM波形毛刺。我見(jiàn)過(guò)一個(gè)實(shí)例一塊溫控板卡控制器周期是100ms平時(shí)壓得很穩(wěn)波動(dòng)不到正負(fù)0.5度。后來(lái)有人往里加了一個(gè)“看門(mén)狗喂狗”的任務(wù)優(yōu)先級(jí)還設(shè)置錯(cuò)了導(dǎo)致控制器任務(wù)經(jīng)常被推遲執(zhí)行。表面上看控制任務(wù)還是每100ms跑一次但實(shí)際采樣的數(shù)據(jù)有時(shí)是舊的輸出執(zhí)行時(shí)刻忽前忽后。結(jié)果溫控波動(dòng)拉大到正負(fù)2度客戶(hù)那邊直接判定不合格。這就是典型的“截止時(shí)間被錯(cuò)過(guò)但任務(wù)本身沒(méi)有丟”——系統(tǒng)沒(méi)有崩潰穩(wěn)定性已經(jīng)被破壞了。2.2 事件驅(qū)動(dòng)的“任務(wù)堆積→雪崩”鏈條和周期控制不同另一類(lèi)系統(tǒng)是事件驅(qū)動(dòng)的串口收到報(bào)文、CAN總線(xiàn)來(lái)了一幀數(shù)據(jù)、網(wǎng)絡(luò)包到達(dá)。這類(lèi)系統(tǒng)的失穩(wěn)路徑更常表現(xiàn)為“雪崩”。假設(shè)一個(gè)通信任務(wù)每收到一串完整報(bào)文要在1ms內(nèi)解析并寫(xiě)入共享數(shù)據(jù)結(jié)構(gòu)。正常時(shí)候報(bào)文一個(gè)接一個(gè)處理得干干凈凈。但某一次高優(yōu)先級(jí)任務(wù)長(zhǎng)時(shí)間占用CPU通信任務(wù)錯(cuò)過(guò)了截止時(shí)間又恰好在這段時(shí)間里緩沖區(qū)堆積了好幾幀報(bào)文。等通信任務(wù)被調(diào)度到它發(fā)現(xiàn)緩沖區(qū)里有5幀數(shù)據(jù)要處理哪怕每一幀只處理1ms也要5ms。在這5ms里新的報(bào)文繼續(xù)進(jìn)來(lái)緩沖區(qū)越積越多最終溢出、丟包。丟包的后果是上層協(xié)議開(kāi)始重傳重傳又增加了網(wǎng)絡(luò)負(fù)載讓通信任務(wù)更忙不過(guò)來(lái)。整個(gè)系統(tǒng)進(jìn)入一種“持續(xù)超載”狀態(tài)——不是哪一次突然崩潰而是一直在超時(shí)、丟包、重試之間惡性循環(huán)。這類(lèi)失穩(wěn)最麻煩的地方在于表面上看系統(tǒng)還在“運(yùn)行”沒(méi)有死機(jī)但業(yè)務(wù)指標(biāo)已經(jīng)完全不達(dá)標(biāo)了。對(duì)想要定位問(wèn)題的工程師來(lái)說(shuō)這種半死不活的狀態(tài)比徹底崩潰難查得多。2.3 協(xié)作式依賴(lài)鏈的“多米諾效應(yīng)”還有一類(lèi)系統(tǒng)靠多個(gè)任務(wù)流水線(xiàn)配合任務(wù)A采集傳感器數(shù)據(jù)通過(guò)隊(duì)列傳給任務(wù)B做數(shù)據(jù)融合任務(wù)C再根據(jù)融合結(jié)果輸出控制指令。每個(gè)任務(wù)單獨(dú)看延遲都還好但它們之間存在嚴(yán)格的“數(shù)據(jù)新鮮度”要求。假設(shè)任務(wù)A的周期是25ms它采集的數(shù)據(jù)在30ms后還沒(méi)被任務(wù)B處理掉這份數(shù)據(jù)就已經(jīng)過(guò)期了。任務(wù)B即使拿到了這份過(guò)期數(shù)據(jù)算出來(lái)的中間結(jié)果也沒(méi)有意義任務(wù)C再基于這個(gè)中間結(jié)果去輸出就是拿舊數(shù)據(jù)做新決策。實(shí)時(shí)系統(tǒng)里有個(gè)概念叫“數(shù)據(jù)年齡”data age從數(shù)據(jù)采集完成到最終被使用經(jīng)歷的時(shí)間越短越好。如果這條鏈路里任何一個(gè)任務(wù)錯(cuò)失截止時(shí)間年齡就會(huì)增長(zhǎng)下游任務(wù)來(lái)不及等到“新鮮”的數(shù)據(jù)時(shí)只能使用過(guò)期數(shù)據(jù)最終反映到執(zhí)行器上就是動(dòng)作錯(cuò)誤。單個(gè)任務(wù)偶爾超時(shí)的概率可能只有萬(wàn)分之一但一條鏈路上串聯(lián)了5個(gè)任務(wù)任何一個(gè)超時(shí)都會(huì)導(dǎo)致最終結(jié)果失真。這就是為什么“偶發(fā)故障”這么難排查你看到的往往是最末端那個(gè)任務(wù)的輸出異常而根因可能早在幾個(gè)任務(wù)之前就已經(jīng)埋下了。3. 把“穩(wěn)定運(yùn)行”翻譯成可落地的實(shí)時(shí)參數(shù)“系統(tǒng)要穩(wěn)定運(yùn)行”“不能卡頓”“響應(yīng)要快”這類(lèi)需求在需求文檔里常見(jiàn)但拿給嵌入式工程師落地時(shí)完全沒(méi)有可操作性。你需要把它拆成一組明確的實(shí)時(shí)參數(shù)從事件發(fā)生到動(dòng)作完成整條路徑上每個(gè)環(huán)節(jié)各自有多少時(shí)間預(yù)算誰(shuí)可以多花誰(shuí)必須卡死。3.1 需求拆解從一句“不能卡頓”到明確的截止時(shí)間集合我通常的做法是拿到一個(gè)實(shí)時(shí)需求先畫(huà)出“事件入口到動(dòng)作輸出”的完整鏈路然后給每個(gè)環(huán)節(jié)做時(shí)間預(yù)算。用一個(gè)簡(jiǎn)單的溫度控制器舉例。需求一句話(huà)溫度采樣周期100ms從傳感器數(shù)據(jù)就緒到執(zhí)行器輸出更新延遲不能超過(guò)5ms。鏈路拆解如下環(huán)節(jié)內(nèi)容時(shí)間預(yù)算傳感器中斷ADC采樣完成觸發(fā)中斷0.2msDMA搬運(yùn)把采樣數(shù)據(jù)從ADC寄存器搬到內(nèi)存0.5ms調(diào)度延遲控制任務(wù)從就緒到獲得CPU1.0ms控制計(jì)算PID運(yùn)算、濾波、限幅2.0ms輸出寫(xiě)入寫(xiě)DAC/驅(qū)動(dòng)芯片寄存器0.3ms合計(jì)4.0ms總預(yù)算4.0ms需求是5ms余量1ms勉強(qiáng)夠。開(kāi)工前我會(huì)把余量再放大一點(diǎn)比如壓到3.5ms以?xún)?nèi)因?yàn)楹竺嬉A(yù)留給中斷頻繁發(fā)生、總線(xiàn)重試、鎖沖突等突發(fā)事件。注意一個(gè)關(guān)鍵點(diǎn)預(yù)算里的“控制計(jì)算”寫(xiě)的是2.0ms這在工程上不叫“平均執(zhí)行時(shí)間”而叫WCET最壞執(zhí)行時(shí)間Worst-Case Execution Time。你不能拿“平時(shí)只要1ms”來(lái)填這個(gè)格子必須考慮最糟糕分支、cache失效、編譯器優(yōu)化差異、內(nèi)存被DMA占用的競(jìng)爭(zhēng)情況。最壞值至少要跑了上萬(wàn)次壓測(cè)后統(tǒng)計(jì)得出通常還要在這個(gè)值上再放大20%到50%作為安全余量。3.2 調(diào)度策略與可調(diào)度性判斷會(huì)算“能不能滿(mǎn)足截止時(shí)間”預(yù)算拆完之后下一個(gè)問(wèn)題是在操作系統(tǒng)層面這套任務(wù)能不能在每個(gè)周期內(nèi)都按時(shí)完成這就涉及可調(diào)度性分析。RTOS里最常用的調(diào)度策略是固定優(yōu)先級(jí)搶占式調(diào)度每個(gè)任務(wù)有一個(gè)固定優(yōu)先級(jí)高優(yōu)先級(jí)任務(wù)就緒時(shí)可以搶占正在運(yùn)行的低優(yōu)先級(jí)任務(wù)。對(duì)一組周期任務(wù)可以用“速率單調(diào)調(diào)度RMS”的優(yōu)先級(jí)分配思路周期越短的任務(wù)優(yōu)先級(jí)越高。比如溫度控制任務(wù)周期100ms通信任務(wù)周期10ms那么通信任務(wù)優(yōu)先級(jí)應(yīng)該更高。這個(gè)原則符合直覺(jué)也符合經(jīng)典理論?？烧{(diào)度性判斷要算CPU利用率U Σ (Ci / Ti)其中Ci是任務(wù)i的最壞執(zhí)行時(shí)間Ti是任務(wù)i的周期。RMS調(diào)度的充分條件是U ≤ n × (2^(1/n) - 1)n是任務(wù)數(shù)量。當(dāng)n2時(shí)這個(gè)上限約是0.828n越大上限越接近ln2也就是約0.693。換句話(huà)說(shuō)在純RMS調(diào)度下CPU利用率超過(guò)70%以后想保證所有任務(wù)都在截止時(shí)間內(nèi)完成理論上就開(kāi)始吃力了。很多剛從裸機(jī)轉(zhuǎn)RTOS的工程師喜歡把CPU跑得滿(mǎn)滿(mǎn)當(dāng)當(dāng)覺(jué)得利用率90%才“不浪費(fèi)”。在實(shí)時(shí)系統(tǒng)里這是要命的思路。我一般會(huì)建議至少留30%的CPU余量。這30%不只是用來(lái)應(yīng)付未知負(fù)載更是為了給中斷、錯(cuò)誤處理、日志記錄留空間。除了RMS還有一種理論上更優(yōu)的調(diào)度算法叫EDF最早截止時(shí)間優(yōu)先它可以在CPU利用率達(dá)到100%之前保證可調(diào)度。但工程上我很少在中小型項(xiàng)目里用EDF原因很實(shí)際動(dòng)態(tài)調(diào)度的行為難預(yù)測(cè)工程師很難靠直覺(jué)判斷“下一個(gè)跑的到底是誰(shuí)”出了問(wèn)題不好排查。固定優(yōu)先級(jí)雖然理論利用率上限低一些但行為直觀、可控性強(qiáng)這是工程價(jià)值超過(guò)理論最優(yōu)的地方。3.3 優(yōu)先級(jí)反轉(zhuǎn)與互斥設(shè)計(jì)被低估的阻塞放大器實(shí)時(shí)任務(wù)的執(zhí)行時(shí)間Ci通常被理解為“純粹的CPU計(jì)算時(shí)間”。但任務(wù)里只要用了互斥鎖、信號(hào)量這類(lèi)同步機(jī)制真實(shí)的最壞執(zhí)行時(shí)間就要把“等待資源的時(shí)間”也算進(jìn)去。這引出了實(shí)時(shí)系統(tǒng)里最經(jīng)典的坑——優(yōu)先級(jí)反轉(zhuǎn)。優(yōu)先級(jí)反轉(zhuǎn)的場(chǎng)景是這樣的低優(yōu)先級(jí)任務(wù)先拿到了一個(gè)互斥鎖正在臨界區(qū)里執(zhí)行此時(shí)高優(yōu)先級(jí)任務(wù)就緒搶占CPU接著去申請(qǐng)同一把鎖發(fā)現(xiàn)鎖被占用只能阻塞等待。如果系統(tǒng)的調(diào)度策略允許中等優(yōu)先級(jí)任務(wù)在這時(shí)搶占低優(yōu)先級(jí)任務(wù)那么高優(yōu)先級(jí)任務(wù)就會(huì)一直等下去因?yàn)榈蛢?yōu)先級(jí)任務(wù)根本得不到CPU無(wú)法釋放鎖。最終結(jié)果是一個(gè)高優(yōu)先級(jí)任務(wù)被一個(gè)中等優(yōu)先級(jí)任務(wù)間接阻塞了時(shí)間可能長(zhǎng)達(dá)幾毫秒甚至幾十毫秒。解決優(yōu)先級(jí)反轉(zhuǎn)的標(biāo)準(zhǔn)方法是“優(yōu)先級(jí)繼承”當(dāng)一個(gè)低優(yōu)先級(jí)任務(wù)持有高優(yōu)先級(jí)任務(wù)需要的互斥鎖時(shí)系統(tǒng)臨時(shí)把低優(yōu)先級(jí)任務(wù)的優(yōu)先級(jí)提升到高優(yōu)先級(jí)任務(wù)的水平讓它盡快執(zhí)行完、釋放鎖。FreeRTOS的互斥量Mutex就支持優(yōu)先級(jí)繼承機(jī)制這也是它和裸信號(hào)量Semaphore的一個(gè)重要區(qū)別。我也在不少現(xiàn)場(chǎng)見(jiàn)過(guò)另一種工程性質(zhì)的反轉(zhuǎn)任務(wù)A和任務(wù)B共享一個(gè)結(jié)構(gòu)體訪問(wèn)前加鎖。結(jié)果某工程師給臨界區(qū)里塞了一大段計(jì)算把鎖持有時(shí)間拉到幾十毫秒。這種情況下就算優(yōu)先級(jí)繼承再?gòu)?qiáng)也只能保證持鎖任務(wù)不被搶但它持有鎖的時(shí)間本身太長(zhǎng)阻塞依然存在。我的經(jīng)驗(yàn)是三條能不加鎖就不加鎖優(yōu)先用隊(duì)列、消息郵箱這類(lèi)無(wú)鎖或少鎖的通信方式。必須加鎖時(shí)臨界區(qū)里只做最必要的數(shù)據(jù)讀寫(xiě)和拷貝不做計(jì)算、不做外設(shè)訪問(wèn)。**中斷服務(wù)函數(shù)里絕不允許阻塞等待鎖。**ISR里需要的不是鎖而是禁中斷保護(hù)或帶中斷保存的臨界區(qū)而且臨界區(qū)要盡量短。這三條看起來(lái)簡(jiǎn)單但絕大多數(shù)實(shí)時(shí)性事故追到根子上都逃不出它們。4. 藏在暗處的失穩(wěn)元兇共享資源、Cache、動(dòng)態(tài)內(nèi)存和日志有些問(wèn)題不是調(diào)度策略算錯(cuò)了而是任務(wù)本身在“看不見(jiàn)的地方”被拖慢。這類(lèi)問(wèn)題最討厭它們不常出現(xiàn)一旦出現(xiàn)就表現(xiàn)為偶發(fā)抖動(dòng)、偶發(fā)超時(shí)很難復(fù)現(xiàn)更難定位。我自己踩過(guò)不少下面這幾個(gè)值得重點(diǎn)排查。4.1 日志和調(diào)試打印最容易被忽略的“時(shí)間刺客”很多工程師喜歡在任務(wù)里加串口打印用來(lái)觀察執(zhí)行流程。這在調(diào)試階段問(wèn)題不大但如果你忘了關(guān)掉或者線(xiàn)上版本還保留著這些打印麻煩就來(lái)了。以一個(gè)典型的115200波特率串口為例傳輸一個(gè)字符大約87微秒。如果某次調(diào)試打印輸出一行50個(gè)字符的日志任務(wù)會(huì)被阻塞約4.3毫秒。要是這行日志出現(xiàn)在一個(gè)5ms截止時(shí)間的控制任務(wù)里等于直接把全部預(yù)算吃掉還倒欠。更隱蔽的是SD卡日志。往SD卡寫(xiě)一次數(shù)據(jù)受文件系統(tǒng)、磨損均衡、總線(xiàn)重試影響最壞情況可能達(dá)到幾十毫秒。這種延遲根本無(wú)法預(yù)測(cè)對(duì)實(shí)時(shí)路徑是毀滅性的。我的建議是**實(shí)時(shí)路徑里不要直接調(diào)用任何阻塞式日志輸出。**如果確實(shí)需要日志用無(wú)鎖的環(huán)形緩沖區(qū)任務(wù)只負(fù)責(zé)往緩沖區(qū)里寫(xiě)后臺(tái)低優(yōu)先級(jí)任務(wù)負(fù)責(zé)把緩沖區(qū)內(nèi)容通過(guò)DMA或定時(shí)批量發(fā)送出去。同時(shí)要保留一個(gè)編譯開(kāi)關(guān)線(xiàn)上版本可以直接關(guān)掉日志功能避免性能污染。另外補(bǔ)充一句**用日志測(cè)執(zhí)行時(shí)間本身就是在污染測(cè)量結(jié)果。**你往代碼里加一條“打印時(shí)間戳”的語(yǔ)句打印本身的耗時(shí)就會(huì)讓結(jié)果失真。測(cè)量執(zhí)行時(shí)間應(yīng)該靠GPIO翻轉(zhuǎn)加示波器或者硬件計(jì)數(shù)器而不是往實(shí)時(shí)路徑里塞串口輸出。4.2 動(dòng)態(tài)內(nèi)存分配Malloc/Free不是實(shí)時(shí)安全的裸機(jī)開(kāi)發(fā)時(shí)很多人習(xí)慣了隨時(shí)調(diào)用malloc和free。到了RTOS環(huán)境這個(gè)習(xí)慣必須改。動(dòng)態(tài)內(nèi)存分配之所以不實(shí)時(shí)安全不在于它慢而在于它的耗時(shí)不確定。標(biāo)準(zhǔn)庫(kù)的malloc在堆內(nèi)存碎片化時(shí)可能觸發(fā)內(nèi)存整理、合并空閑塊最壞情況下的耗時(shí)比正常情況高出幾個(gè)數(shù)量級(jí)。如果任務(wù)在截止時(shí)間附近恰好觸發(fā)了一次復(fù)雜的內(nèi)存分配超時(shí)的風(fēng)險(xiǎn)是不可控的。更嚴(yán)重的是有些RTOS的堆分配實(shí)現(xiàn)不是線(xiàn)程安全的需要加鎖malloc的鎖持有時(shí)間一長(zhǎng)還會(huì)造成其他任務(wù)阻塞。中斷服務(wù)函數(shù)里使用malloc在很多平臺(tái)上是明確禁止的因?yàn)橹袛嗌舷挛母静辉试S做可能引起阻塞的操作。解決辦法也簡(jiǎn)單**內(nèi)存池預(yù)分配。**在系統(tǒng)啟動(dòng)階段把任務(wù)需要的所有內(nèi)存塊都分配好之后運(yùn)行時(shí)不再動(dòng)態(tài)分配和釋放。或者直接定義固定大小的對(duì)象數(shù)組用位圖管理空閑項(xiàng)。分配和釋放操作都變成O(1)的確定操作耗時(shí)可控。4.3 Cache與DMA一致性問(wèn)題最隱蔽的延時(shí)來(lái)源帶Cache的MCU比如Cortex-M7、Cortex-A系列上Cache與DMA的一致性問(wèn)題是又一頭“房間里的大象”。場(chǎng)景是這樣的DMA把外設(shè)數(shù)據(jù)搬運(yùn)到內(nèi)存緩沖區(qū)然后CPU去讀取這個(gè)緩沖區(qū)。但CPU Cache里可能還存著舊數(shù)據(jù)的副本CPU直接讀到的可能不是DMA剛寫(xiě)入的新數(shù)據(jù)而是Cache里的陳舊數(shù)據(jù)。反過(guò)來(lái)如果CPU先寫(xiě)了一個(gè)緩沖區(qū)然后讓DMA去搬運(yùn)DMA訪問(wèn)的是物理內(nèi)存而不是Cache搬走的可能是舊數(shù)據(jù)。這個(gè)問(wèn)題和實(shí)時(shí)性有什么關(guān)系關(guān)系大了。它導(dǎo)致的不是每次都錯(cuò)而是偶爾讀到臟數(shù)據(jù)。控制任務(wù)一旦基于臟數(shù)據(jù)計(jì)算輸出就會(huì)異常因?yàn)榕K數(shù)據(jù)出現(xiàn)的條件取決于Cache的命中狀態(tài)、時(shí)序交錯(cuò)幾乎不可能穩(wěn)定復(fù)現(xiàn)。處理標(biāo)準(zhǔn)做法是在DMA寫(xiě)數(shù)據(jù)后執(zhí)行Cache Invalidate在DMA讀數(shù)據(jù)前執(zhí)行Cache Clean。對(duì)Cortex-M7這類(lèi)帶Cache的MCU要仔細(xì)編寫(xiě)數(shù)據(jù)同步操作。性能上的代價(jià)是每次同步都要把相應(yīng)Cache線(xiàn)寫(xiě)回或丟棄這個(gè)操作本身要花時(shí)間但換來(lái)的是數(shù)據(jù)正確性。如果你發(fā)現(xiàn)一個(gè)系統(tǒng)“偶爾抽風(fēng)”現(xiàn)象完全沒(méi)有規(guī)律先查一下Cache一致性尤其是DMA和CPU共用緩沖區(qū)的場(chǎng)景。這類(lèi)問(wèn)題經(jīng)常被誤判為芯片不穩(wěn)定實(shí)際是緩存同步缺失。4.4 中斷里做太多事、共享總線(xiàn)被長(zhǎng)時(shí)間占用、低功耗喚醒延遲中斷服務(wù)函數(shù)是實(shí)時(shí)系統(tǒng)里最容易被寫(xiě)壞的地方。不少工程師習(xí)慣在ISR里直接解析協(xié)議、算校驗(yàn)、處理邏輯。這會(huì)把中斷延遲無(wú)限拉長(zhǎng)其他中斷進(jìn)不來(lái)高優(yōu)先級(jí)任務(wù)也得不到調(diào)度。ISR里的正確姿勢(shì)是讀必要的寄存器、置標(biāo)志位、釋放信號(hào)量/事件標(biāo)志把耗時(shí)處理丟給任務(wù)去干。ISR越短系統(tǒng)的實(shí)時(shí)性上限越高。共享總線(xiàn)的占用也是一個(gè)暗坑。一個(gè)SPI總線(xiàn)上掛了Flash、ADC、DAC等多個(gè)設(shè)備如果某次大塊讀Flash的操作占用了總線(xiàn)幾百微秒這塊總線(xiàn)上其他設(shè)備的通信就得排隊(duì)。CAN總線(xiàn)也一樣總線(xiàn)仲裁、錯(cuò)誤重試機(jī)制會(huì)讓某些幀的發(fā)送延遲大幅波動(dòng)。做時(shí)間預(yù)算時(shí)這類(lèi)“外部因素”一樣要放進(jìn)余量里。低功耗模式的喚醒延遲也是常被忽略的一項(xiàng)。MCU從STOP模式喚醒可能花費(fèi)幾十到幾百微秒從Standby模式喚醒更長(zhǎng)。如果一個(gè)系統(tǒng)既要低功耗又要實(shí)時(shí)性必須把喚醒延遲明確寫(xiě)入鏈路預(yù)算否則就會(huì)出現(xiàn)“設(shè)備睡過(guò)去了叫不醒”的失穩(wěn)癥狀。可以用tickless空閑模式減少喚醒頻率但每個(gè)周期性任務(wù)醒來(lái)后都得多留出喚醒時(shí)間的余量。5. 一次真實(shí)失穩(wěn)的完整排查鏈路這類(lèi)問(wèn)題光講理論很容易云里霧里。分享一個(gè)我做過(guò)的排查案例鏈路很典型你可以把這套思路直接拿去應(yīng)付同類(lèi)問(wèn)題。5.1 現(xiàn)象記錄偶發(fā)抖動(dòng)與“重啟后恢復(fù)正常”項(xiàng)目背景是一塊帶Cortex-M7內(nèi)核的板子做高速數(shù)據(jù)采集加電機(jī)控制。采樣周期25kHz也就是40微秒一次采集完成后通過(guò)SPI把處理結(jié)果發(fā)給驅(qū)動(dòng)芯片同時(shí)一個(gè)UART口負(fù)責(zé)向上位機(jī)打印狀態(tài)?？蛻?hù)的反饋是設(shè)備運(yùn)行一段時(shí)間后電機(jī)會(huì)偶發(fā)抖動(dòng)上位機(jī)偶爾收不到命令回復(fù)重啟之后能好一段時(shí)間然后又復(fù)發(fā)。這個(gè)現(xiàn)象有兩個(gè)關(guān)鍵點(diǎn)偶發(fā)、可恢復(fù)。偶發(fā)說(shuō)明不是邏輯上必然的路徑錯(cuò)誤可恢復(fù)說(shuō)明沒(méi)有永久性的資源泄漏或死鎖。很多人一上來(lái)就懷疑是硬件問(wèn)題換芯片、換板子我一般不建議這么干先記錄現(xiàn)象用數(shù)據(jù)定位。5.2 逐步縮小范圍從任務(wù)間隔到鎖等待第一步我在中斷入口拉高一個(gè)GPIO在SPI發(fā)送完成回調(diào)里拉低用邏輯分析儀抓包看不同階段的高電平持續(xù)時(shí)間。跑了大約幾萬(wàn)個(gè)采樣周期后確實(shí)抓到幾個(gè)明顯超寬的脈沖。對(duì)照時(shí)間軸發(fā)現(xiàn)超寬脈沖集中出現(xiàn)在UART打印狀態(tài)下而且每次超寬脈沖之后下一次采樣任務(wù)執(zhí)行都跟著推遲。這立刻給了兩個(gè)線(xiàn)索日志打印有嫌疑而且打了日志之后整個(gè)任務(wù)的節(jié)奏都亂了。第二步我先臨時(shí)關(guān)掉所有UART打印觀察一段時(shí)間。抖動(dòng)頻率明顯下降但沒(méi)有根除說(shuō)明還有一個(gè)更深層的問(wèn)題。第三步給任務(wù)里幾個(gè)關(guān)鍵調(diào)用點(diǎn)加時(shí)間戳記錄到環(huán)形緩沖區(qū)事后通過(guò)調(diào)試口讀出來(lái)。對(duì)比數(shù)據(jù)發(fā)現(xiàn)任務(wù)里有一段訪問(wèn)共享結(jié)構(gòu)體的互斥鎖正常情況下等待時(shí)間只有幾微秒但偶發(fā)情況下會(huì)沖到幾百微秒。順著鎖的持有方查發(fā)現(xiàn)一個(gè)低優(yōu)先級(jí)任務(wù)會(huì)定期拿這把鎖做一個(gè)“參數(shù)打包”操作。打包過(guò)程本身要遍歷一批數(shù)組、換算單位、拷貝到輸出緩沖耗時(shí)比較長(zhǎng)。由于它是低優(yōu)先級(jí)任務(wù)一旦被打斷它持鎖的時(shí)間會(huì)更長(zhǎng)而高優(yōu)先級(jí)任務(wù)就在鎖上被晾著。這正是優(yōu)先級(jí)反轉(zhuǎn)的教科書(shū)表現(xiàn)。第四步我用FreeRTOS的互斥量替代了原來(lái)的二值信號(hào)量把優(yōu)先級(jí)繼承機(jī)制打開(kāi)。問(wèn)題基本消失。但第五步又找到一顆雷在中斷服務(wù)函數(shù)里有一段代碼調(diào)用了malloc雖然調(diào)用頻率很低但每次段錯(cuò)誤風(fēng)險(xiǎn)都不小——每次動(dòng)態(tài)分配都會(huì)帶來(lái)不確定耗時(shí)影響中斷延遲。我把這段改成啟動(dòng)時(shí)預(yù)分配的結(jié)構(gòu)體數(shù)組抖動(dòng)徹底消失連續(xù)運(yùn)行好幾天沒(méi)有再犯。5.3 根因確認(rèn)與復(fù)盤(pán)為什么這類(lèi)問(wèn)題藏得住排查步驟手段發(fā)現(xiàn)處理第一步GPIO翻轉(zhuǎn) 邏輯分析儀UART打印任務(wù)會(huì)阻塞采樣任務(wù)日志改后臺(tái)發(fā)送第二步插樁時(shí)間戳互斥鎖等待偶發(fā)達(dá)到幾百微秒替換為帶優(yōu)先級(jí)繼承的互斥量第三步代碼審查ISR中存在malloc調(diào)用改為預(yù)分配內(nèi)存池這個(gè)案例里最值得復(fù)盤(pán)的一點(diǎn)是**這三個(gè)問(wèn)題是疊加在一起而不是孤立出現(xiàn)的。**只解決日志打印問(wèn)題不會(huì)根除只解決優(yōu)先級(jí)反轉(zhuǎn)UART打印的阻塞依然會(huì)制造新的抖動(dòng)。很多嵌入式系統(tǒng)的失穩(wěn)背后都是多個(gè)不良習(xí)慣疊加后的“合力”爆發(fā)排查時(shí)必須一層層剝不能碰巧看到一個(gè)嫌疑就收工。另一個(gè)經(jīng)驗(yàn)是**GPIO翻轉(zhuǎn)加邏輯分析儀是我用過(guò)的最便宜的實(shí)時(shí)性觀測(cè)手段。**它不侵入代碼邏輯不需要額外的調(diào)試串口測(cè)量精度完全取決于GPIO翻轉(zhuǎn)指令的耗時(shí)通常小于一微秒。在板子功能正常的時(shí)候你很難看到哪里有毛病但只要把GPIO翻轉(zhuǎn)點(diǎn)埋進(jìn)關(guān)鍵路徑任何一次超時(shí)都會(huì)在波形上留下清晰的“罪證”。6. 測(cè)量與驗(yàn)證怎么證明你的系統(tǒng)真的“實(shí)時(shí)”了需求拆了調(diào)度算了代碼也寫(xiě)了一堆經(jīng)驗(yàn)教訓(xùn)。但最后總要面對(duì)一個(gè)實(shí)際問(wèn)題**你怎么證明這套系統(tǒng)真的能在長(zhǎng)期運(yùn)行中穩(wěn)定滿(mǎn)足截止時(shí)間**實(shí)時(shí)性不是靠拍胸脯保證的要靠測(cè)量數(shù)據(jù)。6.1 用GPIO翻轉(zhuǎn)加邏輯分析儀測(cè)時(shí)間上界測(cè)量實(shí)時(shí)性最基礎(chǔ)也最可靠的方法就是GPIO翻轉(zhuǎn)法。原理很簡(jiǎn)單在待測(cè)事件入口處把某個(gè)GPIO拉高在出口處拉低用邏輯分析儀或示波器測(cè)量高電平的持續(xù)時(shí)間。因?yàn)椴僮髦挥幸粋€(gè)寄存器寫(xiě)指令開(kāi)銷(xiāo)極小幾乎不影響被測(cè)路徑的時(shí)序。這個(gè)方法要測(cè)出效果必須注意兩點(diǎn)測(cè)量對(duì)象要覆蓋“最壞路徑”不能只測(cè)正常運(yùn)行要在系統(tǒng)滿(mǎn)載、外設(shè)全部打開(kāi)、網(wǎng)絡(luò)流量打滿(mǎn)、日志后臺(tái)發(fā)送開(kāi)啟的狀態(tài)下連續(xù)測(cè)幾十萬(wàn)個(gè)周期。最壞執(zhí)行時(shí)間只有在極端工況下才肯現(xiàn)身。統(tǒng)計(jì)最大值而不是平均值記錄每次脈沖寬度找出最大的一次。如果最大值還在時(shí)間預(yù)算以?xún)?nèi)說(shuō)明這個(gè)環(huán)節(jié)的實(shí)時(shí)性是有保障的。如果某個(gè)周期出現(xiàn)超寬脈沖再結(jié)合時(shí)間軸看看當(dāng)時(shí)發(fā)生了什么。用示波器看時(shí)觀察超時(shí)毛刺是關(guān)鍵。一個(gè)穩(wěn)定實(shí)時(shí)的系統(tǒng)脈沖寬度方差應(yīng)該非常小一旦出現(xiàn)“有時(shí)窄有時(shí)寬”的跡象就要引起警覺(jué)。6.2 RTOS自帶的Trace與統(tǒng)計(jì)工具GPIO翻轉(zhuǎn)法雖然直觀但只能看到有限幾個(gè)測(cè)點(diǎn)。想全面了解所有任務(wù)的運(yùn)行狀況可以借助RTOS自己的統(tǒng)計(jì)能力。在FreeRTOS里開(kāi)啟configGENERATE_RUN_TIME_STATS后可以通過(guò)vTaskGetRunTimeStats()拿到每個(gè)任務(wù)的CPU占用時(shí)間。配合configUSE_TRACE_FACILITY和uxTaskGetSystemState()還能拿到任務(wù)狀態(tài)、喚醒次數(shù)、阻塞時(shí)間等數(shù)據(jù)。看任務(wù)的實(shí)際CPU占用和分析值之間的差距能快速定位某個(gè)任務(wù)是不是跑得比預(yù)期多。RT-Thread也提供類(lèi)似能力線(xiàn)程信息、信號(hào)量超時(shí)等待統(tǒng)計(jì)、事件集狀態(tài)都能在shell里直接查看。我特別喜歡用這類(lèi)命令驗(yàn)證“某個(gè)任務(wù)是不是一直拿不到鎖”如果某把鎖的等待隊(duì)列里經(jīng)常有任務(wù)掛在那里說(shuō)明資源競(jìng)爭(zhēng)已經(jīng)很激烈了。除了軟件統(tǒng)計(jì)硬件DWT模塊的時(shí)鐘周期計(jì)數(shù)器也值得一用。Cortex-M內(nèi)核提供DWT-CYCCNT可以精確計(jì)數(shù)CPU周期。測(cè)量一小段代碼的耗時(shí)只需要記錄前后差值分辨率遠(yuǎn)高于任何軟件定時(shí)器。配合ITM調(diào)試接口還能做時(shí)間戳事件流對(duì)現(xiàn)場(chǎng)排查很管用。6.3 面向嵌入式Linux平臺(tái)的實(shí)時(shí)性評(píng)估如果你的“嵌入式”跑的是Linux而不是裸機(jī)或RTOS評(píng)估方法會(huì)換一套。普通Linux內(nèi)核不是硬實(shí)時(shí)系統(tǒng)但在很多工業(yè)場(chǎng)景里只要滿(mǎn)足軟實(shí)時(shí)也就是延遲大多數(shù)情況下在可接受范圍內(nèi)就夠用了。最常用的評(píng)估工具是cyclictest它用于測(cè)量線(xiàn)程按指定周期喚醒時(shí)實(shí)際喚醒時(shí)刻與期望時(shí)刻之間的偏差。運(yùn)行一段時(shí)間后看統(tǒng)計(jì)結(jié)果最小值、平均值、最大值和超過(guò)某閾值的次數(shù)。最大延遲是評(píng)判軟實(shí)時(shí)能力的關(guān)鍵數(shù)據(jù)如果這個(gè)值遠(yuǎn)小于你的采樣周期基本可以認(rèn)為滿(mǎn)足要求。要提升Linux的實(shí)時(shí)性常用的手段包括給RT任務(wù)綁定專(zhuān)用CPU核、設(shè)置SCHED_FIFO調(diào)度策略和實(shí)時(shí)優(yōu)先級(jí)、關(guān)掉CPU調(diào)頻節(jié)能、用PREEMPT_RT補(bǔ)丁讓內(nèi)核可搶占。但要注意這些手段都是降低延遲分布的下限和抖動(dòng)卻不能給出硬實(shí)時(shí)保證。項(xiàng)目里如果對(duì)截止時(shí)間有硬約束老老實(shí)實(shí)上RTOS或裸機(jī)不要在通用Linux上賭運(yùn)氣。6.4 看門(mén)狗只是保險(xiǎn)絲不是實(shí)時(shí)性工具很多團(tuán)隊(duì)喜歡用看門(mén)狗來(lái)兜底“不是怕系統(tǒng)跑飛嗎我喂狗就行?！钡撮T(mén)狗只能防“系統(tǒng)徹底掛死”防不了“慢、卡、抖、錯(cuò)”。任務(wù)哪怕每次都在截止時(shí)間后跑完只要它還在執(zhí)行、還會(huì)喂狗看門(mén)狗就認(rèn)為一切正常。更麻煩的是看門(mén)狗設(shè)置不當(dāng)會(huì)制造新的失穩(wěn)。假設(shè)你把看門(mén)狗超時(shí)時(shí)間設(shè)成比任務(wù)最壞執(zhí)行時(shí)間還短某個(gè)長(zhǎng)臨界區(qū)阻塞了喂狗任務(wù)一小會(huì)兒看門(mén)狗就觸發(fā)了復(fù)位。系統(tǒng)從“運(yùn)行但偶發(fā)抖動(dòng)”變成“每過(guò)一段時(shí)間神秘重啟”排查難度直接上了一個(gè)臺(tái)階。我的建議是看門(mén)狗超時(shí)時(shí)間要明顯大于系統(tǒng)正常的最大喂狗間隔比如留2到3倍余量最好由獨(dú)立于主控制鏈路的監(jiān)控任務(wù)負(fù)責(zé)喂狗讓它只檢測(cè)系統(tǒng)是否還有心跳而不是去卡主流程的執(zhí)行節(jié)拍。復(fù)位后還要在非易失存儲(chǔ)里留下故障信息方便現(xiàn)場(chǎng)定位。做實(shí)時(shí)系統(tǒng)這幾年我最大的體會(huì)是實(shí)時(shí)性不是項(xiàng)目后期調(diào)出來(lái)的也不是換一顆更高主頻的芯片就能解決的。它是一個(gè)從需求拆解、調(diào)度分析、資源設(shè)計(jì)到測(cè)量驗(yàn)證貫穿始終的設(shè)計(jì)約束。早期漏掉的每一個(gè)假設(shè)都會(huì)在產(chǎn)線(xiàn)上以一次偶發(fā)抖動(dòng)、一次神秘重啟的方式加倍還回來(lái)。與其等到現(xiàn)場(chǎng)出問(wèn)題再翻波形不如在設(shè)計(jì)階段就把截止時(shí)間當(dāng)作一等公民認(rèn)認(rèn)真真地對(duì)待它。