大概從2023年開(kāi)始我明顯感覺(jué)AI進(jìn)入MCU這句話(huà)從PPT里走了出來(lái)變成了正在量產(chǎn)的東西。前陣子幫一家做工業(yè)設(shè)備的客戶(hù)做電機(jī)故障預(yù)測(cè)方案就是MCU采集振動(dòng)和電流信號(hào)在板端跑一個(gè)輕量化異常檢測(cè)模型另一個(gè)做智慧零售的朋友用一塊Cortex-M7開(kāi)發(fā)板在本地跑人員計(jì)數(shù)模型數(shù)據(jù)不出設(shè)備延遲也只有幾十毫秒。模型本身跑得動(dòng)真正讓人糾結(jié)的反而變成了操作系統(tǒng)這一層繼續(xù)用FreeRTOS還是換成ThreadX、Zephyr這不是選型強(qiáng)迫癥而是AI進(jìn)來(lái)之后RTOS的取舍邏輯確實(shí)變了。AI進(jìn)入MCU后FreeRTOS、ThreadX和Zephyr這三家主流RTOS已經(jīng)明顯走向三條不同的路。這篇文章不想做PPT式的對(duì)比而是從我在實(shí)際項(xiàng)目里看到的差異出發(fā)聊清楚這三條路分別是什么、背后的設(shè)計(jì)哲學(xué)是什么、你現(xiàn)在手里的產(chǎn)品該怎么選。打算把AI模型塞進(jìn)單片機(jī)的工程師或者正在給下一代產(chǎn)品評(píng)估RTOS的團(tuán)隊(duì)這篇應(yīng)該能幫你省下不少試錯(cuò)時(shí)間。1. AI進(jìn)MCU不是概念是把RTOS逼到了十字路口1.1 MCU上的AI到底在跑什么先說(shuō)清楚MCU上的AI具體指什么。它不是像服務(wù)器那樣訓(xùn)一個(gè)大模型而是在Cortex-M4/M7、RISC-V這類(lèi)資源受限的芯片上跑經(jīng)過(guò)量化、剪枝、蒸餾之后的小型推理模型。典型場(chǎng)景有這么幾類(lèi)關(guān)鍵詞喚醒KWS麥克風(fēng)數(shù)據(jù)進(jìn)來(lái)識(shí)別小X小X之類(lèi)的喚醒詞對(duì)功耗要求極高模型小到能在幾十KB以?xún)?nèi)的RAM里運(yùn)行。異常檢測(cè)和預(yù)測(cè)性維護(hù)采集振動(dòng)、電流、溫度信號(hào)用模型判斷設(shè)備是不是快壞了大量用在工業(yè)現(xiàn)場(chǎng)。輕量視覺(jué)應(yīng)用人形檢測(cè)、人數(shù)統(tǒng)計(jì)、條碼識(shí)別跑的基本是MobileNet這個(gè)量級(jí)的網(wǎng)絡(luò)輸入通常來(lái)自單目攝像頭。這類(lèi)AI任務(wù)有個(gè)共同點(diǎn)它們不是每次中斷里處理完就算的控制邏輯而是周期性采集、批量推理、異步輸出結(jié)果的計(jì)算流水線(xiàn)。和傳統(tǒng)RTOS里的任務(wù)模型一比區(qū)別立刻出來(lái)了。傳統(tǒng)模型里任務(wù)大多是被事件喚醒、做完就睡的短任務(wù)AI推理任務(wù)是長(zhǎng)任務(wù)一次推理動(dòng)輒幾十到幾百毫秒還帶明顯的延遲抖動(dòng)。所以真正的問(wèn)題不是有沒(méi)有AI而是AI進(jìn)來(lái)之后系統(tǒng)的調(diào)度、內(nèi)存、外設(shè)訪問(wèn)模型全變了。1.2 AI來(lái)了RTOS的老規(guī)矩為什么不夠用了老一代RTOS的設(shè)計(jì)原則核心就三條內(nèi)核足夠小、任務(wù)調(diào)度夠確定、上下文切換夠快。這在單片機(jī)干固定控制活的時(shí)代完全夠用但AI推理任務(wù)進(jìn)來(lái)之后這三條原則全部被頂?shù)搅藟?。首先是?nèi)存。模型權(quán)重、中間激活值、DMA緩沖、任務(wù)棧疊在一起很容易把幾十KB的RAM吃穿。傳統(tǒng)RTOS的內(nèi)核棧都很摳可AI庫(kù)一進(jìn)來(lái)內(nèi)存規(guī)劃立刻變成架構(gòu)級(jí)問(wèn)題不是省兩個(gè)字節(jié)能解決的。其次是調(diào)度。一個(gè)推理任務(wù)可能阻塞幾十毫秒期間控制類(lèi)高優(yōu)先級(jí)任務(wù)必須保證被及時(shí)搶占。你要么給推理任務(wù)降優(yōu)先級(jí)、犧牲響應(yīng)要么引入SMP讓推理跑在單獨(dú)核上要么干脆把活交給NPU或DSP。同一個(gè)問(wèn)題三家RTOS給出了完全不同的回答FreeRTOS選擇把內(nèi)核做小、AI全部外掛ThreadX選擇保住確定性和安全認(rèn)證、讓AI當(dāng)一個(gè)合規(guī)組件Zephyr選擇擁抱AI新硬件、把整個(gè)平臺(tái)做厚。這就是標(biāo)題里三條路的由來(lái)。2. FreeRTOS的窄門(mén)內(nèi)核做減法AI全部外掛2.1 內(nèi)核必須永遠(yuǎn)小FreeRTOS的立身之本FreeRTOS最核心的價(jià)值觀我總結(jié)成一句話(huà)內(nèi)核不摻和。到今天一個(gè)精簡(jiǎn)配置的FreeRTOS內(nèi)核也就幾KB到十幾KB任務(wù)切換、信號(hào)量、隊(duì)列、消息緩沖都是幾十年驗(yàn)證過(guò)的東西。AI進(jìn)來(lái)之后AWS的思路不是給內(nèi)核加AI調(diào)度器而是把AI放在核外用FreeRTOS-AI、Glow編譯器、TensorFlow Lite Micro、NXP eIQ這一整套外掛生態(tài)去承接模型推理。這里有個(gè)容易被忽略的細(xì)節(jié)模型跑在MCU上不一定非要跑在RTOS進(jìn)程里。FreeRTOS-AI和eIQ這類(lèi)方案做的事情其實(shí)是把訓(xùn)練好的模型編譯成針對(duì)MCU高度優(yōu)化的C代碼讓推理變成一個(gè)可以被普通任務(wù)調(diào)用的函數(shù)。對(duì)內(nèi)核來(lái)說(shuō)它根本不需要知道什么叫神經(jīng)網(wǎng)絡(luò)只需要提供穩(wěn)定的任務(wù)調(diào)度、內(nèi)存管理和IPC機(jī)制就夠了。這個(gè)內(nèi)核做小、AI外掛的思路保證了FreeRTOS的適配面依然是最廣的從8位機(jī)到帶NPU的高端Cortex-M中間不管掛什么AI庫(kù)內(nèi)核本身不用傷筋動(dòng)骨。2.2 云端到板端的一條龍綁定以及外掛生態(tài)FreeRTOS被AWS接盤(pán)之后走的是一條云-端強(qiáng)綁定的路。模型在云端訓(xùn)練好經(jīng)過(guò)量化、編譯、剪枝打到MCU上再通過(guò)OTA升級(jí)模型設(shè)備側(cè)的數(shù)據(jù)通過(guò)IoT協(xié)議回傳。對(duì)很多物聯(lián)網(wǎng)產(chǎn)品來(lái)說(shuō)這確實(shí)省事你不需要自研一套模型部署流水線(xiàn)用AWS IoT就能把訓(xùn)練、部署、監(jiān)控串起來(lái)。但這也有個(gè)現(xiàn)實(shí)約束如果你的云棧不在AWS上FreeRTOS這套AI外掛的便利性就打折了等于要自己拼TFLM和驅(qū)動(dòng)。好在這幾年TFLM在FreeRTOS上跑得很成熟各大廠商SDK里基本都集成了例程。比如用STM32CubeMX配置好FreeRTOS再把模型工程掛進(jìn)去很快就能跑通一個(gè)語(yǔ)音喚醒demo。實(shí)際項(xiàng)目中我建議你多留意一個(gè)點(diǎn)AI推理任務(wù)的棧往往比普通任務(wù)大不少而FreeRTOS的堆棧溢出檢測(cè)要主動(dòng)開(kāi)。很多人對(duì)它不重視結(jié)果推理跑到一半系統(tǒng)復(fù)位查了半天才發(fā)現(xiàn)是棧不夠。configCHECK_FOR_STACK_OVERFLOW打開(kāi)結(jié)合uxTaskGetStackHighWaterMark統(tǒng)計(jì)余量這件事應(yīng)該排在使用AI庫(kù)之前做。2.3 這條路的代價(jià)和適合對(duì)象外掛方案最大的代價(jià)是所有東西都要自己搭調(diào)度是內(nèi)核管的推理是庫(kù)管的如果涉及NPU還得自己寫(xiě)驅(qū)動(dòng)并塞進(jìn)任務(wù)模型里。整個(gè)系統(tǒng)沒(méi)有一個(gè)統(tǒng)一的AI運(yùn)行時(shí)概念靈活性高但碎片化也明顯。所以FreeRTOS這條路適合的產(chǎn)品畫(huà)像很清晰內(nèi)存小、模型單、云端強(qiáng)綁定、要求快速量產(chǎn)。團(tuán)隊(duì)如果剛接觸RTOS這條路也是上手成本最低的。我自己的建議是做消費(fèi)類(lèi)IoT或者簡(jiǎn)單工業(yè)檢測(cè)優(yōu)先考慮FreeRTOS。它不會(huì)給你驚喜但也很少給你驚嚇。網(wǎng)上那些FreeRTOS移植教程、學(xué)習(xí)筆記、面試題你翻一圈下來(lái)基本能覆蓋實(shí)際開(kāi)發(fā)中80%的問(wèn)題這種人才儲(chǔ)備厚度其他兩家短期追不上。3. ThreadX的護(hù)城河安全認(rèn)證和確定性AI也得按規(guī)矩來(lái)3.1 從Express Logic到EclipseThreadX的身份進(jìn)化ThreadX本來(lái)是Express Logic的商業(yè)RTOS被微軟收購(gòu)后變成Azure RTOS2024年又交給了Eclipse基金會(huì)改名Eclipse ThreadX。這一路折騰下來(lái)它的核心資產(chǎn)一直沒(méi)變認(rèn)證齊全、確定性極強(qiáng)。ThreadX拿過(guò)的安全認(rèn)證在RTOS界是硬通貨ISO 26262 ASIL D、IEC 61508 SIL 4、IEC 62304 Class C這些基本覆蓋了汽車(chē)、工業(yè)、醫(yī)療領(lǐng)域最嚴(yán)格的等級(jí)要求。對(duì)普通消費(fèi)產(chǎn)品來(lái)說(shuō)認(rèn)證是無(wú)感的但對(duì)醫(yī)療設(shè)備、汽車(chē)控制器、工業(yè)安全系統(tǒng)來(lái)說(shuō)這一張張證書(shū)就是能不能合規(guī)上市的入場(chǎng)券。AI進(jìn)來(lái)之后ThreadX面對(duì)的問(wèn)題不是能不能跑模型而是誰(shuí)敢在一個(gè)醫(yī)療輸液泵或者汽車(chē)剎車(chē)控制器上跑一個(gè)黑盒神經(jīng)網(wǎng)絡(luò)。3.2 安全領(lǐng)域的AI「隔離、校驗(yàn)、回退」三段式在要求ASIL D或Class C等級(jí)的系統(tǒng)里AI推理絕不能和安全關(guān)鍵控制邏輯攪在同一個(gè)調(diào)度域里。ThreadX的做法一句話(huà)概括內(nèi)核保持可審計(jì)、確定性強(qiáng)的老樣子AI作為隔離組件放在上層通過(guò)明確接口與安全任務(wù)交互。我在實(shí)際項(xiàng)目中更愿意把它拆成三步。第一步隔離推理任務(wù)跑在低優(yōu)先級(jí)線(xiàn)程里訪問(wèn)的緩沖區(qū)、IO區(qū)域和其他任務(wù)物理隔離不能共享可變?nèi)譅顟B(tài)。第二步校驗(yàn)推理結(jié)果不能直接驅(qū)動(dòng)執(zhí)行器先經(jīng)過(guò)一個(gè)合理性檢查模塊比如判斷輸出值是否落在合法范圍、是否與上一幀結(jié)果突變過(guò)大。第三步回退任何一步校驗(yàn)不過(guò)系統(tǒng)立刻切到安全默認(rèn)行為比如停機(jī)、保持當(dāng)前輸出、報(bào)警而不是繼續(xù)采用AI結(jié)果。這種隔離-校驗(yàn)-回退的設(shè)計(jì)才是安全評(píng)審專(zhuān)家真正認(rèn)的東西。文檔和代碼一樣重要這條經(jīng)驗(yàn)對(duì)我的項(xiàng)目推進(jìn)幫助極大。3.3 確定性調(diào)度對(duì)推理延遲的真實(shí)影響很多人以為確定性就是實(shí)時(shí)性其實(shí)不對(duì)。確定性指的是同一輸入、同一條件下任務(wù)被調(diào)度和執(zhí)行的時(shí)間可預(yù)測(cè)、可重復(fù)。這在控制類(lèi)應(yīng)用里極其重要。AI推理天生不確定推理時(shí)間受輸入數(shù)據(jù)影響可能幾毫秒也可能幾十毫秒加上緩存、DMA這些硬件因素延遲抖動(dòng)會(huì)放大。ThreadX的調(diào)度器做得好的一點(diǎn)是它的運(yùn)行時(shí)間基本恒定不會(huì)因?yàn)槿蝿?wù)數(shù)量變化導(dǎo)致切換時(shí)間漂移。你在系統(tǒng)設(shè)計(jì)時(shí)可以把最壞情況推理時(shí)間加調(diào)度延遲算進(jìn)時(shí)序預(yù)算里而不是靠概率去賭。坦白說(shuō)只要不是硬實(shí)時(shí)控制回路里跑推理這個(gè)優(yōu)勢(shì)感知不明顯但一旦到了功能安全場(chǎng)景可驗(yàn)證性就是生命線(xiàn)。我們做汽車(chē)電子項(xiàng)目時(shí)調(diào)度器的確定性直接決定了WCET分析能不能過(guò)審這一點(diǎn)ThreadX確實(shí)省了團(tuán)隊(duì)很多麻煩。4. Zephyr的野望把Linux的開(kāi)發(fā)體驗(yàn)搬進(jìn)MCUAI只是其中一個(gè)模塊4.1 Devicetree、Kconfig、West還沒(méi)寫(xiě)AI代碼先習(xí)慣工具鏈Zephyr由Linux基金會(huì)托管背后是Nordic、NXP、Intel、ST這些大廠。它的設(shè)計(jì)哲學(xué)很直白讓嵌入式開(kāi)發(fā)享受Linux那套工程體驗(yàn)。工程組織用CMake配置用Kconfig硬件描述用Devicetree外部庫(kù)用West manifest管理。第一次接觸的人通常很痛苦但一旦適應(yīng)跨平臺(tái)復(fù)用效率極高。為什么這件事對(duì)AI很重要因?yàn)锳I模型要和攝像頭、麥克風(fēng)、IMU這些傳感器打交道Zephyr提供了一套標(biāo)準(zhǔn)化的Sensor API和DMA驅(qū)動(dòng)數(shù)據(jù)源到模型之間的代碼不用每個(gè)芯片重寫(xiě)一遍。配合VSCode的Zephyr插件build、flash、調(diào)試比純命令行順暢得多。如果你是從Linux開(kāi)發(fā)轉(zhuǎn)過(guò)來(lái)的人Zephyr的門(mén)檻遠(yuǎn)沒(méi)有想象中那么高很多概念其實(shí)就是設(shè)備樹(shù)和內(nèi)核模塊的變體。4.2 TFLM、NPU支持和「平臺(tái)化」思維Zephyr對(duì)TensorFlow Lite Micro的支持在三條路里算是最正統(tǒng)的官方模塊和示例里直接集成了TFLMWest manifest一拉就能跑起來(lái)。更重要的是Zephyr并不把AI限制在CPU上很多芯片的NPU和DSP加速驅(qū)動(dòng)器都能進(jìn)入它的驅(qū)動(dòng)模型這讓模型部署的底層通路非常順。但這只是表面。Zephyr真正的野心是把支持AI變成支持一切的能力。它支持多核、支持POSIX接口、支持完整網(wǎng)絡(luò)和藍(lán)牙協(xié)議棧甚至能從MCU一路跑到Cortex-A級(jí)別的SoC上。像STM32N6這種帶NPU的MCU或者Nordic nRF54系列這樣面向機(jī)器學(xué)習(xí)的新平臺(tái)Zephyr基本都是主力RTOS。在Zephyr眼里AI推理只是眾多模塊中的一個(gè)它更想成為從傳感器到邊緣網(wǎng)關(guān)的全覆蓋平臺(tái)。當(dāng)你的產(chǎn)品線(xiàn)從單一MCU擴(kuò)展到網(wǎng)關(guān)、邊緣盒子Zephyr的復(fù)用價(jià)值會(huì)越來(lái)越明顯。4.3 踩過(guò)的坑Zephyr的上手成本真的不低說(shuō)幾句實(shí)話(huà)。Zephyr的上手成本在三條路里最高Devicetree的overlay、DTS bindings、Kconfig symbol、West manifest任何一個(gè)環(huán)節(jié)出錯(cuò)報(bào)錯(cuò)信息都?jí)虿榘胩臁Ｔ缙诎姹旧?jí)還經(jīng)常把API改得面目全非網(wǎng)上教程版本一舊照著敲就是一堆坑。另外全特性配置下Zephyr的鏡像體積可以輕松到幾百KB它對(duì)芯片資源的胃口比FreeRTOS大得多。如果是64KB Flash、16KB RAM這種小資源MCU硬上Zephyr純屬找罪受。團(tuán)隊(duì)如果只有一兩個(gè)嵌入式工程師又沒(méi)有Linux工程經(jīng)驗(yàn)建議不要第一次做AI項(xiàng)目就直接上Zephyr。但我個(gè)人越來(lái)越傾向于在產(chǎn)品線(xiàn)規(guī)劃明確、硬件會(huì)持續(xù)迭代的場(chǎng)景下選Zephyr。前期痛苦換來(lái)的是抽象層穩(wěn)定后面每出一款新硬件都不用推倒重來(lái)。5. 三條路的實(shí)盤(pán)選型給項(xiàng)目和團(tuán)隊(duì)對(duì)號(hào)入座5.1 一張表看清三者邊界把關(guān)鍵維度放一起看最直觀維度FreeRTOSThreadXZephyr內(nèi)核體積最小幾KB到十幾KB中等可控較大全特性輕松上百KB治理模式AWS主導(dǎo)社區(qū)活躍Eclipse基金會(huì)Linux基金會(huì)安全認(rèn)證基本沒(méi)有亮點(diǎn)強(qiáng)覆蓋汽車(chē)/工業(yè)/醫(yī)療最高等級(jí)中等正在補(bǔ)齊AI支持路徑外掛TFLM/Glow/eIQ隔離組件加云端部署內(nèi)建TFLM模塊化支持NPU芯片適配范圍極廣移植成本低中等商業(yè)服務(wù)好極廣Devicetree加持學(xué)習(xí)曲線(xiàn)低中高適合產(chǎn)品消費(fèi)IoT、快速量產(chǎn)、云綁定醫(yī)療/汽車(chē)/工業(yè)安全平臺(tái)化產(chǎn)品、中高復(fù)雜度系統(tǒng)這張表不是比誰(shuí)好誰(shuí)壞而是三條路的邊界。實(shí)際選型時(shí)你會(huì)發(fā)現(xiàn)90%的項(xiàng)目其實(shí)只夠得著其中一條路糾結(jié)往往是因?yàn)楫a(chǎn)品定位本身沒(méi)想清楚。5.2 按產(chǎn)品和團(tuán)隊(duì)背景做決策我習(xí)慣按兩個(gè)維度來(lái)做決策產(chǎn)品對(duì)安全合規(guī)的要求高不高以及系統(tǒng)軟硬件復(fù)雜度高不高。如果產(chǎn)品是智能家居設(shè)備、手持工具、簡(jiǎn)單傳感器節(jié)點(diǎn)內(nèi)存小、量要大、上市要快FreeRTOS就是最務(wù)實(shí)的選擇。模組廠給的SDK、云平臺(tái)的接入庫(kù)基本都是FreeRTOS優(yōu)先適配團(tuán)隊(duì)招人也容易。如果做的是醫(yī)療電子、汽車(chē)域控、工業(yè)運(yùn)動(dòng)控制安規(guī)是硬門(mén)檻ThreadX的認(rèn)證積累能讓評(píng)審少走很多彎路省下的認(rèn)證時(shí)間遠(yuǎn)比授權(quán)費(fèi)值錢(qián)。如果產(chǎn)品是一個(gè)會(huì)持續(xù)迭代三五年以上的平臺(tái)比如多傳感器融合的邊緣網(wǎng)關(guān)、機(jī)器人主控、帶屏交互的HMIZephyr的模塊化和驅(qū)動(dòng)抽象會(huì)越用越順手。團(tuán)隊(duì)背景也要算進(jìn)去。純單片機(jī)出身的團(tuán)隊(duì)直接上Zephyr第一個(gè)迭代周期大概率要交學(xué)費(fèi)有Linux經(jīng)驗(yàn)、熟悉設(shè)備樹(shù)和構(gòu)建系統(tǒng)的團(tuán)隊(duì)Zephyr反而是最快的。反過(guò)來(lái)把FreeRTOS用到極致的人未必看得上Zephyr的復(fù)雜但面對(duì)功能安全項(xiàng)目又不得不去理解ThreadX的哲學(xué)。選RTOS從來(lái)不是技術(shù)比賽是拿自己的團(tuán)隊(duì)底子去碰產(chǎn)品的長(zhǎng)期需求。6. 我的觀察AI正在反過(guò)來(lái)重塑RTOS的生態(tài)位6.1 AI的引入正在改變RTOS的競(jìng)爭(zhēng)維度以前RTOS之間的競(jìng)爭(zhēng)比的是內(nèi)核小不小、切換快不快、組件全不全。AI來(lái)了之后競(jìng)爭(zhēng)維度變成了誰(shuí)的AI落地路徑更順。FreeRTOS靠云生態(tài)和龐大的外掛庫(kù)把AI的接入成本壓到最低ThreadX靠認(rèn)證和確定性把AI的合規(guī)邊界劃得最清楚Zephyr靠平臺(tái)化和對(duì)NPU等新硬件的緊跟把AI的擴(kuò)展空間撐得最大。這是三條完全不同的價(jià)值主張沒(méi)有高下之分。還有一個(gè)感受比較深A(yù)I也在改變RTOS本身的開(kāi)發(fā)方式。現(xiàn)在AI輔助寫(xiě)代碼、自動(dòng)生成設(shè)備樹(shù)配置、智能檢查堆棧和內(nèi)存問(wèn)題的工具越來(lái)越多對(duì)工程師來(lái)說(shuō)理解RTOS底層原理反而更重要了。內(nèi)核源碼看不看得懂決定了你用AI輔助時(shí)能不能準(zhǔn)確提問(wèn)和驗(yàn)收結(jié)果。這也是為什么我建議新人不要跳過(guò)經(jīng)典機(jī)制的學(xué)習(xí)直接拿AI生成全套工程。6.2 我最近一次重新選型的體會(huì)上個(gè)月做一個(gè)工業(yè)數(shù)據(jù)采集網(wǎng)關(guān)的預(yù)研要跑異常檢測(cè)模型還要接CAN、RS485、Wi-Fi同時(shí)考慮后續(xù)版本加視覺(jué)模塊。我最后的結(jié)論是Zephyr因?yàn)樗尿?qū)動(dòng)模型和模塊化能讓后面幾次迭代少返工換作一個(gè)純粹的量產(chǎn)消費(fèi)件我肯定無(wú)腦FreeRTOS如果目標(biāo)市場(chǎng)在醫(yī)療方向我會(huì)直接選ThreadX并提前把隔離、校驗(yàn)、回退的設(shè)計(jì)文檔寫(xiě)好。三條路沒(méi)有銀彈選型就是拿今天的團(tuán)隊(duì)和明天的產(chǎn)品做匹配。希望這篇能讓你在項(xiàng)目啟動(dòng)前把自己的路看清楚。