有個(gè)做物聯(lián)網(wǎng)的朋友上周找我說(shuō)他們新出的一批設(shè)備在現(xiàn)場(chǎng)批量“變磚”用戶(hù)拿到設(shè)備上電電源燈亮業(yè)務(wù)卻完全起不來(lái)。遠(yuǎn)程連上去抓日志問(wèn)題出在啟動(dòng)流程里一個(gè)被整個(gè)團(tuán)隊(duì)默認(rèn)“不可能出錯(cuò)”的細(xì)節(jié)上而最終修復(fù)只用了三行代碼。這種事在嵌入式領(lǐng)域太常見(jiàn)了。我越來(lái)越覺(jué)得決定一個(gè)固件工程師水平的不是業(yè)務(wù)邏輯寫(xiě)得有多花哨而是三個(gè)基本功懂啟動(dòng)流程、會(huì)故障定位、能做可靠的 OTA 升級(jí)。這三件事也恰恰是面試中最?lèi)?ài)考、實(shí)踐中最容易翻車(chē)的地方。這篇文章就把它們串成一條完整的技術(shù)鏈路來(lái)講從設(shè)備上電到安全升級(jí)每一環(huán)的原理、坑位、工程化方案一次說(shuō)透。適合剛?cè)腴T(mén)想往底層走的固件開(kāi)發(fā)也適合做了兩三年但一直停留在業(yè)務(wù)層的朋友查缺補(bǔ)漏。圍繞啟動(dòng)流程、故障定位、OTA 工程化這三個(gè)主題我把全文分成四塊最后補(bǔ)上篇留下的三道思考題解析。1. 啟動(dòng)流程拆到底從向量表到 main 函數(shù)之間的關(guān)鍵鏈條1.1 Cortex-M 的“上電三件事”向量表、復(fù)位序列、分散加載很多工程師寫(xiě)了好幾年 MCU 程序你問(wèn)他“芯片上電后第一行代碼是什么”他答不上來(lái)。這不能怪他因?yàn)楝F(xiàn)代 IDE 把啟動(dòng)文件、鏈接腳本都封裝好了新手只需要點(diǎn)編譯就能跑起來(lái)。但一旦涉及到 Bootloader、OTA、低功耗喚醒這些場(chǎng)景啟動(dòng)流程的理解程度就決定了你能不能獨(dú)立解決問(wèn)題。Cortex-M 內(nèi)核上電后硬件做的動(dòng)作非常固定只有三件事從地址0x00000000讀取初始棧指針 MSP 的值從地址0x00000004讀取復(fù)位向量也就是Reset_Handler的入口地址把 PC 指針設(shè)為復(fù)位向量的值開(kāi)始執(zhí)行Reset_Handler。這三步由芯片硬件完成不需要任何軟件參與。重點(diǎn)是接下來(lái)Reset_Handler里做了什么這部分屬于我們程序員可控的領(lǐng)域也是啟動(dòng)流程最容易埋坑的地方。一個(gè)典型的啟動(dòng)文件比如startup_stm32f10x_hd.s在Reset_Handler里會(huì)依次執(zhí)行調(diào)用SystemInit()配置時(shí)鐘樹(shù)、Flash 等待周期等基礎(chǔ)硬件調(diào)用 C 庫(kù)的__main注意是 C 庫(kù)函數(shù)不是我們寫(xiě)的main它會(huì)根據(jù)鏈接腳本里的LOAD和RUN地址信息把 RW 段已初始化全局變量從 Flash 拷貝到 RAM再把 ZI 段未初始化全局變量清零最后才跳轉(zhuǎn)到用戶(hù)的main()。這里有個(gè)最容易忽略的點(diǎn)你的全局變量并不是“天生”就在 RAM 里的。所有帶初始值的全局變量初始值都存在 Flash 中運(yùn)行時(shí)才被搬到 RAM。RAM 掉電即失Flash 又不能直接改所以才需要這一套“分散加載”機(jī)制。你可以類(lèi)比成出差帶行李Flash 是家里的衣柜RAM 是酒店衣柜C 庫(kù)啟動(dòng)代碼就是那個(gè)幫你把衣服從家里搬到酒店的管家。箱子棧要多大、衣服掛在哪變量地址都記錄在鏈接腳本.icf或.ld里。1.2 Bootloader 跳轉(zhuǎn) App一次不能出錯(cuò)的“接力賽”做 Bootloader App 雙區(qū)架構(gòu)時(shí)最常見(jiàn)的代碼是把 App 寫(xiě)在 Flash 后半段Bootloader 在前半段。Bootloader 啟動(dòng)后通過(guò)串口或網(wǎng)絡(luò)燒寫(xiě) App之后跳轉(zhuǎn)到 App。這個(gè)“跳轉(zhuǎn)”看起來(lái)只是一行函數(shù)指針調(diào)用但實(shí)際上一堆人在這里栽過(guò)跟頭。先看一個(gè)標(biāo)準(zhǔn)的跳轉(zhuǎn)代碼typedef void (*app_entry_t)(void); void jump_to_app(uint32_t app_addr) { uint32_t msp_value; app_entry_t app_entry; // 1. 關(guān)全局中斷防止跳轉(zhuǎn)過(guò)程中產(chǎn)生中斷 __disable_irq(); // 2. 復(fù)位所有用到的外設(shè)尤其是 DMA、定時(shí)器、UART // deinit_peripherals(); // 3. 檢查 App 棧頂?shù)刂肥欠窈戏ㄊ欠裨?RAM 范圍內(nèi) msp_value *(volatile uint32_t *)app_addr; if (msp_value RAM_BASE || msp_value (RAM_BASE RAM_SIZE)) { return; } // 4. 取復(fù)位向量 app_entry (app_entry_t)(*(volatile uint32_t *)(app_addr 4)); // 5. 設(shè)置主棧指針然后跳轉(zhuǎn) __set_MSP(msp_value); app_entry(); // 正常情況下不會(huì)走到這里 while (1); }這里每一個(gè)步驟都有講究。第一步關(guān)中斷很多人只做了__disable_irq()就以為完事了實(shí)際上還應(yīng)該把 Bootloader 期間打開(kāi)過(guò)的外設(shè)中斷逐個(gè)關(guān)掉特別是 SysTick。SysTick 如果一直開(kāi)著跳轉(zhuǎn)到 App 后App 有自己的 SysTick 配置但中斷標(biāo)志位或計(jì)數(shù)值可能殘留導(dǎo)致第一次進(jìn)入 App 時(shí)中斷觸發(fā)的時(shí)間和預(yù)期不符。第三步校驗(yàn)棧頂?shù)刂愤@步尤其重要。如果 App 區(qū)是空的或者 Flash 讀出來(lái)全是0xFFmsp_value就是0xFFFFFFFF直接__set_MSP(0xFFFFFFFF)一進(jìn)函數(shù)就爆棧。所以必須檢查地址是否落在 RAM 區(qū)間。還有一個(gè)關(guān)鍵操作重新設(shè)置向量表偏移。Cortex-M 內(nèi)核有一個(gè) VTOR 寄存器在 System Control Block 里用來(lái)告訴內(nèi)核中斷向量表在哪個(gè)地址。如果 App 鏈接地址是0x08010000而 VTOR 沒(méi)有修改中斷一進(jìn)來(lái) CPU 還是去0x08000000查向量表結(jié)果要么跳到 Bootloader 的中斷處理函數(shù)要么直接 HardFault。這件事通常在 App 里的SystemInit()或main()最前面做。#define APP_VECTOR_TABLE_ADDR 0x08010000 void app_vector_table_init(void) { SCB-VTOR APP_VECTOR_TABLE_ADDR; }如果你把這段寫(xiě)在了跳轉(zhuǎn)之前方向就反了。跳轉(zhuǎn)前Bootloader 可能也在被中斷打擾但向量表還是 Bootloader 的跳轉(zhuǎn)成功后要立刻在 App 側(cè)完成 VTOR 切換中間有個(gè)極短窗口期這也是為什么跳轉(zhuǎn)前必須關(guān)全部中斷的原因之一。1.3 從 MCU 到 SoC以 U-Boot 為例看完整啟動(dòng)鏈MCU 的啟動(dòng)已經(jīng)夠復(fù)雜了到了跑 Linux 的 SoC 上啟動(dòng)鏈還要再拉長(zhǎng)。以 i.MX6ULL 為例完整鏈?zhǔn)切酒瑑?nèi)部 Boot ROM - SPLSecondary Program Loader如果啟用 - U-Boot - Linux Kernel - Rootfs - 應(yīng)用程序芯片內(nèi)部的 Boot ROM 是出廠固化的第一級(jí) Bootloader它負(fù)責(zé)根據(jù)啟動(dòng)引腳Boot Mode去讀取外部存儲(chǔ)介質(zhì)上的程序。對(duì)于 i.MX6 來(lái)說(shuō)它讀的是一個(gè)叫 IVTImage Vector Table的數(shù)據(jù)結(jié)構(gòu)里面包含了 DCDDevice Configuration Data。DCD 是你理解整個(gè)啟動(dòng)鏈的關(guān)鍵。DDR 控制器在上電后是一堆未初始化的寄存器CPU 只能直接在內(nèi)部 SRAM 里跑代碼。Boot ROM 讀 IVT 后會(huì)按照 DCD 里的寄存器配置數(shù)據(jù)先把 DDR 初始化好然后把下一級(jí)程序SPL 或 U-Boot拷貝到 DDR 里運(yùn)行。這就是為什么 U-Boot 能跑在 DDR 里而不是像 MCU 那樣所有程序都從 Flash 執(zhí)行。U-Boot 自身又分兩個(gè)階段早期階段start.S匯編設(shè)置 CPU 工作模式、初始化串口、關(guān)閉 MMU 和 Cache、重定位 U-Boot 自身代碼后期階段board_init_r完整的板級(jí)初始化包括時(shí)鐘、DDR 詳細(xì)配置、環(huán)境變量加載、外設(shè)驅(qū)動(dòng)最后進(jìn)入 main_loop 等待命令或按 bootcmd 加載 Kernel。看啟動(dòng)日志時(shí)每一行輸出的位置都對(duì)應(yīng)一個(gè)階段U-Boot SPL 2022.04 U-Boot 2022.04 CPU: Freescale i.MX6ULL Board: MY-IMX6ULL DRAM: 512 MiB MMC: FSL_SDHC: 0 In: serial Out: serial Err: serial Net: eth0: FEC如果卡在U-Boot SPL后沒(méi)有任何輸出基本都是 DDR 初始化或時(shí)鐘配置問(wèn)題而不是內(nèi)核問(wèn)題。如果卡在MMC之后那大概率是 SD/eMMC 設(shè)備枚舉失敗或環(huán)境變量分區(qū)錯(cuò)誤。1.4 把啟動(dòng)流程變成故障排查地圖啟動(dòng)流程對(duì)于固件工程師來(lái)說(shuō)最直接的價(jià)值是把它當(dāng)成一張故障排查地圖。從硬件上電到業(yè)務(wù)運(yùn)行每一個(gè)環(huán)節(jié)對(duì)應(yīng)一種典型故障啟動(dòng)階段典型故障現(xiàn)象優(yōu)先排查方向電源上電LED 不亮、電流異常電源電路、短路、電壓跌落時(shí)鐘/復(fù)位LED 亮但串口無(wú)輸出時(shí)鐘配置、復(fù)位引腳毛刺、看門(mén)狗誤復(fù)位Boot 介質(zhì)讀取上電后完全靜默Boot 引腳配置、Flash/SD 卡焊接向量表/分散加載進(jìn)不了 main 或進(jìn) main 后立即崩潰鏈接腳本、VTOR、堆棧設(shè)置外設(shè)初始化啟動(dòng)后某個(gè)外設(shè)工作異常初始化順序、時(shí)鐘樹(shù)配置我在做技術(shù)支持時(shí)遇到“啟動(dòng)不了”的故障習(xí)慣第一時(shí)間把上面的地圖在腦子里過(guò)一遍而不是直接打開(kāi)代碼看邏輯。因?yàn)槟氵B啟動(dòng)卡在哪一階段都沒(méi)確認(rèn)看代碼就是大海撈針。2. 故障定位方法論把“偶發(fā) Bug”拆成可復(fù)現(xiàn)的邏輯鏈2.1 第一步永遠(yuǎn)是分域硬件還是軟件接到故障報(bào)告第一件事不是看代碼而是先分域這是硬件問(wèn)題還是軟件問(wèn)題尤其是“偶發(fā)”故障硬件原因占比遠(yuǎn)比新手想象的高。我見(jiàn)過(guò)一個(gè)典型的例子設(shè)備偶爾在上電瞬間重啟軟件團(tuán)隊(duì)查了一個(gè)月最后拿示波器抓電源軌發(fā)現(xiàn)上電時(shí) 3.3V 電壓跌落到了 2.7V復(fù)位芯片觸發(fā)了掉電復(fù)位。原因是主板某個(gè)電容虛焊ESR 增大導(dǎo)致瞬間電流供應(yīng)不足。分域的常用手段量電源用示波器抓 3.3V、1.8V、內(nèi)核電壓的上電波形看是否有跌落、過(guò)沖、振蕩看時(shí)鐘檢查晶振是否起振頻率是否準(zhǔn)確。晶振引腳虛焊、負(fù)載電容不匹配都會(huì)導(dǎo)致時(shí)鐘不穩(wěn)查復(fù)位復(fù)位引腳上有毛刺會(huì)導(dǎo)致芯片反復(fù)復(fù)位最小系統(tǒng)法把板子上無(wú)關(guān)的外設(shè)都拆掉只保留最小系統(tǒng)看故障是否復(fù)現(xiàn)。能復(fù)現(xiàn)說(shuō)明問(wèn)題在主控附近不能復(fù)現(xiàn)說(shuō)明是外設(shè)或外部干擾。這里有個(gè)原則在排除硬件問(wèn)題之前不要花大量時(shí)間去 Code Review。很多看似軟件邏輯的問(wèn)題根源是硬件時(shí)序不滿(mǎn)足你把代碼翻穿了也找不到。2.2 啟動(dòng)類(lèi)故障的標(biāo)準(zhǔn)排查路徑如果故障現(xiàn)象是設(shè)備“起不來(lái)”我通常按下面的路徑排查每一步都有明確目的確認(rèn)電源用萬(wàn)用表量各路供電是否正常。電源正?；九懦竺娣e短路和電源損壞。確認(rèn)時(shí)鐘示波器測(cè)外部晶振引腳應(yīng)該看到穩(wěn)定的正弦波或方波。主芯片如果支持內(nèi)部 RC 振蕩器可以嘗試切換時(shí)鐘源確認(rèn)晶體問(wèn)題。確認(rèn)復(fù)位抓復(fù)位引腳上電瞬間應(yīng)該有一個(gè)從低到高的跳變且跳變后保持高電平。如果反復(fù)跳變說(shuō)明有看門(mén)狗或復(fù)位芯片在拉低。確認(rèn)程序執(zhí)行位置用調(diào)試器或 LED 心跳法確認(rèn)程序是否進(jìn)入 main。連 JTAG/SWD 能連上但跑不起來(lái)大概率是向量表或啟動(dòng)配置問(wèn)題。確認(rèn)外設(shè)初始化啟動(dòng)后逐段注釋外設(shè)初始化代碼用二分法縮小范圍。這套路徑配合啟動(dòng)流程圖能把絕大多數(shù)啟動(dòng)故障快速定位到具體環(huán)節(jié)。2.3 活用 HardFault 機(jī)制讓芯片自己報(bào)出案發(fā)現(xiàn)場(chǎng)如果說(shuō)啟動(dòng)流程是“案發(fā)第一現(xiàn)場(chǎng)”那 HardFault 就是“案發(fā)現(xiàn)場(chǎng)的監(jiān)控錄像”。Cortex-M 內(nèi)核在遇到非法內(nèi)存訪(fǎng)問(wèn)、未定義指令、棧溢出等情況時(shí)會(huì)觸發(fā) HardFault進(jìn)入HardFault_Handler。很多人的HardFault_Handler是這樣的void HardFault_Handler(void) { while (1); }這樣寫(xiě)只保證程序不死機(jī)但對(duì)定位問(wèn)題毫無(wú)幫助。正確的做法是在 HardFault 里把現(xiàn)場(chǎng)信息提取出來(lái)寫(xiě)入日志或保存到 RAM 特定位置。Cortex-M 在進(jìn)入 HardFault 時(shí)硬件會(huì)自動(dòng)把 R0、R1、R2、R3、R12、LR、PC、xPSR 這 8 個(gè)寄存器壓入當(dāng)前棧MSP 或 PSP。我們?cè)?Handler 里讀出這些值就能拿到觸發(fā) Fault 的 PC 地址。void HardFault_Handler(void) { volatile uint32_t *stack; volatile uint32_t cfsr SCB-CFSR; volatile uint32_t hfsr SCB-HFSR; // 根據(jù) CONTROL 寄存器判斷當(dāng)前使用的是 MSP 還是 PSP if (__get_CONTROL() 0x02) { stack (uint32_t *)__get_PSP(); } else { stack (uint32_t *)__get_MSP(); } // 棧幀布局R0, R1, R2, R3, R12, LR, PC, xPSR volatile uint32_t fault_pc stack[6]; volatile uint32_t fault_lr stack[5]; volatile uint32_t fault_r0 stack[0]; // 把信息保存到全局變量或串口打印 g_fault_info.pc fault_pc; g_fault_info.lr fault_lr; g_fault_info.cfsr cfsr; g_fault_info.hfsr hfsr; while (1); }拿到 PC 地址后在編譯生成的.map文件里搜索這個(gè)地址就能定位到具體函數(shù)再通過(guò)行號(hào)信息如果開(kāi)了-g定位到源碼行。有一次我定位一個(gè) Bug現(xiàn)象是設(shè)備運(yùn)行幾小時(shí)后隨機(jī)死機(jī)連上調(diào)試器發(fā)現(xiàn)是 HardFault。從棧里提取到 PC 地址后在 map 文件里一查落在一個(gè)memset調(diào)用附近。繼續(xù)分析棧幀里的 R0發(fā)現(xiàn)目標(biāo)地址是一個(gè)被釋放過(guò)的結(jié)構(gòu)體指針。本質(zhì)上是一處 use-after-free跟“隨機(jī)死機(jī)”的表現(xiàn)完全吻合。沒(méi)有 HardFault 現(xiàn)場(chǎng)提取的話(huà)這個(gè)問(wèn)題可能要排查幾周。2.4 一個(gè)真實(shí)案例一次偶發(fā)啟動(dòng)失敗的完整排查記錄這里分享一個(gè)我實(shí)際經(jīng)歷過(guò)的排查過(guò)程里面用到的思路和上面方法論完全一致?，F(xiàn)象某設(shè)備在低溫環(huán)境下部分批次首次上電啟動(dòng)失敗電源燈亮但串口無(wú)輸出斷電重啟后大概率恢復(fù)正常。排查過(guò)程先做分域。拆了一臺(tái)故障設(shè)備用示波器抓上電時(shí)各路電源發(fā)現(xiàn) 3.3V 波形有輕微跌落但沒(méi)跌到復(fù)位閾值以下初步排除電源本身問(wèn)題。抓復(fù)位引腳發(fā)現(xiàn)復(fù)位信號(hào)在上電后出現(xiàn)了一次約 200ms 的低電平毛刺隨后恢復(fù)高電平。這就是問(wèn)題所在——外部看門(mén)狗芯片在電源不穩(wěn)時(shí)誤觸發(fā)了復(fù)位而主控還沒(méi)來(lái)得及完成啟動(dòng)。進(jìn)一步分析代碼發(fā)現(xiàn)啟動(dòng)流程里先喂狗后初始化時(shí)鐘。低溫環(huán)境下晶振起振本來(lái)就慢時(shí)鐘還沒(méi)穩(wěn)定看門(mén)狗已經(jīng)快超時(shí)了一旦被觸發(fā)復(fù)位就形成了“啟動(dòng)失敗—復(fù)位—再啟動(dòng)—再失敗”的循環(huán)。修改方案把看門(mén)狗初始化放到時(shí)鐘穩(wěn)定之后并且在 Bootloader 階段延長(zhǎng)首次喂狗時(shí)間給晶振留出足夠的起振裕量。改完在低溫箱里做了 200 次上下電測(cè)試故障不再?gòu)?fù)現(xiàn)。這個(gè)案例能說(shuō)明兩件事第一啟動(dòng)流程不只是“代碼能不能跑”還涉及時(shí)序、溫度、硬件特性的綜合影響第二排查偶發(fā)故障要靠硬件的量測(cè)手段和軟件的邏輯分析結(jié)合缺一不可。3. OTA 升級(jí)工程化實(shí)戰(zhàn)從“能升級(jí)”到“升級(jí)不翻車(chē)”3.1 OTA 不是“下載固件 寫(xiě)入 Flash”這么簡(jiǎn)單OTAOver-The-Air升級(jí)是很多嵌入式產(chǎn)品的標(biāo)配功能。但真正把它做好做成生產(chǎn)級(jí)而不是Demo 級(jí)要處理的問(wèn)題多得多。一個(gè)最小可用的 OTA 系統(tǒng)至少包含三個(gè)角色設(shè)備端負(fù)責(zé)下載固件、存儲(chǔ)、校驗(yàn)、切換分區(qū)、失敗回滾服務(wù)端負(fù)責(zé)固件版本管理、發(fā)布策略、灰度控制、設(shè)備狀態(tài)管理簽名/打包工具負(fù)責(zé)對(duì)固件鏡像做加密、簽名、生成元信息。很多團(tuán)隊(duì)第一次做 OTA以為在設(shè)備端寫(xiě)個(gè) HTTP 下載、把數(shù)據(jù)寫(xiě)入 Flash 就完事了。結(jié)果一上線(xiàn)就遇到各種問(wèn)題下載到一半網(wǎng)絡(luò)斷了設(shè)備變磚固件被中間人篡改設(shè)備被植入惡意代碼A 設(shè)備升級(jí)到 B 設(shè)備的固件導(dǎo)致硬件外設(shè)不匹配升級(jí)失敗后沒(méi)有回滾機(jī)制只能返廠維修。這些都是我要強(qiáng)調(diào)的OTA 的核心不是“傳輸”而是“狀態(tài)管理”和“異?；謴?fù)”。3.2 A/B 分區(qū)方案用一倍存儲(chǔ)換來(lái)的升級(jí)安全感目前工業(yè)界最穩(wěn)妥的 OTA 方案是 A/B 分區(qū)也叫雙分區(qū)、雙備份。思路很簡(jiǎn)單Flash 里放兩個(gè)可以獨(dú)立啟動(dòng)的固件區(qū)當(dāng)前運(yùn)行在 A 區(qū)升級(jí)時(shí)寫(xiě)入 B 區(qū)寫(xiě)入完成后切換啟動(dòng)標(biāo)志下次從 B 區(qū)啟動(dòng)。分區(qū)布局大概是這樣的-------------------------------------------------- | Bootloader | Slot A (App v1.0) | Slot B (App v2.0) | --------------------------------------------------關(guān)鍵機(jī)制有兩點(diǎn)啟動(dòng)計(jì)數(shù)每次從某個(gè)分區(qū)啟動(dòng)時(shí)Bootloader 先把該分區(qū)的啟動(dòng)計(jì)數(shù)加 1寫(xiě)到一個(gè)專(zhuān)門(mén)的 metadata 區(qū)。如果 App 啟動(dòng)后運(yùn)行正常會(huì)通知 Bootloader 重置計(jì)數(shù)如果 App 啟動(dòng)失敗或反復(fù)重啟計(jì)數(shù)一直累積直到達(dá)到閾值比如 3 次Bootloader 就判定這個(gè)分區(qū)是壞的自動(dòng)切換到另一個(gè)分區(qū)。健康檢查App 不僅要“啟動(dòng)”還要“健康”。我們?cè)趯?shí)際項(xiàng)目里通常會(huì)讓 App 在初始化完成后上報(bào)一次“啟動(dòng)成功”事件給服務(wù)端服務(wù)端收到后下發(fā)確認(rèn)設(shè)備端重置計(jì)數(shù)器。如果服務(wù)端長(zhǎng)時(shí)間沒(méi)有確認(rèn)設(shè)備端會(huì)自動(dòng)回滾到上一個(gè)版本。A/B 分區(qū)的最大缺點(diǎn)是 Flash 占用翻倍。對(duì)很多成本敏感的 MCU 產(chǎn)品來(lái)說(shuō)Flash 往往摳得很緊這時(shí)可以做壓縮包升級(jí) 備份恢復(fù)區(qū)方案固件版本用壓縮包傳輸解壓后寫(xiě)入原分區(qū)同時(shí)保留一個(gè)小型恢復(fù) Bootloaderrecovery專(zhuān)門(mén)處理升級(jí)失敗后的恢復(fù)。但這個(gè)方案復(fù)雜度比 A/B 高代碼量也更大需要自己管理異?；謴?fù)邏輯。如果 Flash 容量允許A/B 分區(qū)永遠(yuǎn)是最省心的選擇。3.3 固件加簽驗(yàn)簽建立從服務(wù)器到芯片的安全信任鏈很多人在做 OTA 時(shí)有一個(gè)誤區(qū)我的 OTA 走的是 HTTPS數(shù)據(jù)是加密的所以安全。但 HTTPS 只保護(hù)了“傳輸過(guò)程”固件本身在服務(wù)端存儲(chǔ)時(shí)、被離線(xiàn)下載后都是不設(shè)防的。真正需要的是對(duì)固件本身做簽名讓設(shè)備端能夠驗(yàn)證固件來(lái)源和完整性。簽名和驗(yàn)簽的典型流程是編譯生成固件二進(jìn)制文件用哈希算法如 SHA-256計(jì)算固件哈希用私鑰對(duì)哈希做簽名如 RSA-2048 或 ECDSA P-256把簽名和固件元信息版本號(hào)、芯片型號(hào)、發(fā)布時(shí)間一起打包設(shè)備端下載后用預(yù)置的公鑰驗(yàn)簽驗(yàn)簽通過(guò)才允許寫(xiě)入。這里有一個(gè)容易被忽視的細(xì)節(jié)公鑰存放在哪。如果公鑰放在固件里攻擊者可以直接替換固件里的公鑰配合自己生成的私鑰簽一個(gè)新固件。正確的做法是把公鑰放在 Bootloader 的只讀區(qū)域或者直接燒死在芯片的 eFuse 里讓 Bootloader 作為信任根逐級(jí)驗(yàn)證。還需要考慮版本回滾攻擊。攻擊者拿到一個(gè)舊版本固件雖然里面有已知漏洞但簽名是有效的。如果設(shè)備端只驗(yàn)證簽名不驗(yàn)證版本號(hào)攻擊者就可以把設(shè)備“降級(jí)”到有漏洞的舊版本。所以版本號(hào)必須參與驗(yàn)簽邏輯設(shè)備端要校驗(yàn)新固件版本不低于當(dāng)前版本。完整的信任鏈?zhǔn)荁oot ROM - Bootloader - App 固件 - 升級(jí)包 逐級(jí)驗(yàn)簽每一級(jí)只信任上一級(jí)公鑰簽名的內(nèi)容這條鏈建立起來(lái)后即使攻擊者拿到了服務(wù)器上的固件文件沒(méi)有私鑰也無(wú)法制造出能通過(guò)驗(yàn)簽的升級(jí)包。3.4 量產(chǎn)中容易翻車(chē)的工程細(xì)節(jié)與對(duì)策除了分區(qū)分區(qū)、簽名這些偏架構(gòu)的決策實(shí)際量產(chǎn)中還有一堆小細(xì)節(jié)每一個(gè)都能讓你在客戶(hù)現(xiàn)場(chǎng)翻車(chē)。寫(xiě)入掉電保護(hù)。升級(jí)過(guò)程中最怕寫(xiě) Flash 寫(xiě)到一半掉電。A/B 分區(qū)通常沒(méi)事頂多下次啟動(dòng)還是舊版本但如果是單分區(qū)原地升級(jí)寫(xiě)一半斷電設(shè)備就真的“磚”了。對(duì)策是升級(jí)寫(xiě)入時(shí)先寫(xiě)一個(gè)“magic number”標(biāo)志到專(zhuān)門(mén)區(qū)域表示“開(kāi)始寫(xiě)入了”寫(xiě)入完成后再更新標(biāo)志為“寫(xiě)入完成”。Bootloader 啟動(dòng)時(shí)檢查標(biāo)志如果發(fā)現(xiàn)標(biāo)志停在“開(kāi)始寫(xiě)入”狀態(tài)說(shuō)明上次升級(jí)沒(méi)寫(xiě)完可以提示用戶(hù)或自動(dòng)進(jìn)入 recovery 模式。多分區(qū)的“事務(wù)性”升級(jí)。有些產(chǎn)品不只有 App 固件還有字庫(kù)、配置文件、AI 模型等多塊數(shù)據(jù)。如果 A 區(qū) App 升級(jí)成功B 區(qū)字庫(kù)升級(jí)失敗系統(tǒng)重啟后 App 版本和字庫(kù)版本不匹配就會(huì)出現(xiàn)很奇怪的問(wèn)題。對(duì)策是把多分區(qū)的版本號(hào)打包成一個(gè)整體版本升級(jí)時(shí)要么全部成功要么全部回滾。灰度發(fā)布和限流。大量設(shè)備同時(shí)收到升級(jí)推送同時(shí)去服務(wù)器下載很容易把服務(wù)器帶寬打滿(mǎn)導(dǎo)致所有設(shè)備都下載超時(shí)。成熟的做法是按設(shè)備 ID 或 MAC 地址做灰度發(fā)布先升級(jí) 5% 的設(shè)備觀察一天沒(méi)問(wèn)題后再逐步放量到 10%、50%、100%。失敗信息上報(bào)。設(shè)備升級(jí)失敗后如果只是 silently 保留舊版本那就失去了排查問(wèn)題的機(jī)會(huì)。一定要在設(shè)備端記錄失敗原因網(wǎng)絡(luò)超時(shí)、校驗(yàn)失敗、寫(xiě)入失敗上報(bào)給服務(wù)端。我在實(shí)際項(xiàng)目里就靠這個(gè)能力快速發(fā)現(xiàn)了一批設(shè)備的 eMMC 存在壞塊問(wèn)題最終定位到是某批次物料質(zhì)量缺陷。3.5 加密傳輸不是必須但要考慮“過(guò)期”簽名解決的是“固件來(lái)源可信”的問(wèn)題傳輸層是否加密看具體場(chǎng)景。如果產(chǎn)品是公網(wǎng)設(shè)備升級(jí)包里有敏感的業(yè)務(wù)邏輯建議對(duì)固件做對(duì)稱(chēng)加密如果只是消費(fèi)類(lèi)小設(shè)備簽名 HTTPS 基本足夠。有一個(gè)容易踩的坑是設(shè)備時(shí)間。很多設(shè)備沒(méi)有 RTC 或者 RTC 電池沒(méi)接每次上電時(shí)間都是出廠默認(rèn)值。如果你在驗(yàn)簽邏輯里用了時(shí)間戳或證書(shū)有效期設(shè)備時(shí)間不對(duì)會(huì)導(dǎo)致驗(yàn)簽失敗或者證書(shū)提前過(guò)期。所以要么在 OTA 流程里先同步時(shí)間要么在簽名機(jī)制里只用版本號(hào)不用時(shí)間窗口。4. 上篇課后思考題三道題的完整解析與踩坑預(yù)警4.1 思考題一為什么跳轉(zhuǎn) App 前必須關(guān)中斷先說(shuō)結(jié)論關(guān)中斷是為了避免跳轉(zhuǎn)瞬間產(chǎn)生“孤兒中斷”或者“中斷向量錯(cuò)位”。跳轉(zhuǎn) App 是個(gè)瞬間動(dòng)作但它跨越了兩個(gè)不同的代碼世界Bootloader 的世界和 App 的世界。如果 Bootloader 期間已經(jīng)初始化了某個(gè)外設(shè)的中斷跳轉(zhuǎn)時(shí)沒(méi)有把中斷關(guān)閉可能發(fā)生兩種情況中斷在跳轉(zhuǎn)完成的瞬間觸發(fā)此時(shí) App 的向量表還沒(méi)設(shè)置好VTOR 還是 Bootloader 的值CPU 去查向量表找到的可能是 Bootloader 的中斷處理函數(shù)甚至是一個(gè)無(wú)效地址直接 HardFault即使向量表已經(jīng)切換App 的中斷處理函數(shù)、外設(shè)時(shí)鐘、中斷優(yōu)先級(jí)分組都可能還沒(méi)初始化這時(shí)候中斷來(lái)了行為完全不可控。這里說(shuō)的“關(guān)中斷”不只是__disable_irq()關(guān)掉全局中斷總開(kāi)關(guān)還包括逐個(gè)關(guān)閉已經(jīng)打開(kāi)的外設(shè)中斷清除外設(shè)的中斷掛起位pending bit防止中斷在關(guān)閉前已經(jīng) pending 了一打開(kāi)就觸發(fā)關(guān)閉 SysTick 并清計(jì)數(shù)如果用了 RTOS還要注意 SysTick 可能被操作系統(tǒng)改寫(xiě)跳轉(zhuǎn)前要恢復(fù)默認(rèn)設(shè)置。我見(jiàn)過(guò)一個(gè)實(shí)際案例Bootloader 里開(kāi)啟了串口 DMA 接收負(fù)責(zé)接收升級(jí)包。升級(jí)完成后直接跳轉(zhuǎn) App沒(méi)有關(guān) DMA。結(jié)果 App 起來(lái)后DMA 還在跑數(shù)據(jù)寫(xiě)進(jìn)了 App 的某個(gè)緩沖區(qū)導(dǎo)致緩沖區(qū)被莫名覆蓋程序偶爾死機(jī)。排查了很久最后發(fā)現(xiàn)是 DMA 的鍋。所以跳轉(zhuǎn)前把所有外設(shè)清干凈看起來(lái)是“多此一舉”實(shí)際上是救命的。4.2 思考題二如何設(shè)計(jì)一個(gè)失敗也能回滾的 OTA 流程上篇留的這道題本質(zhì)上是考察你對(duì) OTA 狀態(tài)機(jī)的理解。一個(gè)可回滾的 OTA 流程核心是把“下載”“寫(xiě)入”“切換”“驗(yàn)證”四個(gè)階段分開(kāi)并且每個(gè)階段都有明確的成功/失敗判定。一個(gè)成熟的回滾流程可以這樣設(shè)計(jì)下載階段新固件下載到外部存儲(chǔ)如 SD 卡、外部 Flash或直接分段寫(xiě)入目標(biāo)分區(qū)的臨時(shí)區(qū)域。下載完成后做整體校驗(yàn)SHA-256失敗則丟棄當(dāng)前固件不受影響。寫(xiě)入階段把目標(biāo)分區(qū)正式寫(xiě)入。寫(xiě)入前記錄當(dāng)前分區(qū)為“可回滾分區(qū)”目標(biāo)分區(qū)標(biāo)記為“升級(jí)中”。寫(xiě)入過(guò)程中斷電下次啟動(dòng) Bootloader 發(fā)現(xiàn)“升級(jí)中”狀態(tài)自動(dòng)恢復(fù)為從當(dāng)前分區(qū)啟動(dòng)。切換階段寫(xiě)入完成并校驗(yàn)通過(guò)后Bootloader 把啟動(dòng)標(biāo)志指向新分區(qū)同時(shí)增加啟動(dòng)計(jì)數(shù)。驗(yàn)證階段App 啟動(dòng)后執(zhí)行健康檢查自己的自檢邏輯、外設(shè)檢測(cè)、通信握手確認(rèn)正常后通知系統(tǒng)重置啟動(dòng)計(jì)數(shù)。如果 App 啟動(dòng)失敗或連續(xù)重啟啟動(dòng)計(jì)數(shù)達(dá)到閾值Bootloader 自動(dòng)切回舊分區(qū)。從實(shí)現(xiàn)角度這里的核心數(shù)據(jù)結(jié)構(gòu)是分區(qū)元信息partition metadata。每個(gè)分區(qū)至少要有分區(qū)號(hào)A/B固件版本號(hào)固件大小哈希值啟動(dòng)計(jì)數(shù)狀態(tài)標(biāo)志INVALID / VALID / UPDATING / PENDINGBootloader 在每次啟動(dòng)時(shí)都要讀元信息根據(jù)狀態(tài)和計(jì)數(shù)決定啟動(dòng)哪個(gè)分區(qū)。這跟數(shù)據(jù)庫(kù)的事務(wù)日志有點(diǎn)像——每個(gè)狀態(tài)都可回退不會(huì)出現(xiàn)中間態(tài)的災(zāi)難。4.3 思考題三沒(méi)有調(diào)試器時(shí)怎么定位死循環(huán)沒(méi)有 JTAG/SWD、沒(méi)有 printfCPU 只剩下一個(gè) LED 能亮能滅怎么定位一個(gè)死循環(huán)這是我們?cè)谫Y源受限 MCU 上遇到的很現(xiàn)實(shí)的問(wèn)題。我的經(jīng)驗(yàn)里下面幾種方法最實(shí)用按優(yōu)先級(jí)排序方法一心跳 LED 分段標(biāo)記。在代碼的關(guān)鍵路徑上插 LED 翻轉(zhuǎn)語(yǔ)句。比如循環(huán) 1 結(jié)束后 LED 快閃循環(huán) 2 結(jié)束后 LED 慢閃。死機(jī)后看 LED 停在什么閃法就能知道死在哪個(gè)區(qū)間。這個(gè)方法的本質(zhì)是用 LED 狀態(tài)機(jī)替代調(diào)試器打印。方法二SysTick 計(jì)數(shù)器當(dāng)“活動(dòng)探針”。在 SysTick 中斷里維護(hù)一個(gè)遞增計(jì)數(shù)然后在懷疑的死循環(huán)代碼里周期性讀取計(jì)數(shù)器值。如果某個(gè)位置的計(jì)數(shù)一直不變說(shuō)明程序根本沒(méi)跑到這里。這個(gè)方法不需要調(diào)試器只要定時(shí)器還能跑。方法三看門(mén)狗 現(xiàn)場(chǎng)保存。在死循環(huán)發(fā)生前CPU 可能還能跑幾個(gè)周期這時(shí)候把現(xiàn)場(chǎng)信息寄存器、返回地址保存到 RAM 的特定區(qū)域然后強(qiáng)制觸發(fā)一個(gè)未定義指令或?qū)懸粋€(gè)非法地址主動(dòng)進(jìn)入 HardFault。重啟后從 RAM 里把上次保存的現(xiàn)場(chǎng)信息讀出來(lái)串口打印或用其他方式上報(bào)。這種方法相對(duì)激進(jìn)但往往能在資源極度受限時(shí)問(wèn)你出答案。方法四利用片內(nèi)調(diào)試單元DWT。Cortex-M3/M4 內(nèi)核的 DWTData Watchpoint and Trace單元有一個(gè) Cycle Counter 寄存器可以在不打斷程序的情況下測(cè)量某段代碼的執(zhí)行時(shí)間。如果某段代碼理論上應(yīng)該 10ms 執(zhí)行完但實(shí)測(cè)計(jì)數(shù)器跑了很久說(shuō)明這里有死循環(huán)或阻塞。不過(guò)在陷入這些手段之前我還是想提醒一句死循環(huán)背后通常有兩類(lèi)根因一是邏輯邏輯狀態(tài)機(jī)漏狀態(tài)、條件判斷遺漏二是資源問(wèn)題棧溢出、堆耗盡、死鎖、優(yōu)先級(jí)反轉(zhuǎn)。如果代碼邏輯簡(jiǎn)單還死循環(huán)優(yōu)先懷疑棧溢出——把 1/4 的?？臻g填上固定值死循環(huán)后檢查剩余值是否有被篡改這是最經(jīng)典的棧溢出檢測(cè)法也是面試?？嫉狞c(diǎn)。我在實(shí)際項(xiàng)目中定位過(guò)最“坑”的一次死循環(huán)原因是某個(gè)結(jié)構(gòu)體指針在條件分支里沒(méi)有賦值就使用了看似每次都會(huì)走賦值分支但恰好有一種輸入組合走入了沒(méi)有賦值的分支于是指針指向了上一次的殘留數(shù)據(jù)一訪(fǎng)問(wèn)就死循環(huán)。當(dāng)時(shí)在現(xiàn)場(chǎng)沒(méi)有調(diào)試器就是把.map文件、棧填充檢測(cè)、條件分支日志三樣結(jié)合起來(lái)圈定了問(wèn)題函數(shù)最后在代碼里找到了那個(gè)漏寫(xiě)else的分支。嵌入式固件的進(jìn)階沒(méi)有捷徑無(wú)非是把啟動(dòng)流程、定位方法、升級(jí)工程這些“地基”一層層夯實(shí)。這些能力不會(huì)讓人在編碼時(shí)直接多寫(xiě)幾行功能代碼但在設(shè)備出問(wèn)題、客戶(hù)找上門(mén)、批量設(shè)備變磚的時(shí)候真正能救場(chǎng)的往往是平時(shí)看起來(lái)最不起眼的底層功