1. 從模型能跑到模型跑得省Model-Optimizer 到底在解決什么問題模型優(yōu)化這件事很多人第一次接觸都是在模型已經(jīng)能跑通、但部署起來處處別扭的時候。訓(xùn)練腳本里 loss 降得挺漂亮一到推理階段就發(fā)現(xiàn)顯存吃緊、延遲偏高、吞吐上不去或者換了個硬件平臺精度就掉得厲害。這時候你需要的不是重新設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)而是一套系統(tǒng)性的優(yōu)化手段——Model-Optimizer 就是在這個環(huán)節(jié)里發(fā)揮作用的東西。它不是一個單獨的算法而是一類圍繞模型壓縮與加速的工具集合的統(tǒng)稱。核心目標很明確在盡量不損失精度的前提下讓模型變得更小、更快、更省資源。具體手段包括量化、剪枝、知識蒸餾、算子融合、圖優(yōu)化等。不同框架下叫法不一樣但底層邏輯是相通的。這篇文章適合三類人看。第一類是做模型部署的工程師手里有已經(jīng)訓(xùn)練好的模型需要把它塞進有限的顯存或邊緣設(shè)備里第二類是做推理服務(wù)優(yōu)化的開發(fā)者關(guān)注吞吐和延遲指標第三類是想系統(tǒng)了解模型優(yōu)化技術(shù)棧的學(xué)習(xí)者希望把零散的知識點串成一條完整的鏈路。我會從實際使用角度出發(fā)把 Model-Optimizer 涉及的核心技術(shù)點、選型邏輯、實操步驟和踩坑經(jīng)驗講清楚盡量做到看完就能上手試。需要先說明一點模型優(yōu)化沒有銀彈。量化可能掉點剪枝可能破壞結(jié)構(gòu)蒸餾需要額外訓(xùn)練成本。每個手段都有它的適用邊界關(guān)鍵是搞清楚你的瓶頸到底在哪再對癥下藥。2. 量化最直接也最容易踩坑的壓縮手段2.1 量化的本質(zhì)是把浮點數(shù)映射到低位寬整數(shù)量化說白了就是用更少的比特來表示原本的浮點參數(shù)和激活值。FP32 是 32 位INT8 是 8 位理論上模型體積能壓到原來的四分之一內(nèi)存帶寬需求也同步下降。但這個過程不是簡單地把小數(shù)截斷成整數(shù)而是要通過一個映射關(guān)系real_value scale * (quantized_value - zero_point)。scale 是縮放因子zero_point 是零點偏移這兩個參數(shù)決定了量化的精度損失程度。為什么需要 zero_point因為浮點數(shù)的分布不一定關(guān)于零對稱。比如 ReLU 之后的激活值全是非負的如果強行用對稱量化一半的整數(shù)范圍就浪費了。非對稱量化能更充分地利用有限的整數(shù)區(qū)間代價是計算稍微復(fù)雜一點。實際做量化的時候你會遇到兩個層面的選擇量化什么以及怎么量化。量化什么指的是權(quán)重量化、激活量化還是兩者都做。只量化權(quán)重相對安全因為權(quán)重是靜態(tài)的可以離線統(tǒng)計分布激活量化難度更大因為激活值隨輸入變化需要校準數(shù)據(jù)集來估計動態(tài)范圍。怎么量化指的是訓(xùn)練后量化PTQ和量化感知訓(xùn)練QAT。PTQ 不需要重新訓(xùn)練拿訓(xùn)練好的模型直接轉(zhuǎn)速度快但精度損失可能較大QAT 在訓(xùn)練過程中模擬量化誤差讓模型提前適應(yīng)精度更好但需要額外的訓(xùn)練資源和時間。2.2 PTQ 的實操流程與校準集選擇PTQ 的典型流程分四步準備模型、準備校準數(shù)據(jù)、運行校準、導(dǎo)出量化模型。以常見的深度學(xué)習(xí)框架為例大致是這樣的# 偽代碼示意不同框架 API 不同 from optimizer import Quantizer quantizer Quantizer(model, backendint8) quantizer.set_calibration_data(calib_loader, num_samples500) quantizer.calibrate() quant_model quantizer.convert() quant_model.save(model_int8)校準集的選擇是 PTQ 里最容易被忽視但影響很大的環(huán)節(jié)。很多人隨手拿訓(xùn)練集的一個 batch 就去校準結(jié)果量化后精度崩了。校準集應(yīng)該盡量覆蓋真實推理時的輸入分布樣本數(shù)量一般在 100 到 1000 之間。太少統(tǒng)計不準太多沒必要且浪費時間。我自己的經(jīng)驗是如果做圖像分類從驗證集里分層采樣保證每個類別都有足夠樣本如果做檢測或分割要確保校準集里包含各種尺度的目標如果是 NLP 任務(wù)序列長度的分布要貼近實際推理場景。校準集選得好PTQ 的精度損失通常能控制在 1% 以內(nèi)。2.3 QAT 什么時候值得上QAT 不是必須的但有些情況下不上不行。判斷標準很簡單先跑 PTQ如果精度掉得超過可接受范圍再考慮 QAT。具體來說以下幾種情況 PTQ 往往不夠用模型本身比較小參數(shù)冗余少量化誤差沒有緩沖空間任務(wù)對精度極度敏感比如醫(yī)學(xué)圖像分割、金融風(fēng)控量化位寬低于 8 位比如 INT4 或二值化模型包含大量深度可分離卷積或注意力結(jié)構(gòu)這些對量化更敏感QAT 的核心是在前向傳播中插入偽量化節(jié)點模擬量化帶來的舍入誤差反向傳播時用直通估計器STE把梯度傳過去。訓(xùn)練時通常先用較高的學(xué)習(xí)率微調(diào)幾個 epoch再降下來精細調(diào)整。整個 QAT 過程一般需要原始訓(xùn)練 10% 到 20% 的算力。注意QAT 訓(xùn)練時的偽量化節(jié)點在導(dǎo)出時要正確折疊進權(quán)重否則推理時會多出額外的計算開銷。不同框架的折疊邏輯不一樣導(dǎo)出后務(wù)必用數(shù)值對比驗證一遍。2.4 量化踩坑實錄那些文檔里不會寫的問題第一個坑是算子不支持。不是所有算子都有量化實現(xiàn)遇到不支持的算子框架通常會回退到浮點計算導(dǎo)致量化模型里混著 FP32 算子加速效果大打折扣。解決辦法是提前查框架的量化算子支持列表或者把不支持的算子替換成等價的支持算子。第二個坑是精度評估方式不對。量化后不能只看整體指標要分類別、分場景看。我遇到過一次整體準確率只掉了 0.3%但某個關(guān)鍵類別掉了 8%這種問題在整體指標里完全看不出來。第三個坑是校準數(shù)據(jù)的預(yù)處理不一致。訓(xùn)練時的歸一化參數(shù)、resize 方式、通道順序在校準時必須和推理時完全一致。差一個均值或標準差量化范圍就偏了。3. 剪枝去掉冗余參數(shù)的藝術(shù)3.1 結(jié)構(gòu)化剪枝與非結(jié)構(gòu)化剪枝的分野剪枝的思路是把模型中不重要或冗余的參數(shù)去掉。但去掉的方式不同帶來的效果差異巨大。非結(jié)構(gòu)化剪枝是把單個權(quán)重置零產(chǎn)生稀疏矩陣。理論上壓縮率可以很高但通用硬件對稀疏矩陣的加速支持有限實際推理速度提升往往不明顯。除非你有專門支持稀疏計算的硬件或庫否則非結(jié)構(gòu)化剪枝更多是理論上的壓縮。結(jié)構(gòu)化剪枝是直接去掉整個通道、整個頭或整個層。這樣得到的模型是稠密的通用硬件都能加速。代價是剪枝粒度粗可能誤傷重要結(jié)構(gòu)精度損失相對更大。實際工程中結(jié)構(gòu)化剪枝用得更多因為它能真正帶來推理加速。非結(jié)構(gòu)化剪枝主要用于研究或特定硬件場景。3.2 重要性評估怎么判斷哪些參數(shù)該剪剪枝的核心問題是怎么衡量一個參數(shù)或一個通道的重要性常見的方法有幾種?；跈?quán)重大小的方法最簡單絕對值小的權(quán)重被認為不重要。這個假設(shè)在很多模型上成立但并非總是可靠。有些小權(quán)重可能對特定輸入影響很大。基于梯度的方法看參數(shù)對損失的敏感度梯度大的參數(shù)重要。這需要在訓(xùn)練集上算梯度計算成本較高?；诩せ畹姆椒ńy(tǒng)計通道輸出的方差或均值輸出變化小的通道可能冗余。這個方法需要跑一遍數(shù)據(jù)但比梯度方法便宜。還有基于 BN 層縮放因子的方法在帶 BN 的網(wǎng)絡(luò)上特別方便BN 的 gamma 系數(shù)接近零的通道可以直接剪掉因為后續(xù)的縮放幾乎不起作用。我通常的做法是先用 BN 縮放因子做粗剪再用激活統(tǒng)計做細調(diào)。兩步走比一步到位更穩(wěn)。3.3 剪枝后的微調(diào)策略剪枝一定會掉精度關(guān)鍵是掉多少以及能不能補回來。微調(diào)是標準操作但怎么微調(diào)有講究。學(xué)習(xí)率不能太大否則被剪掉的結(jié)構(gòu)還沒來得及重新平衡模型就發(fā)散了。一般用原始訓(xùn)練學(xué)習(xí)率的十分之一到百分之一。微調(diào)的 epoch 數(shù)取決于剪枝比例剪得越多需要越多輪次恢復(fù)。有個技巧是漸進式剪枝不要一次剪到位而是分多輪每輪剪一點然后微調(diào)再剪再微調(diào)。這樣模型有緩沖時間最終能達到更高的壓縮率而不崩。比如目標剪 50%可以分五輪每輪剪 10%。另一個技巧是層間剪枝比例差異化。淺層特征通常更通用剪多了傷基礎(chǔ)深層特征冗余度更高可以多剪。按經(jīng)驗淺層剪 10% 到 20%深層剪 40% 到 60% 比較合理。3.4 剪枝的邊界什么時候不該剪剪枝不是萬能的。如果模型本身已經(jīng)很小很緊湊剪枝空間有限強行剪只會掉點。如果任務(wù)對精度要求極高剪枝帶來的收益可能抵不上精度損失。如果推理瓶頸不在計算量而在內(nèi)存帶寬或 IO剪枝幫助也不大。判斷是否值得剪枝先做個簡單的計算剪枝后理論 FLOPs 下降多少實際推理速度提升多少精度掉了多少。三個數(shù)字放在一起看劃算就做不劃算就換別的優(yōu)化手段。4. 知識蒸餾讓小模型學(xué)會大模型的本事4.1 蒸餾的基本框架與溫度參數(shù)的作用知識蒸餾是讓一個小模型學(xué)生去模仿一個大模型教師的輸出。核心思想是教師輸出的軟標簽soft label比真實硬標簽包含更多信息比如類別之間的相似性關(guān)系這些信息能幫助學(xué)生更好地學(xué)習(xí)。蒸餾損失通常由兩部分組成學(xué)生輸出和真實標簽的交叉熵以及學(xué)生輸出和教師輸出的 KL 散度。溫度參數(shù) T 控制軟標簽的平滑程度。T 越大概率分布越平滑類別間的相對關(guān)系越明顯T 越小越接近硬標簽。T 的選擇沒有固定公式一般從 2 到 10 之間試。任務(wù)類別越多T 可以適當(dāng)大一些。蒸餾損失和真實標簽損失的權(quán)重也需要調(diào)通常蒸餾損失占大頭比如 0.7 到 0.9。4.2 特征蒸餾與注意力蒸餾的進階玩法只蒸餾輸出層是最基礎(chǔ)的做法。進階做法是蒸餾中間層的特征或注意力圖。特征蒸餾是讓學(xué)生中間層的輸出去逼近教師中間層的輸出。但兩者維度可能不一樣需要加一個投影層做對齊。投影層可以是簡單的線性變換也可以是小型的卷積網(wǎng)絡(luò)。注意力蒸餾是讓學(xué)生模仿教師的注意力分布。這在 Transformer 類模型上特別有效因為注意力圖直接反映了模型關(guān)注哪些位置。蒸餾注意力圖比蒸餾最終輸出能傳遞更結(jié)構(gòu)化的知識。實際用的時候不必所有層都蒸餾。選擇關(guān)鍵層比如每個 stage 的最后一層或者注意力最集中的幾層效果往往比全蒸餾更好計算成本也更低。4.3 蒸餾實操中的常見問題第一個問題是教師不夠強。如果教師本身精度就不高學(xué)生學(xué)到的上限也有限。蒸餾的前提是教師足夠好最好是同任務(wù)上的 SOTA 或接近 SOTA 的模型。第二個問題是容量差距過大。學(xué)生太小教師太大學(xué)生學(xué)不動。一般建議學(xué)生參數(shù)量不低于教師的十分之一。差距太大時可以先蒸餾一個中間模型再從中等模型蒸餾到小模型分步走。第三個問題是訓(xùn)練數(shù)據(jù)不匹配。蒸餾用的數(shù)據(jù)分布要和實際任務(wù)一致。如果拿通用數(shù)據(jù)蒸餾一個特定領(lǐng)域的模型效果會打折扣。有條件的話用領(lǐng)域數(shù)據(jù)做蒸餾。5. 圖優(yōu)化與算子融合不改變數(shù)值的加速5.1 計算圖層面的優(yōu)化在做什么圖優(yōu)化是在不改變模型數(shù)值結(jié)果的前提下通過重組計算圖來減少計算量和內(nèi)存訪問。常見的手段包括常量折疊、死代碼消除、算子融合、內(nèi)存復(fù)用等。常量折疊是把能在編譯期算出來的部分提前算好。比如卷積層的 BN 參數(shù)可以折疊進卷積權(quán)重推理時就少了一次 BN 計算。這個操作在推理框架里通常是自動做的但你要知道它存在才能理解為什么導(dǎo)出的模型和訓(xùn)練時的結(jié)構(gòu)不一樣。死代碼消除是去掉對輸出沒有貢獻的節(jié)點。剪枝之后經(jīng)常會有一些孤立的節(jié)點圖優(yōu)化會把它們清理掉。算子融合是把多個小算子合并成一個大算子。比如 Conv BN ReLU 可以融合成一個算子減少內(nèi)核啟動次數(shù)和中間張量的讀寫。這個對 GPU 推理的加速效果很明顯因為 GPU 上內(nèi)核啟動和內(nèi)存訪問的開銷往往比計算本身還大。5.2 融合的邊界與驗證方法算子融合不是越多越好。有些融合會改變數(shù)值精度比如把多個小算子融合成一個大算子后中間結(jié)果的精度可能下降。有些融合會限制后續(xù)優(yōu)化的空間比如融合后無法再做某些圖變換。驗證融合是否正確最直接的方法是對比融合前后的輸出。用同一批輸入跑兩個模型逐層對比輸出差異。如果差異在可接受范圍內(nèi)比如 1e-5說明融合沒問題。如果差異很大就要定位是哪個融合步驟出了問題。提示圖優(yōu)化通常在推理框架的轉(zhuǎn)換工具里完成比如導(dǎo)出 ONNX 后再用推理引擎加載。不同推理引擎的優(yōu)化策略不同同一個模型在不同引擎上的加速效果可能差很多。選引擎時不能只看 benchmark要拿自己的模型實測。5.3 內(nèi)存復(fù)用與布局優(yōu)化內(nèi)存復(fù)用是讓不同的張量共享同一塊內(nèi)存前提是它們的生命周期不重疊。這個優(yōu)化對顯存受限的場景特別有用能顯著降低峰值顯存占用。布局優(yōu)化是調(diào)整張量在內(nèi)存中的排列方式讓訪存更連續(xù)。比如 NHWC 和 NCHW 兩種布局在不同硬件上的性能差異可能很大。GPU 上通常 NHWC 對卷積更友好因為通道維度連續(xù)便于向量化讀取。這些優(yōu)化通常是推理框架自動做的但你可以通過調(diào)整輸入形狀、batch size 等參數(shù)來影響框架的優(yōu)化決策。比如固定輸入形狀能讓框架做更激進的優(yōu)化動態(tài)形狀則限制優(yōu)化空間。6. 優(yōu)化策略選型先診斷再開藥6.1 定位瓶頸計算密集還是訪存密集優(yōu)化之前先搞清楚瓶頸在哪。用 profiling 工具跑一遍模型看時間花在哪些算子上。如果大部分時間花在卷積或矩陣乘上說明是計算密集量化、剪枝、蒸餾都有幫助。如果時間花在內(nèi)存拷貝、格式轉(zhuǎn)換、小算子啟動上說明是訪存密集或調(diào)度密集圖優(yōu)化和算子融合更對癥。還有一個簡單判斷方法看模型的算術(shù)強度即每字節(jié)內(nèi)存訪問對應(yīng)的浮點運算次數(shù)。算術(shù)強度高的是計算密集低的是訪存密集。Transformer 類模型在長序列下往往是訪存密集CNN 在中大分辨率下往往是計算密集。6.2 組合拳多種優(yōu)化手段的疊加順序?qū)嶋H項目中很少只用一種優(yōu)化手段。組合使用時順序很重要。一般建議先做圖優(yōu)化和算子融合這是無損的先拿到免費收益再做剪枝去掉冗余結(jié)構(gòu)讓后續(xù)量化更容易然后做量化進一步壓縮和加速如果精度不夠用蒸餾補回來或者用 QAT 替代 PTQ這個順序不是絕對的。如果剪枝后精度掉太多可以先蒸餾再剪枝。如果量化對結(jié)構(gòu)敏感可以先量化再剪枝。關(guān)鍵是根據(jù)實測結(jié)果調(diào)整。6.3 精度與速度的權(quán)衡表優(yōu)化手段典型壓縮率典型加速比精度損失額外成本INT8 PTQ4x2-4x0.5-2%低INT8 QAT4x2-4x0.1-0.5%中結(jié)構(gòu)化剪枝 50%2x1.5-2.5x1-3%中知識蒸餾取決于學(xué)生取決于學(xué)生1-5%高算子融合無1.2-2x無低這張表是經(jīng)驗值具體數(shù)字因模型、任務(wù)、硬件而異。用的時候把它當(dāng)參考實際以實測為準。7. 我在實際項目里總結(jié)的幾條經(jīng)驗第一條不要過早優(yōu)化。模型還沒調(diào)好就去搞量化剪枝等于在流沙上蓋房子。先把模型精度做到滿意再考慮優(yōu)化。第二條每次只改一個變量。同時上量化和剪枝精度掉了都不知道是誰的鍋。一個一個來每個手段單獨評估再組合。第三條保留完整的評估流水線。優(yōu)化后的模型要用和原始模型完全相同的評估腳本、相同的測試集、相同的指標計算方式。任何不一致都會導(dǎo)致誤判。第四條關(guān)注端到端指標。算子級別的加速不等于端到端加速。預(yù)處理、后處理、數(shù)據(jù)傳輸都可能成為新瓶頸。優(yōu)化后一定要測端到端延遲和吞吐。第五條做好版本管理。每個優(yōu)化版本對應(yīng)的模型文件、配置文件、評估結(jié)果都要存檔。優(yōu)化過程往往是反復(fù)試錯沒有版本管理會亂成一團。最后分享一個我常用的檢查清單每次優(yōu)化后過一遍精度指標是否在可接受范圍端到端延遲是否下降峰值顯存是否下降模型文件大小是否下降是否有算子回退到浮點不同 batch size 下性能是否穩(wěn)定邊界輸入空輸入、極值輸入是否正常這套流程走下來基本能保證優(yōu)化是有效的而不是自欺欺人的。模型優(yōu)化這件事說到底是在約束條件下找最優(yōu)解約束可能是顯存、延遲、精度或成本搞清楚約束是什么優(yōu)化方向自然就清晰了。