1. 為什么 W4A8 是當(dāng)下大模型推理的甜點區(qū)第一次看到“Kimi 2.7 Moe 從 4bit 存儲到 INT8 拆解”這個標(biāo)題很多人會以為只是把權(quán)重壓到 4bit 就完事了。實際做過 MoE 推理優(yōu)化的人都知道真正難的不是“存得下”而是“算得快、算得準(zhǔn)、顯存還省”。W4A8 這個組合——權(quán)重 4bit 存儲、激活 INT8 計算——恰好卡在了一個非常微妙的平衡點上顯存占用接近純 4bit 方案而計算吞吐又比 W4A16 高出一大截。先把概念理清楚。W4A8 里的 W 指 Weight權(quán)重A 指 Activation激活。W4 表示權(quán)重以 4bit 精度存儲A8 表示激活值在計算時量化到 INT8。注意這里有個關(guān)鍵區(qū)別權(quán)重是“存儲精度”激活是“計算精度”。權(quán)重 4bit 存下來之后在 kernel 內(nèi)部會被反量化到更高精度參與計算而激活走 INT8 是為了吃到整數(shù)運算單元的吞吐紅利。為什么不是 W4A4因為激活對精度太敏感了。激活值在 MoE 里經(jīng)過 router 的 softmax、專家層的 GeLU/SiLU 之后動態(tài)范圍變化劇烈4bit 激活會直接把模型質(zhì)量打崩。為什么不是 W8A8因為權(quán)重 8bit 存儲省不下多少顯存MoE 模型動輒幾百 GB 的權(quán)重8bit 和 16bit 的差距在部署成本上是數(shù)量級的。所以 W4A8 是工程上反復(fù)權(quán)衡后的結(jié)果。這里要區(qū)分幾個容易混淆的精度概念。FP32 是 32 位浮點1 位符號 8 位指數(shù) 23 位尾數(shù)動態(tài)范圍極大但算力需求最高。FP16 是 16 位浮點1510動態(tài)范圍夠用但尾數(shù)精度有限。BF16 是 187指數(shù)位和 FP32 一樣動態(tài)范圍大但尾數(shù)精度低適合訓(xùn)練。INT8 是 8 位整數(shù)沒有指數(shù)位靠 scale 和 zero_point 把浮點映射到整數(shù)區(qū)間算力需求最低、吞吐最高。FP8 則是 143 或 152介于 FP16 和 INT8 之間近兩年在訓(xùn)練側(cè)很火但推理側(cè)生態(tài)還不如 INT8 成熟。提示W(wǎng)4A8 不是“權(quán)重和激活都壓到 4bit/8bit 就完事”權(quán)重的 4bit 是存儲格式計算時通常要反量化激活的 INT8 是計算格式需要 per-token 或 per-channel 的動態(tài)量化。兩者是兩套獨立的量化邏輯不能混為一談。MoE 模型為什么特別適合 W4A8因為 MoE 的參數(shù)量大但激活參數(shù)量小。以 Kimi 2.7 Moe 這類架構(gòu)為例總參數(shù)量可能幾百 B但每個 token 只激活其中一小部分專家。這意味著權(quán)重的存儲開銷是主要矛盾而激活的計算量相對可控。W4 把權(quán)重存儲壓到極致A8 保證激活計算不拖后腿這個組合對 MoE 來說幾乎是量身定做的。2. 4bit 權(quán)重存儲的三種主流格式與選擇邏輯權(quán)重壓到 4bit不是簡單地把 FP16 截斷。4bit 能表示的只有 16 個離散值怎么把這 16 個值映射到原始權(quán)重分布上直接決定了量化后的模型質(zhì)量。目前工程上主流有三種格式GPTQ 風(fēng)格的 group-wise 對稱量化、AWQ 風(fēng)格的激活感知量化、以及 NF4/FP4 這類非線性格式。2.1 GPTQ 的 group-wise 量化到底在做什么GPTQ 的核心思路是逐層做最小二乘誤差補償。它把權(quán)重矩陣按列分組每組比如 128 個元素共享一個 scale 和 zero_point然后把這組權(quán)重映射到 4bit 整數(shù)區(qū)間。反量化時用w (q - zero_point) * scale還原。group size 越小量化誤差越小但 scale 的存儲開銷越大。128 是常見的折中64 更精細(xì)但元數(shù)據(jù)翻倍。這里有個實操細(xì)節(jié)GPTQ 量化時用的是校準(zhǔn)集calibration set的激活統(tǒng)計而不是原始權(quán)重分布。因為權(quán)重的量化誤差最終要通過激活體現(xiàn)出來所以校準(zhǔn)集的質(zhì)量直接影響量化效果。我一般會用 128 到 512 條覆蓋多領(lǐng)域的樣本做校準(zhǔn)太少會導(dǎo)致某些專家層的量化誤差被低估。2.2 AWQ 為什么在 MoE 上更穩(wěn)AWQ 的出發(fā)點和 GPTQ 不同。它觀察到權(quán)重里有一部分“重要通道”對激活影響特別大如果這些通道被量化誤差污染模型質(zhì)量會明顯下降。所以 AWQ 會先識別這些重要通道然后在量化時對它們做保護(hù)——要么保留更高精度要么在 scale 上做補償。MoE 模型里這個特性尤其明顯。不同專家的權(quán)重分布差異很大有些專家處理的是高頻 token激活值大有些專家處理長尾 token激活值小。如果統(tǒng)一用一套量化參數(shù)長尾專家的質(zhì)量會先崩。AWQ 的 per-channel 保護(hù)機制在 MoE 上通常比 GPTQ 更穩(wěn)代價是量化過程更慢、實現(xiàn)更復(fù)雜。2.3 NF4 和 FP4 的適用邊界NF4Normal Float 4是 QLoRA 里提出的格式假設(shè)權(quán)重近似正態(tài)分布把 4bit 的 16 個值按正態(tài)分布的分位數(shù)放置。FP4 則是標(biāo)準(zhǔn)的 4 位浮點1 位符號 2 位指數(shù) 1 位尾數(shù)動態(tài)范圍比 INT4 大但精度低。這兩種格式在 MoE 推理里用得相對少因為它們的反量化 kernel 優(yōu)化不如 INT4 成熟。但在顯存極度受限、且能接受一定質(zhì)量損失的場景下NF4 是個可選項。我的經(jīng)驗是如果目標(biāo)是生產(chǎn)環(huán)境的高吞吐推理優(yōu)先選 INT4 group-wise如果是實驗性質(zhì)、追求極致顯存壓縮可以試 NF4。格式映射方式優(yōu)點缺點適用場景INT4 group-wise線性對稱/非對稱kernel 成熟、吞吐高需要 scale 元數(shù)據(jù)生產(chǎn)推理首選NF4正態(tài)分位數(shù)低比特下質(zhì)量好kernel 優(yōu)化少實驗、顯存極限FP4浮點映射動態(tài)范圍大精度低、生態(tài)弱研究性質(zhì)AWQ INT4激活感知保護(hù)MoE 上質(zhì)量穩(wěn)量化慢、實現(xiàn)復(fù)雜質(zhì)量敏感場景注意4bit 存儲的權(quán)重在加載后通常要先反量化成 FP16 或 BF16 才能參與矩陣乘。如果 kernel 支持“權(quán)重 4bit 直接參與 INT8 計算”的融合反量化那才是真正的 W4A8 加速。否則反量化本身的開銷會吃掉一部分收益。3. 激活 INT8 量化的動態(tài)范圍陷阱權(quán)重 4bit 是靜態(tài)的量化一次就固定了。激活 INT8 是動態(tài)的每個 token、每個 batch 的激活分布都不一樣。這是 W4A8 里最容易翻車的地方。3.1 per-tensor、per-token、per-channel 怎么選激活量化的粒度直接決定精度和開銷。per-tensor 是整個張量共享一個 scale開銷最小但精度最差遇到激活值分布不均時會大量截斷。per-token 是每個 token 一個 scale精度好很多開銷也可接受是目前 LLM 推理的主流選擇。per-channel 是每個通道一個 scale精度最好但開銷大通常只在權(quán)重側(cè)用。在 MoE 里激活量化還要考慮專家路由的影響。同一個 token 被路由到不同專家后激活分布可能完全不同。如果所有專家共享一套激活量化參數(shù)某些專家的激活會被過度壓縮。更穩(wěn)的做法是每個專家維護(hù)獨立的激活 scale但這會帶來額外的元數(shù)據(jù)管理和 kernel 復(fù)雜度。3.2 校準(zhǔn)集與動態(tài)量化的取舍激活量化有兩種模式靜態(tài)量化和動態(tài)量化。靜態(tài)量化用校準(zhǔn)集預(yù)先統(tǒng)計激活范圍推理時直接用固定 scale動態(tài)量化在推理時實時統(tǒng)計當(dāng)前 batch 的激活范圍再算 scale。靜態(tài)量化快但校準(zhǔn)集覆蓋不到的長尾輸入會掉點。動態(tài)量化準(zhǔn)但每次都要做 reduce 操作有額外開銷。我的經(jīng)驗是prefill 階段用動態(tài)量化因為序列長、激活分布變化大decode 階段用靜態(tài)量化因為單 token、分布穩(wěn)定。很多推理框架已經(jīng)支持這種混合模式。3.3 激活異常值的處理LLM 的激活里存在少量“異常值”outlier數(shù)值可能是正常值的幾十倍。這些異常值如果直接參與 INT8 量化會把 scale 拉得很大導(dǎo)致正常值全部被壓到很小的整數(shù)區(qū)間精度損失嚴(yán)重。常見的處理方式有三種一是用 per-token 量化把異常值隔離在單個 token 內(nèi)二是對異常值通道做特殊處理比如保留 FP16三是用 SmoothQuant 這類方法把激活的難度遷移一部分到權(quán)重上。在 W4A8 場景下因為權(quán)重已經(jīng)是 4bit 了遷移空間有限所以更依賴 per-token 量化和異常值通道保護(hù)。# 激活 per-token INT8 量化的簡化邏輯 def quantize_activation_int8(x, eps1e-8): # x: [batch, seq, hidden] # 每個 token 計算自己的 scale abs_max x.abs().amax(dim-1, keepdimTrue) # [batch, seq, 1] scale abs_max / 127.0 eps q torch.round(x / scale).clamp(-128, 127).to(torch.int8) return q, scale def dequantize_activation_int8(q, scale): return q.to(torch.float16) * scale提示激活量化里的 zero_point 在對稱量化下是 0非對稱量化下需要額外計算。LLM 激活通常近似對稱分布所以對稱量化夠用還能省掉 zero_point 的存儲和計算。4. MoE 專家層的 W4A8 拆解實操MoE 的推理路徑和 dense 模型不同token 先過 router 算出門控權(quán)重再被分發(fā)到 top-k 個專家專家各自計算后再加權(quán)合并。W4A8 在每個環(huán)節(jié)的落地方式都不一樣。4.1 Router 和 Gate 的精度策略Router 的輸出是門控權(quán)重決定 token 去哪些專家。這部分計算量小但對精度敏感——如果 router 量化誤差大token 可能被路由到錯誤的專家后續(xù)再準(zhǔn)也沒用。所以 router 和 gate 通常保留 FP16 或 BF16不參與 W4A8 量化。我見過有人為了省顯存把 router 也量化了結(jié)果 top-k 選擇頻繁抖動模型輸出質(zhì)量斷崖式下跌。這個坑沒必要踩router 的參數(shù)量在 MoE 里占比極小保留高精度的收益遠(yuǎn)大于那點顯存。4.2 專家權(quán)重的 4bit 分組量化每個專家的權(quán)重矩陣獨立做 4bit group-wise 量化。這里的關(guān)鍵是 group size 和 scale 精度的選擇。group size 128 是常見起點scale 用 FP16 存儲。如果顯存實在緊張group size 可以放到 256但質(zhì)量會掉一點。專家權(quán)重的量化順序也有講究。建議先量化所有專家的權(quán)重再統(tǒng)一做校準(zhǔn)和誤差評估。因為不同專家的權(quán)重分布差異大逐個量化容易在后期發(fā)現(xiàn)前面專家的參數(shù)需要調(diào)整返工成本高。4.3 專家激活的 INT8 量化與合并專家計算完成后輸出需要加權(quán)合并。合并前的激活是 INT8合并時通常要反量化回 FP16 再乘門控權(quán)重。如果門控權(quán)重也是 FP16那合并就是 FP16 運算。這里有個優(yōu)化點如果 top-k 的門控權(quán)重能提前量化到 INT8合并可以在整數(shù)域完成但精度損失需要評估。實際部署里我傾向于合并階段用 FP16因為合并后的結(jié)果要進(jìn)入下一層精度損失會累積。省這一步的計算不值得。4.4 一個完整的 W4A8 推理流程把上面的環(huán)節(jié)串起來一個 token 在 MoE 層的 W4A8 推理流程大致是輸入激活FP16進(jìn)入 routerrouter 用 FP16 計算門控權(quán)重和 top-k 索引。激活做 per-token INT8 量化得到 INT8 激活和 scale。根據(jù) top-k 索引把 INT8 激活分發(fā)到對應(yīng)專家。專家權(quán)重以 4bit 存儲kernel 內(nèi)部反量化到 INT8 或 FP16與 INT8 激活做矩陣乘。專家輸出反量化回 FP16乘以門控權(quán)重累加合并。合并結(jié)果進(jìn)入下一層。這個流程里第 4 步是性能關(guān)鍵。如果 kernel 能把“4bit 權(quán)重反量化 INT8 矩陣乘”融合在一起吞吐會非?？捎^。如果反量化和矩陣乘是分開的中間還要寫回顯存收益就打折了。5. HIP 后端上的 kernel 適配與性能驗證標(biāo)題里提到了 HIP說明這套 W4A8 方案是在 AMD GPU 生態(tài)上落地的。HIP 的編程模型和 CUDA 類似但指令集、warp 調(diào)度、內(nèi)存層次都有差異直接照搬 CUDA kernel 往往跑不出預(yù)期性能。5.1 HIP 上 INT8 矩陣乘的指令選擇AMD GPU 的 INT8 矩陣乘通常走v_dot系列指令或 MFMAMatrix Fused Multiply-Add指令。不同架構(gòu)支持的指令不同比如 CDNA 架構(gòu)的 MFMA 對 INT8 有專門優(yōu)化。寫 kernel 前要先確認(rèn)目標(biāo)架構(gòu)支持哪些指令再決定數(shù)據(jù)布局。數(shù)據(jù)布局上INT8 矩陣乘通常要求權(quán)重按特定 tile 格式排列才能讓 MFMA 指令高效讀取。4bit 權(quán)重的反量化也要配合這個布局否則反量化后的數(shù)據(jù)還要重排開銷很大。5.2 4bit 權(quán)重反量化的內(nèi)存訪問優(yōu)化4bit 權(quán)重在顯存里是緊湊存儲的兩個 4bit 值打包在一個 byte 里。反量化時要先解包再乘 scale。這個過程的瓶頸往往不在計算而在內(nèi)存訪問——如果解包后的數(shù)據(jù)要寫回顯存再讀帶寬就浪費了。優(yōu)化思路是讓反量化和矩陣乘在同一個 kernel 里完成反量化結(jié)果直接進(jìn)寄存器或 LDSLocal Data Share不落顯存。HIP 里可以用__shared__或 LDS 來緩存反量化后的權(quán)重 tile減少全局內(nèi)存訪問。5.3 實測性能對比與瓶頸定位驗證 W4A8 效果時我一般會對比三組數(shù)據(jù)FP16 基線、W8A8、W4A8。關(guān)注兩個指標(biāo)吞吐tokens/s和顯存占用。理想情況下W4A8 的吞吐應(yīng)該比 W8A8 高 20% 到 40%顯存占用比 W8A8 低 40% 左右。如果吞吐沒達(dá)到預(yù)期先查是不是反量化開銷太大。用 profiler 看 kernel 時間分布如果反量化 kernel 占比超過 15%說明融合沒做好。如果矩陣乘 kernel 本身慢查指令選擇和數(shù)據(jù)布局。如果顯存占用沒降下來查 scale 元數(shù)據(jù)是不是存太多了——group size 太小會導(dǎo)致 scale 數(shù)量爆炸。配置權(quán)重顯存激活顯存吞吐相對 FP16質(zhì)量損失FP16100%100%1.0x基線W8A850%50%1.3-1.6x很小W4A825%50%1.5-2.0x可控W4A425%25%1.8-2.2x明顯注意上表的吞吐是理想值實際取決于 kernel 實現(xiàn)和硬件。如果反量化沒融合W4A8 的吞吐可能還不如 W8A8因為反量化本身有開銷。6. 量化質(zhì)量評估怎么判斷 W4A8 有沒有把模型搞壞量化做完不是終點質(zhì)量評估才是。W4A8 的質(zhì)量損失主要來自兩處權(quán)重 4bit 的量化誤差和激活 INT8 的量化誤差。兩者疊加可能在某些任務(wù)上放大。6.1 困惑度之外還要看什么困惑度PPL是最常用的量化評估指標(biāo)但它對長尾任務(wù)不敏感。我一般會加三組測試一是標(biāo)準(zhǔn) PPL看整體質(zhì)量二是下游任務(wù)準(zhǔn)確率比如問答、摘要、代碼生成三是長文本一致性看模型在長上下文里會不會“跑偏”。MoE 模型還要特別關(guān)注專家利用率。如果量化后某些專家的激活值被過度壓縮router 可能會減少對這些專家的路由導(dǎo)致專家利用率下降。這不會直接體現(xiàn)在 PPL 上但會影響模型的表達(dá)能力。6.2 分層敏感度分析不是所有層對量化的敏感度都一樣。通常 embedding 層、router、最后的輸出層對精度最敏感中間專家層的容忍度較高。做分層敏感度分析的方法是逐層替換成量化版本看 PPL 變化。變化大的層保留高精度變化小的層放心量化。這個分析在 MoE 上尤其值得做因為專家層數(shù)量多如果能把大部分專家層量化、少數(shù)敏感層保留整體收益很可觀。6.3 量化誤差的累積與補償W4A8 的誤差會在層間累積。如果每層都有微小誤差幾十層下來可能就明顯了。補償?shù)乃悸酚袃煞N一是量化感知訓(xùn)練QAT在訓(xùn)練時模擬量化誤差讓模型學(xué)會適應(yīng)二是訓(xùn)練后補償PTQ用校準(zhǔn)數(shù)據(jù)做局部微調(diào)。QAT 效果最好但成本高需要重新訓(xùn)練。PTQ 成本低但補償能力有限。實際項目里如果 W4A8 的 PPL 損失在 2% 以內(nèi)通常直接上 PTQ如果超過 5%就要考慮 QAT 或者調(diào)整量化配置了。7. 踩過的坑與實戰(zhàn)經(jīng)驗說幾個我在 W4A8 落地過程中真實踩過的坑都是文檔里不會寫的。第一個坑是 group size 設(shè)太小。一開始為了追求質(zhì)量把 group size 設(shè)成 32結(jié)果 scale 元數(shù)據(jù)占了大量顯存整體顯存占用比預(yù)期高了 30%。后來改成 128質(zhì)量只掉了不到 0.5%顯存省了一大截。group size 不是越小越好要算總賬。第二個坑是激活量化用了 per-tensor。在 prefill 階段不同位置的激活分布差異極大per-tensor 直接把長序列后半段的激活壓沒了。改成 per-token 后長文本質(zhì)量立刻恢復(fù)。這個坑在短序列測試時發(fā)現(xiàn)不了一定要用長文本驗證。第三個坑是 HIP kernel 的數(shù)據(jù)布局沒對齊。4bit 權(quán)重解包后的 tile 布局和 MFMA 指令要求的布局不一致導(dǎo)致每次矩陣乘前都要重排性能比預(yù)期低了 40%。后來重寫了反量化 kernel讓解包直接輸出目標(biāo)布局性能才上來。第四個坑是忽略了 router 的精度。有次為了省顯存把 router 也量化了結(jié)果 top-k 選擇在相鄰 token 間頻繁跳變生成文本的連貫性明顯下降。router 那點參數(shù)量不值得省保留 FP16 是最穩(wěn)的。提示W(wǎng)4A8 的調(diào)優(yōu)是個系統(tǒng)工程不要指望一次配置就到位。建議先跑通 FP16 基線再逐步加量化每加一步都做質(zhì)量評估這樣才能定位問題出在哪個環(huán)節(jié)。8. 從 W4A8 繼續(xù)往下走的方向W4A8 不是終點。往更激進(jìn)的量化走有 W4A4、W3A8 這些方向但質(zhì)量風(fēng)險更大。往更穩(wěn)的方向走有 W4A16、W8A8質(zhì)量好但收益小。W4A8 目前是收益和風(fēng)險的平衡點。如果要在 W4A8 基礎(chǔ)上繼續(xù)優(yōu)化我建議從三個方向入手一是 kernel 融合把反量化、矩陣乘、激活量化盡量融到一個 kernel 里減少顯存往返二是專家粒度的量化策略不同專家用不同的 group size 和量化格式把敏感專家保護(hù)起來三是動態(tài)精度切換根據(jù)輸入難度動態(tài)決定用 W4A8 還是 W8A8簡單輸入走激進(jìn)量化難輸入走保守量化。MoE 架構(gòu)本身還在演進(jìn)Kimi 2.7 這類模型的專家路由策略、專家數(shù)量、激活比例都在變。W4A8 的具體配置也要跟著調(diào)沒有一勞永逸的參數(shù)。我的習(xí)慣是每換一個模型先做一輪敏感度分析再定量化方案這樣最穩(wěn)。