數(shù) × 訪問(wèn)步數(shù)這個(gè)乘積如何決定性能)
搬家的時(shí)候你會(huì)發(fā)現(xiàn)一件反直覺(jué)的事：真正累人的不是搬那幾件大家具，而是來(lái)來(lái)回回跑樓梯。家具只搬一趟，樓梯要跑幾十趟。大模型推理里也有這么一段樓梯——它叫 KV Cache，你每吐一個(gè)字，就要把整段對(duì)話歷史從顯存里重新走一遍。這段狀態(tài)是整個(gè)推理引擎里最不起眼、也最貴的東西。它決定了你的服務(wù)能同時(shí)接多少人，決定了第 40 輪對(duì)話為什么比第 1 輪慢四倍，也決定了那些看起來(lái)很玄的優(yōu)化——PagedAttention、RadixAttention、GQA、MLA、FP8 KV、FlashDecoding、chunked prefill——為什么歸根到底都在做同一件事。這些名字聽(tīng)著五花八門(mén)，拆開(kāi)看，它們優(yōu)化的其實(shí)是同一個(gè)乘積。這條鏈能一路拆到 HBM 帶寬和 roofline 的交點(diǎn)，拆完你手里會(huì)多出一套判斷：哪些優(yōu)化對(duì)你這套負(fù)載真正有效，哪些是別人的場(chǎng)景里有效、搬到你這兒是凈虧——包括我最推薦那條路子自己的軟肋在哪。這一路會(huì)有點(diǎn)繞，公式、源碼、顯存布局都會(huì)出現(xiàn)，但每一步我都會(huì)先讓代碼跑起來(lái)，用觀察到的數(shù)字倒推機(jī)理，不靠記結(jié)論。1. 從一次越聊越慢的現(xiàn)場(chǎng)說(shuō)起先看一個(gè)我見(jiàn)過(guò)很多次的現(xiàn)場(chǎng)。八卡 H100、Llama-3.3-70B、同一套服務(wù)參數(shù)，一個(gè)客服會(huì)話開(kāi)著不動(dòng)，用戶一輪一輪往下聊：輪次 歷史 token 數(shù) 單路輸出速度 本路 KV 占用（八卡合計(jì)） 1 420 34 tok/s 131 MiB 5 3 100
架構(gòu)全解析：從工業(yè)神經(jīng)中樞到智能應(yīng)用核心)
比)
控機(jī)床數(shù)據(jù)采集技術(shù)全解析：從FOCAS到PLC的工業(yè)物聯(lián)網(wǎng)實(shí)踐)
動(dòng)UML繪圖的革命性工具)
管理系統(tǒng))
用知識(shí)點(diǎn)——channel)
階(12)：網(wǎng)絡(luò)爬蟲(chóng)Request與Response)
/C/C++八股：（三十一）static 關(guān)鍵字的作用)
戰(zhàn)指南：AI視頻批量生成與自動(dòng)化發(fā)布完整解決方案)
戰(zhàn)指南：從源碼編譯到生產(chǎn)部署的完整解決方案)
說(shuō)完整備份終極指南)
機(jī))
會(huì)無(wú)水印視頻批量獲取)