Kimi K3 開(kāi)放完整權(quán)重后不少人都躍躍欲試。2.8 萬(wàn)億參數(shù)、官方 MXFP4 權(quán)重?fù)碛辛诉@些你就可以自己搗鼓這個(gè)規(guī)模巨大的模型可以部署到本地。現(xiàn)實(shí)情況真有這么簡(jiǎn)單嗎有人總結(jié)運(yùn)行 Kimi K3 其實(shí)很容易只需要 1.5TB GPU 內(nèi)存、大約 8 張 H100以及一座小型變電站。很快有人算了一筆賬按照這張粗略的成本表如果將大容量 GPU 服務(wù)器和供電設(shè)施都算進(jìn)去整套配置可能觸及百萬(wàn)美元。這么一看好像已經(jīng)和我們這些「?jìng)€(gè)人玩家」沒(méi)什么關(guān)系了。也有人不死心開(kāi)始認(rèn)真研究能不能通過(guò)量化把這個(gè) 2.8 萬(wàn)億參數(shù)模型強(qiáng)行塞進(jìn)個(gè)人設(shè)備。只不過(guò)評(píng)論區(qū)對(duì)此普遍不太樂(lè)觀。但沒(méi)想到還真有人在一臺(tái)ac 上跑起來(lái)了。128GB 的 Mac真把 1.6TB 權(quán)重塞下了一名開(kāi)發(fā)者拿出一臺(tái) 128GB 統(tǒng)一內(nèi)存的 M5 Max直接加載 Kimi K3 發(fā)布在 Hugging Face 上的官方 MXFP4 權(quán)重。這套權(quán)重足足有 1.56TB體積超過(guò)設(shè)備內(nèi)存十倍顯然無(wú)法一次性完整載入。他的辦法是讓約 97GiB 的靜態(tài)權(quán)重常駐內(nèi)存其余部分不一次性加載而是在推理過(guò)程中從固態(tài)硬盤(pán)持續(xù)讀取。模型運(yùn)行到哪一層對(duì)應(yīng)的權(quán)重才被送入內(nèi)存參與計(jì)算。這樣一來(lái)128GB 內(nèi)存不需要同時(shí)裝下整個(gè)模型只需要容納常駐權(quán)重和當(dāng)前參與計(jì)算的部分。最終Kimi K3 真的開(kāi)口了。開(kāi)發(fā)者先問(wèn)了一句「How are you」模型正?；卮稹窱 am fine, thank you」。隨后他又讓模型解釋 Transformer 中的注意力機(jī)制Kimi K3 也開(kāi)始生成回答。但輸出速度相當(dāng)緩慢。測(cè)試中模型處理輸入的速度約為 0.98 token/s生成速度只有 0.32 token/s。換算下來(lái)每生成一個(gè) token 大約需要三秒。一個(gè)正常長(zhǎng)度的回答可能要等上幾分鐘。這至少證明了一件事一臺(tái)只有 128GB 內(nèi)存的 Mac確實(shí)能夠以流式讀取的方式運(yùn)行 1.6TB 的 Kimi K3 官方權(quán)重。不過(guò)這只解決了容量問(wèn)題。權(quán)重需要不斷從硬盤(pán)搬進(jìn)內(nèi)存模型每生成一個(gè) token都要等待大量數(shù)據(jù)完成讀取和計(jì)算推理速度自然很難提高。開(kāi)發(fā)者也表示這套方案目前主要用來(lái)調(diào)通推理圖。下一步他準(zhǔn)備把模型進(jìn)一步壓縮到 Q2再使用兩臺(tái)各配備 512GB 統(tǒng)一內(nèi)存的 Mac Studio嘗試把速度提升到可以正常聊天的水平。顯然如果不想讓 Kimi K3 的語(yǔ)速「快得像閃電」——《瘋狂動(dòng)物城》里的那只樹(shù)懶只用一臺(tái) 128GB 的 Mac 是不行的。80 張 5090這是真能用繼續(xù)壓縮是不太行了還有人選擇把顯卡數(shù)量提上去。Ning 團(tuán)隊(duì)使用 80 張 RTX 5090完整運(yùn)行了 2.8 萬(wàn)億參數(shù)的 Kimi K3。整套系統(tǒng)由 10 個(gè)節(jié)點(diǎn)組成每個(gè)節(jié)點(diǎn)安裝 8 張 RTX 5090總顯存達(dá)到 2.56TB。團(tuán)隊(duì)直接使用 Kimi 官方發(fā)布的 MXFP4 權(quán)重沒(méi)有進(jìn)一步量化。在首日測(cè)試中Kimi K3 的單流推理速度達(dá)到了 20 token/s。相比 Mac 上的 0.32 token/s輸出速度提高了六十多倍基本進(jìn)入可以正常對(duì)話的范圍。這套方案使用仍然是消費(fèi)級(jí)顯卡。RTX 5090 搭載 GDDR7 顯存不具備 HBM 和 NVLink10 個(gè)節(jié)點(diǎn)之間也只通過(guò) 25GbE 以太網(wǎng)連接。80 張 5090 提供了 2.56TB 總顯存和約 143TB/s 聚合帶寬高于 32 張 H100 方案的 107TB/s 和 16 張 B200 方案的 128TB/s。當(dāng)然聚合帶寬無(wú)法直接代表整套系統(tǒng)的推理性能多節(jié)點(diǎn)通信、算子效率和調(diào)度開(kāi)銷(xiāo)都會(huì)影響最終速度。即便如此20 token/s 的實(shí)測(cè)結(jié)果已經(jīng)證明消費(fèi)級(jí) GPU 集群也能以可用速度運(yùn)行完整 Kimi K3。團(tuán)隊(duì)表示這還只是首日、未經(jīng)充分優(yōu)化的結(jié)果。此前他們?cè)鴮?4090 集群運(yùn)行 GLM-5.2 的速度從 30 token/s 提升至 110 token/sKimi K3 仍有繼續(xù)提速的空間。相比傳統(tǒng)的數(shù)據(jù)中心 GPU 方案這條路線降低了對(duì) HBM 和高速互聯(lián)設(shè)備的依賴(lài)但 80 張 5090、10 個(gè)節(jié)點(diǎn)以及配套的網(wǎng)絡(luò)、供電和散熱設(shè)施投入依然相當(dāng)可觀。這么看來(lái)一臺(tái) ThinkPad 確實(shí)不可能80 張游戲顯卡倒是可以跑。