后如何工程化落地：推理部署與API服務(wù)實(shí)戰(zhàn)指南)
1. 從訓(xùn)練到落地為什么微調(diào)之后才是真正的硬仗很多人第一次接觸大模型腦子里想的都是“我要訓(xùn)練一個(gè)自己的模型”。折騰了幾周數(shù)據(jù)清洗、租了GPU、跑完LoRA微調(diào)看著loss曲線一路往下掉心里美滋滋。結(jié)果一到實(shí)際用的時(shí)候傻眼了——模型是訓(xùn)好了權(quán)重文件躺在磁盤里然后呢怎么讓業(yè)務(wù)系統(tǒng)調(diào)它怎么扛住并發(fā)怎么控制成本怎么保證輸出穩(wěn)定這就是我常說的微調(diào)只是上半場(chǎng)工程化落地才是決定項(xiàng)目生死的那一腳。你去看那些真正把大模型跑進(jìn)生產(chǎn)環(huán)境的團(tuán)隊(duì)他們?cè)谕评聿渴鸷虯PI封裝上花的時(shí)間往往比訓(xùn)練本身還多。原因很簡(jiǎn)單訓(xùn)練是一次性的活兒而API服務(wù)是7×24小時(shí)要扛住的活兒。這篇文章我想聊的就是從“模型微調(diào)完成”到“業(yè)務(wù)方穩(wěn)定調(diào)用API”這條鏈路上到底有哪些坑、哪些關(guān)鍵決策點(diǎn)、哪些能直接抄作業(yè)的方案。適合已經(jīng)跑過至少一次微調(diào)、準(zhǔn)備把模型推上線的開發(fā)者也適合正在做技術(shù)選型、糾結(jié)要不要自建推理服務(wù)的團(tuán)隊(duì)負(fù)責(zé)人。核心關(guān)鍵詞就三個(gè)模型微調(diào)、推理部署、API工程化。我會(huì)把每一步的“為什么這么選”講清楚而不是只丟一個(gè)結(jié)論給你。先說一個(gè)基本認(rèn)知微調(diào)產(chǎn)出的模型權(quán)重本質(zhì)上只是一個(gè)“靜態(tài)文件”。它不會(huì)自己變成服務(wù)不會(huì)自己處理并發(fā)更不會(huì)自己省錢。從權(quán)重到API之間至少隔著推理引擎選型、量化策略、服務(wù)框架、并發(fā)調(diào)度、監(jiān)控告警這五道關(guān)。每一道關(guān)都有它的脾氣選錯(cuò)了輕則成本翻倍重則線上直接雪崩。我見過太多團(tuán)隊(duì)在微調(diào)階段投入了大量精力結(jié)果部署時(shí)隨便找了個(gè)demo腳本套上Flask就上線QPS一上來直接OOM。也見過有人盲目追求“大而全”的推理框架配置復(fù)雜到自己都維護(hù)不動(dòng)。所以接下來的內(nèi)容我會(huì)按照真實(shí)的落地順序一層一層拆開講。2. 推理引擎選型別一上來就上最重的方案2.1 主流推理引擎的能力邊界對(duì)比微調(diào)完成后第一件事是決定用什么推理引擎來加載權(quán)重。這一步的選擇會(huì)直接影響后面所有的工程決策包括顯存占用、吞吐量、支持的量化格式、API封裝難度。我先把幾個(gè)主流方案的核心差異擺出來這些都是我在實(shí)際項(xiàng)目里踩過或者驗(yàn)證過的。推理引擎核心優(yōu)勢(shì)主要限制適合場(chǎng)景原生Transformers兼容性最好任何微調(diào)權(quán)重都能直接加載顯存占用大吞吐低無連續(xù)批處理驗(yàn)證階段、單次推理、調(diào)試vLLMPagedAttention顯存管理吞吐極高支持連續(xù)批處理對(duì)部分自定義模型結(jié)構(gòu)支持需要適配高并發(fā)在線服務(wù)TGI部署簡(jiǎn)單內(nèi)置量化HuggingFace生態(tài)無縫定制化能力相對(duì)弱快速上線、標(biāo)準(zhǔn)模型llama.cppCPU也能跑量化極致資源占用低高并發(fā)場(chǎng)景吞吐不如GPU方案邊緣設(shè)備、低并發(fā)、成本敏感TensorRT-LLM極致性能算子融合深度優(yōu)化編譯流程復(fù)雜模型轉(zhuǎn)換成本高追求極致延遲的大規(guī)模服務(wù)這張表不是讓你背的而是讓你在選型時(shí)有個(gè)判斷依據(jù)。我的經(jīng)驗(yàn)是如果你還在驗(yàn)證微調(diào)效果就用原生Transformers別折騰如果準(zhǔn)備上生產(chǎn)且并發(fā)量在幾十以上直接上vLLM如果團(tuán)隊(duì)運(yùn)維能力弱、想快速上線TGI是穩(wěn)妥選擇如果預(yù)算極緊或者要跑在CPU上llama.cpp。2.2 為什么vLLM成了當(dāng)前在線服務(wù)的主流選擇重點(diǎn)說一下vLLM因?yàn)檫@兩年它在在線推理場(chǎng)景里幾乎是默認(rèn)選項(xiàng)。核心原因是它解決了大模型推理里最要命的一個(gè)問題KV Cache的顯存浪費(fèi)。傳統(tǒng)推理方式下每個(gè)請(qǐng)求的KV Cache要預(yù)分配一整塊連續(xù)顯存按最大長(zhǎng)度來分。你請(qǐng)求可能只用了200個(gè)token但顯存按2048預(yù)分配了剩下的全浪費(fèi)。并發(fā)一上來顯存瞬間被吃光。vLLM的PagedAttention把KV Cache切成固定大小的塊按需分配類似操作系統(tǒng)的虛擬內(nèi)存分頁。這個(gè)改動(dòng)讓顯存利用率從原來的可能30%提升到80%以上吞吐量直接翻幾倍。我實(shí)測(cè)過一個(gè)7B模型在單張24G顯存卡上原生Transformers大概能扛8到10個(gè)并發(fā)換成vLLM之后穩(wěn)定跑到40以上。這個(gè)差距在真實(shí)業(yè)務(wù)里就是“要不要加卡”的區(qū)別。注意vLLM對(duì)模型結(jié)構(gòu)的支持不是100%全覆蓋。如果你微調(diào)時(shí)改了模型結(jié)構(gòu)比如自定義了attention層加載時(shí)可能報(bào)錯(cuò)。這種情況要么改回標(biāo)準(zhǔn)結(jié)構(gòu)要么用原生方案先跑通再考慮優(yōu)化。2.3 量化策略省顯存和保效果之間的平衡術(shù)選完引擎緊接著要決定量化方案。量化說白了就是用更低的精度存權(quán)重和算矩陣代價(jià)是可能損失一點(diǎn)效果。常見的幾檔FP16/BF16不量化效果最好顯存占用最大。7B模型大概要14G權(quán)重顯存。INT8顯存減半效果損失通常很小適合大多數(shù)場(chǎng)景。INT4顯存再減半7B模型權(quán)重只要4G左右效果損失開始可感知但很多任務(wù)還能接受。GPTQ/AWQ訓(xùn)練后量化方法INT4下效果比樸素量化好不少是當(dāng)前主流選擇。我的建議很直接如果顯存夠優(yōu)先BF16別為了省一點(diǎn)顯存犧牲效果如果顯存緊張用AWQ的INT4它在多數(shù)任務(wù)上比GPTQ更穩(wěn)INT8是折中方案適合對(duì)效果敏感又需要一定壓縮的場(chǎng)景。量化不是免費(fèi)的午餐。我做過一個(gè)文本分類的微調(diào)任務(wù)BF16下準(zhǔn)確率92%INT4量化后掉到88%。這4個(gè)點(diǎn)在某些業(yè)務(wù)里是致命的。所以量化后一定要用你的驗(yàn)證集重新跑一遍評(píng)估別想當(dāng)然。3. 從權(quán)重到服務(wù)API工程化的核心環(huán)節(jié)3.1 服務(wù)框架的選型邏輯推理引擎負(fù)責(zé)“算得快”服務(wù)框架負(fù)責(zé)“管得好”。這兩件事要分開看。很多人把vLLM自帶的OpenAI兼容API直接暴露出去就完事了小規(guī)模可以但生產(chǎn)環(huán)境不夠。服務(wù)框架要解決的核心問題包括請(qǐng)求隊(duì)列管理、超時(shí)控制、限流、鑒權(quán)、日志、多模型路由、優(yōu)雅重啟。這些用原生推理引擎自帶的server很難做全。常見的組合是FastAPI 推理引擎靈活自己寫控制邏輯適合定制需求多的團(tuán)隊(duì)。Ray Serve適合多模型、多副本的復(fù)雜編排自動(dòng)擴(kuò)縮容。Triton Inference Server工業(yè)級(jí)支持多框架多模型但配置復(fù)雜。推理引擎自帶server 網(wǎng)關(guān)最省事前面加一層網(wǎng)關(guān)做限流鑒權(quán)。我個(gè)人的偏好是中小規(guī)模用FastAPI自己封裝控制力最強(qiáng)出問題好排查規(guī)模大了再考慮Ray Serve或者Triton。別一上來就上Triton那個(gè)學(xué)習(xí)曲線會(huì)讓你懷疑人生。3.2 請(qǐng)求隊(duì)列與并發(fā)控制的關(guān)鍵參數(shù)這是最容易出事的環(huán)節(jié)。大模型推理是計(jì)算密集型一個(gè)請(qǐng)求可能要跑幾秒。如果沒有隊(duì)列管理請(qǐng)求一多直接把GPU打滿后面的請(qǐng)求全部超時(shí)。核心要控制的參數(shù)有這么幾個(gè)最大并發(fā)數(shù)max_concurrent_requests同時(shí)處理的請(qǐng)求上限。設(shè)太高會(huì)OOM設(shè)太低吞吐上不去。經(jīng)驗(yàn)值是從GPU顯存反推留20%余量。隊(duì)列長(zhǎng)度queue_size排隊(duì)等待的請(qǐng)求上限。超過就快速失敗返回別讓用戶干等。單請(qǐng)求超時(shí)request_timeout防止某個(gè)長(zhǎng)請(qǐng)求拖垮整個(gè)服務(wù)。批處理窗口batch_windowvLLM這類引擎會(huì)自動(dòng)做連續(xù)批處理但你可以控制等待新請(qǐng)求加入批次的時(shí)間窗口。我踩過的一個(gè)坑早期沒設(shè)隊(duì)列上限結(jié)果流量高峰時(shí)請(qǐng)求全堆在內(nèi)存里最后OOM把服務(wù)搞掛了。后來加了隊(duì)列長(zhǎng)度限制和快速失敗機(jī)制雖然會(huì)拒絕一部分請(qǐng)求但至少服務(wù)是活的。寧可拒絕不可雪崩這是生產(chǎn)環(huán)境的基本原則。3.3 流式輸出的實(shí)現(xiàn)與坑點(diǎn)大模型API如果不做流式輸出用戶體驗(yàn)會(huì)很差。用戶等5秒才看到第一個(gè)字體感上比等3秒看到全部還難受。流式輸出用SSEServer-Sent Events實(shí)現(xiàn)推理引擎逐token返回服務(wù)端逐塊推給客戶端。實(shí)現(xiàn)上有幾個(gè)坑首token延遲流式的價(jià)值在于首token快如果首token就要等3秒流式意義不大。這跟推理引擎的prefill速度有關(guān)量化能改善。中斷處理用戶可能中途關(guān)閉連接服務(wù)端要能感知并停止推理否則白燒算力。緩沖策略逐token推太碎網(wǎng)絡(luò)開銷大攢一批推延遲高。一般攢幾個(gè)token或者按時(shí)間窗口推。# FastAPI流式輸出核心邏輯示意 from fastapi.responses import StreamingResponse async def stream_generate(prompt): async def event_generator(): async for token in engine.generate_stream(prompt): yield fdata: {token}\n\n yield data: [DONE]\n\n return StreamingResponse(event_generator(), media_typetext/event-stream)這段代碼看著簡(jiǎn)單但生產(chǎn)環(huán)境要加上超時(shí)、異常捕獲、連接斷開檢測(cè)。別小看這些少一個(gè)都可能在高峰期出問題。4. 性能調(diào)優(yōu)與成本控制讓每一分算力都花在刀刃上4.1 批處理大小的計(jì)算與調(diào)優(yōu)批處理是提升吞吐最直接的手段。同樣一批請(qǐng)求逐個(gè)跑和攢成一批跑GPU利用率天差地別。但批處理大小不是越大越好它受顯存限制。計(jì)算邏輯是這樣的顯存總量減去模型權(quán)重占用剩下的給KV Cache。每個(gè)請(qǐng)求的KV Cache大小跟序列長(zhǎng)度、層數(shù)、隱藏維度有關(guān)。假設(shè)模型權(quán)重占10G顯存24G剩14G給KV Cache。如果每個(gè)請(qǐng)求平均占0.5G那理論上能批28個(gè)。但實(shí)際要留余量設(shè)20個(gè)比較穩(wěn)。調(diào)優(yōu)方法是從保守值開始逐步加壓觀察顯存和延遲。找到那個(gè)“吞吐最高且延遲可接受”的平衡點(diǎn)。我一般會(huì)做一個(gè)壓測(cè)腳本模擬真實(shí)請(qǐng)求分布跑出不同批大小下的QPS和P99延遲曲線然后選拐點(diǎn)。提示批處理大小和延遲是矛盾的。批越大吞吐越高但單個(gè)請(qǐng)求的等待時(shí)間也越長(zhǎng)。要結(jié)合業(yè)務(wù)對(duì)延遲的容忍度來定。實(shí)時(shí)對(duì)話場(chǎng)景批大小要小離線批量處理可以大。4.2 顯存優(yōu)化的幾個(gè)實(shí)用手段除了量化還有幾個(gè)手段能省顯存KV Cache量化把KV Cache也用INT8存能再省一半顯存效果損失很小。PagedAttention前面提過vLLM默認(rèn)開啟顯存利用率大幅提升。梯度檢查點(diǎn)這是訓(xùn)練用的推理用不上別搞混。模型并行單卡放不下就多卡切分但會(huì)引入通信開銷延遲會(huì)上升。我實(shí)際項(xiàng)目里的組合拳是AWQ INT4量化權(quán)重 KV Cache INT8 PagedAttention。一套下來一個(gè)13B模型能在單張24G卡上跑得飛起成本比不優(yōu)化低了一半以上。4.3 成本核算自建和調(diào)用的賬怎么算這是很多團(tuán)隊(duì)糾結(jié)的問題到底自建推理服務(wù)還是直接調(diào)用外部API我算過一筆賬邏輯是這樣的。自建的成本包括GPU租用或采購(gòu)、運(yùn)維人力、電費(fèi)、閑置浪費(fèi)。調(diào)用外部API的成本就是按token計(jì)費(fèi)。關(guān)鍵變量是你的請(qǐng)求量和穩(wěn)定性。請(qǐng)求量小且波動(dòng)大調(diào)API劃算不用養(yǎng)機(jī)器。請(qǐng)求量大且穩(wěn)定自建劃算單位成本低。數(shù)據(jù)敏感必須自建沒得選。需要深度定制自建外部API給不了你微調(diào)后的模型。我見過一個(gè)團(tuán)隊(duì)日均請(qǐng)求量不大但非要自建結(jié)果GPU利用率長(zhǎng)期低于10%純浪費(fèi)。也見過請(qǐng)求量巨大的團(tuán)隊(duì)一直調(diào)API賬單高得嚇人。算賬要算總擁有成本不是只看單價(jià)。5. 線上穩(wěn)定性保障監(jiān)控、告警與故障排查5.1 必須監(jiān)控的核心指標(biāo)服務(wù)上線不是終點(diǎn)是起點(diǎn)。沒有監(jiān)控的線上服務(wù)等于裸奔。大模型API服務(wù)要盯的指標(biāo)分幾類性能類首token延遲TTFT用戶感知最直接每token輸出延遲TPOT影響整體響應(yīng)時(shí)間QPS和并發(fā)數(shù)容量規(guī)劃依據(jù)批處理利用率批處理是否跑滿資源類GPU利用率低于50%說明浪費(fèi)長(zhǎng)期100%說明要擴(kuò)容顯存占用接近上限就要警惕OOMCPU和內(nèi)存服務(wù)框架本身的健康度業(yè)務(wù)類請(qǐng)求成功率低于99%就要查超時(shí)率突增說明有異常隊(duì)列等待時(shí)間反映容量是否夠這些指標(biāo)用Prometheus采集Grafana展示是標(biāo)準(zhǔn)組合。別自己造輪子。5.2 常見故障與排查思路我把實(shí)際遇到過的問題整理成一張速查表現(xiàn)象可能原因排查方向解決手段服務(wù)突然OOM并發(fā)超限、顯存泄漏、批太大看顯存曲線和并發(fā)數(shù)降批大小、加隊(duì)列限制、重啟延遲突然飆升GPU被占滿、請(qǐng)求堆積看GPU利用率和隊(duì)列長(zhǎng)度限流、擴(kuò)容、優(yōu)化批處理輸出亂碼或截?cái)嗔炕瘬p失、tokenizer問題對(duì)比BF16和量化輸出換量化方案、檢查tokenizer部分請(qǐng)求超時(shí)長(zhǎng)請(qǐng)求拖累、調(diào)度不均看請(qǐng)求長(zhǎng)度分布設(shè)單請(qǐng)求超時(shí)、長(zhǎng)度限制服務(wù)啟動(dòng)失敗權(quán)重格式不兼容、顯存不足看啟動(dòng)日志換引擎、降量化精度這張表是我踩坑踩出來的每一條背后都是真實(shí)的深夜排查。遇到問題先看監(jiān)控別瞎猜。大部分故障在指標(biāo)上都有預(yù)兆。5.3 灰度發(fā)布與回滾機(jī)制模型更新不能一把梭。新版本微調(diào)模型上線前一定要做灰度。流程是新模型部署成獨(dú)立副本切一小部分流量過去對(duì)比新舊版本的效果和性能指標(biāo)。沒問題再逐步放量有問題立即回滾?；貪L要能做到秒級(jí)。這意味著舊版本的權(quán)重和服務(wù)要保留著別一上線就把舊的刪了。我見過有人更新模型后發(fā)現(xiàn)問題結(jié)果舊權(quán)重沒留只能干等重新部署業(yè)務(wù)停了半小時(shí)。注意灰度不只是看技術(shù)指標(biāo)還要看業(yè)務(wù)指標(biāo)。新模型可能延遲更低但輸出質(zhì)量變差了這種問題只有業(yè)務(wù)側(cè)能發(fā)現(xiàn)。所以灰度期間要拉上業(yè)務(wù)方一起看。6. 工程化落地的完整路徑復(fù)盤把整條鏈路串起來一個(gè)標(biāo)準(zhǔn)的落地路徑是這樣的微調(diào)完成產(chǎn)出權(quán)重文件用原生Transformers驗(yàn)證效果確認(rèn)微調(diào)有效。量化轉(zhuǎn)換根據(jù)顯存和效果要求選AWQ或GPTQ轉(zhuǎn)換后重新評(píng)估。推理引擎部署選vLLM或TGI加載量化權(quán)重壓測(cè)確定批處理參數(shù)。服務(wù)框架封裝用FastAPI或Ray Serve包一層加隊(duì)列、限流、鑒權(quán)、流式輸出。監(jiān)控接入Prometheus采集指標(biāo)Grafana看板設(shè)告警閾值?；叶壬暇€小流量驗(yàn)證對(duì)比新舊版本逐步放量。持續(xù)調(diào)優(yōu)根據(jù)線上數(shù)據(jù)調(diào)整批大小、量化策略、擴(kuò)容縮容。這條路徑不是線性的中間會(huì)反復(fù)。比如壓測(cè)發(fā)現(xiàn)延遲高可能要回去換量化方案灰度發(fā)現(xiàn)效果差可能要重新微調(diào)。這很正常工程化本來就是迭代的過程。我在實(shí)際項(xiàng)目里最大的體會(huì)是別追求一步到位先跑通再優(yōu)化。很多團(tuán)隊(duì)卡在選型階段糾結(jié)vLLM還是TGI糾結(jié)INT4還是INT8結(jié)果一個(gè)月過去了服務(wù)還沒上線。正確的做法是先用最穩(wěn)妥的方案跑通全鏈路哪怕性能不是最優(yōu)然后再針對(duì)性優(yōu)化。跑通的價(jià)值遠(yuǎn)大于選型完美。另外一個(gè)體會(huì)是文檔和配置要版本化。推理引擎的參數(shù)、量化配置、服務(wù)框架的配置全部進(jìn)Git。線上出問題時(shí)能快速定位是哪個(gè)版本、哪個(gè)配置導(dǎo)致的。我吃過虧改了個(gè)參數(shù)沒記錄出問題后排查了半天才發(fā)現(xiàn)是那個(gè)改動(dòng)。最后分享一個(gè)小技巧壓測(cè)要用真實(shí)數(shù)據(jù)分布。很多人壓測(cè)用固定長(zhǎng)度的短請(qǐng)求結(jié)果線上全是長(zhǎng)請(qǐng)求表現(xiàn)完全不一樣。壓測(cè)數(shù)據(jù)要從真實(shí)日志里采樣長(zhǎng)度分布、并發(fā)模式都要貼近實(shí)際。這樣壓出來的結(jié)果才有參考價(jià)值。這條鏈路我走過好幾遍每次都有新坑但每次跑通后的那種踏實(shí)感是實(shí)打?qū)嵉?。模型微調(diào)是技術(shù)活工程化落地是手藝活兩者都做好了大模型才能真正變成業(yè)務(wù)能用的東西。 大模型微調(diào)后如何工程化落地：推理部署與API服務(wù)實(shí)戰(zhàn)指南
1. 從訓(xùn)練到落地為什么微調(diào)之后才是真正的硬仗很多人第一次接觸大模型腦子里想的都是“我要訓(xùn)練一個(gè)自己的模型”。折騰了幾周數(shù)據(jù)清洗、租了GPU、跑完LoRA微調(diào)看著loss曲線一路往下掉心里美滋滋。結(jié)果一到實(shí)際用的時(shí)候傻眼了——模型是訓(xùn)好了權(quán)重文件躺在磁盤里然后呢怎么讓業(yè)務(wù)系統(tǒng)調(diào)它怎么扛住并發(fā)怎么控制成本怎么保證輸出穩(wěn)定這就是我常說的微調(diào)只是上半場(chǎng)工程化落地才是決定項(xiàng)目生死的那一腳。你去看那些真正把大模型跑進(jìn)生產(chǎn)環(huán)境的團(tuán)隊(duì)他們?cè)谕评聿渴鸷虯PI封裝上花的時(shí)間往往比訓(xùn)練本身還多。原因很簡(jiǎn)單訓(xùn)練是一次性的活兒而API服務(wù)是7×24小時(shí)要扛住的活兒。這篇文章我想聊的就是從“模型微調(diào)完成”到“業(yè)務(wù)方穩(wěn)定調(diào)用API”這條鏈路上到底有哪些坑、哪些關(guān)鍵決策點(diǎn)、哪些能直接抄作業(yè)的方案。適合已經(jīng)跑過至少一次微調(diào)、準(zhǔn)備把模型推上線的開發(fā)者也適合正在做技術(shù)選型、糾結(jié)要不要自建推理服務(wù)的團(tuán)隊(duì)負(fù)責(zé)人。核心關(guān)鍵詞就三個(gè)模型微調(diào)、推理部署、API工程化。我會(huì)把每一步的“為什么這么選”講清楚而不是只丟一個(gè)結(jié)論給你。先說一個(gè)基本認(rèn)知微調(diào)產(chǎn)出的模型權(quán)重本質(zhì)上只是一個(gè)“靜態(tài)文件”。它不會(huì)自己變成服務(wù)不會(huì)自己處理并發(fā)更不會(huì)自己省錢。從權(quán)重到API之間至少隔著推理引擎選型、量化策略、服務(wù)框架、并發(fā)調(diào)度、監(jiān)控告警這五道關(guān)。每一道關(guān)都有它的脾氣選錯(cuò)了輕則成本翻倍重則線上直接雪崩。我見過太多團(tuán)隊(duì)在微調(diào)階段投入了大量精力結(jié)果部署時(shí)隨便找了個(gè)demo腳本套上Flask就上線QPS一上來直接OOM。也見過有人盲目追求“大而全”的推理框架配置復(fù)雜到自己都維護(hù)不動(dòng)。所以接下來的內(nèi)容我會(huì)按照真實(shí)的落地順序一層一層拆開講。2. 推理引擎選型別一上來就上最重的方案2.1 主流推理引擎的能力邊界對(duì)比微調(diào)完成后第一件事是決定用什么推理引擎來加載權(quán)重。這一步的選擇會(huì)直接影響后面所有的工程決策包括顯存占用、吞吐量、支持的量化格式、API封裝難度。我先把幾個(gè)主流方案的核心差異擺出來這些都是我在實(shí)際項(xiàng)目里踩過或者驗(yàn)證過的。推理引擎核心優(yōu)勢(shì)主要限制適合場(chǎng)景原生Transformers兼容性最好任何微調(diào)權(quán)重都能直接加載顯存占用大吞吐低無連續(xù)批處理驗(yàn)證階段、單次推理、調(diào)試vLLMPagedAttention顯存管理吞吐極高支持連續(xù)批處理對(duì)部分自定義模型結(jié)構(gòu)支持需要適配高并發(fā)在線服務(wù)TGI部署簡(jiǎn)單內(nèi)置量化HuggingFace生態(tài)無縫定制化能力相對(duì)弱快速上線、標(biāo)準(zhǔn)模型llama.cppCPU也能跑量化極致資源占用低高并發(fā)場(chǎng)景吞吐不如GPU方案邊緣設(shè)備、低并發(fā)、成本敏感TensorRT-LLM極致性能算子融合深度優(yōu)化編譯流程復(fù)雜模型轉(zhuǎn)換成本高追求極致延遲的大規(guī)模服務(wù)這張表不是讓你背的而是讓你在選型時(shí)有個(gè)判斷依據(jù)。我的經(jīng)驗(yàn)是如果你還在驗(yàn)證微調(diào)效果就用原生Transformers別折騰如果準(zhǔn)備上生產(chǎn)且并發(fā)量在幾十以上直接上vLLM如果團(tuán)隊(duì)運(yùn)維能力弱、想快速上線TGI是穩(wěn)妥選擇如果預(yù)算極緊或者要跑在CPU上llama.cpp。2.2 為什么vLLM成了當(dāng)前在線服務(wù)的主流選擇重點(diǎn)說一下vLLM因?yàn)檫@兩年它在在線推理場(chǎng)景里幾乎是默認(rèn)選項(xiàng)。核心原因是它解決了大模型推理里最要命的一個(gè)問題KV Cache的顯存浪費(fèi)。傳統(tǒng)推理方式下每個(gè)請(qǐng)求的KV Cache要預(yù)分配一整塊連續(xù)顯存按最大長(zhǎng)度來分。你請(qǐng)求可能只用了200個(gè)token但顯存按2048預(yù)分配了剩下的全浪費(fèi)。并發(fā)一上來顯存瞬間被吃光。vLLM的PagedAttention把KV Cache切成固定大小的塊按需分配類似操作系統(tǒng)的虛擬內(nèi)存分頁。這個(gè)改動(dòng)讓顯存利用率從原來的可能30%提升到80%以上吞吐量直接翻幾倍。我實(shí)測(cè)過一個(gè)7B模型在單張24G顯存卡上原生Transformers大概能扛8到10個(gè)并發(fā)換成vLLM之后穩(wěn)定跑到40以上。這個(gè)差距在真實(shí)業(yè)務(wù)里就是“要不要加卡”的區(qū)別。注意vLLM對(duì)模型結(jié)構(gòu)的支持不是100%全覆蓋。如果你微調(diào)時(shí)改了模型結(jié)構(gòu)比如自定義了attention層加載時(shí)可能報(bào)錯(cuò)。這種情況要么改回標(biāo)準(zhǔn)結(jié)構(gòu)要么用原生方案先跑通再考慮優(yōu)化。2.3 量化策略省顯存和保效果之間的平衡術(shù)選完引擎緊接著要決定量化方案。量化說白了就是用更低的精度存權(quán)重和算矩陣代價(jià)是可能損失一點(diǎn)效果。常見的幾檔FP16/BF16不量化效果最好顯存占用最大。7B模型大概要14G權(quán)重顯存。INT8顯存減半效果損失通常很小適合大多數(shù)場(chǎng)景。INT4顯存再減半7B模型權(quán)重只要4G左右效果損失開始可感知但很多任務(wù)還能接受。GPTQ/AWQ訓(xùn)練后量化方法INT4下效果比樸素量化好不少是當(dāng)前主流選擇。我的建議很直接如果顯存夠優(yōu)先BF16別為了省一點(diǎn)顯存犧牲效果如果顯存緊張用AWQ的INT4它在多數(shù)任務(wù)上比GPTQ更穩(wěn)INT8是折中方案適合對(duì)效果敏感又需要一定壓縮的場(chǎng)景。量化不是免費(fèi)的午餐。我做過一個(gè)文本分類的微調(diào)任務(wù)BF16下準(zhǔn)確率92%INT4量化后掉到88%。這4個(gè)點(diǎn)在某些業(yè)務(wù)里是致命的。所以量化后一定要用你的驗(yàn)證集重新跑一遍評(píng)估別想當(dāng)然。3. 從權(quán)重到服務(wù)API工程化的核心環(huán)節(jié)3.1 服務(wù)框架的選型邏輯推理引擎負(fù)責(zé)“算得快”服務(wù)框架負(fù)責(zé)“管得好”。這兩件事要分開看。很多人把vLLM自帶的OpenAI兼容API直接暴露出去就完事了小規(guī)模可以但生產(chǎn)環(huán)境不夠。服務(wù)框架要解決的核心問題包括請(qǐng)求隊(duì)列管理、超時(shí)控制、限流、鑒權(quán)、日志、多模型路由、優(yōu)雅重啟。這些用原生推理引擎自帶的server很難做全。常見的組合是FastAPI 推理引擎靈活自己寫控制邏輯適合定制需求多的團(tuán)隊(duì)。Ray Serve適合多模型、多副本的復(fù)雜編排自動(dòng)擴(kuò)縮容。Triton Inference Server工業(yè)級(jí)支持多框架多模型但配置復(fù)雜。推理引擎自帶server 網(wǎng)關(guān)最省事前面加一層網(wǎng)關(guān)做限流鑒權(quán)。我個(gè)人的偏好是中小規(guī)模用FastAPI自己封裝控制力最強(qiáng)出問題好排查規(guī)模大了再考慮Ray Serve或者Triton。別一上來就上Triton那個(gè)學(xué)習(xí)曲線會(huì)讓你懷疑人生。3.2 請(qǐng)求隊(duì)列與并發(fā)控制的關(guān)鍵參數(shù)這是最容易出事的環(huán)節(jié)。大模型推理是計(jì)算密集型一個(gè)請(qǐng)求可能要跑幾秒。如果沒有隊(duì)列管理請(qǐng)求一多直接把GPU打滿后面的請(qǐng)求全部超時(shí)。核心要控制的參數(shù)有這么幾個(gè)最大并發(fā)數(shù)max_concurrent_requests同時(shí)處理的請(qǐng)求上限。設(shè)太高會(huì)OOM設(shè)太低吞吐上不去。經(jīng)驗(yàn)值是從GPU顯存反推留20%余量。隊(duì)列長(zhǎng)度queue_size排隊(duì)等待的請(qǐng)求上限。超過就快速失敗返回別讓用戶干等。單請(qǐng)求超時(shí)request_timeout防止某個(gè)長(zhǎng)請(qǐng)求拖垮整個(gè)服務(wù)。批處理窗口batch_windowvLLM這類引擎會(huì)自動(dòng)做連續(xù)批處理但你可以控制等待新請(qǐng)求加入批次的時(shí)間窗口。我踩過的一個(gè)坑早期沒設(shè)隊(duì)列上限結(jié)果流量高峰時(shí)請(qǐng)求全堆在內(nèi)存里最后OOM把服務(wù)搞掛了。后來加了隊(duì)列長(zhǎng)度限制和快速失敗機(jī)制雖然會(huì)拒絕一部分請(qǐng)求但至少服務(wù)是活的。寧可拒絕不可雪崩這是生產(chǎn)環(huán)境的基本原則。3.3 流式輸出的實(shí)現(xiàn)與坑點(diǎn)大模型API如果不做流式輸出用戶體驗(yàn)會(huì)很差。用戶等5秒才看到第一個(gè)字體感上比等3秒看到全部還難受。流式輸出用SSEServer-Sent Events實(shí)現(xiàn)推理引擎逐token返回服務(wù)端逐塊推給客戶端。實(shí)現(xiàn)上有幾個(gè)坑首token延遲流式的價(jià)值在于首token快如果首token就要等3秒流式意義不大。這跟推理引擎的prefill速度有關(guān)量化能改善。中斷處理用戶可能中途關(guān)閉連接服務(wù)端要能感知并停止推理否則白燒算力。緩沖策略逐token推太碎網(wǎng)絡(luò)開銷大攢一批推延遲高。一般攢幾個(gè)token或者按時(shí)間窗口推。# FastAPI流式輸出核心邏輯示意 from fastapi.responses import StreamingResponse async def stream_generate(prompt): async def event_generator(): async for token in engine.generate_stream(prompt): yield fdata: {token}\n\n yield data: [DONE]\n\n return StreamingResponse(event_generator(), media_typetext/event-stream)這段代碼看著簡(jiǎn)單但生產(chǎn)環(huán)境要加上超時(shí)、異常捕獲、連接斷開檢測(cè)。別小看這些少一個(gè)都可能在高峰期出問題。4. 性能調(diào)優(yōu)與成本控制讓每一分算力都花在刀刃上4.1 批處理大小的計(jì)算與調(diào)優(yōu)批處理是提升吞吐最直接的手段。同樣一批請(qǐng)求逐個(gè)跑和攢成一批跑GPU利用率天差地別。但批處理大小不是越大越好它受顯存限制。計(jì)算邏輯是這樣的顯存總量減去模型權(quán)重占用剩下的給KV Cache。每個(gè)請(qǐng)求的KV Cache大小跟序列長(zhǎng)度、層數(shù)、隱藏維度有關(guān)。假設(shè)模型權(quán)重占10G顯存24G剩14G給KV Cache。如果每個(gè)請(qǐng)求平均占0.5G那理論上能批28個(gè)。但實(shí)際要留余量設(shè)20個(gè)比較穩(wěn)。調(diào)優(yōu)方法是從保守值開始逐步加壓觀察顯存和延遲。找到那個(gè)“吞吐最高且延遲可接受”的平衡點(diǎn)。我一般會(huì)做一個(gè)壓測(cè)腳本模擬真實(shí)請(qǐng)求分布跑出不同批大小下的QPS和P99延遲曲線然后選拐點(diǎn)。提示批處理大小和延遲是矛盾的。批越大吞吐越高但單個(gè)請(qǐng)求的等待時(shí)間也越長(zhǎng)。要結(jié)合業(yè)務(wù)對(duì)延遲的容忍度來定。實(shí)時(shí)對(duì)話場(chǎng)景批大小要小離線批量處理可以大。4.2 顯存優(yōu)化的幾個(gè)實(shí)用手段除了量化還有幾個(gè)手段能省顯存KV Cache量化把KV Cache也用INT8存能再省一半顯存效果損失很小。PagedAttention前面提過vLLM默認(rèn)開啟顯存利用率大幅提升。梯度檢查點(diǎn)這是訓(xùn)練用的推理用不上別搞混。模型并行單卡放不下就多卡切分但會(huì)引入通信開銷延遲會(huì)上升。我實(shí)際項(xiàng)目里的組合拳是AWQ INT4量化權(quán)重 KV Cache INT8 PagedAttention。一套下來一個(gè)13B模型能在單張24G卡上跑得飛起成本比不優(yōu)化低了一半以上。4.3 成本核算自建和調(diào)用的賬怎么算這是很多團(tuán)隊(duì)糾結(jié)的問題到底自建推理服務(wù)還是直接調(diào)用外部API我算過一筆賬邏輯是這樣的。自建的成本包括GPU租用或采購(gòu)、運(yùn)維人力、電費(fèi)、閑置浪費(fèi)。調(diào)用外部API的成本就是按token計(jì)費(fèi)。關(guān)鍵變量是你的請(qǐng)求量和穩(wěn)定性。請(qǐng)求量小且波動(dòng)大調(diào)API劃算不用養(yǎng)機(jī)器。請(qǐng)求量大且穩(wěn)定自建劃算單位成本低。數(shù)據(jù)敏感必須自建沒得選。需要深度定制自建外部API給不了你微調(diào)后的模型。我見過一個(gè)團(tuán)隊(duì)日均請(qǐng)求量不大但非要自建結(jié)果GPU利用率長(zhǎng)期低于10%純浪費(fèi)。也見過請(qǐng)求量巨大的團(tuán)隊(duì)一直調(diào)API賬單高得嚇人。算賬要算總擁有成本不是只看單價(jià)。5. 線上穩(wěn)定性保障監(jiān)控、告警與故障排查5.1 必須監(jiān)控的核心指標(biāo)服務(wù)上線不是終點(diǎn)是起點(diǎn)。沒有監(jiān)控的線上服務(wù)等于裸奔。大模型API服務(wù)要盯的指標(biāo)分幾類性能類首token延遲TTFT用戶感知最直接每token輸出延遲TPOT影響整體響應(yīng)時(shí)間QPS和并發(fā)數(shù)容量規(guī)劃依據(jù)批處理利用率批處理是否跑滿資源類GPU利用率低于50%說明浪費(fèi)長(zhǎng)期100%說明要擴(kuò)容顯存占用接近上限就要警惕OOMCPU和內(nèi)存服務(wù)框架本身的健康度業(yè)務(wù)類請(qǐng)求成功率低于99%就要查超時(shí)率突增說明有異常隊(duì)列等待時(shí)間反映容量是否夠這些指標(biāo)用Prometheus采集Grafana展示是標(biāo)準(zhǔn)組合。別自己造輪子。5.2 常見故障與排查思路我把實(shí)際遇到過的問題整理成一張速查表現(xiàn)象可能原因排查方向解決手段服務(wù)突然OOM并發(fā)超限、顯存泄漏、批太大看顯存曲線和并發(fā)數(shù)降批大小、加隊(duì)列限制、重啟延遲突然飆升GPU被占滿、請(qǐng)求堆積看GPU利用率和隊(duì)列長(zhǎng)度限流、擴(kuò)容、優(yōu)化批處理輸出亂碼或截?cái)嗔炕瘬p失、tokenizer問題對(duì)比BF16和量化輸出換量化方案、檢查tokenizer部分請(qǐng)求超時(shí)長(zhǎng)請(qǐng)求拖累、調(diào)度不均看請(qǐng)求長(zhǎng)度分布設(shè)單請(qǐng)求超時(shí)、長(zhǎng)度限制服務(wù)啟動(dòng)失敗權(quán)重格式不兼容、顯存不足看啟動(dòng)日志換引擎、降量化精度這張表是我踩坑踩出來的每一條背后都是真實(shí)的深夜排查。遇到問題先看監(jiān)控別瞎猜。大部分故障在指標(biāo)上都有預(yù)兆。5.3 灰度發(fā)布與回滾機(jī)制模型更新不能一把梭。新版本微調(diào)模型上線前一定要做灰度。流程是新模型部署成獨(dú)立副本切一小部分流量過去對(duì)比新舊版本的效果和性能指標(biāo)。沒問題再逐步放量有問題立即回滾?；貪L要能做到秒級(jí)。這意味著舊版本的權(quán)重和服務(wù)要保留著別一上線就把舊的刪了。我見過有人更新模型后發(fā)現(xiàn)問題結(jié)果舊權(quán)重沒留只能干等重新部署業(yè)務(wù)停了半小時(shí)。注意灰度不只是看技術(shù)指標(biāo)還要看業(yè)務(wù)指標(biāo)。新模型可能延遲更低但輸出質(zhì)量變差了這種問題只有業(yè)務(wù)側(cè)能發(fā)現(xiàn)。所以灰度期間要拉上業(yè)務(wù)方一起看。6. 工程化落地的完整路徑復(fù)盤把整條鏈路串起來一個(gè)標(biāo)準(zhǔn)的落地路徑是這樣的微調(diào)完成產(chǎn)出權(quán)重文件用原生Transformers驗(yàn)證效果確認(rèn)微調(diào)有效。量化轉(zhuǎn)換根據(jù)顯存和效果要求選AWQ或GPTQ轉(zhuǎn)換后重新評(píng)估。推理引擎部署選vLLM或TGI加載量化權(quán)重壓測(cè)確定批處理參數(shù)。服務(wù)框架封裝用FastAPI或Ray Serve包一層加隊(duì)列、限流、鑒權(quán)、流式輸出。監(jiān)控接入Prometheus采集指標(biāo)Grafana看板設(shè)告警閾值?；叶壬暇€小流量驗(yàn)證對(duì)比新舊版本逐步放量。持續(xù)調(diào)優(yōu)根據(jù)線上數(shù)據(jù)調(diào)整批大小、量化策略、擴(kuò)容縮容。這條路徑不是線性的中間會(huì)反復(fù)。比如壓測(cè)發(fā)現(xiàn)延遲高可能要回去換量化方案灰度發(fā)現(xiàn)效果差可能要重新微調(diào)。這很正常工程化本來就是迭代的過程。我在實(shí)際項(xiàng)目里最大的體會(huì)是別追求一步到位先跑通再優(yōu)化。很多團(tuán)隊(duì)卡在選型階段糾結(jié)vLLM還是TGI糾結(jié)INT4還是INT8結(jié)果一個(gè)月過去了服務(wù)還沒上線。正確的做法是先用最穩(wěn)妥的方案跑通全鏈路哪怕性能不是最優(yōu)然后再針對(duì)性優(yōu)化。跑通的價(jià)值遠(yuǎn)大于選型完美。另外一個(gè)體會(huì)是文檔和配置要版本化。推理引擎的參數(shù)、量化配置、服務(wù)框架的配置全部進(jìn)Git。線上出問題時(shí)能快速定位是哪個(gè)版本、哪個(gè)配置導(dǎo)致的。我吃過虧改了個(gè)參數(shù)沒記錄出問題后排查了半天才發(fā)現(xiàn)是那個(gè)改動(dòng)。最后分享一個(gè)小技巧壓測(cè)要用真實(shí)數(shù)據(jù)分布。很多人壓測(cè)用固定長(zhǎng)度的短請(qǐng)求結(jié)果線上全是長(zhǎng)請(qǐng)求表現(xiàn)完全不一樣。壓測(cè)數(shù)據(jù)要從真實(shí)日志里采樣長(zhǎng)度分布、并發(fā)模式都要貼近實(shí)際。這樣壓出來的結(jié)果才有參考價(jià)值。這條鏈路我走過好幾遍每次都有新坑但每次跑通后的那種踏實(shí)感是實(shí)打?qū)嵉?。模型微調(diào)是技術(shù)活工程化落地是手藝活兩者都做好了大模型才能真正變成業(yè)務(wù)能用的東西。