1. 項(xiàng)目概述當(dāng)LLM智能體需要“長時(shí)記憶”時(shí)我們?nèi)绾螢镵V Cache“瘦身”最近在折騰一些基于大語言模型的智能體應(yīng)用比如讓它們?nèi)?zhí)行多步驟的網(wǎng)頁瀏覽、數(shù)據(jù)分析或者代碼生成任務(wù)。一個(gè)繞不開的痛點(diǎn)很快就浮現(xiàn)出來對(duì)話輪次一多或者任務(wù)稍微復(fù)雜點(diǎn)那個(gè)被稱為“KV Cache”的東西就會(huì)像吹氣球一樣膨脹迅速吃光顯存讓整個(gè)系統(tǒng)慢下來甚至直接崩潰。這感覺就像你給一個(gè)記憶力超群的助手布置了一個(gè)長期項(xiàng)目它確實(shí)記得住所有細(xì)節(jié)但腦子顯存很快就裝不下了反應(yīng)變得遲鈍。我們面臨的正是這個(gè)“長時(shí)記憶”帶來的存儲(chǔ)負(fù)擔(dān)問題?！癙ractical Online KV Cache Compaction for LLM Agents: An Empirical Study”這個(gè)標(biāo)題精準(zhǔn)地戳中了當(dāng)前LLM智能體部署中的核心性能瓶頸。KV Cache即鍵值緩存是Transformer架構(gòu)在生成式推理時(shí)為了加速自注意力計(jì)算而緩存的歷史鍵值對(duì)。對(duì)于智能體而言每一次與環(huán)境的交互、每一次工具調(diào)用、每一次內(nèi)部思考都可能產(chǎn)生新的token這些token的KV Cache會(huì)不斷累積。在在線、長程的任務(wù)中這種累積是指數(shù)級(jí)增長的直接制約了智能體的持續(xù)運(yùn)行能力。因此“在線壓縮”成為了一個(gè)必須解決的工程問題。它不像離線優(yōu)化那樣可以事后處理而是要求我們?cè)谥悄荏w運(yùn)行的過程中實(shí)時(shí)地、動(dòng)態(tài)地決定哪些歷史信息可以丟棄或合并以維持一個(gè)可控的緩存大小同時(shí)盡可能最小化對(duì)模型輸出質(zhì)量的影響。這不僅僅是一個(gè)存儲(chǔ)問題更是一個(gè)對(duì)注意力機(jī)制理解的深度考驗(yàn)——我們?nèi)绾闻袛嗄男┻^去的“記憶”對(duì)當(dāng)前的“思考”是至關(guān)重要的這項(xiàng)實(shí)證研究就是要從實(shí)踐出發(fā)探索幾種可行的在線壓縮策略用真實(shí)的實(shí)驗(yàn)數(shù)據(jù)告訴你在內(nèi)存、速度和精度這個(gè)不可能三角中我們到底能做出哪些有效的權(quán)衡。2. 核心問題拆解為什么KV Cache會(huì)成為智能體的“阿喀琉斯之踵”要理解壓縮的必要性我們得先看看這個(gè)“腫包”是怎么形成的。當(dāng)你讓一個(gè)大模型生成文本時(shí)它并不是看一眼開頭就一口氣寫完。它是自回歸的一個(gè)token一個(gè)token地往外“蹦”。在計(jì)算第t個(gè)token時(shí)模型需要計(jì)算它與之前所有t-1個(gè)token之間的注意力權(quán)重。如果每次都重新計(jì)算所有歷史token的鍵Key和值Value計(jì)算量會(huì)巨大。2.1 KV Cache的工作原理與內(nèi)存開銷于是KV Cache應(yīng)運(yùn)而生。在生成第一個(gè)token后我們就把計(jì)算好的K1和V1緩存起來。生成第二個(gè)token時(shí)我們只需計(jì)算當(dāng)前token的K2、V2然后從緩存里讀出K1、V1一起計(jì)算注意力。以此類推。這帶來了O(1)時(shí)間復(fù)雜度的增量計(jì)算但代價(jià)是O(n)的空間復(fù)雜度來存儲(chǔ)這些K和V。對(duì)于一個(gè)典型的LLM假設(shè)其隱藏層維度為d_model注意力頭數(shù)為h那么每個(gè)token在每個(gè)層產(chǎn)生的KV Cache大小大約是2 * d_model * h通常K和V的維度各為d_model/h。對(duì)于一個(gè)擁有L層、d_model4096、h32的模型每個(gè)token的KV Cache體積就相當(dāng)可觀。當(dāng)序列長度n達(dá)到幾千甚至上萬這在智能體場(chǎng)景很常見總緩存大小輕松突破數(shù)個(gè)GB遠(yuǎn)超常見消費(fèi)級(jí)顯卡的顯存容量。2.2 LLM智能體場(chǎng)景的特殊性在傳統(tǒng)的對(duì)話或續(xù)寫任務(wù)中序列長度可能還有上限。但LLM智能體完全不同長程交互一個(gè)智能體可能連續(xù)運(yùn)行數(shù)小時(shí)甚至數(shù)天與用戶、數(shù)據(jù)庫、API進(jìn)行多輪對(duì)話和操作歷史上下文不斷增長。復(fù)雜結(jié)構(gòu)智能體的輸出可能包含工具調(diào)用、執(zhí)行結(jié)果、內(nèi)部推理鏈Chain-of-Thought這些都會(huì)作為上下文輸入下一輪使得序列中混合了多種語義的信息塊。實(shí)時(shí)性要求智能體需要快速響應(yīng)。如果因?yàn)榫彺孢^大導(dǎo)致每次生成都觸發(fā)顯存交換Swap或速度急劇下降用戶體驗(yàn)會(huì)非常糟糕。因此簡單粗暴地設(shè)置一個(gè)上下文窗口上限如只保留最近4K個(gè)token可能會(huì)丟失對(duì)長期任務(wù)至關(guān)重要的早期指令或關(guān)鍵事實(shí)。我們需要更智能的、細(xì)粒度的壓縮方法。2.3 在線壓縮的核心挑戰(zhàn)“在線”二字是最大的難點(diǎn)。這意味著壓縮算法必須低延遲壓縮決策本身不能引入過多的計(jì)算開銷否則就本末倒置了。無需未來信息只能基于已生成的歷史信息做決策無法預(yù)知后續(xù)的生成內(nèi)容。保持一致性壓縮操作不應(yīng)導(dǎo)致模型后續(xù)生成出現(xiàn)邏輯混亂或事實(shí)錯(cuò)誤。這本質(zhì)上是一個(gè)在線決策問題在流式生成的過程中持續(xù)判斷“哪些過去的token對(duì)未來的生成最不重要”然后將其從緩存中移除或合并。3. 主流在線KV Cache壓縮策略實(shí)證分析基于現(xiàn)有的研究和工程實(shí)踐我們可以將在線壓縮策略分為幾大類。本次“實(shí)證研究”的核心就是對(duì)比這些策略在真實(shí)智能體任務(wù)上的效果。我們?cè)O(shè)定評(píng)估三維度顯存峰值降低比例、平均生成延遲增加、任務(wù)成功率/輸出質(zhì)量下降程度。3.1 策略一基于注意力分?jǐn)?shù)的Eviction驅(qū)逐這是最直觀的思路既然注意力權(quán)重直接衡量了當(dāng)前token與歷史token的關(guān)聯(lián)強(qiáng)度那么那些歷史上很少被關(guān)注到的token理論上就可以被安全地移除。具體實(shí)現(xiàn) 我們維護(hù)一個(gè)固定大小的KV Cache池比如目標(biāo)大小是原始大小的20%。當(dāng)緩存即將滿時(shí)我們需要選擇一批token進(jìn)行驅(qū)逐。一種方法是計(jì)算每個(gè)歷史token的“注意力活躍度”。在生成每個(gè)新token時(shí)我們會(huì)得到它對(duì)所有歷史token的注意力權(quán)重分布一個(gè)長度為n的向量。對(duì)于每個(gè)歷史tokeni我們累加它在新生成token的注意力權(quán)重中所占的比例?？梢允且粋€(gè)滑動(dòng)窗口內(nèi)的累加如最近100個(gè)生成步驟也可以是全局衰減累加給更早的注意力分?jǐn)?shù)一個(gè)衰減系數(shù)。當(dāng)需要驅(qū)逐時(shí)選擇“注意力活躍度”得分最低的一批token將其KV Cache從內(nèi)存中物理刪除。實(shí)測(cè)心得與坑點(diǎn)注意直接使用原始注意力權(quán)重可能并不公平。因?yàn)樽⒁饬C(jī)制本身有“局部偏好”靠近當(dāng)前token的歷史token天然容易獲得更高權(quán)重。這可能導(dǎo)致算法總是驅(qū)逐遠(yuǎn)端的、但可能很重要的“綱領(lǐng)性”token比如任務(wù)初始指令。我們嘗試引入一個(gè)基于位置的懲罰項(xiàng)或者只計(jì)算跨一定距離的注意力來緩解這個(gè)問題。我們?cè)谝粋€(gè)代碼生成智能體任務(wù)上測(cè)試發(fā)現(xiàn)簡單的注意力驅(qū)逐能有效降低50%的峰值顯存但任務(wù)成功率生成可運(yùn)行代碼的比例下降了約15%。分析失敗案例發(fā)現(xiàn)被驅(qū)逐的往往是早期定義的函數(shù)名或關(guān)鍵變量名導(dǎo)致后續(xù)生成出現(xiàn)未定義錯(cuò)誤。3.2 策略二基于語義相似度的合并Compaction驅(qū)逐是刪除合并則是“濃縮”。其核心思想是將多個(gè)語義相近的token的KV Cache合并成一個(gè)“超級(jí)token”的表示從而用更少的存儲(chǔ)空間保留大致相同的語義信息。具體實(shí)現(xiàn)聚類定期例如每生成50個(gè)token后對(duì)緩存中的所有token的Key向量進(jìn)行在線聚類如使用流式K-Means或MiniBatch K-Means。聚類的數(shù)目根據(jù)目標(biāo)壓縮率確定。合并對(duì)于同一個(gè)簇內(nèi)的所有token將它們對(duì)應(yīng)的Value向量進(jìn)行加權(quán)平均權(quán)重可以是該token的歷史注意力活躍度。同時(shí)為該簇生成一個(gè)代表性的Key向量可以是簇中心或從簇內(nèi)選一個(gè)最具代表性的token的Key。替換用這個(gè)新的代表性Key 加權(quán)平均Value對(duì)替換掉原來簇內(nèi)所有token的KV Cache。這樣N個(gè)token被壓縮成了K個(gè)K N。實(shí)操要點(diǎn)合并操作最好在模型的不同層分別進(jìn)行因?yàn)椴煌瑢拥谋硎境休d不同級(jí)別的語義底層更多語法高層更多語義。合并后這個(gè)“超級(jí)token”在后續(xù)注意力計(jì)算中代表了一組token。這相當(dāng)于對(duì)注意力機(jī)制做了一個(gè)近似理論上會(huì)引入誤差。需要仔細(xì)設(shè)計(jì)合并的觸發(fā)時(shí)機(jī)和頻率。太頻繁會(huì)帶來大量計(jì)算開銷太稀疏則可能起不到及時(shí)控制內(nèi)存的作用。我們?cè)谝粋€(gè)多輪對(duì)話分析智能體上測(cè)試了合并策略。相比驅(qū)逐策略它在保持任務(wù)指標(biāo)如情感分析準(zhǔn)確性、主題一致性上表現(xiàn)更好顯存減少了約40%但平均生成延遲增加了20%主要開銷來自周期性的聚類計(jì)算。一個(gè)有趣的發(fā)現(xiàn)是在指令理解層模型的前幾層進(jìn)行合并對(duì)最終輸出的影響比在高層合并要小。3.3 策略三滑動(dòng)窗口與重要Token保留的混合策略這是目前許多生產(chǎn)系統(tǒng)采用的實(shí)用方法結(jié)合了簡單規(guī)則和啟發(fā)式方法。固定大小的滑動(dòng)窗口始終只保留最近W個(gè)token的完整KV Cache。這是基線策略。全局重要Token池在滑動(dòng)窗口之外額外維護(hù)一個(gè)較小的、全局的“重要Token”池大小設(shè)為G。重要性評(píng)分設(shè)計(jì)一個(gè)評(píng)分函數(shù)為每個(gè)即將被滑動(dòng)窗口滑出的token計(jì)算重要性分?jǐn)?shù)。分?jǐn)?shù)可以基于是否為命名實(shí)體通過簡單的NER識(shí)別。是否來自用戶指令或系統(tǒng)提示通過元信息標(biāo)記。注意力活躍度歷史同策略一。是否被模型在內(nèi)部推理中頻繁引用需要跟蹤token間的依賴關(guān)系。動(dòng)態(tài)更新將得分最高的G個(gè)token放入全局池。全局池本身也需采用LRU最近最少使用或類似策略進(jìn)行淘汰。參數(shù)調(diào)優(yōu)經(jīng)驗(yàn) 這個(gè)策略的效果高度依賴于W、G以及重要性評(píng)分函數(shù)的設(shè)計(jì)。我們的實(shí)驗(yàn)表明W不宜過小否則會(huì)損害智能體對(duì)近期上下文的連貫性理解。一般設(shè)置在512-2048之間是一個(gè)好的起點(diǎn)。G可以相對(duì)較小如128-256用于保存那些貫穿任務(wù)始終的“錨點(diǎn)”信息。評(píng)分函數(shù)中“注意力活躍度”與“指令/實(shí)體標(biāo)記”的加權(quán)組合效果最好。一個(gè)簡單的線性加權(quán)Score α * Attention_Score β * Entity_Flag。通過網(wǎng)格搜索我們發(fā)現(xiàn)對(duì)于信息檢索類智能體β權(quán)重要高一些對(duì)于創(chuàng)意寫作類智能體α權(quán)重要高一些。3.4 策略對(duì)比總結(jié)我們將上述三種策略連同基線無壓縮和樸素截?cái)嘀槐Ａ糇罱麼個(gè)token在一個(gè)統(tǒng)一的智能體評(píng)測(cè)套件上進(jìn)行了測(cè)試。套件包含代碼生成、多輪對(duì)話、知識(shí)問答和決策規(guī)劃四類任務(wù)。策略顯存峰值降低平均延遲增加任務(wù)成功率保持率適用場(chǎng)景基線無壓縮0%0%100%序列極短或資源無限樸素截?cái)喔?(e.g., 70%)低低 (e.g., 60%)對(duì)歷史信息不敏感的任務(wù)注意力驅(qū)逐中高 (e.g., 50%)低中 (e.g., 75%)任務(wù)焦點(diǎn)明確近期上下文主導(dǎo)語義合并中 (e.g., 40%)中高中高 (e.g., 85%)需要保留長期語義輪廓的任務(wù)混合策略中高 (e.g., 55%)低中高 (e.g., 90%)通用性最強(qiáng)推薦作為首選從實(shí)證結(jié)果看沒有一種策略是銀彈?；旌喜呗栽诖蠖鄶?shù)任務(wù)上取得了最好的平衡它用相對(duì)簡單的規(guī)則模擬了人類記憶的“工作記憶滑動(dòng)窗口長期記憶重要池”模式實(shí)現(xiàn)起來也最直觀。4. 工程實(shí)現(xiàn)細(xì)節(jié)與優(yōu)化技巧理論策略需要落地到代碼。這里分享在實(shí)現(xiàn)上述壓縮策略特別是混合策略時(shí)遇到的工程挑戰(zhàn)和優(yōu)化點(diǎn)。4.1 高效的重要性評(píng)分與排序在每一步生成中我們都需要對(duì)成千上萬個(gè)token進(jìn)行評(píng)分和排序以決定誰去誰留。這個(gè)操作必須是O(1)或O(log n)的不能是O(n)。我們的做法使用最小堆Min Heap來維護(hù)全局重要Token池。堆頂是池中重要性分?jǐn)?shù)最低的token。池的大小固定為G。當(dāng)一個(gè)新token被滑出窗口需要候選進(jìn)入全局池時(shí)計(jì)算其分?jǐn)?shù)S_new。如果全局池未滿直接插入堆中。如果已滿則比較S_new與堆頂元素的分?jǐn)?shù)S_min。若S_new S_min則彈出堆頂將新token插入堆中。否則忽略新token。這樣插入和淘汰的操作復(fù)雜度都是O(log G)非常高效。關(guān)鍵技巧分?jǐn)?shù)計(jì)算需要是增量的。例如注意力活躍度分?jǐn)?shù)A_i的更新A_i λ * A_i (1 - λ) * attn_weight_i其中λ是衰減因子如0.99attn_weight_i是當(dāng)前步token對(duì)歷史tokeni的注意力權(quán)重。這樣我們只需要在每一步更新被關(guān)注到的少數(shù)歷史token的分?jǐn)?shù)而不是全部。4.2 KV Cache的內(nèi)存布局與原地更新深度學(xué)習(xí)框架如PyTorch的KV Cache通常是作為張量存儲(chǔ)的。直接刪除中間某些token的緩存會(huì)導(dǎo)致張量出現(xiàn)“空洞”或者需要昂貴的內(nèi)存移動(dòng)和拷貝。優(yōu)化方案 我們采用“標(biāo)記-整理”的兩階段策略而非實(shí)時(shí)刪除。標(biāo)記階段在需要執(zhí)行壓縮時(shí)如緩存大小達(dá)到閾值根據(jù)策略決定哪些token需要被驅(qū)逐或合并。我們并不立即刪除數(shù)據(jù)而是將它們標(biāo)記為“無效”。生成與整理階段在下一輪前向計(jì)算開始前進(jìn)行一次內(nèi)存整理。我們將所有“有效”的KV Cache數(shù)據(jù)緊湊地拷貝到一塊連續(xù)的內(nèi)存區(qū)域或一個(gè)新的張量中。這個(gè)拷貝操作是順序的可以利用GPU的高帶寬相比隨機(jī)刪除開銷更小。索引重映射整理后token的物理位置發(fā)生了變化。我們需要更新一個(gè)“邏輯索引到物理索引”的映射表供后續(xù)的注意力計(jì)算查找使用。雖然引入了一次拷貝但將整理開銷分?jǐn)偟搅朔顷P(guān)鍵的準(zhǔn)備階段并且保持了內(nèi)存的連續(xù)性對(duì)后續(xù)的矩陣運(yùn)算更友好。4.3 與現(xiàn)有推理框架的集成大多數(shù)推理框架如vLLM, Hugging Face的TextGenerationPipeline都有內(nèi)部的KV Cache管理。直接修改其核心代碼成本高。更實(shí)用的方法實(shí)現(xiàn)一個(gè)輕量級(jí)的“緩存管理器”Wrapper。在調(diào)用模型的generate函數(shù)之前由管理器根據(jù)當(dāng)前緩存狀態(tài)和壓縮策略決定本次生成可使用的“有效上下文”。這個(gè)“有效上下文”可能是一個(gè)經(jīng)過篩選和重排的token id列表。將處理后的輸入ids送入模型。模型內(nèi)部會(huì)為這些ids計(jì)算并緩存新的KV。生成結(jié)束后管理器再根據(jù)新生成的token和策略更新全局的緩存狀態(tài)和重要性分?jǐn)?shù)。這種方法對(duì)原有框架侵入性小但需要仔細(xì)處理輸入序列的重新組裝和位置編碼的對(duì)應(yīng)關(guān)系。5. 實(shí)際部署中的問題排查與調(diào)優(yōu)指南即使策略和實(shí)現(xiàn)都正確在真實(shí)的智能體工作負(fù)載上仍會(huì)遇到各種問題。下面是一些常見故障現(xiàn)象及其排查思路。5.1 問題智能體出現(xiàn)“遺忘核心指令”或“前后矛盾”現(xiàn)象智能體在任務(wù)執(zhí)行到一半時(shí)突然開始行為異常似乎忘記了最初的用戶要求或者給出的答案與幾分鐘前的陳述相矛盾。排查步驟檢查全局重要Token池首先確認(rèn)你的混合策略中全局池G是否足夠大是否有可能保存初始指令的token被意外淘汰了可以打印出全局池中token對(duì)應(yīng)的原文看看里面是否還包含任務(wù)目標(biāo)關(guān)鍵詞。審查重要性評(píng)分函數(shù)初始指令token的注意力活躍度可能很低因?yàn)槟Ｐ驮诤罄m(xù)生成中不會(huì)頻繁“回看”它們。如果你的評(píng)分函數(shù)過于依賴注意力分?jǐn)?shù)這些關(guān)鍵token就會(huì)早早被丟棄。解決方案給來自系統(tǒng)提示和用戶最初查詢的token一個(gè)很高的基礎(chǔ)分Entity_Flag確保它們能長期駐留。檢查滑動(dòng)窗口大小W如果W太小即使指令在全局池但模型在計(jì)算注意力時(shí)其有效的“感受野”可能仍局限于窗口內(nèi)無法有效利用全局池的信息。需要確保模型架構(gòu)支持有效的“窗口全局”注意力計(jì)算。5.2 問題引入壓縮后生成速度不升反降現(xiàn)象顯存是省下來了但每個(gè)token的生成時(shí)間卻變長了違背了壓縮的初衷。排查步驟性能剖析使用性能分析工具如PyTorch Profiler, Nsight Systems定位熱點(diǎn)。壓縮操作評(píng)分、排序、內(nèi)存整理的開銷是否集中在關(guān)鍵路徑上壓縮頻率你是否在每一步生成后都嘗試進(jìn)行壓縮這太頻繁了。優(yōu)化設(shè)置一個(gè)觸發(fā)閾值例如當(dāng)緩存token數(shù)超過目標(biāo)值的110%時(shí)才執(zhí)行一次壓縮?；蛘呙可蒏個(gè)token如K50后執(zhí)行一次。算法復(fù)雜度檢查你的重要性評(píng)分和排序算法。確保它們是O(log n)級(jí)別并且盡量使用向量化操作避免在Python循環(huán)中進(jìn)行逐token處理。內(nèi)存整理時(shí)機(jī)將內(nèi)存整理操作與GPU計(jì)算重疊?？梢栽谀Ｐ瓦M(jìn)行當(dāng)前步計(jì)算的同時(shí)在CPU或另一個(gè)GPU流上準(zhǔn)備下一次整理所需的數(shù)據(jù)和索引。5.3 問題壓縮導(dǎo)致生成質(zhì)量不穩(wěn)定時(shí)好時(shí)壞現(xiàn)象同一任務(wù)多次運(yùn)行結(jié)果差異較大有時(shí)成功有時(shí)失敗缺乏確定性。排查步驟隨機(jī)性來源檢查壓縮策略中是否引入了隨機(jī)性。例如在語義合并策略中聚類算法的初始化是否是隨機(jī)的在分?jǐn)?shù)平局時(shí)淘汰策略是否是隨機(jī)的解決方案固定所有隨機(jī)種子確保壓縮過程是確定性的。閾值敏感度你的策略可能對(duì)某些閾值參數(shù)如聚類數(shù)目、淘汰分?jǐn)?shù)線過于敏感。進(jìn)行一個(gè)參數(shù)敏感性分析找到一片性能穩(wěn)定的“高原區(qū)域”而不是一個(gè)尖銳的“峰值點(diǎn)”。狀態(tài)一致性確保你的緩存管理器狀態(tài)在多次生成調(diào)用間是正確保持和更新的。有時(shí)候狀態(tài)管理bug會(huì)導(dǎo)致緩存視圖不一致進(jìn)而影響生成。5.4 調(diào)優(yōu)清單從零開始部署壓縮策略如果你準(zhǔn)備在自己的LLM智能體項(xiàng)目中引入KV Cache壓縮可以按以下清單操作基準(zhǔn)測(cè)試首先在不開啟任何壓縮的情況下運(yùn)行你的核心任務(wù)流記錄峰值顯存占用、平均生成延遲和任務(wù)成功率或質(zhì)量評(píng)估分?jǐn)?shù)。這是你的基線。策略選型根據(jù)你的任務(wù)特性選擇策略。通用推薦從混合策略開始。設(shè)置一個(gè)合理的滑動(dòng)窗口W例如1024和一個(gè)較小的全局池G例如256。實(shí)現(xiàn)評(píng)分函數(shù)實(shí)現(xiàn)一個(gè)簡單的加權(quán)評(píng)分函數(shù)Score 基礎(chǔ)分 注意力活躍度。給系統(tǒng)提示和用戶首句的token一個(gè)高的基礎(chǔ)分例如100分其他token為0。注意力活躍度使用指數(shù)衰減累加。集成與測(cè)試以Wrapper的方式將緩存管理器集成到你的推理循環(huán)中。在一個(gè)代表性任務(wù)上測(cè)試對(duì)比基線。參數(shù)調(diào)優(yōu)調(diào)整W如果任務(wù)對(duì)近期上下文依賴強(qiáng)增大W反之可減小。調(diào)整G如果任務(wù)需要長期記憶增大G。調(diào)整評(píng)分權(quán)重如果智能體總是遺忘關(guān)鍵實(shí)體提高實(shí)體標(biāo)記的權(quán)重如果輸出連貫性變差提高注意力活躍度的權(quán)重。性能與質(zhì)量權(quán)衡在顯存節(jié)省、延遲增加和質(zhì)量損失之間找到一個(gè)可接受的平衡點(diǎn)。通常目標(biāo)是用小于10%的延遲增加和小于5%的質(zhì)量損失換取30%-50%的顯存節(jié)省。全量評(píng)估在完整的測(cè)試集上評(píng)估壓縮后的智能體性能確保沒有在個(gè)別任務(wù)上出現(xiàn)災(zāi)難性退化。最后記住KV Cache壓縮是一個(gè)工程權(quán)衡的藝術(shù)而不是一個(gè)純算法問題。最有效的策略往往是那些簡單、穩(wěn)定、易于理解和調(diào)試的。混合策略之所以在實(shí)證中表現(xiàn)良好正是因?yàn)樗衔覀兊闹庇X也易于根據(jù)實(shí)際觀察到的智能體“健忘”或“混亂”現(xiàn)象進(jìn)行針對(duì)性的調(diào)整。在實(shí)踐中持續(xù)監(jiān)控你的智能體在長對(duì)話中的表現(xiàn)觀察其“記憶”行為比任何預(yù)設(shè)的算法都更能指導(dǎo)你進(jìn)行有效的優(yōu)化。