1. 從一堆散裝AI腳本到統(tǒng)一底座我為什么開始關(guān)注QuickBlue去年下半年我陸續(xù)幫三四個團隊做過AI功能的落地。場景各不相同有的是給客服系統(tǒng)加智能問答有的是給內(nèi)部知識庫做語義檢索還有的是給業(yè)務系統(tǒng)嵌一個文檔摘要模塊。按理說這些需求都不算復雜但真正動手之后我發(fā)現(xiàn)每個團隊踩的坑幾乎一模一樣模型調(diào)用散落在各個業(yè)務代碼里密鑰硬編碼在配置文件中提示詞版本混亂換個模型要改十幾處地方上線之后連個統(tǒng)一的調(diào)用日志都找不到。這種狀態(tài)下AI功能不是能力而是負債。你每加一個AI場景就多一份維護成本。后來我開始琢磨能不能把這些共性的東西抽出來做成一個統(tǒng)一的接入層讓業(yè)務團隊只管我要什么能力而不用管模型怎么調(diào)、密鑰怎么管、流量怎么控。這個思路就是現(xiàn)在大家說的AI應用底座。QuickBlue 這個項目正是在這個背景下進入我視野的。它定位為一個面向企業(yè)的AI應用底座把模型接入、能力編排、權(quán)限管控、可觀測性這些臟活累活收攏到一層業(yè)務側(cè)通過標準接口調(diào)用。關(guān)鍵詞里出現(xiàn)的微服務、JDK 21、Spring Cloud說明它不是一個小玩具而是奔著企業(yè)級分布式架構(gòu)去的。這篇文章我不打算寫成產(chǎn)品說明書而是想從一個一線從業(yè)者的角度把AI應用底座到底解決什么問題QuickBlue這類項目內(nèi)部大概怎么搭落地時會遇到哪些坑這幾件事講透。如果你正在糾結(jié)要不要給團隊引入一層AI底座或者你已經(jīng)在做類似的事情這篇應該能幫你少走點彎路。2. AI應用底座到底在解決什么拆開散裝AI的五個痛點2.1 模型調(diào)用散落改一個參數(shù)要翻遍整個代碼庫先說最直觀的問題。我見過一個項目光是調(diào)用大模型的地方就有十七處分布在六個微服務里。每處都自己new一個HTTP客戶端自己拼請求體自己處理超時。后來廠商調(diào)整了接口的字段名整個團隊花了兩天才改完還漏了一處線上報錯才發(fā)現(xiàn)。AI應用底座的第一層價值就是把模型調(diào)用收斂成統(tǒng)一出口。業(yè)務代碼不再直接面對模型廠商的SDK而是調(diào)用底座暴露的標準接口。模型換了、參數(shù)變了、廠商切了業(yè)務側(cè)無感知。這跟當年我們做支付系統(tǒng)時把各家支付渠道封裝成統(tǒng)一網(wǎng)關(guān)是一個道理——變化被擋在底座內(nèi)部業(yè)務只依賴穩(wěn)定契約。2.2 密鑰與配額失控誰在什么時候調(diào)了多少沒人說得清第二個痛點是治理。模型調(diào)用是要花錢的而且不同團隊、不同場景的用量差異極大。如果沒有統(tǒng)一管控很容易出現(xiàn)某個測試環(huán)境瘋狂調(diào)用把配額跑光或者某個離職同事的密鑰還在被使用。底座需要提供的能力包括密鑰集中托管、按租戶/應用/用戶維度的配額限制、調(diào)用量統(tǒng)計與告警。這些在傳統(tǒng)微服務里是標準配置但很多團隊做AI功能時完全沒考慮等到賬單出來才傻眼。QuickBlue 這類底座把這塊做成基礎(chǔ)設(shè)施業(yè)務側(cè)接入即獲得治理能力不用各自造輪子。2.3 提示詞版本混亂改了效果變差回滾都找不到舊版本提示詞工程現(xiàn)在越來越像代碼工程但很多團隊還停留在在代碼里寫死一個字符串的階段。改了一版提示詞效果變差想回滾卻發(fā)現(xiàn)舊版本沒存。更麻煩的是同一個能力在不同服務里各寫一份提示詞改了一處忘了另一處行為不一致。底座通常會提供提示詞模板管理模板獨立于代碼存儲支持版本、支持灰度、支持按場景綁定。業(yè)務側(cè)傳參底座負責渲染。這樣提示詞的迭代就和代碼發(fā)布解耦了運營同學甚至可以在不改代碼的情況下調(diào)優(yōu)。2.4 缺乏可觀測性出了問題只能靠猜AI調(diào)用和普通接口調(diào)用有個很大區(qū)別它的輸出是不確定的延遲波動大失敗原因五花八門限流、超時、內(nèi)容審核攔截、模型自身異常。如果沒有完整的調(diào)用鏈路追蹤排查問題基本靠猜。底座需要把每次調(diào)用的輸入、輸出、耗時、token消耗、命中的模型版本、失敗原因都記錄下來并且能和業(yè)務側(cè)的請求鏈路關(guān)聯(lián)。這塊做得好不好直接決定了你線上出問題時是十分鐘定位還是十小時定位。2.5 能力無法復用每個團隊都在重復造輪子最后一個也是最隱蔽的痛點。A團隊做了文檔摘要B團隊也要做于是B團隊從頭再來一遍。C團隊做了敏感詞過濾D團隊不知道又做了一套。企業(yè)內(nèi)部的AI能力沒有沉淀每次都是新起點。底座的核心使命之一就是能力沉淀與復用。把通用的AI能力摘要、分類、抽取、問答、改寫做成可被復用的服務新場景直接編排組合而不是從零開發(fā)。這才是底座兩個字真正的分量。3. QuickBlue的架構(gòu)骨架微服務、JDK 21與Spring Cloud怎么組合3.1 為什么是微服務而不是單體有人會問一個AI接入層搞成微服務是不是過度設(shè)計我的判斷是取決于規(guī)模。如果只是三五個場景、一個團隊用單體完全夠。但企業(yè)級底座面對的是多團隊、多租戶、多模型、高并發(fā)單體很快會變成瓶頸。微服務化帶來的好處很實際模型接入服務可以獨立擴容它是最耗資源的治理服務可以獨立部署它最需要穩(wěn)定性能力編排服務可以獨立迭代它變化最快。故障隔離也更清晰——某個模型廠商掛了不至于拖垮整個底座。QuickBlue 選擇微服務路線本質(zhì)上是為企業(yè)級這三個字買單。代價是運維復雜度上升所以它必須依賴成熟的微服務生態(tài)來兜底這就引出了 Spring Cloud。3.2 JDK 21帶來的實際收益關(guān)鍵詞里特意點了 JDK 21這不是隨便選的。JDK 21 是 LTS 版本對這類IO密集型的底座服務來說有幾個實打?qū)嵉暮锰?。虛擬線程是最大的亮點。AI調(diào)用本質(zhì)上是大量等待外部響應的IO操作傳統(tǒng)線程池模式下線程數(shù)就是并發(fā)上限線程被阻塞時資源白白浪費。虛擬線程讓一個請求一個線程的模型重新變得可行吞吐量提升明顯代碼還不用改成響應式那套復雜寫法。我實測過類似的場景在IO等待占比高的服務里虛擬線程能把吞吐拉高一個量級而代碼幾乎不用動。另外 JDK 21 在 ZGC、模式匹配、記錄類等方面的成熟也讓底座這種需要長期運行、頻繁處理結(jié)構(gòu)化數(shù)據(jù)的服務受益。選 LTS 版本做底座是穩(wěn)妥的做法。3.3 Spring Cloud在底座里的角色分工Spring Cloud 在 QuickBlue 里承擔的是分布式基礎(chǔ)設(shè)施的角色具體分工大致是這樣關(guān)注點典型組件在底座中的作用服務注冊發(fā)現(xiàn)Nacos / Consul各微服務互相找到對方配置管理Nacos Config模型參數(shù)、限流閾值動態(tài)下發(fā)網(wǎng)關(guān)Spring Cloud Gateway統(tǒng)一入口、鑒權(quán)、路由熔斷限流Sentinel保護底座不被突發(fā)流量打垮鏈路追蹤Sleuth / Micrometer Tracing串聯(lián)業(yè)務請求與AI調(diào)用這里有個現(xiàn)實問題必須提Spring Cloud Alibaba 的部分組件已經(jīng)進入維護模式甚至停更這是很多團隊選型時的糾結(jié)點。我的建議是底座這種長生命周期的基礎(chǔ)設(shè)施選型要看兩件事——社區(qū)是否活躍、是否有可替代方案。注冊配置中心可以考慮 Nacos 的持續(xù)版本或 Consul熔斷限流 Sentinel 依然可用但要關(guān)注替代品如 Resilience4j。不要因為某個組件曾經(jīng)很火就無腦綁定底座是要用三五年的東西。3.4 一張我理解的底座分層圖雖然不能畫圖但我可以用文字把 QuickBlue 這類底座的分層講清楚從上到下大致是四層接入層網(wǎng)關(guān)、鑒權(quán)、租戶識別、限流。所有外部請求從這里進。能力層能力編排、提示詞渲染、模型路由。業(yè)務要的摘要問答在這里被組裝出來。模型接入層對接各家模型廠商統(tǒng)一協(xié)議、統(tǒng)一錯誤碼、統(tǒng)一重試策略。治理與觀測層貫穿所有層的配額、計費、日志、追蹤、告警。業(yè)務團隊通常只接觸接入層和能力層下面兩層對他們是透明的。這個分層的關(guān)鍵在于邊界清晰模型接入層的變化不會泄漏到能力層能力層的變化不會影響接入層的契約。4. 落地一個AI底座我在實操中踩過的坑4.1 統(tǒng)一協(xié)議這件事比想象中難理論上把所有模型調(diào)用抽象成一個統(tǒng)一接口很美好。實操中你會發(fā)現(xiàn)不同廠商的能力差異很大有的支持流式輸出有的不支持有的有function call有的沒有有的按token計費有的按調(diào)用次數(shù)。你想用一個接口覆蓋所有要么接口設(shè)計得極其復雜要么就得做能力降級。我的經(jīng)驗是核心接口保持最小公約數(shù)高級能力用擴展字段或獨立接口。比如基礎(chǔ)的文本生成接口只保證輸入文本、輸出文本、超時、重試這些通用能力流式、function call 這些做成可選能力調(diào)用方按需聲明。不要試圖設(shè)計一個萬能接口那是災難的開始。4.2 流式輸出與微服務的兼容問題流式輸出SSE在單體應用里很簡單但在微服務網(wǎng)關(guān)的架構(gòu)下會碰到麻煩。網(wǎng)關(guān)默認可能緩沖響應導致流式變成攢一波再發(fā)用戶體驗全無。Nginx、Spring Cloud Gateway 都需要專門配置才能正確透傳流式響應。我踩過的坑是本地測試一切正常上了網(wǎng)關(guān)就變成一次性返回。排查了半天才發(fā)現(xiàn)是網(wǎng)關(guān)的緩沖配置。所以底座在設(shè)計流式能力時必須把網(wǎng)關(guān)配置納入部署清單并且要有專門的端到端測試用例覆蓋流式場景不能只測單服務。4.3 配額統(tǒng)計的精度與性能矛盾配額限制要求實時準確但每次調(diào)用都去數(shù)據(jù)庫扣減配額在高并發(fā)下數(shù)據(jù)庫直接被打爆。這是個經(jīng)典難題。常見的解法是分層統(tǒng)計本地內(nèi)存做粗粒度計數(shù)定期匯總到RedisRedis再異步落庫。允許一定時間窗口內(nèi)的誤差換取性能。但要注意如果業(yè)務對超用極其敏感比如按量付費給外部客戶那精度要求就高可能需要用Redis的原子操作做準實時扣減。這里沒有銀彈取決于你的業(yè)務容忍度。QuickBlue 這類底座通常會把這做成可配置策略讓接入方自己選。4.4 提示詞模板的注入安全提示詞模板支持變量替換就必然面臨注入問題。如果用戶輸入的內(nèi)容被直接拼進提示詞惡意用戶可能通過構(gòu)造輸入來改變模型行為這就是所謂的提示詞注入。底座的防護思路有幾種對變量做轉(zhuǎn)義和長度限制、把用戶輸入和系統(tǒng)指令用明確的分隔符隔開、在關(guān)鍵場景加一層輸入審核。這些措施不能百分百防住但能大幅提高攻擊成本。我的建議是底座要把輸入凈化做成默認開啟的能力而不是讓每個業(yè)務方自己去想。4.5 版本升級時的兼容性噩夢底座是給多個業(yè)務方用的一旦接口變更影響面很大。我見過因為底座升級導致上游三個業(yè)務同時故障的事故。教訓是底座的接口變更必須走嚴格的兼容性流程。新增字段可以刪除字段不行修改語義必須新開版本廢棄接口要有足夠長的過渡期和明確的下線通知。這件事說起來簡單做起來需要紀律。建議在底座項目里就把 API 版本管理、變更評審、灰度發(fā)布這些流程固化下來別等到出事才補。5. 企業(yè)到底該不該上AI應用底座一份決策參考5.1 什么階段適合引入底座不是所有團隊都需要底座。我的判斷標準是看三個信號AI場景數(shù)量超過五個且還在增加散裝維護開始吃力。使用團隊數(shù)量超過兩個團隊在用AI能力需要統(tǒng)一治理。合規(guī)與成本壓力有明確的審計、配額、成本核算要求。三個信號中滿足兩個就該認真考慮底座了。如果只有一個場景、一個團隊老老實實寫業(yè)務代碼更劃算別為了架構(gòu)而架構(gòu)。5.2 自研還是選型現(xiàn)成方案自研的好處是貼合自身業(yè)務壞處是周期長、坑多。選型現(xiàn)成方案比如 QuickBlue 這類的好處是開箱即用壞處是可能不完全匹配你的場景且要評估其長期維護能力。我的建議是核心治理能力優(yōu)先用成熟方案業(yè)務特有的能力編排可以自研。比如模型接入、配額、追蹤這些通用性強的沒必要自己造而你們公司特有的業(yè)務能力組合現(xiàn)成方案大概率覆蓋不了自己寫更合適?；旌喜呗酝燃冏匝谢蚣儾少徃鼊諏?。5.3 引入底座后的組織配套技術(shù)底座從來不是純技術(shù)問題。引入底座意味著業(yè)務團隊的開發(fā)方式要變不能再自己直連模型要走底座接口不能再自己管密鑰要申請配額。這些改變需要配套的流程和文檔否則底座會被繞過。我見過最失敗的情況是底座做出來了但業(yè)務團隊嫌麻煩繼續(xù)自己直連模型底座成了擺設(shè)。所以推行底座時一定要有胡蘿卜加大棒——用底座能拿到配額、能看監(jiān)控、能復用能力胡蘿卜同時把直連模型的路堵死大棒。組織配套跟不上再好的技術(shù)也落不了地。6. 我對這類底座未來演進的一點觀察從我這段時間的實踐看AI應用底座正在從模型接入層往能力操作系統(tǒng)演進。早期的底座只解決怎么調(diào)模型現(xiàn)在的底座開始解決怎么編排能力怎么治理AI資產(chǎn)怎么讓AI能力像水電一樣被調(diào)用。QuickBlue 這類項目把微服務、JDK 21、Spring Cloud 這些成熟的企業(yè)級技術(shù)棧用在AI場景上思路是對的——AI落地到最后拼的不是模型多先進而是工程化能力多扎實。模型會不斷迭代但一套好的底座架構(gòu)能扛住多次模型換代。我個人在實際操作中的體會是底座的價值不在于它支持多少模型而在于它讓業(yè)務團隊忘記模型的存在。當業(yè)務同學只關(guān)心我要一個摘要能力而不用管背后是哪個模型、哪個版本、怎么限流時這個底座才算真正成功了。這條路還很長但方向是清晰的。