這幾年AI項(xiàng)目從Demo到真正落地我越來(lái)越強(qiáng)烈地感受到一個(gè)問(wèn)題大部分團(tuán)隊(duì)根本說(shuō)不清自己的AI工程能力處于什么水平。模型在實(shí)驗(yàn)環(huán)境里跑得再漂亮一上生產(chǎn)就崩前面全是白干。團(tuán)隊(duì)Leader被問(wèn)到“咱們的MLOps做到什么程度了”常常只能回一句“還行吧”。這不是個(gè)別現(xiàn)象而是整個(gè)行業(yè)普遍缺乏一套可量化的評(píng)估框架。今天我想聊的這套AI Engineering Maturity ModelAI工程成熟度模型就是用來(lái)回答這個(gè)問(wèn)題的——把團(tuán)隊(duì)在AI工程上的真實(shí)能力拆成5個(gè)可識(shí)別的階段每個(gè)階段都有明確的特征、痛點(diǎn)和晉級(jí)路徑。無(wú)論你是技術(shù)負(fù)責(zé)人、架構(gòu)師還是一線(xiàn)工程師都可以拿它給自己的團(tuán)隊(duì)做一次“體檢”。這個(gè)模型特別適合兩類(lèi)人來(lái)參考一類(lèi)是正在搭建AI團(tuán)隊(duì)、想知道下一步該往哪使勁的人另一類(lèi)是已經(jīng)在做MLOps平臺(tái)建設(shè)、但總被業(yè)務(wù)方質(zhì)疑“投入產(chǎn)出在哪”的人。它能幫你把很多模糊的體感——比如“我們好像很忙但不知道忙得對(duì)不對(duì)”“模型老是要人工救火”——翻譯成清晰的階段判斷讓你知道問(wèn)題出在流程、平臺(tái)還是組織協(xié)作上從而找到最該先補(bǔ)的那塊短板。1. 為什么需要給AI工程能力建模1.1 從一次生產(chǎn)事故說(shuō)起先說(shuō)個(gè)真實(shí)場(chǎng)景。某公司做了個(gè)智能客服項(xiàng)目算法團(tuán)隊(duì)花了兩周微調(diào)了一個(gè)效果不錯(cuò)的模型離線(xiàn)指標(biāo)看著很漂亮精確率達(dá)到百分之九十幾。結(jié)果一上線(xiàn)線(xiàn)上日志格式變了特征管道直接跑掛模型拿到的全是空值客服機(jī)器人開(kāi)始胡言亂語(yǔ)。算法同事不知道運(yùn)營(yíng)同事也不知道直到用戶(hù)投訴量飆升才被發(fā)現(xiàn)。這個(gè)過(guò)程里沒(méi)有一個(gè)人是偷懶的。算法做了該做的訓(xùn)練和評(píng)估工程做了該做的部署運(yùn)營(yíng)做了該做的監(jiān)控。問(wèn)題出在團(tuán)隊(duì)根本沒(méi)有建立起一套從數(shù)據(jù)到模型再到線(xiàn)上反饋的閉環(huán)機(jī)制。這不是某一個(gè)技術(shù)點(diǎn)的問(wèn)題而是AI工程能力的系統(tǒng)性問(wèn)題。這種問(wèn)題靠加人手、換更好的框架是解決不了的必須從整體流程成熟度上找突破口。1.2 成熟度模型到底衡量什么我過(guò)去也看過(guò)不少成熟度模型但大部分都太抽象指標(biāo)堆了一大堆落在自己團(tuán)隊(duì)身上不知道怎么用。后來(lái)我總結(jié)出來(lái)的思路是不去糾結(jié)那些花哨的能力評(píng)估表只看三個(gè)核心維度。第一流程維度指的是從數(shù)據(jù)采集、特征工程、模型訓(xùn)練、評(píng)估、上線(xiàn)到監(jiān)控整個(gè)生命周期有沒(méi)有被明確定義并且被真正執(zhí)行。很多團(tuán)隊(duì)說(shuō)自己“有流程”實(shí)際上只是“有文檔”真正做的時(shí)候還是各干各的。第二平臺(tái)維度指的是支撐這些流程的工具和基礎(chǔ)設(shè)施是否成體系。比如實(shí)驗(yàn)管理有沒(méi)有統(tǒng)一平臺(tái)特征有沒(méi)有集中治理模型上線(xiàn)能不能一鍵回滾監(jiān)控告警是不是自動(dòng)化的。第三組織維度指的是業(yè)務(wù)、算法、工程、運(yùn)維之間的協(xié)作模式。模型上線(xiàn)后誰(shuí)來(lái)負(fù)責(zé)出現(xiàn)問(wèn)題有沒(méi)有清晰的責(zé)任鏈評(píng)估指標(biāo)是算法說(shuō)了算還是業(yè)務(wù)說(shuō)了算。這個(gè)模型的價(jià)值就在于把三個(gè)維度擰在一起看。很多團(tuán)隊(duì)搭了個(gè)很好的平臺(tái)但流程和組織沒(méi)跟上平臺(tái)就變成了擺設(shè)反過(guò)來(lái)流程和組織努力改進(jìn)了但平臺(tái)跟不上改進(jìn)也很難固化下來(lái)。2. 五個(gè)階段全景圖在逐階段拆解之前先給大家一張全景表方便先建立整體認(rèn)知。階段名稱(chēng)核心特征團(tuán)隊(duì)典型狀態(tài)1Ad Hoc臨時(shí)階段個(gè)人英雄主義流程無(wú)定義依賴(lài)個(gè)別關(guān)鍵人物演示Demo很驚艷生產(chǎn)系統(tǒng)很脆弱2Repeatable可重復(fù)階段關(guān)鍵環(huán)節(jié)有人為規(guī)范和檢查清單依賴(lài)文檔傳承有基本流程但靠熟人協(xié)作新人上手慢3Defined定義階段流程有明確書(shū)面定義平臺(tái)工具開(kāi)始標(biāo)準(zhǔn)化多項(xiàng)目共享基礎(chǔ)設(shè)施效率明顯提升4Managed量化管理階段用數(shù)據(jù)度量一切SLO驅(qū)動(dòng)問(wèn)題能提前發(fā)現(xiàn)趨勢(shì)預(yù)測(cè)、容量規(guī)劃成為常態(tài)業(yè)務(wù)聯(lián)動(dòng)順暢5Optimized持續(xù)優(yōu)化階段自動(dòng)化的自助式平臺(tái)組織具備自進(jìn)化能力新項(xiàng)目能快速?gòu)?fù)制最佳實(shí)踐團(tuán)隊(duì)持續(xù)創(chuàng)新這里有個(gè)容易被誤解的點(diǎn)階段越高不代表團(tuán)隊(duì)越“高級(jí)”只代表這個(gè)團(tuán)隊(duì)在AI工程上的風(fēng)險(xiǎn)控制能力越強(qiáng)。一個(gè)只有三五個(gè)人、做內(nèi)部工具的小團(tuán)隊(duì)如果需求簡(jiǎn)單、迭代頻繁停留在階段2其實(shí)挺健康的強(qiáng)行上階段3的治理流程反而增加負(fù)擔(dān)。這個(gè)模型的參照系是團(tuán)隊(duì)的業(yè)務(wù)復(fù)雜度和規(guī)模脫離場(chǎng)景談“必須到階段5”沒(méi)有意義。3. 逐階段拆解從草莽到良性循環(huán)3.1 Stage 1臨時(shí)階段——一切靠人肉處于這個(gè)階段的團(tuán)隊(duì)有一個(gè)最明顯的特征成功是不可復(fù)制的。某個(gè)項(xiàng)目能做成往往是因?yàn)閳F(tuán)隊(duì)里有一個(gè)特別強(qiáng)的算法工程師他一個(gè)人包辦了數(shù)據(jù)處理、特征工程、模型訓(xùn)練和部署所有腳本都躺在他的筆記本里其他人碰都碰不到。這個(gè)階段不能說(shuō)沒(méi)產(chǎn)出。很多做實(shí)業(yè)務(wù)的公司第一個(gè)AI項(xiàng)目就是這么跑出來(lái)的而且大概率是某個(gè)高手靠著極強(qiáng)的個(gè)人能力用兩三周就搞定了核心功能。但問(wèn)題在于這個(gè)人一旦休息、調(diào)崗或者離職整個(gè)系統(tǒng)的維護(hù)就變成災(zāi)難。模型出問(wèn)題時(shí)沒(méi)人知道怎么排查數(shù)據(jù)更新沒(méi)人知道腳本在哪更不用說(shuō)接口升級(jí)之后誰(shuí)來(lái)改。生產(chǎn)環(huán)境的穩(wěn)定性在這個(gè)階段尤其脆弱。我見(jiàn)過(guò)某團(tuán)隊(duì)的模型上線(xiàn)流程是這樣的算法同學(xué)本地跑通了一個(gè)新的準(zhǔn)確率數(shù)據(jù)就把模型文件傳到一臺(tái)服務(wù)器上然后手工改一下部署腳本給線(xiàn)上發(fā)個(gè)消息說(shuō)“重啟一下服務(wù)就行”。整個(gè)上線(xiàn)過(guò)程中沒(méi)有任何評(píng)審、沒(méi)有回滾預(yù)案、沒(méi)有灰度策略。運(yùn)氣好的時(shí)候換了個(gè)模型效果變好了運(yùn)氣差的時(shí)候線(xiàn)上服務(wù)直接崩潰只能靠著運(yùn)維同學(xué)背著包沖進(jìn)機(jī)房或者遠(yuǎn)程登錄搶救回來(lái)。這個(gè)階段的核心矛盾是團(tuán)隊(duì)能力都長(zhǎng)在個(gè)人身上而不是長(zhǎng)在系統(tǒng)里。如果你發(fā)現(xiàn)團(tuán)隊(duì)里有一個(gè)不可替代的“大神”并且他承擔(dān)的職責(zé)跨度異常地大那基本可以認(rèn)定處于這個(gè)階段。如果你正好在這樣一個(gè)團(tuán)隊(duì)里我的建議是別急著上什么平臺(tái)、搞什么流程規(guī)范先做三件小事。第一把關(guān)鍵腳本和配置文件從個(gè)人電腦挪到代碼倉(cāng)庫(kù)里哪怕是粗糙地把私有的庫(kù)改成共享倉(cāng)庫(kù)。第二給核心模型寫(xiě)一個(gè)很短的README至少說(shuō)明數(shù)據(jù)從哪里來(lái)、模型怎么跑、部署要什么環(huán)境。第三讓一個(gè)人負(fù)責(zé)“影子復(fù)制”——大神做一遍新人跟著做一遍把過(guò)程錄下來(lái)或者寫(xiě)成文檔。這幾件事不需要任何預(yù)算但能把團(tuán)隊(duì)從“只有大神能做”推向下一個(gè)階段。3.2 Stage 2可重復(fù)階段——靠規(guī)范和文檔接力到了這個(gè)階段團(tuán)隊(duì)已經(jīng)意識(shí)到不能全靠個(gè)人了。關(guān)鍵環(huán)節(jié)會(huì)有一些人為規(guī)范和檢查清單數(shù)據(jù)預(yù)處理有標(biāo)準(zhǔn)模板模型訓(xùn)練有固定的代碼框架上線(xiàn)前有簡(jiǎn)單的評(píng)審會(huì)議。整體上一個(gè)項(xiàng)目能不能做出來(lái)不再完全取決于某一個(gè)神秘高手而是取決于流程文檔寫(xiě)得是不是齊全。這個(gè)階段通常會(huì)嘗到一些甜頭新人上手變快了因?yàn)榭梢钥次臋n照著走線(xiàn)上出問(wèn)題時(shí)排查路徑清晰了一些因?yàn)橹涝撜胰罩纠锏哪膸讉€(gè)字段。但團(tuán)隊(duì)很快會(huì)撞上新的天花板就是規(guī)范和文檔是靠人來(lái)維護(hù)的而人總會(huì)忘記、會(huì)偷懶、會(huì)按自己的習(xí)慣做事。有個(gè)非常典型的場(chǎng)景一個(gè)團(tuán)隊(duì)定了模型部署的規(guī)范要求每次上線(xiàn)都要先走灰度、觀(guān)察半小時(shí)再全量。但某個(gè)周五下午業(yè)務(wù)方急著要一個(gè)數(shù)字改動(dòng)算法同學(xué)覺(jué)得“改個(gè)閾值而已不用這么麻煩吧”就跳過(guò)了灰度步驟直接全量推送。結(jié)果第二天發(fā)現(xiàn)這個(gè)閾值在部分用戶(hù)群體上引發(fā)了一系列異?；貪L還花了半個(gè)小時(shí)。事后復(fù)盤(pán)大家都承認(rèn)流程是對(duì)的但就是沒(méi)遵守。這個(gè)階段被很多人誤認(rèn)為是“成熟”其實(shí)離成熟還差得很遠(yuǎn)。因?yàn)槿说淖⒁饬κ怯邢薜淖屆總€(gè)環(huán)節(jié)都靠人自覺(jué)去檢查本質(zhì)上還是一種高成本的運(yùn)轉(zhuǎn)方式。團(tuán)隊(duì)里必須有一個(gè)人充當(dāng)“流程警察”靠追著別人提醒來(lái)維持基本秩序。這個(gè)角色極其辛苦而且很容易招人煩。從階段2向階段3邁進(jìn)的引子往往是某一次線(xiàn)上事故的復(fù)盤(pán)。我在不少團(tuán)隊(duì)里觀(guān)察到真正推動(dòng)工具落地的不是CTO的空話(huà)而是一次讓人印象深刻的事故。比如某次因?yàn)榫€(xiàn)上模型版本和訓(xùn)練版本不一致導(dǎo)致預(yù)測(cè)結(jié)果完全錯(cuò)誤花了大量時(shí)間逐層排查才發(fā)現(xiàn)問(wèn)題是配置漂移。如果當(dāng)時(shí)有一個(gè)模型注冊(cè)系統(tǒng)一眼就能看出線(xiàn)上跑的版本和最新訓(xùn)練的版本差了三個(gè)迭代——這種痛感才是變革的真正起點(diǎn)。3.3 Stage 3定義階段——流程被固化到系統(tǒng)里階段3是許多團(tuán)隊(duì)夢(mèng)寐以求的狀態(tài)。在這個(gè)階段前面提到的那些規(guī)范和文檔不再只靠人肉執(zhí)行而是被固化到了平臺(tái)和工具里。你去檢查一個(gè)團(tuán)隊(duì)是否到達(dá)了階段3看他們有沒(méi)有一個(gè)全項(xiàng)目統(tǒng)一的工作流系統(tǒng)大概能猜個(gè)七八成。比如數(shù)據(jù)管道。階段2的時(shí)候每個(gè)項(xiàng)目組有自己的數(shù)據(jù)處理腳本有的用Python有的用SQL有的干脆是Excel手工處理。到了階段3團(tuán)隊(duì)會(huì)有一個(gè)統(tǒng)一的數(shù)據(jù)接入和預(yù)處理平臺(tái)數(shù)據(jù)格式、質(zhì)量校驗(yàn)、版本管理都走同一套體系。再比如實(shí)驗(yàn)管理。階段2的實(shí)驗(yàn)記錄靠一個(gè)共享文檔誰(shuí)想起來(lái)就填一行階段3會(huì)有一個(gè)實(shí)驗(yàn)管理平臺(tái)每次訓(xùn)練自動(dòng)記錄超參數(shù)、數(shù)據(jù)集版本、代碼版本和結(jié)果指標(biāo)回溯任何一次實(shí)驗(yàn)都只需要點(diǎn)幾下鼠標(biāo)。這個(gè)階段的典型特征是**“平臺(tái)化思維”**團(tuán)隊(duì)開(kāi)始意識(shí)到與其每個(gè)項(xiàng)目重復(fù)造輪子不如集中力量建設(shè)公共基礎(chǔ)設(shè)施。典型的基礎(chǔ)設(shè)施包括——實(shí)驗(yàn)管理平臺(tái)、特征存儲(chǔ)系統(tǒng)、模型注冊(cè)中心、統(tǒng)一的在線(xiàn)推理服務(wù)框架、監(jiān)控告警系統(tǒng)以及一個(gè)連接它們的編排工具。這些組件不一定非要用開(kāi)源項(xiàng)目也可以自研但原則是一樣的所有項(xiàng)目用同一套底座。組織層面階段3通常會(huì)產(chǎn)生一些新的角色分工。比如平臺(tái)工程師不再只是做運(yùn)維而是負(fù)責(zé)維護(hù)這套公共AI基礎(chǔ)設(shè)施模型上線(xiàn)開(kāi)始有獨(dú)立的發(fā)布流程由平臺(tái)團(tuán)隊(duì)把關(guān)而不是算法同學(xué)直接操作。業(yè)務(wù)團(tuán)隊(duì)、算法團(tuán)隊(duì)、平臺(tái)團(tuán)隊(duì)的邊界開(kāi)始清晰協(xié)作方式從“喊一聲就行”變成“走系統(tǒng)流程”。特別想提一下監(jiān)控這個(gè)環(huán)節(jié)。很多團(tuán)隊(duì)到了階段3會(huì)建立一個(gè)看起來(lái)很有規(guī)模的監(jiān)控體系指標(biāo)面板上畫(huà)著請(qǐng)求量、延遲、錯(cuò)誤率、CPU使用率這些常規(guī)指標(biāo)但唯獨(dú)缺少了業(yè)務(wù)層面的模型質(zhì)量監(jiān)控。也就是說(shuō)系統(tǒng)能告訴你服務(wù)是不是活著但說(shuō)不出模型的效果是不是在悄悄變差。真正到達(dá)階段3的團(tuán)隊(duì)會(huì)至少把數(shù)據(jù)分布偏差檢測(cè)Data Drift Detection和模型效果退化檢測(cè)做到基礎(chǔ)水平。比如每天跑一個(gè)樣本集比較線(xiàn)上預(yù)測(cè)分布和訓(xùn)練時(shí)分布的差異用一些帶標(biāo)注的樣本持續(xù)滾動(dòng)評(píng)估線(xiàn)下指標(biāo)。做不到精準(zhǔn)檢測(cè)沒(méi)關(guān)系但必須有這個(gè)意識(shí)。從階段3向階段4過(guò)渡核心變化是團(tuán)隊(duì)不再滿(mǎn)足于“我們按流程做了”而是開(kāi)始問(wèn)“我們做得效果到底怎么樣”這自然就引出度量和量化。3.4 Stage 4量化管理階段——用數(shù)字說(shuō)話(huà)階段4的顯著標(biāo)志是團(tuán)隊(duì)里開(kāi)始出現(xiàn)真正被大家日常使用的度量體系。注意“真正使用”這四個(gè)字很多團(tuán)隊(duì)墻上掛了不少指標(biāo)大屏但開(kāi)會(huì)的時(shí)候誰(shuí)都不看因?yàn)槟切┲笜?biāo)跟實(shí)際工作沒(méi)有形成閉環(huán)。到了階段4指標(biāo)不只是拿來(lái)向上匯報(bào)的而是直接驅(qū)動(dòng)日常決策的。先說(shuō)說(shuō)哪些指標(biāo)是值得跟蹤的。模型層面的指標(biāo)大家都很熟比如準(zhǔn)確率、召回率、AUC但這些指標(biāo)往往離業(yè)務(wù)太遠(yuǎn)。我建議至少補(bǔ)上三類(lèi)工程指標(biāo)和業(yè)務(wù)指標(biāo)。第一類(lèi)叫交付效率指標(biāo)從想法到模型上線(xiàn)需要多少天一個(gè)迭代周期里真正花在數(shù)據(jù)處理、特征工程、模型訓(xùn)練、部署聯(lián)調(diào)上的時(shí)間分別占比多少很多團(tuán)隊(duì)測(cè)完都嚇了一跳真正花在調(diào)模型上的時(shí)間不到三分之一剩下全在手工處理數(shù)據(jù)和配置環(huán)境。第二類(lèi)叫穩(wěn)定性指標(biāo)線(xiàn)上模型多久出一次效果性事故平均修復(fù)時(shí)間MTTR是多少模型服務(wù)的大版本升級(jí)頻率和成功回滾率是多少第三類(lèi)叫業(yè)務(wù)價(jià)值指標(biāo)模型上線(xiàn)后業(yè)務(wù)指標(biāo)到底變化了多少有沒(méi)有一套因果歸因的方法估算模型貢獻(xiàn)。到了階段4團(tuán)隊(duì)開(kāi)始建立SLO驅(qū)動(dòng)的開(kāi)發(fā)文化。比如給模型服務(wù)設(shè)定一個(gè)合理的目標(biāo)延遲同時(shí)定義錯(cuò)誤預(yù)算——在預(yù)算允許的范圍內(nèi)可以自由發(fā)布一旦錯(cuò)誤預(yù)算耗盡發(fā)布就必須停下來(lái)優(yōu)先恢復(fù)穩(wěn)定性。這種做法會(huì)改變團(tuán)隊(duì)的節(jié)奏感讓“發(fā)布”這件事從隨緣變成有紀(jì)律。另外一個(gè)階段4區(qū)別于階段3的關(guān)鍵是容量規(guī)劃。階段3的團(tuán)隊(duì)在流量增長(zhǎng)時(shí)通常是被動(dòng)擴(kuò)容——頂不住了加機(jī)器階段4的團(tuán)隊(duì)會(huì)根據(jù)業(yè)務(wù)增長(zhǎng)預(yù)測(cè)、模型調(diào)用趨勢(shì)和歷史峰值數(shù)據(jù)提前幾個(gè)月規(guī)劃推理資源并且會(huì)把訓(xùn)練和推理的算力成本分項(xiàng)目、分部門(mén)地核算出來(lái)。這時(shí)候你會(huì)在管理層會(huì)議上聽(tīng)到很具體的數(shù)字比如“這個(gè)模型單次推理成本是多少毫分錢(qián)月度總成本占項(xiàng)目預(yù)算的百分之幾”而不是籠統(tǒng)地說(shuō)“AI很燒錢(qián)”。量化管理很容易掉進(jìn)一個(gè)坑指標(biāo)爆炸但決策沒(méi)變。我見(jiàn)過(guò)一個(gè)團(tuán)隊(duì)搞了幾十個(gè)指標(biāo)每次周會(huì)都要花半小時(shí)過(guò)一遍數(shù)字表格但問(wèn)起來(lái)某個(gè)指標(biāo)漲了或者跌了之后要采取什么行動(dòng)全場(chǎng)沉默。指標(biāo)必須跟明確的決策動(dòng)作綁定比如“模型線(xiàn)上偏差超過(guò)某個(gè)閾值就自動(dòng)觸發(fā)重訓(xùn)流程”“某類(lèi)錯(cuò)誤率連續(xù)三天上升就必須停工排查”。如果指標(biāo)背后沒(méi)有動(dòng)作這個(gè)指標(biāo)就是在裸奔。從階段4到階段5的跨越不再只是技術(shù)和流程層面的問(wèn)題而是組織文化和團(tuán)隊(duì)學(xué)習(xí)機(jī)制的進(jìn)化。3.5 Stage 5持續(xù)優(yōu)化階段——“自動(dòng)決策組織進(jìn)化”階段5其實(shí)是很少團(tuán)隊(duì)能真正達(dá)到的但作為遠(yuǎn)景目標(biāo)很有指導(dǎo)意義。這個(gè)階段的AI工程體系看起來(lái)像是有了生命平臺(tái)會(huì)自動(dòng)幫助團(tuán)隊(duì)做大量日常決策而團(tuán)隊(duì)持續(xù)從運(yùn)行反饋中學(xué)習(xí)并改進(jìn)。具體來(lái)說(shuō)有幾個(gè)表現(xiàn)。一是開(kāi)發(fā)流程高度自助化新的AI項(xiàng)目可以從一個(gè)經(jīng)過(guò)驗(yàn)證的模板起步模板里已經(jīng)包含了數(shù)據(jù)標(biāo)準(zhǔn)、實(shí)驗(yàn)框架、部署流程、監(jiān)控配置和合規(guī)檢查。新團(tuán)隊(duì)不需要從零摸索照著模板走就能達(dá)到一個(gè)不錯(cuò)的起點(diǎn)而且模板本身會(huì)隨著項(xiàng)目實(shí)踐不斷進(jìn)化。二是平臺(tái)具備較強(qiáng)的自愈和自?xún)?yōu)化能力。比如模型監(jiān)控系統(tǒng)檢測(cè)到數(shù)據(jù)分布發(fā)生顯著偏移會(huì)自動(dòng)觸發(fā)告警或者啟動(dòng)重訓(xùn)流程資源調(diào)度系統(tǒng)會(huì)根據(jù)各項(xiàng)目的歷史使用模式自動(dòng)預(yù)測(cè)需求并動(dòng)態(tài)調(diào)整資源分配發(fā)布系統(tǒng)可以基于線(xiàn)上流量情況自動(dòng)決定灰度放量比例。組織層面階段5的團(tuán)隊(duì)已經(jīng)形成了穩(wěn)定的復(fù)盤(pán)學(xué)習(xí)閉環(huán)。每次生產(chǎn)事故或重大項(xiàng)目結(jié)束后都會(huì)產(chǎn)出可復(fù)用的經(jīng)驗(yàn)沉淀到平臺(tái)或者流程中而不是只停留在會(huì)議紀(jì)要里。團(tuán)隊(duì)對(duì)技術(shù)棧的選型和淘汰有清晰的標(biāo)準(zhǔn)定期做技術(shù)棧健康度評(píng)估主動(dòng)替換那些維護(hù)成本過(guò)高的組件不會(huì)因?yàn)椤袄洗a沒(méi)人敢動(dòng)”而長(zhǎng)期背技術(shù)債。這個(gè)階段的標(biāo)志性事件是團(tuán)隊(duì)可以在不增加太多人力的情況下持續(xù)承接越來(lái)越多的AI項(xiàng)目。因?yàn)樽罴褜?shí)踐已經(jīng)在平臺(tái)層面積累了新項(xiàng)目啟動(dòng)成本很低團(tuán)隊(duì)精力從“踩坑”轉(zhuǎn)向“真正的算法創(chuàng)新和業(yè)務(wù)理解”AI團(tuán)隊(duì)開(kāi)始成為公司業(yè)務(wù)增長(zhǎng)的重要引擎。我個(gè)人認(rèn)為國(guó)內(nèi)絕大多數(shù)團(tuán)隊(duì)目前分布在階段1到階段3之間能穩(wěn)定做到階段4的已經(jīng)不多全面達(dá)到階段5的更是鳳毛麟角。認(rèn)清這一點(diǎn)不算打擊士氣反而意味著未來(lái)有極大的提升空間。4. 怎么評(píng)估自己的團(tuán)隊(duì)——實(shí)操方法4.1 一套可落地的打分表很多讀者看完上面的階段描述心里大概有個(gè)模糊的體感但不確定怎么給團(tuán)隊(duì)做具體評(píng)估。這里分享一套我實(shí)際用過(guò)的打分表不追求學(xué)術(shù)嚴(yán)謹(jǐn)主打快速定位。評(píng)估維度階段11分階段33分階段55分團(tuán)隊(duì)自評(píng)分?jǐn)?shù)據(jù)管理數(shù)據(jù)散落在個(gè)人電腦無(wú)版本管理有統(tǒng)一數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量做自動(dòng)檢查數(shù)據(jù)資產(chǎn)完整自動(dòng)治理支持自助分析實(shí)驗(yàn)管理靠記憶和聊天記錄追溯實(shí)驗(yàn)有實(shí)驗(yàn)管理平臺(tái)參數(shù)和結(jié)果可追溯實(shí)驗(yàn)平臺(tái)自動(dòng)推薦超參數(shù)優(yōu)化路徑模型發(fā)布手動(dòng)上傳文件直接覆蓋線(xiàn)上有標(biāo)準(zhǔn)發(fā)布流程統(tǒng)一模型注冊(cè)中心灰度發(fā)布發(fā)布全自動(dòng)化支持智能灰度策略和自動(dòng)回滾監(jiān)控告警異?？坑脩?hù)投訴發(fā)現(xiàn)基礎(chǔ)監(jiān)控告警齊全包含業(yè)務(wù)效果監(jiān)控多維度智能監(jiān)控能自動(dòng)診斷和自愈基礎(chǔ)設(shè)施新項(xiàng)目從零搭建環(huán)境重復(fù)勞動(dòng)多有統(tǒng)一基礎(chǔ)設(shè)施新項(xiàng)目能復(fù)用大部分組件自助式平臺(tái)新項(xiàng)目大量模板化啟動(dòng)組織協(xié)同算法、工程、業(yè)務(wù)互相甩鍋有清晰的流程定義和職責(zé)邊界有機(jī)制促進(jìn)跨角色協(xié)作和知識(shí)沉淀度量文化基本沒(méi)有度量靠感覺(jué)驅(qū)動(dòng)有指標(biāo)體系和周報(bào)但決策聯(lián)動(dòng)有限指標(biāo)直接驅(qū)動(dòng)自動(dòng)化決策和資源規(guī)劃打分建議團(tuán)隊(duì)至少三個(gè)人背靠背獨(dú)立打分然后集中討論差異。差異大的評(píng)分項(xiàng)往往就是盲區(qū)所在——有人覺(jué)得數(shù)據(jù)管理挺好的有人覺(jué)得一塌糊涂說(shuō)明實(shí)際感知不一致這本身就是一個(gè)需要解決的問(wèn)題。4.2 評(píng)估過(guò)程中的幾個(gè)注意點(diǎn)別把技術(shù)豐富度當(dāng)成成熟度。我見(jiàn)過(guò)一個(gè)團(tuán)隊(duì)工具棧特別豪華搞了一堆大廠(chǎng)的組件套件光是模型服務(wù)框架就有三種在跑。但實(shí)際用起來(lái)三種框架各有各的維護(hù)團(tuán)隊(duì)和部署路徑跨團(tuán)隊(duì)協(xié)作時(shí)接口對(duì)不上。這種不是成熟度高而是欠著一屁股技術(shù)債。評(píng)估成熟度要看統(tǒng)一性和易用性不是看數(shù)量。量化指標(biāo)不是越高越好。“模型上線(xiàn)速度”這個(gè)指標(biāo)要辯證看。如果一個(gè)團(tuán)隊(duì)花很少時(shí)間就把模型發(fā)上線(xiàn)了也許說(shuō)明流程順暢但也可能說(shuō)明發(fā)布太隨意、缺少必要的檢查和驗(yàn)證。我建議把發(fā)布速度指標(biāo)和發(fā)布質(zhì)量指標(biāo)結(jié)合起來(lái)看比如同時(shí)看“上線(xiàn)耗時(shí)”和“上線(xiàn)后一周內(nèi)回滾率”兩個(gè)數(shù)字都很健康才是真健康。評(píng)估結(jié)果必須落到行動(dòng)計(jì)劃上。階段評(píng)估只是起點(diǎn)沒(méi)有行動(dòng)方案的話(huà)過(guò)三個(gè)月再問(wèn)還是原地踏步。建議評(píng)估完直接產(chǎn)出一份簡(jiǎn)短改進(jìn)清單不要貪多選當(dāng)前階段到下一階段最關(guān)鍵的三五件事落到具體負(fù)責(zé)人和時(shí)間點(diǎn)上面。比如“把實(shí)驗(yàn)記錄全部遷移到統(tǒng)一平臺(tái)”“給線(xiàn)上模型加上數(shù)據(jù)漂移檢測(cè)”這種顆粒度的任務(wù)。5. 團(tuán)隊(duì)在進(jìn)階路上最常見(jiàn)的5個(gè)坑5.1 坑一跳級(jí)推進(jìn)平臺(tái)建設(shè)過(guò)度超前我見(jiàn)過(guò)最有意思的情況是一個(gè)還處在階段1、連基礎(chǔ)流程都沒(méi)有的團(tuán)隊(duì)CTO一拍板花大價(jià)錢(qián)引入復(fù)雜的AI平臺(tái)產(chǎn)品想著“一步到位”。結(jié)果平臺(tái)部署完成之后團(tuán)隊(duì)里的人根本不知道怎么融入日常流程反而因?yàn)檫@個(gè)平臺(tái)變成了額外的負(fù)擔(dān)原有的臨時(shí)腳本也停了兩邊都沒(méi)做好。成熟度模型講究的是每一步都建立在上一階段的基礎(chǔ)上。流程還沒(méi)有理順的時(shí)候上平臺(tái)等于在流沙上蓋大樓。正確的路徑是先梳理流程和關(guān)鍵路徑再談?dòng)闷脚_(tái)固化流程。5.2 坑二組織架構(gòu)和流程階段不匹配有個(gè)團(tuán)隊(duì)已經(jīng)建好了統(tǒng)一的數(shù)據(jù)平臺(tái)和模型發(fā)布系統(tǒng)技術(shù)上已經(jīng)摸到階段3的門(mén)檻。但組織上算法團(tuán)隊(duì)還忍受著“誰(shuí)的項(xiàng)目誰(shuí)全包”的模式數(shù)據(jù)同學(xué)要直接去算法那邊要處理結(jié)果平臺(tái)團(tuán)隊(duì)則被當(dāng)成修電腦的。流程要求走系統(tǒng)協(xié)作但組織考核還在鼓勵(lì)個(gè)人包干制結(jié)果就是系統(tǒng)有了沒(méi)人按系統(tǒng)的規(guī)則走。組織架構(gòu)的調(diào)整應(yīng)該跟流程階段匹配。到了階段3至少需要有明確的平臺(tái)責(zé)任歸屬和對(duì)“是否按流程走”的考核牽引。不然系統(tǒng)就是擺設(shè)。5.3 坑三只做平臺(tái)不養(yǎng)度量文化團(tuán)隊(duì)搞了一堆自動(dòng)化工具數(shù)據(jù)平臺(tái)、調(diào)度平臺(tái)、監(jiān)控平臺(tái)應(yīng)有盡有。但開(kāi)會(huì)的時(shí)候決策依據(jù)還是“我覺(jué)得”“上次就是這么做的”。平臺(tái)提供的豐富數(shù)據(jù)沒(méi)有轉(zhuǎn)化成團(tuán)隊(duì)的共同語(yǔ)言每個(gè)人還是憑感覺(jué)拍腦袋。工具只是載體真正的成熟度發(fā)生在人的決策方式改變上。我建議在推動(dòng)平臺(tái)建設(shè)的同時(shí)定期開(kāi)“數(shù)據(jù)驅(qū)動(dòng)的復(fù)盤(pán)會(huì)”不管效果好不好都要先亮數(shù)據(jù)再說(shuō)話(huà)養(yǎng)成用數(shù)字對(duì)齊的習(xí)慣。5.4 坑四忽略模型上線(xiàn)后的運(yùn)營(yíng)很多團(tuán)隊(duì)的評(píng)估表里模型上線(xiàn)就算結(jié)束后面的事一概不管。這是階段2的思維方式。模型上線(xiàn)只是起點(diǎn)之后還要持續(xù)關(guān)注效果變化、數(shù)據(jù)漂移、成本變化、用戶(hù)反饋。如果一個(gè)模型上線(xiàn)后三個(gè)月沒(méi)人再看過(guò)它一眼那它大概率已經(jīng)在生產(chǎn)環(huán)境里悄悄退化了。我強(qiáng)烈建議團(tuán)隊(duì)把“模型運(yùn)營(yíng)”當(dāng)成一個(gè)持續(xù)的角色去設(shè)置至少要有定期巡檢和季度性重新評(píng)估機(jī)制。模型本質(zhì)上是對(duì)現(xiàn)實(shí)世界的一幅快照而現(xiàn)實(shí)世界一直在變。5.5 坑五把成熟度模型當(dāng)成KPI工具這是最危險(xiǎn)的一個(gè)坑。有些管理者拿著這套模型給團(tuán)隊(duì)設(shè)定“半年內(nèi)達(dá)到階段4”的硬性KPI然后為了湊指標(biāo)團(tuán)隊(duì)開(kāi)始美化問(wèn)卷、假裝監(jiān)控到位、虛報(bào)數(shù)據(jù)整個(gè)模型就失效了。成熟度模型的價(jià)值是診斷不是考核。把它當(dāng)作KPI工具就像用體溫計(jì)去設(shè)定績(jī)效——你會(huì)想方設(shè)法讓體溫看起來(lái)正常而不是真正治療病灶。正確用法是團(tuán)隊(duì)自己用它來(lái)找方向和定位瓶頸強(qiáng)制考核只會(huì)制造新的一層形式主義。6. 寫(xiě)在最后從今天就能開(kāi)始的兩件事說(shuō)完五階段模型和常見(jiàn)坑最后留兩個(gè)立刻能落地的建議。第一個(gè)是畫(huà)一張自己的階段評(píng)估圖。不需要特別正式的評(píng)審會(huì)找兩三個(gè)同樣關(guān)心這件事的同事照著前面的打分表討論一小時(shí)把團(tuán)隊(duì)目前的綜合階段判斷出來(lái)再列三個(gè)最想突破的點(diǎn)。這張圖不需要給別人看給團(tuán)隊(duì)自己校準(zhǔn)用。第二個(gè)是挑一個(gè)小項(xiàng)目完整跑一遍下一階段的流程。如果你判斷團(tuán)隊(duì)在階段1就不要全公司鋪開(kāi)搞流程建設(shè)而是選一個(gè)風(fēng)險(xiǎn)可控的新AI項(xiàng)目把這個(gè)項(xiàng)目按階段2的標(biāo)準(zhǔn)走完使用代碼倉(cāng)庫(kù)管理寫(xiě)清楚文檔安排評(píng)審和回滾預(yù)案。項(xiàng)目做完之后再總結(jié)哪些細(xì)節(jié)值得固化到下一個(gè)項(xiàng)目里。階段提升不是一場(chǎng)運(yùn)動(dòng)而是一步步的重復(fù)和固化。在實(shí)際操作中我還有一點(diǎn)體會(huì)特別想說(shuō)。那些真正做得好的團(tuán)隊(duì)并不是每次都能算清楚“上了這套流程給我省了多少人天”而是整個(gè)團(tuán)隊(duì)逐漸形成了一種不說(shuō)破的默契每次上線(xiàn)前不是想著“趕緊把這版本推到線(xiàn)上”而是想著“如果出了問(wèn)題我們能不能快速定位和回滾”。這種對(duì)工程風(fēng)險(xiǎn)的敏感度和敬畏心才是AI工程成熟度提升過(guò)程中最寶貴的副產(chǎn)品。上面這套模型和方法說(shuō)到底只是幫助團(tuán)隊(duì)建立這種敏感度的一個(gè)工具箱工具本身不是目的團(tuán)隊(duì)能持續(xù)穩(wěn)定地交付價(jià)值才是。