在 Hacker News 上看到“Is AI Dumber Today?”這個(gè)展示項(xiàng)目時(shí)我先被它的標(biāo)題抓住了。不是因?yàn)樗苯咏o出了“是或否”的答案而是它想從普通用戶的觀點(diǎn)里做一個(gè) AI 模型體驗(yàn)指數(shù)專門(mén)回答很多人最近常問(wèn)的一句話AI 是不是真的變笨了類似的做法是去收集社區(qū)討論、社交平臺(tái)、應(yīng)用商店評(píng)論里的抱怨和表?yè)P(yáng)再按模型、時(shí)間段、任務(wù)類型拆開(kāi)看用戶體感到底是往下走還是往上走。這個(gè)方向比單純跑分更有意思?？赐赀@個(gè)項(xiàng)目我的整體判斷是它不一定要替代模型能力排行榜真正的價(jià)值在于給“用戶覺(jué)得模型變笨”這種模糊抱怨提供了一套可跟蹤、可比較的結(jié)構(gòu)化指標(biāo)。適合做模型評(píng)測(cè)、AI 應(yīng)用開(kāi)發(fā)、模型選型和客服體驗(yàn)優(yōu)化的人關(guān)注。下面我會(huì)先拆清楚這個(gè)指數(shù)到底在度量什么再按數(shù)據(jù)來(lái)源、指標(biāo)計(jì)算、干擾排除和實(shí)踐落地的順序展開(kāi)。1. 先搞清這個(gè)指數(shù)要回答的是“體驗(yàn)問(wèn)題”不是“智商問(wèn)題”1.1 用戶嘴里說(shuō)的“變笨”其實(shí)包含了好幾種完全不同的狀態(tài)這是整個(gè)項(xiàng)目最容易被誤解的地方。用戶說(shuō)“今天模型變笨了”可能是以下任一情況模型本身在某個(gè)任務(wù)上的能力確實(shí)下降了。模型沒(méi)有變但當(dāng)前上下文的長(zhǎng)度太長(zhǎng)導(dǎo)致模型忘記前文。服務(wù)端在做模型版本切換、負(fù)載均衡或臨時(shí)限流用戶被分到了較弱的實(shí)例?？蛻舳伺渲谩⒔涌趨?shù)或模型名稱寫(xiě)錯(cuò)請(qǐng)求根本沒(méi)到目標(biāo)模型上。產(chǎn)品層增加了安全規(guī)則、格式限制或免責(zé)聲明回答變得更謹(jǐn)慎用戶誤認(rèn)為“不會(huì)思考了”。用戶自己的預(yù)期提高了。昨天能答對(duì)今天問(wèn)更難的問(wèn)題答錯(cuò)了也會(huì)被歸到“變笨”。如果不把這些狀態(tài)分開(kāi)最后得到的指數(shù)會(huì)非常混亂。所以“Is AI Dumber Today?”這個(gè)題目準(zhǔn)確說(shuō)應(yīng)該是“用戶感受到的 AI 體驗(yàn)是否正在下降”。它是一個(gè)體驗(yàn)指數(shù)不是一個(gè)智商測(cè)試。項(xiàng)目標(biāo)題用了 Experience 這個(gè)詞也暗示了這一點(diǎn)。1.2 為什么“用戶觀點(diǎn)”不能被模型跑分替代模型跑分適合衡量靜態(tài)能力比如推理、代碼、數(shù)學(xué)、多語(yǔ)言理解。它的優(yōu)點(diǎn)是穩(wěn)定、可復(fù)現(xiàn)、能橫向比較。但跑分很難覆蓋真實(shí)使用場(chǎng)景里的問(wèn)題多輪對(duì)話是否會(huì)丟失信息、長(zhǎng)時(shí)間任務(wù)是否穩(wěn)定、接口是否頻繁報(bào)錯(cuò)、回復(fù)是否因?yàn)楫a(chǎn)品策略變得過(guò)分保守。用戶觀點(diǎn)恰好能補(bǔ)上這塊空白。一個(gè)模型跑分再高如果用戶在實(shí)際界面里動(dòng)不動(dòng)就遇到連接失敗、模型不可用、上下文超長(zhǎng)報(bào)錯(cuò)體驗(yàn)分也會(huì)很低。用戶觀點(diǎn)的問(wèn)題同樣明顯噪音大、情緒偏激、樣本量小、容易被特定事件帶節(jié)奏。一個(gè)技術(shù)社區(qū)集中討論某次服務(wù)故障當(dāng)周評(píng)論里就會(huì)塞滿“模型變蠢了”但真實(shí)原因可能只是服務(wù)端過(guò)載。這個(gè)項(xiàng)目的核心工程難點(diǎn)就是把體驗(yàn)感受從情緒噪音中抽出來(lái)而不是簡(jiǎn)單統(tǒng)計(jì)“夸還是罵”。1.3 先確認(rèn)自己是否需要這樣一個(gè)指數(shù)如果你只是日常用模型看到一兩條批評(píng)帖子不需要指數(shù)直接換模型或換提示詞就行。但如果你在做以下事情那么一個(gè)體驗(yàn)指數(shù)會(huì)很有價(jià)值給公司選模型擔(dān)心評(píng)測(cè)集和真實(shí)用戶感受不一致。開(kāi)發(fā) AI 應(yīng)用想知道用戶吐槽的是模型能力還是產(chǎn)品功能。長(zhǎng)期使用某個(gè)模型 API想觀察版本更新和配置變更是否帶來(lái)體驗(yàn)波動(dòng)。維護(hù)模型接入層需要區(qū)分模型變差、服務(wù)故障和配置錯(cuò)誤。這個(gè)項(xiàng)目做成 Show HN本質(zhì)上是把想法公開(kāi)出來(lái)讓用戶試用、糾偏。在看它時(shí)不應(yīng)該把它當(dāng)成已經(jīng)成熟的權(quán)威指標(biāo)更合理的態(tài)度是關(guān)注它的問(wèn)題定義和數(shù)據(jù)口徑然后自己上手驗(yàn)證。2. 用戶觀點(diǎn)類數(shù)據(jù)從哪里來(lái)怎么聽(tīng)得夠真2.1 每種渠道都有自己的偏差不能只盯一個(gè)平臺(tái)如果一個(gè)體驗(yàn)指數(shù)只從一個(gè)地方采集數(shù)據(jù)結(jié)果很容易失真。技術(shù)論壇里的討論偏主觀、愛(ài)玩梗產(chǎn)品評(píng)論區(qū)則更直接客服工單更接近真實(shí)故障。常用的渠道類型和特點(diǎn)可以參考這張表數(shù)據(jù)渠道優(yōu)點(diǎn)需要注意的偏差技術(shù)社區(qū)帖子討論深入能發(fā)現(xiàn)具體場(chǎng)景愛(ài)玩梗反諷多容易夸張社交平臺(tái)短評(píng)更新快能捕捉突發(fā)問(wèn)題情緒噪聲大樣本代表性弱應(yīng)用商店評(píng)論用戶真實(shí)且聚焦產(chǎn)品體驗(yàn)評(píng)論數(shù)量可能很少官方反饋工單信息完整故障描述清晰通常是問(wèn)題用戶指數(shù)天然偏負(fù)博客和專題文章能提供詳細(xì)案例時(shí)效性差更新慢聊天群組和論壇貼近普通用戶真實(shí)用法隱私和授權(quán)問(wèn)題要優(yōu)先處理個(gè)人項(xiàng)目最容易犯的錯(cuò)是只抓某一個(gè)社區(qū)的帖子。結(jié)果只能代表這個(gè)社區(qū)的氛圍。社區(qū)喜歡黑某個(gè)模型其他人也跟著玩梗指數(shù)就會(huì)失真。我更建議先選定兩到三個(gè)互補(bǔ)渠道一個(gè)偏技術(shù)討論一個(gè)偏產(chǎn)品評(píng)論一個(gè)偏工單或問(wèn)答記錄。等數(shù)據(jù)跑通后再擴(kuò)大渠道。2.2 數(shù)據(jù)采集時(shí)要把合規(guī)問(wèn)題放在前面采集用戶公開(kāi)觀點(diǎn)不能無(wú)視平臺(tái)規(guī)則。優(yōu)先使用平臺(tái)官方 API。如果官方接口不支持歷史搜索或關(guān)鍵詞過(guò)濾選擇清晰標(biāo)注來(lái)源和作者的公開(kāi)數(shù)據(jù)集。用爬蟲(chóng)抓網(wǎng)頁(yè)前先檢查平臺(tái)的服務(wù)條款、robots 文件、接口訪問(wèn)頻率限制。個(gè)人項(xiàng)目一般量不大但也要做好請(qǐng)求限速不要給目標(biāo)網(wǎng)站造成壓力更不要抓取非公開(kāi)內(nèi)容。另外用戶觀點(diǎn)往往包含個(gè)人信息。做指數(shù)不需要保留用戶名、頭像、聯(lián)系方式。格式化數(shù)據(jù)時(shí)最好只保存必要字段例如發(fā)布時(shí)間、來(lái)源渠道、文本內(nèi)容、涉及的模型名、情感標(biāo)注。敏感信息能刪就刪。2.3 靠關(guān)鍵詞篩選數(shù)據(jù)必須先建立“模型實(shí)體映射表”原始評(píng)論里很少規(guī)規(guī)矩矩寫(xiě)“模型 A 在某任務(wù)上表現(xiàn)下降”。常見(jiàn)表達(dá)是“我用 A 寫(xiě) Python今天一直報(bào)錯(cuò)?！薄爸滞蝗蛔兊锰貏e啰嗦邏輯還沒(méi)有上周清楚?！薄巴瑯拥膯?wèn)題昨天還會(huì)今天怎么不會(huì)了。”為了把評(píng)論關(guān)聯(lián)到具體模型需要一張實(shí)體映射表。這張表至少包含三層官方名稱和別名比如某個(gè)模型的完整版本號(hào)、簡(jiǎn)稱、社區(qū)常用外號(hào)。產(chǎn)品名和底層模型的對(duì)應(yīng)關(guān)系。很多用戶只會(huì)說(shuō)自己在用某款聊天產(chǎn)品而不知道底層是什么模型。時(shí)間線。模型會(huì)升級(jí)、下線、改名映射表也要跟著維護(hù)。沒(méi)有這張表再好的自然語(yǔ)言處理模型也無(wú)法把評(píng)論對(duì)應(yīng)到該對(duì)應(yīng)的對(duì)象上。3. 從原始評(píng)論到“可比較的體驗(yàn)指數(shù)”中間要過(guò)幾道關(guān)3.1 清洗和去重是第一道關(guān)采集到的評(píng)論不會(huì)直接可用。常見(jiàn)問(wèn)題包括同一句話在多個(gè)渠道重復(fù)出現(xiàn)。短評(píng)論沒(méi)有足夠上下文無(wú)法判斷模型名和任務(wù)類型。大量反諷、夸張、玩梗內(nèi)容。包含錯(cuò)誤日志、配置片段和代碼塊容易被當(dāng)成模型能力的負(fù)面證據(jù)。我先建議從數(shù)據(jù)字段開(kāi)始處理。每條樣本至少保留字段說(shuō)明timestamp發(fā)布時(shí)間必須統(tǒng)一時(shí)區(qū)source來(lái)源渠道m(xù)odel映射后的模型實(shí)體如 model-a、model-btask_type任務(wù)類型如數(shù)學(xué)、代碼、長(zhǎng)文總結(jié)、閑聊complaint_category問(wèn)題類別如可用性、配置、能力、上下文、限制sentiment_score體驗(yàn)分例如 -1、0、1或更細(xì)的 1 到 5raw_text原始文本或摘要去重不能只看文本是否一樣還要看同一條事件是不是在多個(gè)渠道被多人轉(zhuǎn)發(fā)。如果發(fā)現(xiàn)同一時(shí)段內(nèi)大量相同措辭的評(píng)論很可能是在跟帖玩梗直接刪除這批重復(fù)句保留最早的一條原文即可。3.2 情感標(biāo)注不能只用“正面/負(fù)面”二分類簡(jiǎn)單的正面負(fù)面標(biāo)注不夠用。用戶罵“模型不回我了”和“模型回答太保守”都是負(fù)面但前者是可用性問(wèn)題后者是產(chǎn)品策略問(wèn)題?！斑@個(gè)模型真傻”和“這個(gè)模型太聰明讓我害怕”在情感上都是負(fù)面但在體驗(yàn)指數(shù)里含義完全不同。所以我更建議在標(biāo)注時(shí)增加類別維度。情感分只負(fù)責(zé)方向類別分負(fù)責(zé)解釋為什么會(huì)這樣。類別可以包括能力問(wèn)題推理、數(shù)學(xué)、代碼、寫(xiě)作等具體能力不足。上下文問(wèn)題多輪回答不記得之前信息。可用性問(wèn)題服務(wù)不可用、響應(yīng)慢、連接斷開(kāi)。配置問(wèn)題模型名不對(duì)、密鑰錯(cuò)誤、參數(shù)不合法。體驗(yàn)風(fēng)格問(wèn)題回答過(guò)于啰嗦、過(guò)于保守、格式混亂。用戶預(yù)期問(wèn)題任務(wù)本身超出模型能力邊界。只有同時(shí)記錄情感和類別才能回答“是變笨了還是變難用了”。3.3 單條評(píng)論打分后要做時(shí)間聚合和任務(wù)拆分體驗(yàn)指數(shù)不該是“所有評(píng)論總體平均分”。因?yàn)椴煌瑫r(shí)間段、不同任務(wù)類型的用戶比例會(huì)變化。如果這周代碼問(wèn)題集中爆發(fā)整體平均分下降但數(shù)學(xué)任務(wù)沒(méi)變差就會(huì)誤判。把數(shù)據(jù)按周或雙周聚合再拆成不同任務(wù)類型是比較穩(wěn)妥的做法。下面是一個(gè)最小可運(yùn)行的分析流程適合先用一兩百條樣本測(cè)試import pandas as pd df pd.read_csv(sample_user_opinions.csv) # 去重按文本和渠道 df df.drop_duplicates(subset[source, raw_text]) # 統(tǒng)一時(shí)間字段按周切分 df[published_at] pd.to_datetime(df[published_at], errorscoerce) df df.dropna(subset[published_at]) df[week] df[published_at].dt.to_period(W).astype(str) # 只看某個(gè)模型的數(shù)據(jù) model_df df[df[model] example-model] # 按周、任務(wù)類型聚合 weekly ( model_df.groupby([week, task_type]) .agg( avg_score(sentiment_score, mean), sample_count(sentiment_score, size) ) .reset_index() ) print(weekly.tail(10)) # 如果需要看趨勢(shì)可以畫(huà)圖 weekly.pivot(indexweek, columnstask_type, valuesavg_score).plot()這段代碼不是完整項(xiàng)目只用來(lái)理解數(shù)據(jù)處理鏈條。注意當(dāng)樣本量很小時(shí)按天聚合會(huì)非常抖。我一般建議至少按周聚合每個(gè)分組里的有效評(píng)論低于 5 條時(shí)不展示分?jǐn)?shù)只顯示樣本數(shù)。內(nèi)部使用可以看原始數(shù)字對(duì)外展示必須帶樣本量否則容易誤導(dǎo)。3.4 讓大模型來(lái)打標(biāo)可以提高效率但不能代替人工抽檢給大量評(píng)論分類和定情感可以調(diào)用另一個(gè)大模型來(lái)做。這個(gè)思路目前很常見(jiàn)。讓模型閱讀一條評(píng)論輸出模型實(shí)體、任務(wù)類型、問(wèn)題類別、體驗(yàn)分效率比人工高得多。但大模型打標(biāo)會(huì)有自己的偏見(jiàn)。它可能把反諷當(dāng)真可能把配置錯(cuò)誤直接歸因到模型能力。所以正確的做法是先人工標(biāo)注一百條左右樣本再用大模型批量打標(biāo)最后每批次隨機(jī)抽二十到三十條做人工復(fù)核。如果一致率低于一定水平說(shuō)明打標(biāo)提示詞還需要調(diào)整。打標(biāo)提示詞里要特別寫(xiě)清楚如果評(píng)論中出現(xiàn)的是配置錯(cuò)誤、模型名不存在、上下文超長(zhǎng)這類信息不要把問(wèn)題記為“模型能力下降”要?dú)w到配置或可用性類別。4. 判斷模型體驗(yàn)下降前先排除四類常見(jiàn)干擾4.1 很多“模型變笨”實(shí)際上是客戶端配置錯(cuò)誤用戶并不總能區(qū)分“模型本身答錯(cuò)”和“請(qǐng)求根本沒(méi)發(fā)到正確的模型上”。我在很多討論里見(jiàn)過(guò)這樣的報(bào)錯(cuò)模型名不支持、模型不存在、配置缺失、上下文長(zhǎng)度超過(guò)上限。這些信息本質(zhì)上是接入或配置問(wèn)題不是模型智力問(wèn)題。如果指數(shù)系統(tǒng)把這類報(bào)錯(cuò)都當(dāng)成負(fù)面能力評(píng)論那模型永久不可能翻身因?yàn)榕渲脝?wèn)題會(huì)持續(xù)存在。實(shí)操建議是從原始日志中找出屬于“錯(cuò)誤碼類”的內(nèi)容單獨(dú)存到可用性表里不進(jìn)入能力評(píng)分。等積累足夠數(shù)據(jù)后再分析配置問(wèn)題是否導(dǎo)致用戶體感下降。這類分析其實(shí)反映的不是模型能力而是產(chǎn)品接入體驗(yàn)。4.2 產(chǎn)品策略調(diào)整經(jīng)常被誤認(rèn)成模型變笨有些模型本來(lái)可以給出較長(zhǎng)回答產(chǎn)品方為了控制成本或安全風(fēng)險(xiǎn)增加了輸出長(zhǎng)度限制、敏感話題引導(dǎo)或過(guò)度免責(zé)聲明。用戶實(shí)際感受到的是“怎么感覺(jué)模型變敷衍了什么都說(shuō)不清”。這在博文和數(shù)據(jù)流里很容易被歸為模型變笨。但從模型能力角度講權(quán)重沒(méi)變推理鏈路沒(méi)變只是產(chǎn)品策略變了。體驗(yàn)指數(shù)如果要客觀就必須區(qū)分“模型層能力分”和“產(chǎn)品體驗(yàn)分”。如果混在一起當(dāng)產(chǎn)品策略恢復(fù)后指數(shù)上升會(huì)被誤以為是模型進(jìn)步這是不準(zhǔn)確的。4.3 長(zhǎng)上下文帶來(lái)的記憶下降會(huì)制造偽趨勢(shì)用戶聊到一半說(shuō)“我剛才已經(jīng)告訴過(guò)你了”如果模型確實(shí)忘了那就屬于上下文管理問(wèn)題。這更常見(jiàn)的原因是總 token 超過(guò)模型當(dāng)前支持的最大長(zhǎng)度或系統(tǒng)為了性能做了摘要壓縮。在評(píng)論里用戶不會(huì)寫(xiě)“模型的最大上下文長(zhǎng)度只有多少”只會(huì)寫(xiě)“它越來(lái)越笨失憶了”。如果樣本主要集中在長(zhǎng)對(duì)話場(chǎng)景體驗(yàn)指數(shù)就會(huì)在某一周突然下跌但這不代表所有任務(wù)都變差。因此無(wú)論原始數(shù)據(jù)是否包含對(duì)話長(zhǎng)度指數(shù)都要單獨(dú)給“長(zhǎng)會(huì)話記憶”建一個(gè)維度。這樣才能把一次性長(zhǎng)上下文失敗和全局能力下降區(qū)分開(kāi)。4.4 社區(qū)規(guī)模偏差會(huì)導(dǎo)致指數(shù)天然偏負(fù)技術(shù)討論社區(qū)里的用戶通常更愿意發(fā)“模型出錯(cuò)了”“這個(gè)版本真差”這類帖子很少有人專門(mén)發(fā)“今天模型回答很好”。這會(huì)導(dǎo)致體驗(yàn)指數(shù)在任何時(shí)間點(diǎn)都偏負(fù)。要解決這個(gè)問(wèn)題不能只統(tǒng)計(jì)評(píng)論的絕對(duì)值可以考慮比較同一渠道內(nèi)部的時(shí)間變化而不是跨渠道比高低。記錄總發(fā)帖量計(jì)算負(fù)面評(píng)論占比而不是只看負(fù)面評(píng)論數(shù)量。定期加入用戶主動(dòng)反饋的正向數(shù)據(jù)比如調(diào)查問(wèn)卷、產(chǎn)品內(nèi)點(diǎn)贊點(diǎn)踩數(shù)據(jù)。如果只有抱怨數(shù)據(jù)對(duì)外展示時(shí)要明確說(shuō)明“這是問(wèn)題反饋指數(shù)不是用戶體驗(yàn)總分”。做好這些前置處理指數(shù)才有可能不變成一群用戶的情緒宣泄面板。5. 動(dòng)手搭一個(gè)最小可復(fù)現(xiàn)的體驗(yàn)指數(shù)流程5.1 最小環(huán)境準(zhǔn)備不需要特別高配的機(jī)器。處理幾千條文本評(píng)論一臺(tái)普通電腦就能跑。我建議先按這個(gè)環(huán)境驗(yàn)證Python 3.9 或更高版本。pandas、matplotlib 用于數(shù)據(jù)處理和畫(huà)圖。如果要做大模型打標(biāo)準(zhǔn)備一個(gè)能調(diào)用的模型接口或本地模型地址。準(zhǔn)備一個(gè) CSV 文件至少包含字段發(fā)布日期、渠道、文本、模型名。原始數(shù)據(jù)不需要很大。先取 200 到 500 條評(píng)論完成從清洗、標(biāo)注到畫(huà)趨勢(shì)圖的閉環(huán)。能把小樣本跑通再考慮擴(kuò)大數(shù)據(jù)量。5.2 用兩條樣例理解標(biāo)注口徑假設(shè)有兩條真實(shí)評(píng)論第一條“今天用 example-model 寫(xiě)一個(gè)數(shù)據(jù)清洗腳本同樣的需求昨天一次就寫(xiě)對(duì)今天連續(xù)寫(xiě)錯(cuò)三次還給了我一個(gè)只刪文件不保留備份的方案?！钡诙l“example-model 報(bào)錯(cuò) model not found檢查以后才發(fā)現(xiàn)是配置文件里的名字寫(xiě)錯(cuò)了改完就正常了。”第一條應(yīng)該標(biāo)成task_type: codecomplaint_category: abilitysentiment_score: -1第二條不能當(dāng)成模型能力下降應(yīng)該標(biāo)成task_type: configcomplaint_category: configurationsentiment_score: 0如果不單獨(dú)區(qū)分第二條會(huì)讓模型體驗(yàn)指數(shù)下降一分。但模型本身并沒(méi)有任何能力問(wèn)題。這是最容易干擾指數(shù)準(zhǔn)確性的點(diǎn)。5.3 體驗(yàn)分的計(jì)算方式不一定要復(fù)雜剛開(kāi)始做不需要用復(fù)雜的觀點(diǎn)挖掘模型?？梢韵扔靡?guī)則加人工復(fù)核搭一個(gè)基線負(fù)面詞命中錯(cuò)誤、變笨、回復(fù)差、邏輯混亂、瞎編。正面詞命中準(zhǔn)確、聰明、穩(wěn)定、符合預(yù)期、進(jìn)步。中性詞命中且無(wú)明確情緒記錄但不記分。出現(xiàn)配置錯(cuò)誤、模型名不存在、超時(shí)、不可用只記可用性不計(jì)能力分。之后可以用統(tǒng)計(jì)方法定期校驗(yàn)。比如比較某模型在數(shù)學(xué)任務(wù)上的負(fù)面率是否在統(tǒng)計(jì)意義上顯著高于前兩周。如果還沒(méi)有顯著變化就不要在結(jié)論里寫(xiě)“模型變笨了”最多寫(xiě)“用戶對(duì)數(shù)學(xué)任務(wù)的抱怨有所增加”。5.4 可驗(yàn)證的輸出形式我建議最終輸出四類內(nèi)容整體趨勢(shì)圖按周展示平均體驗(yàn)分。分任務(wù)趨勢(shì)圖代碼、數(shù)學(xué)、寫(xiě)作、長(zhǎng)會(huì)話記憶分別看?？捎眯允录戆巡豢捎?、超時(shí)、配置錯(cuò)誤做成獨(dú)立時(shí)間線。異常樣本列表高置信度且情感強(qiáng)烈的典型評(píng)論做成摘錄方便回溯。如果某周指數(shù)明顯下降不要直接發(fā)結(jié)論先打開(kāi)異常樣本列表。如果你能回答出“哪個(gè)任務(wù)、哪個(gè)產(chǎn)品層策略、哪個(gè)模型版本改動(dòng)了”再判斷是不是真下降。5.5 項(xiàng)目上線后可以繼續(xù)擴(kuò)展的方向小閉環(huán)跑通后可以逐步增加自動(dòng)按月生成體驗(yàn)變化報(bào)告。把每周負(fù)面率做成類似警報(bào)表的單頁(yè)。當(dāng)某模型在特定任務(wù)上出現(xiàn)大幅波動(dòng)時(shí)發(fā)送告警。引入人工抽檢流程定期校正自動(dòng)打標(biāo)。這些擴(kuò)展做起來(lái)不難但每加一個(gè)都要問(wèn)自己這個(gè)新指標(biāo)是服務(wù)“模型能力判斷”還是“產(chǎn)品體驗(yàn)判斷”混到后面自己都會(huì)分不清。6. 從 Show HN 走向長(zhǎng)期可用的幾個(gè)現(xiàn)實(shí)問(wèn)題6.1 一次展示很容易持續(xù)更新才是難點(diǎn)很多類似項(xiàng)目在發(fā)布第一版時(shí)能獲得不錯(cuò)反饋但過(guò)了兩個(gè)月就停止更新。原因是數(shù)據(jù)采集和打標(biāo)不是一次性工作。模型會(huì)更新社區(qū)熱點(diǎn)會(huì)轉(zhuǎn)移用戶討論的語(yǔ)句會(huì)變化。你需要維護(hù)關(guān)鍵詞表、模型映射表、任務(wù)分類規(guī)則。如果每周沒(méi)有固定時(shí)間更新數(shù)據(jù)和復(fù)核標(biāo)注指數(shù)很快就會(huì)停留在過(guò)去某個(gè)時(shí)點(diǎn)反而誤導(dǎo)后來(lái)用戶。要想長(zhǎng)期有用最好從一開(kāi)始就設(shè)計(jì)成可增量更新的流程。日志、標(biāo)注結(jié)果、人工修改記錄都保留下來(lái)方便重跑歷史結(jié)論。6.2 “沒(méi)有顯著變化”也是一種有價(jià)值的結(jié)果這個(gè)項(xiàng)目最容易犯的錯(cuò)是把所有波動(dòng)都解釋成“上升”或“下降”。多數(shù)時(shí)候模型用戶體感并不會(huì)有顯著變化。真正負(fù)責(zé)任的指數(shù)應(yīng)該允許自己說(shuō)“本周沒(méi)有顯著變化樣本量不足暫不判斷”。在對(duì)外展示時(shí)也可以加入一個(gè)明確口徑只有當(dāng)樣本量超過(guò)一定閾值、負(fù)面率變化超過(guò)置信區(qū)間時(shí)才會(huì)標(biāo)記為異常。這樣能避免被少數(shù)極端觀點(diǎn)帶偏。6.3 平臺(tái)屬性和社區(qū)文化會(huì)讓分?jǐn)?shù)不可直接比較不同渠道的用戶說(shuō)話方式完全不同。技術(shù)社區(qū)里大量使用反諷“這模型真能編太厲害了”明顯是批評(píng)應(yīng)用商店評(píng)論里“太厲害了”可能就是真夸。如果指數(shù)把所有渠道混在一起計(jì)算會(huì)得到互相抵消的平均值。所以處理時(shí)最好按渠道單獨(dú)計(jì)算分?jǐn)?shù)再考慮做加權(quán)合并。權(quán)重怎么定可以從每個(gè)渠道對(duì)真實(shí)故障的準(zhǔn)確覆蓋程度去調(diào)而不是拍腦袋。6.4 要在結(jié)果表達(dá)上留足余地避免標(biāo)題黨“AI 是不是變笨了”天然有流量但也天然容易帶節(jié)奏。個(gè)人項(xiàng)目可以展示結(jié)論但結(jié)論旁邊至少要寫(xiě)清楚當(dāng)前統(tǒng)計(jì)的樣本量是多少。覆蓋了哪些渠道和任務(wù)類型。不覆蓋哪些方向比如企業(yè)內(nèi)部模型、私有部署、非公開(kāi)接口。當(dāng)前版本的數(shù)據(jù)截止時(shí)間。一句話結(jié)論越醒目數(shù)據(jù)口徑越要保守。如果這個(gè)項(xiàng)目能把“發(fā)現(xiàn)體驗(yàn)變化”和“歸因到具體原因”分開(kāi)它會(huì)是一個(gè)很好的觀察工具。如果只是把用戶抱怨聚合后打上“模型變笨了”的標(biāo)簽?zāi)撬囊饬x會(huì)大打折扣。我在梳理這個(gè)方向時(shí)最大的體會(huì)是普通用戶關(guān)心的不是跑分高了多少而是自己打開(kāi)對(duì)話窗口后模型到底有沒(méi)有上一次好用。這個(gè)體驗(yàn)指數(shù)把模糊的“感覺(jué)”變成了能長(zhǎng)期追蹤的時(shí)間序列這個(gè)思路本身值得借鑒。真正落地時(shí)最該盯住的不是前端頁(yè)面做得有多炫而是數(shù)據(jù)清洗、樣本量、模型映射和錯(cuò)誤分類這些后臺(tái)基礎(chǔ)工作。把這些基礎(chǔ)做扎實(shí)哪怕指數(shù)暫時(shí)不更新也能隨時(shí)把歷史數(shù)據(jù)拿出來(lái)重新分析。