有沒(méi)有人算過(guò)一個(gè)由十幾名工程師維護(hù)、跑了大半年的 AI 應(yīng)用最大的隱性風(fēng)險(xiǎn)可能不在模型選型也不在上下文長(zhǎng)度而是沒(méi)有任何測(cè)試能回答一個(gè)最簡(jiǎn)單的問(wèn)題當(dāng)大模型開(kāi)始一本正經(jīng)地胡說(shuō)八道時(shí)測(cè)試套件到底能不能攔住這個(gè)問(wèn)題在傳統(tǒng)軟件開(kāi)發(fā)里幾乎不成立。單元測(cè)試、集成測(cè)試、端到端測(cè)試每一層都有明確的“期望值”和“實(shí)際值”斷言失敗就是失敗綠就是綠。但到了 LLM 應(yīng)用這里事情變了。模型輸出幾乎沒(méi)有確定性你沒(méi)法寫(xiě)一個(gè)穩(wěn)定的assertEquals去校驗(yàn)一句話“對(duì)不對(duì)”。于是很多團(tuán)隊(duì)回歸到了最原始的方法人工點(diǎn)一遍看看體感正不正常。這是真實(shí)存在的現(xiàn)狀也是 Flawd 這類工具出現(xiàn)的直接背景。Flawd 在 Hacker News 上給自己掛了一個(gè)很直白的標(biāo)簽mutation testing for the AI era。意思是它把傳統(tǒng)變異測(cè)試的思路遷移到了 LLM 應(yīng)用測(cè)試?yán)?。這篇文章不打算復(fù)讀項(xiàng)目介紹而是想拆清楚幾件事變異測(cè)試在 AI 時(shí)代到底意味著什么、Flawd 這種工具真正改變的是哪一層工作流、以及如果你想把它用到真實(shí)項(xiàng)目里哪些使用思路是合理的哪些坑需要提前知道。1. 先理解變異測(cè)試為什么傳統(tǒng)軟件測(cè)試需要“主動(dòng)找漏洞”在進(jìn)入 Flawd 之前有必要把“變異測(cè)試”這個(gè)概念講透。它不是新東西上世紀(jì)七十年代就有人提出來(lái)了。但在 AI 應(yīng)用測(cè)試火起來(lái)之后這個(gè)老概念反而變成了一個(gè)非常關(guān)鍵的理解框架。1.1 傳統(tǒng)測(cè)試的問(wèn)題綠Pass不一定等于測(cè)得好絕大多數(shù)團(tuán)隊(duì)的測(cè)試策略是“對(duì)著需求寫(xiě)用例”。需求說(shuō)“輸入負(fù)值要報(bào)錯(cuò)”你就寫(xiě)一個(gè)斷言傳入-1期望返回INVALID_INPUT。這個(gè)測(cè)試跑一遍通過(guò)湊成綠色?？雌饋?lái)測(cè)試在發(fā)揮作用但它只能說(shuō)明一件事當(dāng)前代碼在這個(gè)輸入下沒(méi)有出錯(cuò)。它沒(méi)法回答更尖銳的問(wèn)題如果開(kāi)發(fā)者把 0的校驗(yàn)條件錯(cuò)寫(xiě)成 0你的測(cè)試能發(fā)現(xiàn)嗎如果開(kāi)發(fā)者把函數(shù)里的or邏輯錯(cuò)寫(xiě)成and你的斷言會(huì)失敗嗎如果一個(gè)前端閾值從 100 被誤改成 10測(cè)試套件能及時(shí)報(bào)警嗎答案往往是不能。因?yàn)闇y(cè)試用例是基于“當(dāng)前實(shí)現(xiàn)”寫(xiě)的它天然繼承了實(shí)現(xiàn)者的思維盲區(qū)。一個(gè)錯(cuò)誤的邏輯如果同時(shí)在代碼和測(cè)試?yán)锉３至四撤N一致性測(cè)試就會(huì)靜默通過(guò)。這就是著名的“測(cè)試套件維持錯(cuò)誤共識(shí)”問(wèn)題。1.2 變異測(cè)試的思路故意在代碼里埋雷變異測(cè)試的做法跟常規(guī)測(cè)試不一樣。它不問(wèn)你“功能對(duì)不對(duì)”而是主動(dòng)破壞代碼制造一個(gè)“變異體”然后重新跑測(cè)試套件。比如原始代碼是if a 10: return big return small變異測(cè)試會(huì)把改成把10改成11把big改成huge每次生成一個(gè)版本然后跑一遍完整測(cè)試。只要某個(gè)變異體沒(méi)有被任何測(cè)試捕獲就說(shuō)明這個(gè)位置的代碼“防御不足”。這套邏輯非常硬核。它不是在問(wèn)你有多少測(cè)試用例而是在問(wèn)如果我在這里偷偷埋一個(gè)錯(cuò)誤你的測(cè)試會(huì)發(fā)現(xiàn)嗎沒(méi)發(fā)現(xiàn)就意味著這個(gè)位置是測(cè)試盲區(qū)意味著未來(lái)真實(shí) bug 出現(xiàn)在這里時(shí)測(cè)試體系會(huì)陷入靜默。傳統(tǒng)變異測(cè)試的主要問(wèn)題是成本高。一個(gè)大型項(xiàng)目可能生成成千上萬(wàn)個(gè)變異體跑完一輪要幾個(gè)小時(shí)甚至幾天。這也是很多團(tuán)隊(duì)知道這個(gè)概念但生產(chǎn)環(huán)境用得極少的原因。但它提供的哲學(xué)非常清晰測(cè)試的有效性不在于用例多而在于找錯(cuò)能力。1.3 把這個(gè)思路搬到 AI 時(shí)代的邏輯起點(diǎn)AI 應(yīng)用和傳統(tǒng)軟件最大的差異是錯(cuò)誤不再只出現(xiàn)在代碼里還出現(xiàn)在輸出里。一段 Python 代碼的輸出是確定性的只要輸入和實(shí)現(xiàn)不變結(jié)果永遠(yuǎn)一樣。這就是為什么傳統(tǒng)測(cè)試可以靠斷言鎖死行為。但大模型輸出本質(zhì)上是概率采樣同樣的輸入溫度調(diào)到 0 和調(diào)到 0.8結(jié)果差很多。即使溫度一致模型版本的更新、提示詞微調(diào)、上下文長(zhǎng)度變化都可能讓輸出漂移。在這種場(chǎng)景下傳統(tǒng)測(cè)試工具會(huì)失靈不是因?yàn)椤皽y(cè)試”這件事沒(méi)用了而是因?yàn)榻?jīng)典的斷言假設(shè)失效了。你沒(méi)法說(shuō)“模型應(yīng)該輸出某某某”因?yàn)闆](méi)有一個(gè)正確字符串可以作為錨點(diǎn)。所以 Flawd 的核心想法是把變異測(cè)試的對(duì)象從“代碼邏輯”換成“提示詞和輸入輸出行為”。它不再校驗(yàn)?zāi)Ｐ洼敵鍪欠竦扔诠潭ㄖ刀菃?wèn)當(dāng)我輕微改變輸入、改變提示詞、改變上下文時(shí)系統(tǒng)是否仍然表現(xiàn)出我們期望的行為模式。2. Flawd 到底做了什么變異測(cè)試在 AI 應(yīng)用里的一種工程化落地根據(jù)項(xiàng)目介紹Flawd 把自己定位為 AI 時(shí)代的變異測(cè)試工具。但“變異”這個(gè)詞落到 LLM 應(yīng)用上和傳統(tǒng)變異測(cè)試的操作對(duì)象完全不同。搞清楚這一點(diǎn)才能真正理解它解決什么問(wèn)題。2.1 變異的對(duì)象從“代碼”變成“預(yù)期與輸入”傳統(tǒng)變異測(cè)試是改代碼。Flawd 這類工具改的不是模型也不是生產(chǎn)代碼而是針對(duì) AI 應(yīng)用測(cè)試中的“預(yù)期行為條件”進(jìn)行變異。舉個(gè)例子一個(gè)客服聊天機(jī)器人。你定義一個(gè)測(cè)試當(dāng)用戶輸入“退款政策是什么”時(shí)系統(tǒng)輸出需要包含“退貨”或“退款”相關(guān)語(yǔ)義并且不能包含“無(wú)法辦理”這種拒絕性表達(dá)。對(duì)應(yīng)到 Flawd 的語(yǔ)境里變異可能是把“用戶提問(wèn)”從“退款政策是什么”改成“退錢(qián)怎么弄”把“用戶輸入”從單一問(wèn)題變成帶有憤怒情緒的問(wèn)題把“上下文”從空對(duì)話變成多輪對(duì)話把“輸出約束”從“必須包含退款詞”變成“必須拒絕處理”每做一次變異就重新跑一遍測(cè)試套件看系統(tǒng)輸出是否符合新的預(yù)期。如果某次變異沒(méi)有被任何測(cè)試規(guī)則攔下就說(shuō)明系統(tǒng)在“語(yǔ)義要求略變”的情況下可能失控。這里的關(guān)鍵不是“測(cè)模型本身”而是測(cè)你的 AI 應(yīng)用在整個(gè)輸入輸出映射上的穩(wěn)定性。模型底座可以不完美但應(yīng)用層的預(yù)期行為必須有守衛(wèi)。2.2 結(jié)果分類被殺死還是存活Flawd 的結(jié)果輸出方式繼承了變異測(cè)試的經(jīng)典框架如果某個(gè)變異后的請(qǐng)求導(dǎo)致測(cè)試失敗即系統(tǒng)輸出了不符合規(guī)則的內(nèi)容說(shuō)明變異被“殺死”。這是好事。意味著你有一套規(guī)則能識(shí)別出這類錯(cuò)誤。如果某個(gè)變異后的請(qǐng)求仍然讓測(cè)試通過(guò)說(shuō)明變異體“存活”。這就意味著你的測(cè)試存在盲區(qū)系統(tǒng)可能在沒(méi)有被任何測(cè)試覆蓋的行為空間里犯錯(cuò)。這個(gè)二元結(jié)果模型非常直觀。它把“模型輸出不可控”的問(wèn)題轉(zhuǎn)變成“哪些變異場(chǎng)景沒(méi)有被你攔截”的可跟蹤問(wèn)題。這比直接看測(cè)試覆蓋率更有意義。2.3 本質(zhì)是建立 AI 輸出的“語(yǔ)義測(cè)試護(hù)欄”很多人第一反應(yīng)會(huì)覺(jué)得Flawd 和“評(píng)估集”有點(diǎn)像。評(píng)估集也是準(zhǔn)備一批輸入跑模型看輸出跟預(yù)期匹配度。但差異在于目的評(píng)估集是看模型答得好不好Flawd 是看你的測(cè)試體系敏不敏感。評(píng)估集回答的是“模型能力如何”變異測(cè)試回答的是“當(dāng)語(yǔ)義要求變化時(shí)你的防御是否依然有效”。兩者可以互補(bǔ)但不能互相替代?？梢赃@樣理解兩者的關(guān)系評(píng)估集像期末考試檢驗(yàn)學(xué)生模型學(xué)了多少東西變異測(cè)試像體檢看你的免疫系統(tǒng)能不能識(shí)別各種外來(lái)病原體。前者看能力后者看防御力。3. 從 Flawd 身上看到的 AI 工程化測(cè)試三層結(jié)構(gòu)如果 Flawd 只是一個(gè)孤立的測(cè)試工具那它的價(jià)值有限。但把它放進(jìn) AI 工程化的發(fā)展脈絡(luò)里看它揭示了一個(gè)更完整的測(cè)試體系需要被建立起來(lái)。當(dāng)前 AI 應(yīng)用測(cè)試我認(rèn)為可以分成三層3.1 第一層單元級(jí)評(píng)測(cè)——單輪輸入輸出這一層最接近傳統(tǒng)測(cè)試。給定一條用戶輸入獲得模型輸出用規(guī)則、關(guān)鍵詞、分類器或另一個(gè)模型來(lái)判斷輸出是否符合要求。適用場(chǎng)景客服話術(shù)生成是否包含必要的拒絕免責(zé)語(yǔ)摘要類輸出是否覆蓋原文所有關(guān)鍵實(shí)體分類類輸出是否落在預(yù)定義標(biāo)簽集內(nèi)指令執(zhí)行是否完成指定動(dòng)作這一層是整個(gè) AI 測(cè)試體系的基石。目前大多數(shù)團(tuán)隊(duì)的“測(cè)試”止步于此而且很多還是靠手動(dòng)跑沒(méi)有接入 CI。3.2 第二層場(chǎng)景級(jí)評(píng)測(cè)——多輪對(duì)話和工具調(diào)用現(xiàn)實(shí)里的 AI 應(yīng)用幾乎都不是單輪問(wèn)答。用戶會(huì)追問(wèn)、打斷、糾正AI 可能還要調(diào)用搜索工具、數(shù)據(jù)庫(kù)、內(nèi)外 API。這一層的測(cè)試難度指數(shù)級(jí)上升。同一個(gè)問(wèn)題出現(xiàn)在第 1 輪還是第 5 輪對(duì)回答質(zhì)量的期望完全不同。工具調(diào)用的參數(shù)錯(cuò)一個(gè)字段回答再漂亮也沒(méi)有用。Flawd 的變異思路在這一層特別好使。因?yàn)樗梢园选坝脩羯弦惠喺f(shuō)過(guò)的內(nèi)容”當(dāng)作變異輸入源制造出上下文干擾、意圖漂移、指令覆蓋等場(chǎng)景。這些場(chǎng)景如果靠手工去生成測(cè)試數(shù)據(jù)非常耗時(shí)而且容易漏掉邊界。3.3 第三層系統(tǒng)級(jí)防護(hù)——輸出安全、合規(guī)與阻斷AI 應(yīng)用上線后最怕的不是回答不夠好而是輸出了不該輸出的內(nèi)容或者執(zhí)行了不該執(zhí)行的動(dòng)作。這一層不是評(píng)測(cè)質(zhì)量問(wèn)題而是評(píng)測(cè)系統(tǒng)是否具備足夠的防御邊界。Flawd 的變異測(cè)試模型非常適合構(gòu)建這一層的自動(dòng)化檢查把用戶輸入變異成惡意注入把系統(tǒng)提示詞變異掉把工具返回結(jié)果變異成錯(cuò)誤格式把上下文塞進(jìn)完全無(wú)關(guān)的內(nèi)容把輸出關(guān)鍵詞做成誘導(dǎo)彈每變異一次就看系統(tǒng)防御是否依然有效。如果某次變異讓不良輸出漏過(guò)了所有攔截系統(tǒng)就會(huì)被標(biāo)記為“存在存活變異體”。這里我最看好 Flawd 的一點(diǎn)是它把傳統(tǒng)變異測(cè)試的“大量生成、批量執(zhí)行、結(jié)果統(tǒng)計(jì)”模式轉(zhuǎn)移到了 AI 應(yīng)用風(fēng)險(xiǎn)發(fā)現(xiàn)上。這意味著 AI 測(cè)試可以不再依賴“憑感覺(jué)準(zhǔn)備幾十條數(shù)據(jù)”而是通過(guò)變異自動(dòng)擴(kuò)展出大量邊界用例。4. 如果上手一套可以落地的 Flawd 使用路徑由于項(xiàng)目仍處于早期階段而且我并沒(méi)有在官方倉(cāng)庫(kù)里看到一整套完整的 CLI 命令文檔下面的操作路徑更像是一套通用的接入思路。真正start落地前需要先到項(xiàng)目倉(cāng)庫(kù)確認(rèn)當(dāng)前 CLI 和配置文件的寫(xiě)法。4.1 最小接入先把變異測(cè)試跑起來(lái)一個(gè)合理的 Flawd 基礎(chǔ)流程通常是flawd run --provider openai:gpt-4o-mini --tests ./e2e-ai-tests這里--tests指向的不是傳統(tǒng)單元測(cè)試文件而是你針對(duì) AI 應(yīng)用寫(xiě)的“行為斷言文件”。每個(gè)文件里至少包含場(chǎng)景名稱一段輸入模板可能占位變量一組通過(guò)規(guī)則through rules一組失敗規(guī)則fail rulesthrough規(guī)則定義輸出必須包含的語(yǔ)義要素fail規(guī)則定義輸出絕對(duì)不能出現(xiàn)的內(nèi)容。Flawd 在變異模式下會(huì)對(duì)這個(gè)場(chǎng)景執(zhí)行“輕微畸形化”輸入比如替換措辭、更換情緒、插入無(wú)關(guān)信息然后重新跑規(guī)則。跑完后你會(huì)收到一份清單哪些變異被攔截了哪些漏掉了。漏掉的變異體就是需要補(bǔ)測(cè)試規(guī)則的地方。4.2 把 Flawd 接入項(xiàng)目而不是接入模型一個(gè)容易走偏的用法是把 Flawd 當(dāng)成一個(gè)“調(diào)參工具”反復(fù)調(diào)試系統(tǒng)提示詞直到變異測(cè)試全部通過(guò)。這樣做的結(jié)果往往是過(guò)度擬合測(cè)試集模型換了版本測(cè)試又全部紅色。我更建議把 Flawd 當(dāng)成一個(gè)持續(xù)執(zhí)行的守衛(wèi)過(guò)程放到這些階段去跑提示詞模板發(fā)生調(diào)整后模型版本計(jì)劃升級(jí)前新增了一個(gè)重要業(yè)務(wù)場(chǎng)景后每次上線前作為回歸基線真正發(fā)揮價(jià)值的不是某一次跑出的“綠”而是把變異過(guò)程固化到 CI 里讓每次變更都能評(píng)估“這輪改動(dòng)有沒(méi)有引入新的語(yǔ)義盲區(qū)”。4.3 測(cè)試規(guī)則本身也要維護(hù)傳統(tǒng)變異測(cè)試有個(gè)陷阱測(cè)試套件也會(huì)被“變異干死”。什么意思如果你的測(cè)試規(guī)則寫(xiě)得非常寬松置信度要求極低比如只要求輸出包含“你好”兩個(gè)字那幾乎所有變異體都會(huì)被殺掉——因?yàn)樘菀淄ㄟ^(guò)了。這種低質(zhì)量護(hù)欄會(huì)給你虛假的安全感。相反如果規(guī)則寫(xiě)得過(guò)嚴(yán)要求輸出語(yǔ)義和原始回答完全一致那在模型升級(jí)之后很容易大面積飄紅。這里的平衡原則是規(guī)則應(yīng)該鎖住你絕對(duì)不能接受的行為而不是鎖住你希望出現(xiàn)的行為。用一句更直白的話說(shuō)規(guī)則是用來(lái)防錯(cuò)的不是用來(lái)定制的。5. 為什么 Flawd 的價(jià)值不在于“更聰明”而在于“可驗(yàn)證”如果要給 Flawd 一個(gè)能力定位我不會(huì)說(shuō)它提升了模型準(zhǔn)確率也不會(huì)說(shuō)它自動(dòng)化了測(cè)試編寫(xiě)。它的真正價(jià)值是把 AI 應(yīng)用的質(zhì)量判斷從“主觀體感”往“可復(fù)現(xiàn)驗(yàn)證”方向上推了一步。5.1 傳統(tǒng)測(cè)試講“紅綠”AI 測(cè)試很難講“紅綠”經(jīng)典測(cè)試的優(yōu)點(diǎn)是具備極強(qiáng)的布爾性?？吹骄G色就跑看到紅色就停中間沒(méi)有模糊地帶。AI 測(cè)試最讓人難受的就是沒(méi)有這種布爾性。模型回答一句“我覺(jué)得可以”你說(shuō)它對(duì)還是不對(duì)取決于上下文、用戶意圖和業(yè)務(wù)規(guī)則。Flawd 的思路其實(shí)是一種降級(jí)版的布爾化處理我不再直接判斷模型輸出好不好而是判斷當(dāng)系統(tǒng)輸入發(fā)生變異時(shí)我的測(cè)試護(hù)欄是否能攔截住我不想要的結(jié)果。這個(gè)判斷可以分成“被殺死”和“存活”兩種結(jié)果于是它又恢復(fù)了布爾性。雖然這個(gè)布爾性沒(méi)有傳統(tǒng)單元測(cè)試那么精確但相比“看起來(lái)還行”式的驗(yàn)證這已經(jīng)是巨大的進(jìn)步至少可以數(shù)字量化和追蹤。5.2 它迫使你把“預(yù)期”變成一種可執(zhí)行的規(guī)范很多團(tuán)隊(duì)項(xiàng)目做不下去不是技術(shù)不行而是對(duì)“什么叫好”從來(lái)沒(méi)有共識(shí)。產(chǎn)品說(shuō)今天回答不夠好工程師不知道具體改什么測(cè)試更不知道怎么自動(dòng)化方。Flawd 的變異機(jī)制有一層“強(qiáng)制定義”的效果你寫(xiě) through 規(guī)則時(shí)必須明確“答得好至少包含哪些語(yǔ)義”你寫(xiě) fail 規(guī)則時(shí)必須明確“什么東西絕對(duì)不能出現(xiàn)”。這個(gè)過(guò)程看起來(lái)是在寫(xiě)測(cè)試其實(shí)更像是在把產(chǎn)品需求翻譯成可執(zhí)行的行為規(guī)范。5.3 對(duì)行業(yè)現(xiàn)狀的一次正?；F(xiàn)在 AI 行業(yè)發(fā)展太快工具和思想都在高速迭代中。趕風(fēng)口的項(xiàng)目很多真正尊重工程紀(jì)律、把質(zhì)量體系當(dāng)回事的項(xiàng)目很少。Flawd 這類項(xiàng)目的出現(xiàn)至少把“主動(dòng)找漏洞”的思想引入了 AI 測(cè)試領(lǐng)域。它提醒我們模型可以黑盒但系統(tǒng)不能黑盒輸出可以不唯一但防御必須明確。這一條不管對(duì)個(gè)人項(xiàng)目、創(chuàng)業(yè)團(tuán)隊(duì)還是大廠基建都同樣適用。5.4 適用邊界它不是萬(wàn)靈藥雖然我比較認(rèn)可 Flawd 的核心思路但還是要潑一盆冷水對(duì)于剛做完 Demo、只有幾十條測(cè)試數(shù)據(jù)的項(xiàng)目來(lái)說(shuō)用 Flawd 可能意義不大。它會(huì)生成大量變異場(chǎng)景跑完也測(cè)不出多少真正有價(jià)值的問(wèn)題反而消耗精力。它的價(jià)值區(qū)間在于你的 AI 應(yīng)用即將進(jìn)入生產(chǎn)或已經(jīng)在生產(chǎn)你已經(jīng)有一定數(shù)量的用戶反饋或線上問(wèn)題你需要一套可回歸的測(cè)試基線你有 CI 或至少能定時(shí)跑批量任務(wù)的執(zhí)行環(huán)境團(tuán)隊(duì)對(duì)“當(dāng)前應(yīng)用的失敗模式”有基本認(rèn)知而不是還在摸索階段換句話說(shuō)Flawd 不是寫(xiě)第一條測(cè)試時(shí)用的工具而是當(dāng)測(cè)試體系進(jìn)入盲區(qū)修補(bǔ)階段時(shí)用來(lái)提示“哪里還有你沒(méi)防住的情況”的一把探針。6. 落地時(shí)最需要記住的幾點(diǎn)判斷建議如果 Flawd 真的能在你的項(xiàng)目里落地我建議用一套簡(jiǎn)單的思路來(lái)漸進(jìn)式推進(jìn)不需要一次性搞全。第一先做輸入層變異別動(dòng)復(fù)雜上下文。比如先變異用戶問(wèn)題寫(xiě)一句“你好”變成“你tm什么意思”再看你的系統(tǒng)是否還能穩(wěn)定識(shí)別意圖并輸出合理結(jié)果。這是最早能看到價(jià)值的一環(huán)。第二再變異輸出規(guī)則。鎖幾個(gè)高危輸出不能包含某類詞、不能重復(fù)輸出同一句話、不能超出預(yù)設(shè)格式范圍。把這些規(guī)則做嚴(yán)至少能攔住那些最常見(jiàn)的線上事故。第三最后再碰多輪上下文和工具調(diào)用。這一類變異成本高、結(jié)果波動(dòng)大適合已經(jīng)有長(zhǎng)期工具運(yùn)行習(xí)慣的團(tuán)隊(duì)。否則很容易陷入調(diào)參泥潭幾天下來(lái)沒(méi)有正面反饋整個(gè)實(shí)踐就被放棄了。從工程經(jīng)驗(yàn)看不要一上來(lái)就把變異數(shù)量拉滿。先用一小批樣例把整個(gè)變異-測(cè)試-報(bào)告流程跑通確認(rèn)工具本身沒(méi)有出現(xiàn)路徑、權(quán)限、API Key 和并發(fā)限制等基礎(chǔ)問(wèn)題再逐步擴(kuò)大場(chǎng)景覆蓋范圍。Flawd 這個(gè)名字現(xiàn)在是新的這類工具的形態(tài)以后一定會(huì)更成熟。但核心命題不會(huì)變AI 應(yīng)用的質(zhì)量不能靠在一個(gè)樣本上表現(xiàn)不錯(cuò)來(lái)證明要靠大規(guī)模變異的“未殺死異?！眮?lái)審計(jì)。對(duì)正在做 AI 應(yīng)用的團(tuán)隊(duì)我的最后一個(gè)建議很簡(jiǎn)單不管用 Flawd 還是其他工具先承認(rèn)一個(gè)事實(shí)——你的模型確實(shí)可能在任何時(shí)刻輸出錯(cuò)誤結(jié)論而你的測(cè)試體系大概率發(fā)現(xiàn)不了?；谶@個(gè)前提去構(gòu)建驗(yàn)證流程比基于“模型挺聰明”的幻覺(jué)去設(shè)計(jì)產(chǎn)品要穩(wěn)妥得多。把主動(dòng)找漏洞變成工程習(xí)慣而不是靠運(yùn)氣和手感才是 AI 時(shí)代測(cè)試真正需要邁出的那一步。