適合前后端/測(cè)試等有編程基礎(chǔ)的同學(xué)手把手教你給AI Agent“打分”前言通過(guò)前面18節(jié)課的學(xué)習(xí)你已經(jīng)能構(gòu)建一個(gè)功能完整的AI Agent了——它能調(diào)用工具、能自主決策、能團(tuán)隊(duì)協(xié)作、能記住用戶偏好、還能防御安全攻擊。但有一個(gè)問(wèn)題是所有Agent從“Demo”走向“生產(chǎn)”必須面對(duì)的你怎么知道你的Agent“夠好”傳統(tǒng)的軟件測(cè)試有明確的輸入輸出和預(yù)期結(jié)果——單元測(cè)試、集成測(cè)試、端到端測(cè)試一套組合拳打下來(lái)質(zhì)量基本有保障。但Agent不一樣。同樣的輸入兩次運(yùn)行可能給出完全不同的回答同樣的任務(wù)Agent可能走不同的路徑同樣的工具調(diào)用參數(shù)可能略有差異。Agent的輸出是非確定性的——這讓評(píng)估變得極其困難。一句話定義Agent評(píng)估是通過(guò)多層級(jí)、多維度的測(cè)試方法對(duì)Agent的最終輸出、執(zhí)行軌跡、工具調(diào)用和對(duì)話能力進(jìn)行系統(tǒng)性度量以量化其性能、發(fā)現(xiàn)回歸、并持續(xù)優(yōu)化的過(guò)程。Agent評(píng)估不僅是“測(cè)一下能不能跑”更是從開(kāi)發(fā)到上線的質(zhì)量保障體系。一、為什么Agent評(píng)估這么難——非確定性輸出的挑戰(zhàn)1.1 傳統(tǒng)測(cè)試 vs Agent測(cè)試維度傳統(tǒng)軟件測(cè)試Agent測(cè)試輸入輸出確定性相同輸入→相同輸出非確定性相同輸入→不同輸出預(yù)期結(jié)果明確可驗(yàn)證模糊、需要語(yǔ)義判斷執(zhí)行路徑固定代碼走哪條分支是確定的動(dòng)態(tài)Agent自主決定調(diào)用哪些工具評(píng)判標(biāo)準(zhǔn)精確匹配/布爾值需要LLM-as-Judge或語(yǔ)義相似度回歸測(cè)試簡(jiǎn)單對(duì)比前后輸出困難語(yǔ)義等價(jià)需要推理1.2 Agent評(píng)估的四個(gè)層級(jí)LangChain團(tuán)隊(duì)在評(píng)估Deep Agents的實(shí)踐中總結(jié)出有效的Agent評(píng)估需要在多個(gè)層級(jí)進(jìn)行。┌─────────────────────────────────────────────────────────────────┐ │ Agent評(píng)估四層金字塔 │ │ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 第四層多輪對(duì)話Multi-turn Conversations │ │ │ │ 模擬真實(shí)用戶交互測(cè)試上下文理解和長(zhǎng)期記憶 │ │ │ └─────────────────────────────────────────────────────────┘ │ │ ↑ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 第三層完整軌跡Full Trajectory │ │ │ │ 測(cè)試Agent的完整執(zhí)行路徑工具調(diào)用順序最終答案 │ │ │ └─────────────────────────────────────────────────────────┘ │ │ ↑ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 第二層單步?jīng)Q策Single Step │ │ │ │ 測(cè)試Agent在某個(gè)特定狀態(tài)下的下一步?jīng)Q策是否正確 │ │ │ └─────────────────────────────────────────────────────────┘ │ │ ↑ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 第一層單元測(cè)試Unit Test │ │ │ │ 測(cè)試單個(gè)工具/函數(shù)的正確性 │ │ │ └─────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────┘層級(jí)測(cè)試內(nèi)容運(yùn)行方式適用場(chǎng)景單元測(cè)試單個(gè)工具/函數(shù)離線開(kāi)發(fā)階段驗(yàn)證基礎(chǔ)組件單步?jīng)Q策Agent某一步的選擇是否正確離線驗(yàn)證特定場(chǎng)景下的決策邏輯完整軌跡工具調(diào)用順序最終答案離線回歸測(cè)試版本對(duì)比多輪對(duì)話完整用戶交互在線/離線模擬真實(shí)使用場(chǎng)景二、Agent評(píng)估的核心指標(biāo)體系2.1 最終輸出質(zhì)量指標(biāo)指標(biāo)說(shuō)明評(píng)估方式任務(wù)完成率Agent成功完成任務(wù)的次數(shù)占比人工/LLM判斷答案正確性最終答案是否與標(biāo)準(zhǔn)答案語(yǔ)義一致精確匹配/LLM-as-Judge答案有用性回答是否真正幫助了用戶LLM-as-Judge幻覺(jué)率回答中是否存在編造的事實(shí)事實(shí)核查2.2 軌跡與過(guò)程指標(biāo)指標(biāo)說(shuō)明評(píng)估方式工具調(diào)用準(zhǔn)確率工具選擇和參數(shù)是否正確軌跡匹配工具錯(cuò)誤率工具調(diào)用失敗的比例規(guī)則檢查平均步數(shù)完成任務(wù)所需的平均行動(dòng)步數(shù)統(tǒng)計(jì)重復(fù)動(dòng)作率重復(fù)無(wú)效動(dòng)作的比例規(guī)則檢查路徑效率是否走了最優(yōu)路徑軌跡對(duì)比2.3 對(duì)話與行為指標(biāo)指標(biāo)說(shuō)明評(píng)估方式目標(biāo)達(dá)成度Agent是否成功實(shí)現(xiàn)了用戶目標(biāo)LLM判斷主題遵循度是否在預(yù)定領(lǐng)域內(nèi)回答問(wèn)題規(guī)則/LLM上下文連貫性多輪對(duì)話中是否保持邏輯一致LLM判斷2.4 成本與效率指標(biāo)指標(biāo)說(shuō)明Token消耗每次對(duì)話的Token使用量API調(diào)用次數(shù)調(diào)用了多少次LLM API響應(yīng)延遲從輸入到輸出的時(shí)間成本/任務(wù)完成一個(gè)任務(wù)的平均成本三、Agent評(píng)估的三大主流框架3.1 LangSmith —— 最全面的評(píng)估平臺(tái)LangSmith是LangChain團(tuán)隊(duì)開(kāi)發(fā)的評(píng)估和監(jiān)控平臺(tái)提供從開(kāi)發(fā)到生產(chǎn)的完整評(píng)估能力。核心能力能力說(shuō)明離線評(píng)估在開(kāi)發(fā)階段對(duì)數(shù)據(jù)集運(yùn)行評(píng)估比較版本、發(fā)現(xiàn)回歸在線監(jiān)控在生產(chǎn)環(huán)境實(shí)時(shí)評(píng)估真實(shí)用戶交互30評(píng)估模板覆蓋安全、響應(yīng)質(zhì)量、軌跡、用戶行為、多模態(tài)可復(fù)用評(píng)估器一次構(gòu)建跨項(xiàng)目復(fù)用評(píng)估工作流1. 創(chuàng)建數(shù)據(jù)集手動(dòng)標(biāo)注/歷史 traces/合成數(shù)據(jù) 2. 定義評(píng)估器規(guī)則/LLM-as-Judge/自定義 3. 運(yùn)行實(shí)驗(yàn)在數(shù)據(jù)集上執(zhí)行Agent 4. 分析結(jié)果對(duì)比版本、發(fā)現(xiàn)回歸LangSmith Engine當(dāng)評(píng)估發(fā)現(xiàn)失敗時(shí)LangSmith Engine可以自動(dòng)診斷根因并幫助解決問(wèn)題。3.2 Ragas —— 專注Agent指標(biāo)的開(kāi)源庫(kù)Ragas是一個(gè)開(kāi)源庫(kù)專門用于評(píng)估LLM應(yīng)用包括RAG系統(tǒng)和Agent。Agent專用指標(biāo)指標(biāo)說(shuō)明ToolCallAccuracy評(píng)估LLM在識(shí)別和調(diào)用所需工具方面的性能AgentGoalAccuracy評(píng)估Agent是否成功實(shí)現(xiàn)了用戶目標(biāo)TopicAdherence評(píng)估Agent是否在預(yù)定領(lǐng)域內(nèi)回答問(wèn)題Ragas的評(píng)估方式通過(guò)結(jié)構(gòu)化軌跡structured traces而非僅看最終輸出來(lái)評(píng)估Agent行為。3.3 agentevals —— LangChain官方軌跡評(píng)估包agentevals是LangChain官方開(kāi)源的軌跡評(píng)估包。核心功能評(píng)估Agent的完整執(zhí)行軌跡消息序列工具調(diào)用。四種匹配模式模式說(shuō)明適用場(chǎng)景strict精確匹配消息和工具調(diào)用的順序測(cè)試特定序列如“先查策略再授權(quán)”unordered工具調(diào)用順序不限驗(yàn)證信息檢索順序不重要subsetAgent只調(diào)用參考工具中的工具不能多確保Agent不超出預(yù)期范圍supersetAgent至少調(diào)用參考工具可以多驗(yàn)證最小必需操作3.4 三大框架對(duì)比維度LangSmithRagasagentevals類型云平臺(tái)SDK開(kāi)源庫(kù)開(kāi)源包核心能力全鏈路評(píng)估監(jiān)控Agent/RAG指標(biāo)軌跡匹配學(xué)習(xí)曲線中低低離線評(píng)估???在線監(jiān)控???可視化? 完整儀表板??四、實(shí)戰(zhàn)用LangSmith評(píng)估Agent4.1 環(huán)境配置importosfromlangsmithimportClientfromlangsmith.evaluationimportevaluatefromlangchain_openaiimportChatOpenAIfromlangchain.agentsimportcreate_agentfromlangchain.toolsimporttool# 設(shè)置LangSmith環(huán)境變量os.environ[LANGCHAIN_API_KEY]YOUR_LANGSMITH_API_KEYos.environ[LANGCHAIN_ENDPOINT]https://api.smith.langchain.comos.environ[OPENAI_API_KEY]YOUR_OPENAI_API_KEY# 初始化LangSmith客戶端clientClient()4.2 定義待評(píng)估的Agenttooldefget_weather(city:str)-str:獲取指定城市的天氣信息weather_db{北京:晴25°C,上海:多云28°C,深圳:小雨30°C}returnweather_db.get(city,f未找到{city}的天氣信息)tooldefsearch_web(query:str)-str:搜索網(wǎng)絡(luò)信息returnf關(guān)于{query}的搜索結(jié)果找到3條相關(guān)信息...# 創(chuàng)建AgentllmChatOpenAI(modelgpt-4o-mini,temperature0)agentcreate_agent(modelllm,tools[get_weather,search_web],system_prompt你是一個(gè)樂(lè)于助人的助手可以使用工具回答問(wèn)題。)4.3 創(chuàng)建評(píng)估數(shù)據(jù)集# 在LangSmith中創(chuàng)建數(shù)據(jù)集dataset_nameweather_agent_test# 檢查數(shù)據(jù)集是否存在不存在則創(chuàng)建try:datasetclient.read_dataset(dataset_namedataset_name)except:datasetclient.create_dataset(dataset_namedataset_name,description天氣查詢Agent的測(cè)試數(shù)據(jù)集)# 添加測(cè)試用例examples[{inputs:{question:北京今天天氣怎么樣},outputs:{expected_answer:北京天氣晴朗氣溫25°C,expected_tools:[get_weather]}},{inputs:{question:上海的天氣如何},outputs:{expected_answer:上海多云氣溫28°C,expected_tools:[get_weather]}},{inputs:{question:幫我查一下深圳天氣再搜一下深圳的旅游景點(diǎn)},outputs:{expected_answer:深圳小雨30°C深圳旅游景點(diǎn)包括世界之窗、歡樂(lè)谷等,expected_tools:[get_weather,search_web]}}]# 批量添加示例client.create_examples(inputs[{question:ex[inputs][question]}forexinexamples],outputs[{reference:ex[outputs][expected_answer],expected_tools:ex[outputs][expected_tools]}forexinexamples],dataset_iddataset.id)4.4 定義評(píng)估器fromlangsmith.evaluationimportRunEvaluatorfromlangsmith.schemasimportExample,Run# 1. 答案正確性評(píng)估器使用LLM-as-Judgedefanswer_correctness_evaluator(run:Run,example:Example)-dict:評(píng)估Agent的最終答案是否正確# 獲取Agent的輸出和標(biāo)準(zhǔn)答案predictionrun.outputs.get(output,)referenceexample.outputs.get(reference,)# 使用LLM判斷語(yǔ)義等價(jià)性judge_llmChatOpenAI(modelgpt-4o-mini,temperature0)judge_promptf 判斷以下兩個(gè)回答是否在語(yǔ)義上等價(jià)表達(dá)相同的意思。 標(biāo)準(zhǔn)答案{reference}Agent回答{prediction}只輸出是或否。 resultjudge_llm.invoke(judge_prompt)is_correct是inresult.contentreturn{key:answer_correctness,score:1.0ifis_correctelse0.0}# 2. 軌跡評(píng)估器檢查工具調(diào)用是否正確deftrajectory_evaluator(run:Run,example:Example)-dict:評(píng)估Agent的工具調(diào)用軌跡是否正確expected_toolsexample.outputs.get(expected_tools,[])# 從運(yùn)行中提取工具調(diào)用actual_tools[]ifhasattr(run,trace)andrun.trace:forchildinrun.trace.get(children,[]):ifchild.get(name)inexpected_tools:actual_tools.append(child.get(name))# 檢查是否調(diào)用了所有預(yù)期工具all_calledall(toolinactual_toolsfortoolinexpected_tools)# 檢查是否調(diào)用了不該調(diào)用的工具可選no_extralen(actual_tools)len(expected_tools)return{key:trajectory_correctness,score:1.0if(all_calledandno_extra)else0.0,comment:f預(yù)期工具:{expected_tools}, 實(shí)際調(diào)用:{actual_tools}}4.5 運(yùn)行評(píng)估fromlangsmith.evaluationimportRunEvalConfig# 定義評(píng)估配置eval_configRunEvalConfig(evaluators[answer_correctness_evaluator,trajectory_evaluator],max_concurrency1# 并行執(zhí)行數(shù)量)# 運(yùn)行評(píng)估deftarget_agent(inputs:dict)-dict:待評(píng)估的Agent函數(shù)resultagent.invoke({messages:[{role:user,content:inputs[question]}]})return{output:result[messages][-1].content}resultsevaluate(target_agent,datadataset_name,evaluatorseval_config,experiment_prefixweather_agent_v1)print(f評(píng)估完成查看結(jié)果{results.url})4.6 分析結(jié)果評(píng)估完成后可以在LangSmith儀表板中按answer_correctness分?jǐn)?shù)篩選找到回答錯(cuò)誤的案例按trajectory_correctness分?jǐn)?shù)篩選找到工具調(diào)用錯(cuò)誤的案例對(duì)比不同版本的Agent性能發(fā)現(xiàn)回歸五、實(shí)戰(zhàn)用agentevals做軌跡匹配評(píng)估fromagentevals.trajectory.matchimportcreate_trajectory_match_evaluatorfromlangchain_core.messagesimportHumanMessage,AIMessage,ToolMessage# 創(chuàng)建軌跡匹配評(píng)估器trajectory_evaluatorcreate_trajectory_match_evaluator(trajectory_match_modestrict,# 嚴(yán)格匹配模式)# 定義參考軌跡期望的執(zhí)行路徑reference_trajectory[HumanMessage(content北京天氣怎么樣),AIMessage(content,tool_calls[{id:call_1,name:get_weather,args:{city:北京}}]),ToolMessage(content北京晴25°C,tool_call_idcall_1),AIMessage(content北京今天天氣晴朗氣溫25°C。)]# 實(shí)際執(zhí)行Agent獲取軌跡resultagent.invoke({messages:[HumanMessage(content北京天氣怎么樣)]})actual_trajectoryresult[messages]# 評(píng)估evaluationtrajectory_evaluator(outputsactual_trajectory,reference_outputsreference_trajectory)print(f軌跡匹配結(jié)果:{evaluation})# {key: trajectory_strict_match, score: True, comment: None}四種匹配模式的應(yīng)用場(chǎng)景模式代碼適用場(chǎng)景stricttrajectory_match_modestrict測(cè)試嚴(yán)格的執(zhí)行順序如“先身份驗(yàn)證再操作”unorderedtrajectory_match_modeunordered驗(yàn)證信息檢索工具調(diào)用順序不重要subsettrajectory_match_modesubset確保Agent不調(diào)用超出范圍的工具supersettrajectory_match_modesuperset驗(yàn)證Agent至少完成了最低要求的操作六、Deep Agents的評(píng)估經(jīng)驗(yàn)LangChain團(tuán)隊(duì)在構(gòu)建Deep Agents復(fù)雜、有狀態(tài)的長(zhǎng)期運(yùn)行Agent時(shí)總結(jié)了四條關(guān)鍵經(jīng)驗(yàn)經(jīng)驗(yàn)1每個(gè)測(cè)試用例需要獨(dú)立的成功標(biāo)準(zhǔn)傳統(tǒng)LLM評(píng)估中所有數(shù)據(jù)點(diǎn)使用相同的評(píng)估邏輯。但Deep Agent不同——每個(gè)測(cè)試用例的“成功標(biāo)準(zhǔn)”可能完全不同。例如一個(gè)日歷調(diào)度Agent需要驗(yàn)證Agent是否調(diào)用了edit_file修改memories.mdAgent是否在最終消息中告知了用戶memories.md文件是否確實(shí)包含了正確的記憶內(nèi)容經(jīng)驗(yàn)2單步運(yùn)行驗(yàn)證決策單步運(yùn)行Single Step可以快速驗(yàn)證Agent在特定場(chǎng)景下的決策是否正確而且節(jié)省Token。經(jīng)驗(yàn)3完整軌跡測(cè)試最終狀態(tài)完整軌跡Full Turn用于測(cè)試Agent的最終狀態(tài)——不僅看最終答案還要檢查工具調(diào)用序列和狀態(tài)變化。經(jīng)驗(yàn)4多輪對(duì)話模擬真實(shí)交互多輪對(duì)話Multiple Turns模擬真實(shí)的用戶交互但需要“保持在軌道上”——不能讓對(duì)話無(wú)限發(fā)散。七、Agent評(píng)估最佳實(shí)踐7.1 評(píng)估策略組合階段評(píng)估方式頻率開(kāi)發(fā)階段單元測(cè)試 單步?jīng)Q策評(píng)估每次代碼變更集成階段完整軌跡評(píng)估每次PR預(yù)發(fā)布數(shù)據(jù)集批量評(píng)估版本發(fā)布前生產(chǎn)環(huán)境在線評(píng)估 實(shí)時(shí)監(jiān)控持續(xù)7.2 離線評(píng)估 vs 在線評(píng)估維度離線評(píng)估在線評(píng)估時(shí)機(jī)上線前生產(chǎn)環(huán)境實(shí)時(shí)數(shù)據(jù)固定數(shù)據(jù)集真實(shí)用戶流量目的發(fā)現(xiàn)回歸、對(duì)比版本檢測(cè)實(shí)時(shí)問(wèn)題、度量質(zhì)量反饋慢批量運(yùn)行快實(shí)時(shí)7.3 評(píng)估器類型選擇評(píng)估器類型適用場(chǎng)景優(yōu)缺點(diǎn)規(guī)則匹配精確格式、工具名稱快速、確定性強(qiáng)、覆蓋面窄LLM-as-Judge語(yǔ)義正確性、有用性靈活、覆蓋面廣、成本高、不穩(wěn)定軌跡匹配工具調(diào)用順序精確控制、需定義參考軌跡人工評(píng)估最終驗(yàn)收最可靠、最慢、最貴7.4 常見(jiàn)陷阱陷阱1只測(cè)最終答案不測(cè)軌跡只看最終答案可能會(huì)掩蓋Agent走“彎路”的問(wèn)題——答案對(duì)了但調(diào)了不該調(diào)的工具、浪費(fèi)了Token。陷阱2測(cè)試數(shù)據(jù)泄露不要在訓(xùn)練/開(kāi)發(fā)數(shù)據(jù)上測(cè)試。用獨(dú)立的、未在Agent開(kāi)發(fā)過(guò)程中見(jiàn)過(guò)的測(cè)試集。陷阱3忽略成本評(píng)估Agent不僅要“做對(duì)”還要“做得便宜”。跟蹤Token消耗和API調(diào)用次數(shù)。八、實(shí)戰(zhàn)小練習(xí)作業(yè)練習(xí)構(gòu)建客服Agent的完整評(píng)估體系需求構(gòu)建一個(gè)簡(jiǎn)單的客服Agent支持查詢訂單狀態(tài)、退款、產(chǎn)品咨詢?cè)贚angSmith中創(chuàng)建包含10個(gè)測(cè)試用例的數(shù)據(jù)集實(shí)現(xiàn)三種評(píng)估器答案正確性評(píng)估器LLM-as-Judge軌跡評(píng)估器檢查工具調(diào)用是否正確成本評(píng)估器檢查Token消耗是否在預(yù)算內(nèi)運(yùn)行評(píng)估并分析結(jié)果提示代碼框架fromlangsmithimportClientfromlangsmith.evaluationimportevaluate# 1. 定義Agenttooldefcheck_order(order_id:str)-str:查詢訂單狀態(tài)returnf訂單{order_id}狀態(tài)已發(fā)貨tooldefprocess_refund(order_id:str)-str:處理退款returnf訂單{order_id}退款處理中# 2. 創(chuàng)建數(shù)據(jù)集clientClient()datasetclient.create_dataset(dataset_namecustomer_service_test)test_cases[{question:我的訂單12345到哪了,expected_tools:[check_order]},{question:我要退款訂單號(hào)67890,expected_tools:[process_refund]},# ... 添加更多測(cè)試用例]# 3. 定義評(píng)估器defanswer_correctness(run,example):# LLM-as-Judge評(píng)估passdeftrajectory_correctness(run,example):# 檢查工具調(diào)用passdefcost_evaluator(run,example):# 檢查Token消耗pass# 4. 運(yùn)行評(píng)估resultsevaluate(target_agent,datadataset_name,evaluators[answer_correctness,trajectory_correctness,cost_evaluator])結(jié)語(yǔ)今天這節(jié)課我們?nèi)鎸W(xué)習(xí)了Agent的評(píng)估與測(cè)試知識(shí)點(diǎn)核心內(nèi)容為什么評(píng)估很難Agent輸出非確定性需要多層級(jí)測(cè)試四個(gè)評(píng)估層級(jí)單元測(cè)試→單步?jīng)Q策→完整軌跡→多輪對(duì)話核心指標(biāo)體系任務(wù)完成率、工具調(diào)用準(zhǔn)確率、目標(biāo)達(dá)成度、成本LangSmith全鏈路評(píng)估平臺(tái)30模板離線在線Ragas開(kāi)源Agent指標(biāo)庫(kù)ToolCallAccuracy等agentevals官方軌跡匹配包四種匹配模式Deep Agents經(jīng)驗(yàn)每個(gè)測(cè)試用例獨(dú)立標(biāo)準(zhǔn)、多輪對(duì)話模擬真實(shí)交互最佳實(shí)踐離線在線組合、多類型評(píng)估器、成本監(jiān)控至此模塊五工程篇的第19節(jié)已完成課時(shí)內(nèi)容狀態(tài)第19節(jié)Agent的評(píng)估與測(cè)試?第20節(jié)Agent的部署與上線待生成第21節(jié)Agent的可觀測(cè)性與監(jiān)控待生成第22節(jié)Agent的性能優(yōu)化待生成下節(jié)課第20節(jié)我們將學(xué)習(xí)Agent的部署與上線——如何將Agent封裝為RESTful API、服務(wù)化架構(gòu)設(shè)計(jì)、異步處理與任務(wù)隊(duì)列讓你的Agent真正走向生產(chǎn)環(huán)境如果覺(jué)得有幫助歡迎點(diǎn)贊、收藏、評(píng)論三連我們下節(jié)課見(jiàn) 本文是《AI Agent開(kāi)發(fā)實(shí)戰(zhàn)》課程第19節(jié)的完整內(nèi)容系列文章持續(xù)更新中關(guān)注我不迷路