需要Harvey LAB：AI基準(zhǔn)測(cè)試完整指南與深度解讀)
為什么法律行業(yè)需要Harvey LABAI基準(zhǔn)測(cè)試完整指南與深度解讀【免費(fèi)下載鏈接】harvey-labsA benchmark built to evaluate and improve agent capabilities for supporting legal work.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ha/harvey-labsHarvey LABLegal Agent Benchmark是一個(gè)開(kāi)源的法律 AI 基準(zhǔn)測(cè)試項(xiàng)目專門(mén)用于評(píng)估和改進(jìn)大語(yǔ)言模型LLM智能體完成真實(shí)法律工作的能力。它包含 1600 個(gè)模擬真實(shí)律所場(chǎng)景的任務(wù)和一套完整的執(zhí)行評(píng)估框架是目前法律行業(yè)評(píng)測(cè) AI 法律助手可靠性的重要基準(zhǔn)測(cè)試工具。 為什么法律行業(yè)需要 AI 基準(zhǔn)測(cè)試隨著 AI 智能體逐步進(jìn)入法律輔助工作一個(gè)關(guān)鍵問(wèn)題擺在行業(yè)面前AI 真的能可靠地處理法律工作嗎它會(huì)在哪里出錯(cuò)傳統(tǒng)的大模型評(píng)測(cè)數(shù)學(xué)題、代碼題無(wú)法回答這個(gè)問(wèn)題。法律工作的特殊性在于容錯(cuò)率極低一份盡職調(diào)查備忘錄漏掉一個(gè)重大風(fēng)險(xiǎn)點(diǎn)哪怕其他 95% 都寫(xiě)對(duì)了結(jié)果也是錯(cuò)的工作形態(tài)多樣合同起草、盡調(diào)審查、條款提取、監(jiān)管合規(guī)分析……每類工作的質(zhì)量標(biāo)準(zhǔn)不同交付物是專業(yè)文檔Word 備忘錄、Excel 追蹤表、PPT 匯報(bào)而不是簡(jiǎn)單文本Harvey LAB 正是為填補(bǔ)這個(gè)空白而生——它把法律工作做沒(méi)做好變成可量化、可對(duì)比、可復(fù)現(xiàn)的基準(zhǔn)測(cè)試指標(biāo)。 Harvey LAB 是什么三大核心組成Harvey LAB 由兩部分構(gòu)成任務(wù)數(shù)據(jù)集執(zhí)行框架Harness整體流程分三個(gè)階段階段做什么對(duì)應(yīng)模塊1?? Run運(yùn)行AI 智能體閱讀模擬案件文件產(chǎn)出法律交付物harness/2?? Evaluate評(píng)估LLM 評(píng)審員按評(píng)分細(xì)則逐條打分evaluation/3?? Report報(bào)告生成單次報(bào)告和多模型對(duì)比看板e(cuò)valuation/report.py、evaluation/compare.py詳細(xì)設(shè)計(jì)可閱讀官方架構(gòu)文檔docs/architecture.md。每個(gè)任務(wù)長(zhǎng)什么樣每個(gè)任務(wù)都是一個(gè)自包含的目錄包含任務(wù)定義文件和一組模擬案件文檔Word、Excel、郵件等tasks/ 法律領(lǐng)域/ 任務(wù)名稱/ task.json ← 任務(wù)指令 交付物要求 評(píng)分細(xì)則 documents/ ← 模擬案件文件合同、備忘錄、表格等以并購(gòu)盡調(diào)任務(wù)為例tasks/corporate-ma/review-data-room-red-flag-review/task.json 定義了 60 份數(shù)據(jù)室文件AI 需要從中找出紅旗風(fēng)險(xiǎn)并輸出盡調(diào)備忘錄評(píng)審員會(huì)按照 60 條評(píng)分細(xì)則如是否識(shí)別出 EBITDA 數(shù)據(jù) 100 萬(wàn)美元差異逐條判定。?? 覆蓋 24 法律領(lǐng)域任務(wù)量超過(guò) 1600 個(gè)這是 Harvey LAB 最打動(dòng)人的地方——任務(wù)覆蓋面的廣度。tasks/目錄下按法律執(zhí)業(yè)領(lǐng)域組織包括公司與并購(gòu)corporate-ma數(shù)據(jù)室審查、SPA 起草、披露函準(zhǔn)備合同審查contracts銀行、數(shù)據(jù)隱私、知識(shí)產(chǎn)權(quán)、房地產(chǎn)等 14 個(gè)合同子領(lǐng)域爭(zhēng)議解決litigation-dispute-resolution、仲裁arbitration破產(chǎn)重組bankruptcy-restructuring重組計(jì)劃、DIP 融資動(dòng)議資本市場(chǎng)監(jiān)管capital-markets證券發(fā)行文件、10-K 年報(bào)數(shù)據(jù)隱私與網(wǎng)絡(luò)安全data-privacy-cybersecurityGDPR、事件響應(yīng)醫(yī)療生命科學(xué)、稅務(wù)、信托遺產(chǎn)、白領(lǐng)犯罪辯護(hù)等任務(wù)的工作類型涵蓋五大類分析analyze、起草draft、審查review、提取extract、研究research——基本對(duì)應(yīng)律師日常工作的核心動(dòng)作。 所有案件文檔均為合成生成在執(zhí)業(yè)律師指導(dǎo)下批量制作既保證了真實(shí)世界的復(fù)雜程度又避免了使用真實(shí)客戶機(jī)密材料。 評(píng)分哲學(xué)All-Pass 全過(guò)制為什么這么苛刻Harvey LAB 采用All-Pass全過(guò)評(píng)分制實(shí)現(xiàn)于 evaluation/scoring.py得分 1.0當(dāng)且僅當(dāng)所有評(píng)分項(xiàng)全部通過(guò)否則為 0.0聽(tīng)起來(lái)很?chē)?yán)格但這正是刻意設(shè)計(jì)的。官方文檔 docs/eval-strategies.md 給出了核心理由在法律實(shí)務(wù)中一份抓住了 95% 問(wèn)題但漏掉一個(gè)實(shí)質(zhì)性風(fēng)險(xiǎn)的盡調(diào)備忘錄并不是95% 有用——它就是錯(cuò)的。運(yùn)營(yíng)層面的真正問(wèn)題是智能體有多大概率全部做對(duì)為了讓分?jǐn)?shù)更有診斷價(jià)值系統(tǒng)還會(huì)記錄criteria pass rate細(xì)則通過(guò)率——即使任務(wù)整體未通過(guò)你也能看到模型是只差一點(diǎn)還是差很多。誰(shuí)來(lái)當(dāng)裁判由LLM 評(píng)審員默認(rèn) Claude Sonnet逐條語(yǔ)義評(píng)判智能體的交付物不使用關(guān)鍵詞匹配也不依賴標(biāo)準(zhǔn)答案文件——每條評(píng)分細(xì)則的match_criteria描述本身就是評(píng)判標(biāo)準(zhǔn)。還支持--dual雙評(píng)審模式Sonnet GPT 組合讓結(jié)果更穩(wěn)健。 快速上手3 步跑通你的第一次基準(zhǔn)測(cè)試新手完全可以在 20 分鐘內(nèi)完成一次完整的出題 → 答題 → 評(píng)分流程。第 1 步克隆倉(cāng)庫(kù)并初始化環(huán)境git clone https://gitcode.com/GitHub_Trending/ha/harvey-labs cd harvey-labs ./scripts/setup.sh初始化腳本 scripts/setup.sh 會(huì)自動(dòng)完成依賴與環(huán)境配置含沙箱環(huán)境。第 2 步配置模型密鑰在倉(cāng)庫(kù)根目錄創(chuàng)建.env文件填入ANTHROPIC_API_KEY評(píng)審員必需如需測(cè)試 OpenAI、Google 等模型再補(bǔ)充對(duì)應(yīng)密鑰?？蚣軆?nèi)置了多廠商適配器位于 harness/adapters/支持 Anthropic、OpenAI、Google、Mistral、Fireworks 等。第 3 步運(yùn)行任務(wù)并查看報(bào)告# 運(yùn)行讓 AI 智能體完成一個(gè)并購(gòu)數(shù)據(jù)室審查任務(wù) uv run python -m harness.run --model anthropic/claude-sonnet-4-6 \ --task corporate-ma/review-data-room-red-flag-review # 評(píng)分按評(píng)分細(xì)則評(píng)估交付物 uv run python -m evaluation.run_eval --run-id 運(yùn)行ID \ --task corporate-ma/review-data-room-red-flag-review運(yùn)行結(jié)束后打開(kāi)results/run-id/report.html即可看到整體得分、逐條通過(guò)/未通過(guò)明細(xì)、文檔覆蓋率和評(píng)審理由。 完整的端到端教程含模型對(duì)比、批量掃描、看板生成見(jiàn) docs/tutorial.md。 深度解讀Harvey LAB 的 4 個(gè)設(shè)計(jì)亮點(diǎn)1. 文件系統(tǒng)優(yōu)先零基礎(chǔ)設(shè)施依賴沒(méi)有數(shù)據(jù)庫(kù)、沒(méi)有 Web 服務(wù)。任務(wù)在tasks/目錄結(jié)果在results/目錄報(bào)告是靜態(tài) HTML。這意味著任何人拉下倉(cāng)庫(kù)就能復(fù)現(xiàn)評(píng)測(cè)結(jié)果對(duì)研究者和中小律所極其友好。2. 安全的智能體沙箱每次運(yùn)行都在獨(dú)立的 Podman 沙箱中執(zhí)行--networknone無(wú)網(wǎng)絡(luò)、全權(quán)限移除惡意構(gòu)造的文檔在容器內(nèi)被解析而非宿主機(jī)。威脅模型見(jiàn) sandbox/README.md。3. 貼近律師真實(shí)工作流智能體擁有 6 個(gè)工作區(qū)工具bash、read、write、edit、glob、grep可讀寫(xiě) .docx / .xlsx / .pptx / .pdf并內(nèi)置了辦公文檔處理技能手冊(cè)harness/skills/。這比一問(wèn)一答式評(píng)測(cè)更接近 AI 律師助手的真實(shí)使用形態(tài)。4. 開(kāi)箱即用的多模型對(duì)比Sweeputils/sweep.py 支持模型 × 任務(wù)矩陣式批量評(píng)測(cè)一條命令完成運(yùn)行、評(píng)估、報(bào)告三個(gè)階段對(duì)比看板會(huì)匯總?cè)^(guò)率、細(xì)則通過(guò)率熱力圖、文檔覆蓋率、Token 消耗與成本估算——這正是選型 AI 法律助手時(shí)最需要的那張表。 誰(shuí)應(yīng)該關(guān)注 Harvey LAB角色價(jià)值點(diǎn)律所 / 法律科技團(tuán)隊(duì)量化對(duì)比不同 AI 模型在自己業(yè)務(wù)領(lǐng)域的可靠性為選型提供數(shù)據(jù)依據(jù)AI 模型廠商在法律垂域獲得真實(shí)工作負(fù)載下的能力反饋定位短板研究者開(kāi)源、可復(fù)現(xiàn)的法律智能體評(píng)測(cè)基準(zhǔn)論文引用友好MIT 協(xié)議法律 AI 開(kāi)發(fā)者參考其任務(wù)建模、rubric 設(shè)計(jì)與評(píng)審方案構(gòu)建自家評(píng)測(cè)體系法律行業(yè)觀察者通過(guò)基準(zhǔn)測(cè)試分?jǐn)?shù)客觀觀察AI 法律能力的真實(shí)水位 項(xiàng)目結(jié)構(gòu)與核心文檔導(dǎo)航目錄 / 文件說(shuō)明tasks/1600 基準(zhǔn)任務(wù)與模擬案件文檔按 24 法律領(lǐng)域組織harness/智能體執(zhí)行框架運(yùn)行入口 harness/run.py、循環(huán) harness/agent_loop.py、工具 harness/tools.pyevaluation/評(píng)分 evaluation/scoring.py、評(píng)審 evaluation/judge.py、報(bào)告與看板utils/任務(wù)發(fā)現(xiàn)、批量掃描、回放等工具sandbox/沙箱安全運(yùn)行環(huán)境docs/tutorial.md新手完整教程強(qiáng)烈建議第一站docs/architecture.md架構(gòu)設(shè)計(jì)詳解docs/eval-strategies.md評(píng)估方法論與評(píng)分策略CONTRIBUTING.md貢獻(xiàn)指南添加任務(wù)、模型適配器等? 總結(jié)為什么法律行業(yè)需要 Harvey LAB標(biāo)準(zhǔn)化它把AI 能不能做法律工作從主觀感受變成可量化、可復(fù)現(xiàn)的基準(zhǔn)測(cè)試分?jǐn)?shù)真實(shí)性1600 任務(wù)覆蓋 24 法律領(lǐng)域任務(wù)結(jié)構(gòu)指令 案件文件 交付物 評(píng)分細(xì)則模擬真實(shí)律所工作流嚴(yán)格性All-Pass 評(píng)分制直面法律行業(yè)漏一個(gè)關(guān)鍵點(diǎn)即失敗的現(xiàn)實(shí)開(kāi)放性MIT 協(xié)議、零基礎(chǔ)設(shè)施依賴任何人 20 分鐘即可跑通第一個(gè)任務(wù)當(dāng)法律行業(yè)開(kāi)始認(rèn)真回答哪個(gè) AI 模型更可靠這個(gè)問(wèn)題時(shí)Harvey LAB 提供了目前最完整的答案框架。無(wú)論你是選型者、開(kāi)發(fā)者還是研究者這都是值得深入研究的法律 AI 基準(zhǔn)測(cè)試項(xiàng)目?！久赓M(fèi)下載鏈接】harvey-labsA benchmark built to evaluate and improve agent capabilities for supporting legal work.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ha/harvey-labs創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 為什么法律行業(yè)需要Harvey LAB：AI基準(zhǔn)測(cè)試完整指南與深度解讀
為什么法律行業(yè)需要Harvey LABAI基準(zhǔn)測(cè)試完整指南與深度解讀【免費(fèi)下載鏈接】harvey-labsA benchmark built to evaluate and improve agent capabilities for supporting legal work.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ha/harvey-labsHarvey LABLegal Agent Benchmark是一個(gè)開(kāi)源的法律 AI 基準(zhǔn)測(cè)試項(xiàng)目專門(mén)用于評(píng)估和改進(jìn)大語(yǔ)言模型LLM智能體完成真實(shí)法律工作的能力。它包含 1600 個(gè)模擬真實(shí)律所場(chǎng)景的任務(wù)和一套完整的執(zhí)行評(píng)估框架是目前法律行業(yè)評(píng)測(cè) AI 法律助手可靠性的重要基準(zhǔn)測(cè)試工具。 為什么法律行業(yè)需要 AI 基準(zhǔn)測(cè)試隨著 AI 智能體逐步進(jìn)入法律輔助工作一個(gè)關(guān)鍵問(wèn)題擺在行業(yè)面前AI 真的能可靠地處理法律工作嗎它會(huì)在哪里出錯(cuò)傳統(tǒng)的大模型評(píng)測(cè)數(shù)學(xué)題、代碼題無(wú)法回答這個(gè)問(wèn)題。法律工作的特殊性在于容錯(cuò)率極低一份盡職調(diào)查備忘錄漏掉一個(gè)重大風(fēng)險(xiǎn)點(diǎn)哪怕其他 95% 都寫(xiě)對(duì)了結(jié)果也是錯(cuò)的工作形態(tài)多樣合同起草、盡調(diào)審查、條款提取、監(jiān)管合規(guī)分析……每類工作的質(zhì)量標(biāo)準(zhǔn)不同交付物是專業(yè)文檔Word 備忘錄、Excel 追蹤表、PPT 匯報(bào)而不是簡(jiǎn)單文本Harvey LAB 正是為填補(bǔ)這個(gè)空白而生——它把法律工作做沒(méi)做好變成可量化、可對(duì)比、可復(fù)現(xiàn)的基準(zhǔn)測(cè)試指標(biāo)。 Harvey LAB 是什么三大核心組成Harvey LAB 由兩部分構(gòu)成任務(wù)數(shù)據(jù)集執(zhí)行框架Harness整體流程分三個(gè)階段階段做什么對(duì)應(yīng)模塊1?? Run運(yùn)行AI 智能體閱讀模擬案件文件產(chǎn)出法律交付物harness/2?? Evaluate評(píng)估LLM 評(píng)審員按評(píng)分細(xì)則逐條打分evaluation/3?? Report報(bào)告生成單次報(bào)告和多模型對(duì)比看板e(cuò)valuation/report.py、evaluation/compare.py詳細(xì)設(shè)計(jì)可閱讀官方架構(gòu)文檔docs/architecture.md。每個(gè)任務(wù)長(zhǎng)什么樣每個(gè)任務(wù)都是一個(gè)自包含的目錄包含任務(wù)定義文件和一組模擬案件文檔Word、Excel、郵件等tasks/ 法律領(lǐng)域/ 任務(wù)名稱/ task.json ← 任務(wù)指令 交付物要求 評(píng)分細(xì)則 documents/ ← 模擬案件文件合同、備忘錄、表格等以并購(gòu)盡調(diào)任務(wù)為例tasks/corporate-ma/review-data-room-red-flag-review/task.json 定義了 60 份數(shù)據(jù)室文件AI 需要從中找出紅旗風(fēng)險(xiǎn)并輸出盡調(diào)備忘錄評(píng)審員會(huì)按照 60 條評(píng)分細(xì)則如是否識(shí)別出 EBITDA 數(shù)據(jù) 100 萬(wàn)美元差異逐條判定。?? 覆蓋 24 法律領(lǐng)域任務(wù)量超過(guò) 1600 個(gè)這是 Harvey LAB 最打動(dòng)人的地方——任務(wù)覆蓋面的廣度。tasks/目錄下按法律執(zhí)業(yè)領(lǐng)域組織包括公司與并購(gòu)corporate-ma數(shù)據(jù)室審查、SPA 起草、披露函準(zhǔn)備合同審查contracts銀行、數(shù)據(jù)隱私、知識(shí)產(chǎn)權(quán)、房地產(chǎn)等 14 個(gè)合同子領(lǐng)域爭(zhēng)議解決litigation-dispute-resolution、仲裁arbitration破產(chǎn)重組bankruptcy-restructuring重組計(jì)劃、DIP 融資動(dòng)議資本市場(chǎng)監(jiān)管capital-markets證券發(fā)行文件、10-K 年報(bào)數(shù)據(jù)隱私與網(wǎng)絡(luò)安全data-privacy-cybersecurityGDPR、事件響應(yīng)醫(yī)療生命科學(xué)、稅務(wù)、信托遺產(chǎn)、白領(lǐng)犯罪辯護(hù)等任務(wù)的工作類型涵蓋五大類分析analyze、起草draft、審查review、提取extract、研究research——基本對(duì)應(yīng)律師日常工作的核心動(dòng)作。 所有案件文檔均為合成生成在執(zhí)業(yè)律師指導(dǎo)下批量制作既保證了真實(shí)世界的復(fù)雜程度又避免了使用真實(shí)客戶機(jī)密材料。 評(píng)分哲學(xué)All-Pass 全過(guò)制為什么這么苛刻Harvey LAB 采用All-Pass全過(guò)評(píng)分制實(shí)現(xiàn)于 evaluation/scoring.py得分 1.0當(dāng)且僅當(dāng)所有評(píng)分項(xiàng)全部通過(guò)否則為 0.0聽(tīng)起來(lái)很?chē)?yán)格但這正是刻意設(shè)計(jì)的。官方文檔 docs/eval-strategies.md 給出了核心理由在法律實(shí)務(wù)中一份抓住了 95% 問(wèn)題但漏掉一個(gè)實(shí)質(zhì)性風(fēng)險(xiǎn)的盡調(diào)備忘錄并不是95% 有用——它就是錯(cuò)的。運(yùn)營(yíng)層面的真正問(wèn)題是智能體有多大概率全部做對(duì)為了讓分?jǐn)?shù)更有診斷價(jià)值系統(tǒng)還會(huì)記錄criteria pass rate細(xì)則通過(guò)率——即使任務(wù)整體未通過(guò)你也能看到模型是只差一點(diǎn)還是差很多。誰(shuí)來(lái)當(dāng)裁判由LLM 評(píng)審員默認(rèn) Claude Sonnet逐條語(yǔ)義評(píng)判智能體的交付物不使用關(guān)鍵詞匹配也不依賴標(biāo)準(zhǔn)答案文件——每條評(píng)分細(xì)則的match_criteria描述本身就是評(píng)判標(biāo)準(zhǔn)。還支持--dual雙評(píng)審模式Sonnet GPT 組合讓結(jié)果更穩(wěn)健。 快速上手3 步跑通你的第一次基準(zhǔn)測(cè)試新手完全可以在 20 分鐘內(nèi)完成一次完整的出題 → 答題 → 評(píng)分流程。第 1 步克隆倉(cāng)庫(kù)并初始化環(huán)境git clone https://gitcode.com/GitHub_Trending/ha/harvey-labs cd harvey-labs ./scripts/setup.sh初始化腳本 scripts/setup.sh 會(huì)自動(dòng)完成依賴與環(huán)境配置含沙箱環(huán)境。第 2 步配置模型密鑰在倉(cāng)庫(kù)根目錄創(chuàng)建.env文件填入ANTHROPIC_API_KEY評(píng)審員必需如需測(cè)試 OpenAI、Google 等模型再補(bǔ)充對(duì)應(yīng)密鑰?？蚣軆?nèi)置了多廠商適配器位于 harness/adapters/支持 Anthropic、OpenAI、Google、Mistral、Fireworks 等。第 3 步運(yùn)行任務(wù)并查看報(bào)告# 運(yùn)行讓 AI 智能體完成一個(gè)并購(gòu)數(shù)據(jù)室審查任務(wù) uv run python -m harness.run --model anthropic/claude-sonnet-4-6 \ --task corporate-ma/review-data-room-red-flag-review # 評(píng)分按評(píng)分細(xì)則評(píng)估交付物 uv run python -m evaluation.run_eval --run-id 運(yùn)行ID \ --task corporate-ma/review-data-room-red-flag-review運(yùn)行結(jié)束后打開(kāi)results/run-id/report.html即可看到整體得分、逐條通過(guò)/未通過(guò)明細(xì)、文檔覆蓋率和評(píng)審理由。 完整的端到端教程含模型對(duì)比、批量掃描、看板生成見(jiàn) docs/tutorial.md。 深度解讀Harvey LAB 的 4 個(gè)設(shè)計(jì)亮點(diǎn)1. 文件系統(tǒng)優(yōu)先零基礎(chǔ)設(shè)施依賴沒(méi)有數(shù)據(jù)庫(kù)、沒(méi)有 Web 服務(wù)。任務(wù)在tasks/目錄結(jié)果在results/目錄報(bào)告是靜態(tài) HTML。這意味著任何人拉下倉(cāng)庫(kù)就能復(fù)現(xiàn)評(píng)測(cè)結(jié)果對(duì)研究者和中小律所極其友好。2. 安全的智能體沙箱每次運(yùn)行都在獨(dú)立的 Podman 沙箱中執(zhí)行--networknone無(wú)網(wǎng)絡(luò)、全權(quán)限移除惡意構(gòu)造的文檔在容器內(nèi)被解析而非宿主機(jī)。威脅模型見(jiàn) sandbox/README.md。3. 貼近律師真實(shí)工作流智能體擁有 6 個(gè)工作區(qū)工具bash、read、write、edit、glob、grep可讀寫(xiě) .docx / .xlsx / .pptx / .pdf并內(nèi)置了辦公文檔處理技能手冊(cè)harness/skills/。這比一問(wèn)一答式評(píng)測(cè)更接近 AI 律師助手的真實(shí)使用形態(tài)。4. 開(kāi)箱即用的多模型對(duì)比Sweeputils/sweep.py 支持模型 × 任務(wù)矩陣式批量評(píng)測(cè)一條命令完成運(yùn)行、評(píng)估、報(bào)告三個(gè)階段對(duì)比看板會(huì)匯總?cè)^(guò)率、細(xì)則通過(guò)率熱力圖、文檔覆蓋率、Token 消耗與成本估算——這正是選型 AI 法律助手時(shí)最需要的那張表。 誰(shuí)應(yīng)該關(guān)注 Harvey LAB角色價(jià)值點(diǎn)律所 / 法律科技團(tuán)隊(duì)量化對(duì)比不同 AI 模型在自己業(yè)務(wù)領(lǐng)域的可靠性為選型提供數(shù)據(jù)依據(jù)AI 模型廠商在法律垂域獲得真實(shí)工作負(fù)載下的能力反饋定位短板研究者開(kāi)源、可復(fù)現(xiàn)的法律智能體評(píng)測(cè)基準(zhǔn)論文引用友好MIT 協(xié)議法律 AI 開(kāi)發(fā)者參考其任務(wù)建模、rubric 設(shè)計(jì)與評(píng)審方案構(gòu)建自家評(píng)測(cè)體系法律行業(yè)觀察者通過(guò)基準(zhǔn)測(cè)試分?jǐn)?shù)客觀觀察AI 法律能力的真實(shí)水位 項(xiàng)目結(jié)構(gòu)與核心文檔導(dǎo)航目錄 / 文件說(shuō)明tasks/1600 基準(zhǔn)任務(wù)與模擬案件文檔按 24 法律領(lǐng)域組織harness/智能體執(zhí)行框架運(yùn)行入口 harness/run.py、循環(huán) harness/agent_loop.py、工具 harness/tools.pyevaluation/評(píng)分 evaluation/scoring.py、評(píng)審 evaluation/judge.py、報(bào)告與看板utils/任務(wù)發(fā)現(xiàn)、批量掃描、回放等工具sandbox/沙箱安全運(yùn)行環(huán)境docs/tutorial.md新手完整教程強(qiáng)烈建議第一站docs/architecture.md架構(gòu)設(shè)計(jì)詳解docs/eval-strategies.md評(píng)估方法論與評(píng)分策略CONTRIBUTING.md貢獻(xiàn)指南添加任務(wù)、模型適配器等? 總結(jié)為什么法律行業(yè)需要 Harvey LAB標(biāo)準(zhǔn)化它把AI 能不能做法律工作從主觀感受變成可量化、可復(fù)現(xiàn)的基準(zhǔn)測(cè)試分?jǐn)?shù)真實(shí)性1600 任務(wù)覆蓋 24 法律領(lǐng)域任務(wù)結(jié)構(gòu)指令 案件文件 交付物 評(píng)分細(xì)則模擬真實(shí)律所工作流嚴(yán)格性All-Pass 評(píng)分制直面法律行業(yè)漏一個(gè)關(guān)鍵點(diǎn)即失敗的現(xiàn)實(shí)開(kāi)放性MIT 協(xié)議、零基礎(chǔ)設(shè)施依賴任何人 20 分鐘即可跑通第一個(gè)任務(wù)當(dāng)法律行業(yè)開(kāi)始認(rèn)真回答哪個(gè) AI 模型更可靠這個(gè)問(wèn)題時(shí)Harvey LAB 提供了目前最完整的答案框架。無(wú)論你是選型者、開(kāi)發(fā)者還是研究者這都是值得深入研究的法律 AI 基準(zhǔn)測(cè)試項(xiàng)目?！久赓M(fèi)下載鏈接】harvey-labsA benchmark built to evaluate and improve agent capabilities for supporting legal work.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ha/harvey-labs創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考