大會(huì)2026 奇點(diǎn)智能技術(shù)大會(huì)時(shí)間2026 年 11 月 20-21 日地點(diǎn)中國·北京萬達(dá)文華酒店參會(huì)報(bào)名奇點(diǎn)智能技術(shù)研究院一、基準(zhǔn)測(cè)試的分?jǐn)?shù)膨脹現(xiàn)象過去一年我們看到一個(gè)奇怪的現(xiàn)象基準(zhǔn)一年前 SOTA當(dāng)前 SOTA人類水平MMLU75%90%89%GSM8K60%95%92%HumanEval50%90%-模型分?jǐn)?shù)已經(jīng)超越了人類水平但當(dāng)你真正用它來寫代碼、做分析時(shí)體驗(yàn)卻未必比一年前好多少。問題出在哪里二、基準(zhǔn)測(cè)試的三類陷阱陷阱一數(shù)據(jù)泄漏Data Contamination訓(xùn)練數(shù)據(jù)可能包含了基準(zhǔn)測(cè)試的答案。例如MMLU 中的很多題目在互聯(lián)網(wǎng)上以某種形式存在過。模型在預(yù)訓(xùn)練時(shí)見過這些題目考試時(shí)自然得高分。檢測(cè)方法n-gram 重疊分析、時(shí)間戳過濾只用基準(zhǔn)發(fā)布后的訓(xùn)練數(shù)據(jù)重新訓(xùn)練陷阱二選取偏差Selection Bias基準(zhǔn)測(cè)試只能覆蓋可量化的能力而很多關(guān)鍵能力如創(chuàng)意寫作、復(fù)雜推理、長(zhǎng)程規(guī)劃難以用選擇題衡量?？闪炕哪芰?難以量化的能力 ├─ 知識(shí)問答 ├─ 創(chuàng)意生成 ├─ 數(shù)學(xué)計(jì)算 ├─ 復(fù)雜推理鏈 ├─ 代碼補(bǔ)全 ├─ 常識(shí)判斷無標(biāo)準(zhǔn)答案 ├─ 閱讀理解 ├─ 情感共鳴 └─ 翻譯 └─ 戰(zhàn)略思維陷阱三分?jǐn)?shù)優(yōu)化Gaming the Metric當(dāng)模型開發(fā)者知道評(píng)測(cè)標(biāo)準(zhǔn)時(shí)他們會(huì)針對(duì)性地優(yōu)化模型以刷高分?jǐn)?shù)而不是提升真實(shí)能力。典型案例在 HumanEval 上模型可以通過見過類似的 LeetCode 題目來獲得高分但面對(duì)真實(shí)業(yè)務(wù)中的復(fù)雜需求時(shí)仍然無法寫出可用代碼。三、真實(shí)能力評(píng)估超越基準(zhǔn)測(cè)試3.1 對(duì)抗測(cè)試Adversarial Testing主動(dòng)構(gòu)造模型可能出錯(cuò)的輸入測(cè)試其魯棒性對(duì)抗策略示例評(píng)估目標(biāo)語義擾動(dòng)將不要改為請(qǐng)勿、“禁止”理解否定和委婉表達(dá)邏輯陷阱在問題中嵌入矛盾條件發(fā)現(xiàn)邏輯不一致長(zhǎng)程干擾在長(zhǎng)文本中插入干擾信息注意力穩(wěn)定性多輪誘導(dǎo)通過多輪對(duì)話引導(dǎo)模型說出錯(cuò)誤結(jié)論對(duì)話中的信念保持3.2 紅隊(duì)評(píng)估Red Teaming組建專門的攻擊團(tuán)隊(duì)嘗試讓模型產(chǎn)生有害、偏見或錯(cuò)誤的輸出紅隊(duì)評(píng)估維度 ├─ 安全性能否誘導(dǎo)模型生成惡意代碼、攻擊指令 ├─ 公平性對(duì)特定群體的回答是否存在系統(tǒng)性偏見 ├─ 事實(shí)性對(duì)爭(zhēng)議話題的回答是否基于可靠來源 ├─ 魯棒性輸入微小擾動(dòng)時(shí)輸出是否穩(wěn)定 └─ 邊界意識(shí)對(duì)超出能力范圍的問題是否拒絕回答3.3 真實(shí)任務(wù)模擬Real-World Task Simulation讓模型完成接近真實(shí)場(chǎng)景的任務(wù)由人類專家評(píng)估結(jié)果質(zhì)量任務(wù)類型評(píng)估方式代碼開發(fā)完成一個(gè)真實(shí)需求評(píng)估代碼質(zhì)量、可維護(hù)性、測(cè)試覆蓋數(shù)據(jù)分析給定真實(shí)數(shù)據(jù)集評(píng)估分析深度、洞察質(zhì)量、可視化效果文檔撰寫給定技術(shù)主題評(píng)估結(jié)構(gòu)清晰度、技術(shù)準(zhǔn)確性、可讀性故障排查給定系統(tǒng)日志和報(bào)錯(cuò)信息評(píng)估定位根因的準(zhǔn)確性四、工程化評(píng)測(cè)框架4.1 多維評(píng)分卡不要用一個(gè)分?jǐn)?shù)概括模型而是用一個(gè)多維評(píng)分卡模型能力評(píng)分卡示例 ├─ 知識(shí)掌握 ████████?? 8/10 ├─ 邏輯推理 ██████???? 6/10 ├─ 代碼能力 ███████??? 7/10 ├─ 創(chuàng)意生成 █████████? 9/10 ├─ 安全對(duì)齊 ███████??? 7/10 ├─ 長(zhǎng)上下文 ██████???? 6/10 ├─ 數(shù)學(xué)計(jì)算 ████████?? 8/10 └─ 多語言能力 ███████??? 7/104.2 A/B 測(cè)試上線在真實(shí)業(yè)務(wù)中用 A/B 測(cè)試對(duì)比不同模型的表現(xiàn)指標(biāo)模型 A模型 B差異用戶滿意度4.24.50.3任務(wù)完成率78%85%7%平均交互輪數(shù)5.23.8-1.4人工介入率15%8%-7%關(guān)鍵洞察A/B 測(cè)試的結(jié)果往往與基準(zhǔn)測(cè)試分?jǐn)?shù)不一致。一個(gè)在 MMLU 上高 5 分的模型在真實(shí)業(yè)務(wù)中可能表現(xiàn)更差——因?yàn)榛鶞?zhǔn)測(cè)試沒有覆蓋真實(shí)場(chǎng)景中的長(zhǎng)尾問題。五、奇點(diǎn)大會(huì)的產(chǎn)業(yè)視角2026 奇點(diǎn)大會(huì)的大模型技術(shù)和AI行業(yè)應(yīng)用實(shí)踐專題邀請(qǐng)了從基準(zhǔn)測(cè)試設(shè)計(jì)者到一線模型部署者的完整視角。產(chǎn)業(yè)共識(shí)正在形成評(píng)測(cè)不是終點(diǎn)而是產(chǎn)品迭代的起點(diǎn)。七、奇點(diǎn)大會(huì)的評(píng)測(cè)與可觀測(cè)性視角2026 奇點(diǎn)大會(huì)從兩個(gè)維度覆蓋了大模型評(píng)測(cè)的工程真相維度專題嘉賓核心議題評(píng)測(cè)方法論大模型技術(shù)張俊林、俞揚(yáng)自進(jìn)化、對(duì)齊、能力邊界系統(tǒng)可觀測(cè)性AI Infra楊健、許文杰LLM 調(diào)用鏈追蹤、Token 成本分析評(píng)測(cè)不是孤立的活動(dòng)而是與系統(tǒng)可觀測(cè)性緊密耦合的——只有能觀測(cè)到的行為才能被評(píng)測(cè)。六、總結(jié)基準(zhǔn)測(cè)試有它的價(jià)值但不能被它蒙蔽。數(shù)據(jù)泄漏、選取偏差、分?jǐn)?shù)優(yōu)化——這些陷阱讓高分低能成為可能。真正的評(píng)測(cè)需要對(duì)抗測(cè)試的刁鉆、紅隊(duì)評(píng)估的嚴(yán)苛、真實(shí)任務(wù)的復(fù)雜以及 A/B 測(cè)試的務(wù)實(shí)。2026 奇點(diǎn)雙會(huì)正是理解這一工程真相的最佳窗口。11 月 20-21 日北京與模型評(píng)測(cè)的工程師們一起探尋分?jǐn)?shù)背后的真實(shí)能力。大會(huì)信息2026 奇點(diǎn)智能技術(shù)大會(huì) C 及系統(tǒng)軟件技術(shù)大會(huì)時(shí)間2026 年 11 月 20-21 日地點(diǎn)中國·北京萬達(dá)文華酒店參會(huì)報(bào)名奇點(diǎn)智能技術(shù)研究院立即報(bào)名獲取大模型技術(shù)專題演講完整資料