簡(jiǎn)介中信建投證券于2021年8月14日發(fā)布的中國(guó)汽研601965深度研究報(bào)告聚焦智能駕駛測(cè)評(píng)這一稀缺賽道認(rèn)為公司是攻守兼?zhèn)涞膬?yōu)質(zhì)標(biāo)的適合關(guān)注汽車服務(wù)、智能網(wǎng)聯(lián)檢測(cè)領(lǐng)域的投資者與行業(yè)研究人員研讀。資源為單份PDF文件大小4.89MB排版清晰包含公司業(yè)務(wù)拆解、汽車前裝檢測(cè)行業(yè)格局、智能汽車檢測(cè)市場(chǎng)空間測(cè)算、投資評(píng)價(jià)及盈利預(yù)測(cè)等核心模塊。已有169人學(xué)習(xí)下載內(nèi)容不僅覆蓋傳統(tǒng)檢測(cè)業(yè)務(wù)的穩(wěn)健增長(zhǎng)邏輯還重點(diǎn)剖析了技術(shù)、產(chǎn)品、消費(fèi)、政策四重催化下智能化檢測(cè)的增量空間并給出2021-2023年歸母凈利潤(rùn)及EPS預(yù)測(cè)同時(shí)提示了滲透率不及預(yù)期等風(fēng)險(xiǎn)。對(duì)理解第三方檢測(cè)機(jī)構(gòu)在智能駕駛產(chǎn)業(yè)鏈中的卡位價(jià)值具有直接參考意義。1. 智能駕駛測(cè)評(píng)為什么成了關(guān)鍵瓶頸一份研報(bào)背后的技術(shù)機(jī)會(huì)智能駕駛測(cè)評(píng)是這個(gè)行業(yè)里少數(shù)“聽(tīng)起來(lái)只是測(cè)試、實(shí)際上決定能不能量產(chǎn)”的方向。某券商2021年的一份行業(yè)深度報(bào)告把一家汽車技術(shù)研究機(jī)構(gòu)的智能駕駛測(cè)評(píng)能力單獨(dú)拎出來(lái)講并在標(biāo)題里用了“稀缺”二字——這個(gè)判斷放到現(xiàn)在依然成立很多團(tuán)隊(duì)能做出會(huì)跑的智能駕駛系統(tǒng)卻很難拿出讓人信服的證據(jù)證明它在各種場(chǎng)景下足夠安全、可批量交付。這篇筆記不聊投資只聊技術(shù)落地智能駕駛測(cè)評(píng)到底是什么、怎么搭、參數(shù)怎么設(shè)、坑在哪以及它值不值得作為方向投入。2. 智能駕駛測(cè)評(píng)體系怎么拆標(biāo)準(zhǔn)、場(chǎng)地與四層測(cè)試任務(wù)2.1 法規(guī)標(biāo)準(zhǔn)是測(cè)評(píng)的第一層地基智能駕駛測(cè)評(píng)不是“自己覺(jué)得測(cè)過(guò)了就算數(shù)”它有一套從法規(guī)到行業(yè)認(rèn)可的規(guī)則體系。早期大部分主動(dòng)安全功能是車企自愿做測(cè)多測(cè)少全看良心現(xiàn)在各國(guó)都在把AEB自動(dòng)緊急制動(dòng)、LKA車道保持輔助這類基礎(chǔ)ADAS功能納入新車評(píng)價(jià)規(guī)程甚至強(qiáng)制性準(zhǔn)入范圍沒(méi)有第三方測(cè)評(píng)報(bào)告車型連上市銷售這關(guān)都過(guò)不去。這就是測(cè)評(píng)能力成為稀缺資源的第一層原因它已經(jīng)從“加分項(xiàng)”變成了“及格線”。對(duì)剛接觸這個(gè)方向的人來(lái)說(shuō)建議先理清三類標(biāo)準(zhǔn)強(qiáng)制性法規(guī)管的是底線重點(diǎn)看AEB、車道偏離預(yù)警、盲區(qū)監(jiān)測(cè)等基礎(chǔ)功能在特定車速和場(chǎng)景下是否觸發(fā)判據(jù)是“有沒(méi)有”和“何時(shí)觸發(fā)”。第三方評(píng)價(jià)規(guī)程在法規(guī)之上做更嚴(yán)格的安全星級(jí)評(píng)價(jià)增加了更多場(chǎng)景類型、更細(xì)的通過(guò)條件考的是“表現(xiàn)好不好”。功能安全與預(yù)期功能安全標(biāo)準(zhǔn)前者面向電子電氣系統(tǒng)失效后者面向系統(tǒng)在規(guī)范使用下仍可能出現(xiàn)的性能局限。嚴(yán)格來(lái)說(shuō)ISO 26262和ISO 21448這兩類標(biāo)準(zhǔn)是測(cè)評(píng)體系的“元規(guī)則”它們決定了測(cè)評(píng)活動(dòng)本身的流程合規(guī)性。標(biāo)準(zhǔn)是不斷演進(jìn)的黑匣子別指望背下來(lái)關(guān)鍵是建立一條追蹤機(jī)制。我一般會(huì)在團(tuán)隊(duì)里維護(hù)一份標(biāo)準(zhǔn)條款與測(cè)試用例的映射表每條標(biāo)準(zhǔn)落到具體場(chǎng)景、具體判據(jù)標(biāo)準(zhǔn)一更新就回頭逐條核對(duì)映射關(guān)系。這個(gè)動(dòng)作本身不復(fù)雜但沒(méi)有它測(cè)評(píng)體系很快就會(huì)變成“測(cè)了什么不知道、為什么這么測(cè)也不知道”的狀態(tài)。2.2 四層測(cè)試任務(wù)法規(guī)測(cè)試、功能測(cè)試、場(chǎng)景測(cè)試與預(yù)期功能安全實(shí)際工程里我不會(huì)把測(cè)評(píng)簡(jiǎn)單理解成“拉一臺(tái)車出去跑”而是拆成四個(gè)遞進(jìn)的層次層級(jí)測(cè)什么典型手段核心判據(jù)法規(guī)測(cè)試法規(guī)要求的主動(dòng)安全功能封閉場(chǎng)地 標(biāo)準(zhǔn)場(chǎng)景是否觸發(fā)、是否在要求區(qū)間內(nèi)響應(yīng)功能測(cè)試功能定義范圍內(nèi)的性能封閉場(chǎng)地 仿真響應(yīng)時(shí)間、控制精度、誤報(bào)率場(chǎng)景測(cè)試真實(shí)交通中的泛化能力場(chǎng)景庫(kù) 道路采集 仿真回放場(chǎng)景覆蓋率、危險(xiǎn)事件率預(yù)期功能安全測(cè)試系統(tǒng)性能邊界之外的風(fēng)險(xiǎn)邊界掃掠 故障注入 統(tǒng)計(jì)分析殘余風(fēng)險(xiǎn)是否可接受法規(guī)測(cè)試解決“合不合法”功能測(cè)試解決“做沒(méi)做到”場(chǎng)景測(cè)試解決“遇到?jīng)]見(jiàn)過(guò)的交通情況怎么辦”預(yù)期功能安全測(cè)試解決“系統(tǒng)自己都不知道自己不行的時(shí)候怎么辦”。最后一個(gè)最常見(jiàn)但最容易被忽略——很多系統(tǒng)在傳感器視野、算法性能邊界之外悄悄失效沒(méi)有預(yù)期功能安全的視角單靠堆場(chǎng)景永遠(yuǎn)測(cè)不完。四層測(cè)試必須配套使用不能互相替代。法規(guī)測(cè)試過(guò)了不代表場(chǎng)景測(cè)試能過(guò)場(chǎng)景測(cè)試跑得再好也不代表預(yù)期功能安全風(fēng)險(xiǎn)已閉環(huán)。建議新團(tuán)隊(duì)先做1到2層把測(cè)試基礎(chǔ)設(shè)施跑通再逐步向上疊加。2.3 測(cè)評(píng)中心的角色為什么說(shuō)它是“攻守兼?zhèn)洹钡耐度搿肮ナ丶鎮(zhèn)洹边@個(gè)詞雖然不是技術(shù)參數(shù)但放在測(cè)評(píng)方向上其實(shí)很貼切?！肮ァ钡囊幻嬖谟谡l(shuí)先建起高置信度的測(cè)評(píng)體系誰(shuí)就有能力定義行業(yè)測(cè)試標(biāo)準(zhǔn)、承接第三方檢測(cè)業(yè)務(wù)形成進(jìn)入壁壘研發(fā)團(tuán)隊(duì)也能用這套體系反過(guò)來(lái)拷問(wèn)算法逼著感知、規(guī)控模塊往更難的場(chǎng)景迭代?！笆亍钡囊幻嬖谟诓还苤悄荞{駛走純視覺(jué)還是多傳感器、依賴高精地圖還是無(wú)圖方案最終都要用同一套測(cè)評(píng)方法來(lái)驗(yàn)收測(cè)評(píng)是技術(shù)路線分叉時(shí)仍然存在的確定性需求。這也是為什么不少整車廠和供應(yīng)商寧可花大價(jià)錢自建測(cè)試團(tuán)隊(duì)而不是全部委托給外部機(jī)構(gòu)——外部報(bào)告解決“能不能賣”內(nèi)部測(cè)評(píng)解決“怎么改”。兩條線一次投入兩頭受益。對(duì)于想切入這個(gè)方向的工程師來(lái)說(shuō)意味著兩類機(jī)會(huì)一類是進(jìn)第三方檢測(cè)機(jī)構(gòu)把單點(diǎn)場(chǎng)景做成標(biāo)準(zhǔn)化產(chǎn)品另一類是在主機(jī)廠內(nèi)部從零搭建測(cè)評(píng)能力直接服務(wù)研發(fā)迭代這兩條路都值得投入。3. 從零搭建一套可用的測(cè)評(píng)環(huán)境真值系統(tǒng)、場(chǎng)景庫(kù)與最小閉環(huán)3.1 測(cè)試車輛改造真值系統(tǒng)、數(shù)據(jù)采集與時(shí)間同步把普通測(cè)試車改造成“能用來(lái)評(píng)測(cè)智能駕駛的車”最難的部分不是裝傳感器而是讓所有傳感器說(shuō)實(shí)話。測(cè)評(píng)依賴真值也就是“那一刻真實(shí)世界到底是什么狀態(tài)”如果沒(méi)有高精度真值系統(tǒng)被測(cè)系統(tǒng)的輸出根本無(wú)從比對(duì)。我的常見(jiàn)做法是分三步走。第一步裝組合慣導(dǎo)也就是RTK差分定位加慣性測(cè)量單元用來(lái)輸出厘米級(jí)位置、速度、姿態(tài)和精確時(shí)間基準(zhǔn)第二步同步采集CAN總線信號(hào)、攝像頭視頻、激光雷達(dá)點(diǎn)云和毫米波雷達(dá)目標(biāo)列表覆蓋感知和決策執(zhí)行兩側(cè)的關(guān)鍵數(shù)據(jù)第三步給所有傳感器統(tǒng)一打硬件時(shí)間戳這是最容易被輕視的一步。很多數(shù)據(jù)采集方案里視頻流有自己的時(shí)間戳CAN信號(hào)有自己的時(shí)間戳兩套時(shí)間體系差幾百毫秒很常見(jiàn)問(wèn)題當(dāng)時(shí)看不出來(lái)一但拿去做場(chǎng)景回放就全亂了。時(shí)間同步的工程實(shí)現(xiàn)上首選方案是讓所有采集設(shè)備跟隨同一個(gè)時(shí)鐘源。差分GPS接收機(jī)輸出PPS脈沖或者用PTP精確時(shí)間協(xié)議把統(tǒng)一時(shí)間同步到網(wǎng)內(nèi)各設(shè)備確保各傳感器幀級(jí)對(duì)齊。做數(shù)據(jù)回放時(shí)還要再校驗(yàn)一次同步偏移方法很簡(jiǎn)單找一個(gè)急剎車片段對(duì)比CAN里的車速驟降時(shí)刻與視頻里剎車燈點(diǎn)亮?xí)r刻兩者差應(yīng)小于一個(gè)視頻幀。這套環(huán)境涉及不少硬件安裝和標(biāo)定工作很難一次到位。新團(tuán)隊(duì)建議先用一臺(tái)車、一條固定環(huán)線、一套采集配置跑通全流程再擴(kuò)展到多車多路線不要一上來(lái)就鋪開(kāi)。3.2 場(chǎng)景庫(kù)建設(shè)從自然駕駛數(shù)據(jù)到可復(fù)現(xiàn)的測(cè)試用例測(cè)評(píng)的第二塊地基是場(chǎng)景庫(kù)。場(chǎng)景庫(kù)不是把路測(cè)數(shù)據(jù)存起來(lái)就行它的核心目標(biāo)是把真實(shí)交通里發(fā)生的事變成可復(fù)現(xiàn)、可參數(shù)化、可批量執(zhí)行的測(cè)試用例。場(chǎng)景來(lái)源通常有這么幾個(gè)自然駕駛數(shù)據(jù)里的典型行為片段前車急剎、鄰車切入、行人橫穿、交通事故數(shù)據(jù)里的高風(fēng)險(xiǎn)片段、法規(guī)標(biāo)準(zhǔn)要求的固定場(chǎng)景、以及針對(duì)被測(cè)系統(tǒng)弱點(diǎn)的對(duì)抗生成場(chǎng)景。其中自然駕駛數(shù)據(jù)的利用效率最高但也是最難做清理的——一段幾十公里的數(shù)據(jù)里可能只有幾秒鐘是真正有價(jià)值的場(chǎng)景。場(chǎng)景需要參數(shù)化。拿最常見(jiàn)的切入場(chǎng)景cut-in舉例不能只記“旁邊車道有車插進(jìn)來(lái)”而要拆成目標(biāo)車切入時(shí)的縱向相對(duì)距離、橫向跨越速度、相對(duì)車速、自車車速、車道類型、路面附著狀態(tài)等一組參數(shù)。這樣同一個(gè)邏輯場(chǎng)景就能派生出幾十上百條具體用例覆蓋不同難度邊界。我個(gè)人會(huì)按“功能場(chǎng)景—邏輯場(chǎng)景—具體場(chǎng)景”三層來(lái)組織場(chǎng)景庫(kù)功能場(chǎng)景描述事件類別邏輯場(chǎng)景定義參數(shù)取值范圍具體場(chǎng)景給出每一組確定參數(shù)值。每次路測(cè)發(fā)現(xiàn)的新危險(xiǎn)事件就把它沉淀為一條新的邏輯場(chǎng)景逐步擴(kuò)大覆蓋邊界。這是一項(xiàng)需要長(zhǎng)期積累的工作但也是測(cè)評(píng)能力最深的護(hù)城河。3.3 最小可用的自動(dòng)化測(cè)評(píng)閉環(huán)示例測(cè)評(píng)體系的“骨架”確定后還要跑通一個(gè)最小的自動(dòng)化閉環(huán)讀數(shù)據(jù)、識(shí)別場(chǎng)景事件、算指標(biāo)、出報(bào)告。下面給一個(gè)精簡(jiǎn)但能直接改用的示例演示cut-in場(chǎng)景下“系統(tǒng)響應(yīng)時(shí)間”的評(píng)估邏輯。from dataclasses import dataclass import json dataclass class FrameData: ts: float # 本幀時(shí)間戳統(tǒng)一為UTC毫秒 ego_speed: float # 自車速度m/s ego_acc: float # 自車縱向加速度m/s2制動(dòng)為負(fù) target_lat: float # 目標(biāo)車橫向位置m自車中心線為0 target_lon: float # 目標(biāo)車縱向相對(duì)距離m自車位置為0 target_rel_v: float # 目標(biāo)相對(duì)速度m/s正為接近 def load_frames(data_dir: str, start: int 1, end: int 400): frames [] for i in range(start, end 1): with open(f{data_dir}/{i:04d}.json, r, encodingutf-8) as f: raw json.load(f) frames.append(FrameData(**raw)) return frames def is_cut_in(frame: FrameData) - bool: # 典型切入事件目標(biāo)橫向位置位于本車道邊界附近且有接近趨勢(shì) return abs(frame.target_lat) 0.3 and frame.target_rel_v 0.5 def evaluate_cut_in_response(frames): event_start None response_time -1 for frame in frames: if is_cut_in(frame): if event_start is None: event_start frame.ts # 事件發(fā)生時(shí)刻首次越線 continue if event_start is not None and frame.ego_acc -1.0: response_time frame.ts - event_start # 系統(tǒng)開(kāi)始明顯制動(dòng) break max_deceleration min(f.ego_acc for f in frames) return { cut_in_detected: event_start is not None, response_time_ms: response_time, max_deceleration_m2s: max_deceleration, } if __name__ __main__: frames load_frames(./data/cut_in_case) result evaluate_cut_in_response(frames) print(json.dumps(result, ensure_asciiFalse, indent2))代碼的邏輯不復(fù)雜逐幀讀入數(shù)據(jù)先判斷是否出現(xiàn)切入事件再找系統(tǒng)開(kāi)始明顯制動(dòng)的時(shí)刻兩者相減得到響應(yīng)時(shí)間。參數(shù)上注意三個(gè)地方target_lat的閾值0.3米表示目標(biāo)車已經(jīng)進(jìn)入本車道邊界太小容易漏檢太大會(huì)把鄰道正常行駛也算進(jìn)來(lái)target_rel_v的0.5米/秒用于過(guò)濾靜止干擾物制動(dòng)判定閾值-1.0米/秒2不是隨意定的它對(duì)應(yīng)大多數(shù)人能感知到的平緩制動(dòng)下限低于這個(gè)值可能是傳感器噪聲或輕微波動(dòng)容易誤判。這是最簡(jiǎn)的規(guī)則版本。實(shí)際生產(chǎn)中會(huì)替換掉硬編碼閾值事件識(shí)別交給基于目標(biāo)跟蹤的算法制動(dòng)判定結(jié)合AEB觸發(fā)信號(hào)和加速度曲線斜率。但接口設(shè)計(jì)可以沿用這個(gè)思路——數(shù)據(jù)幀結(jié)構(gòu)統(tǒng)一、評(píng)價(jià)邏輯與采集格式解耦、結(jié)果輸出成標(biāo)準(zhǔn)JSON后續(xù)換算法、換傳感器都只改局部模塊。4. 測(cè)評(píng)指標(biāo)怎么定從“能剎住”到“敢說(shuō)安全”的五個(gè)關(guān)鍵指標(biāo)4.1 功能指標(biāo)觸發(fā)條件、響應(yīng)時(shí)間與控制質(zhì)量功能指標(biāo)的難點(diǎn)不是“有沒(méi)有指標(biāo)”而是“指標(biāo)之間會(huì)打架”。比如AEB測(cè)試只盯著“觸發(fā)距離夠不夠遠(yuǎn)”系統(tǒng)就可能提前緩剎結(jié)果在密集車流里經(jīng)常被后車追尾只盯著“響應(yīng)時(shí)間夠不夠快”系統(tǒng)又可能頻繁誤觸發(fā)搞得駕乘體驗(yàn)一塌糊涂。所以功能指標(biāo)要一組一組看不能單點(diǎn)考核。我常用的一組最小功能指標(biāo)是觸發(fā)條件邊界記錄系統(tǒng)觸發(fā)時(shí)的本車速度、目標(biāo)相對(duì)速度、TTC碰撞時(shí)間閾值。重點(diǎn)看閾值附近的表現(xiàn)通常要求臨界區(qū)內(nèi)的觸發(fā)一致性不能同一參數(shù)狀態(tài)時(shí)而觸發(fā)時(shí)而不觸發(fā)。響應(yīng)時(shí)間從事件發(fā)生到系統(tǒng)輸出控制指令的時(shí)間差。cut-in場(chǎng)景一般看100毫秒級(jí)差異AEB場(chǎng)景對(duì)響應(yīng)穩(wěn)定性要求更高跑同一場(chǎng)景多次時(shí)響應(yīng)時(shí)間方差不能過(guò)大?？刂瀑|(zhì)量不只問(wèn)“剎沒(méi)剎住”還要看減速度曲線平滑度、橫向偏移峰值、駕駛員主觀體驗(yàn)。用“最大減速度變化率”來(lái)量化粗暴程度減速度變化率超過(guò)一定閾值就觸發(fā)舒適性告警。這三類指標(biāo)的權(quán)重隨場(chǎng)景而變化法規(guī)測(cè)試最看重觸發(fā)條件邊界因?yàn)槟鞘堑拙€用戶日常體驗(yàn)最看重控制質(zhì)量和誤觸發(fā)率安全評(píng)價(jià)則把響應(yīng)時(shí)間放到第一位。建議在測(cè)試規(guī)范里明確寫(xiě)明每類場(chǎng)景的指標(biāo)優(yōu)先序才能避免開(kāi)發(fā)團(tuán)隊(duì)和測(cè)試團(tuán)隊(duì)各說(shuō)各話。4.2 場(chǎng)景指標(biāo)場(chǎng)景覆蓋率與邊界參數(shù)密度場(chǎng)景指標(biāo)回答的問(wèn)題是我們測(cè)過(guò)的這些內(nèi)容能不能代表真實(shí)世界。兩個(gè)指標(biāo)我每次匯報(bào)時(shí)都會(huì)帶上一個(gè)是場(chǎng)景類型覆蓋率另一個(gè)是邊界參數(shù)密度。場(chǎng)景類型覆蓋率指場(chǎng)景庫(kù)中已覆蓋的場(chǎng)景類型占目標(biāo)場(chǎng)景清單的比例。目標(biāo)場(chǎng)景清單從哪里來(lái)從標(biāo)準(zhǔn)要求加真實(shí)事故形態(tài)加路采數(shù)據(jù)聚類結(jié)果三方匯總。注意覆蓋率不等于數(shù)量同一個(gè)cut-in場(chǎng)景參數(shù)稍微變一變就能湊出上千條用例但那只覆蓋了一個(gè)事件類別對(duì)提升覆蓋率沒(méi)有幫助。邊界參數(shù)密度指在參數(shù)空間的邊緣區(qū)域布置的測(cè)試用例數(shù)量。算法往往在參數(shù)邊界附近失效比如目標(biāo)車切入時(shí)橫向距離剛好貼近車道線、相對(duì)速度介于“系統(tǒng)認(rèn)為安全”和“實(shí)際危險(xiǎn)”的臨界值。邊界參數(shù)密度越高越容易暴露潛在失效。我會(huì)用二維參數(shù)網(wǎng)格來(lái)審視場(chǎng)景庫(kù)以相對(duì)距離為橫軸、相對(duì)速度為縱軸觀察用例在網(wǎng)格中的分布凡是邊緣區(qū)域稀疏的就針對(duì)性補(bǔ)測(cè)試用例。4.3 統(tǒng)計(jì)指標(biāo)接管率、風(fēng)險(xiǎn)事件率與置信區(qū)間路測(cè)積累到一定里程后就要用統(tǒng)計(jì)指標(biāo)來(lái)判斷系統(tǒng)整體表現(xiàn)。最常看的是每千公里接管次數(shù)和危險(xiǎn)事件率。接管次數(shù)統(tǒng)計(jì)的是系統(tǒng)請(qǐng)求駕駛員接管或駕駛員因不信任而主動(dòng)接管的次數(shù)危險(xiǎn)事件率則統(tǒng)計(jì)路測(cè)中出現(xiàn)的近距離切入、急剎、偏離車道等風(fēng)險(xiǎn)事件。這里有個(gè)容易翻車的細(xì)節(jié)統(tǒng)計(jì)指標(biāo)必須有明確的定義邊界否則數(shù)據(jù)之間完全不可比。比如接管要區(qū)分“系統(tǒng)請(qǐng)求的被動(dòng)接管”和“駕駛員主動(dòng)接管”兩者含義完全不同再比如危險(xiǎn)事件必須明確定義TTC閾值和事件持續(xù)時(shí)間不然同一段路測(cè)數(shù)據(jù)兩個(gè)人能統(tǒng)計(jì)出兩個(gè)結(jié)果。另一個(gè)是置信區(qū)間問(wèn)題。路測(cè)里程再長(zhǎng)抽樣偏差始終存在。1000公里合法里程里零接管并不代表每千公里接管率真的為零樣本量不足時(shí)這個(gè)結(jié)論非常脆弱。我一般會(huì)先設(shè)定可接受的失效率上限再反推所需的最低測(cè)試?yán)锍潭皇桥芡甓嗌偎愣嗌?。這也是測(cè)評(píng)報(bào)告里最容易被外部專家質(zhì)疑的地方提前算清楚才能站得住腳。5. 智能駕駛測(cè)評(píng)避坑指南五個(gè)讓人翻車的常見(jiàn)問(wèn)題5.1 場(chǎng)景復(fù)現(xiàn)不了先查傳感器時(shí)間同步現(xiàn)象同一個(gè)測(cè)試場(chǎng)景同一套軟件版本上午跑一遍系統(tǒng)觸發(fā)了AEB下午再跑一遍相同場(chǎng)景系統(tǒng)沒(méi)反應(yīng)。換了駕駛員、換了測(cè)試車也無(wú)規(guī)律完全沒(méi)有復(fù)現(xiàn)性。原因最初懷疑是算法問(wèn)題查了很久才發(fā)現(xiàn)是時(shí)間同步漂移。車載攝像頭時(shí)間戳來(lái)自系統(tǒng)時(shí)鐘CAN信號(hào)時(shí)間戳來(lái)自CAN網(wǎng)關(guān)兩套時(shí)間相差約600毫秒?；胤艜r(shí)事件檢測(cè)模塊先看到的是晚到的目標(biāo)信息導(dǎo)致場(chǎng)景狀態(tài)和實(shí)際車輛狀態(tài)錯(cuò)位觸發(fā)邏輯時(shí)好時(shí)壞。解決從采集源頭統(tǒng)一所有傳感器的時(shí)間基準(zhǔn)用差分GPS或PTP做硬件同步并在數(shù)據(jù)回放前加“同步校驗(yàn)”步驟。日常排障建議把時(shí)間戳對(duì)齊檢查做成自動(dòng)化腳本每次回放前先計(jì)算視頻關(guān)鍵事件與CAN信號(hào)關(guān)鍵事件的時(shí)間偏移超過(guò)閾值直接拒絕回放。5.2 結(jié)果不穩(wěn)定把道路測(cè)試當(dāng)臺(tái)架測(cè)試用現(xiàn)象同一版本軟件上周路測(cè)表現(xiàn)優(yōu)秀這周換了一條路、換了個(gè)時(shí)段指標(biāo)直接下滑一截。開(kāi)發(fā)團(tuán)隊(duì)拿著報(bào)告找測(cè)試團(tuán)隊(duì)理論雙方各執(zhí)一詞。原因道路測(cè)試的環(huán)境變量太多交通流密度、日照角度、路面狀態(tài)、隨機(jī)目標(biāo)物都會(huì)影響智能駕駛表現(xiàn)。拿道路測(cè)試數(shù)據(jù)做“版本好壞”的判斷本質(zhì)上是在拿隨機(jī)樣本做統(tǒng)計(jì)推斷樣本量不夠時(shí)結(jié)果必然不穩(wěn)定。解決把“評(píng)審版本”和“抽樣驗(yàn)證”分開(kāi)。版本通過(guò)與否以仿真回歸測(cè)試為基準(zhǔn)——固定場(chǎng)景庫(kù)、固定參數(shù)、固定評(píng)價(jià)邏輯保證可復(fù)現(xiàn)道路測(cè)試只做抽樣驗(yàn)證和未知場(chǎng)景發(fā)現(xiàn)。道路測(cè)試報(bào)告里必須記錄交通流密度、天氣、光照、時(shí)間段并注明該批次結(jié)果不對(duì)應(yīng)版本結(jié)論。5.3 場(chǎng)景參數(shù)太隨意測(cè)出來(lái)好看、上路不好用現(xiàn)象某系統(tǒng)在內(nèi)部所有cut-in測(cè)試中都表現(xiàn)良好一到開(kāi)放道路就頻繁出現(xiàn)“反應(yīng)太晚”的抱怨。測(cè)試團(tuán)隊(duì)一開(kāi)始覺(jué)得是用戶故意刁難后來(lái)才發(fā)現(xiàn)真實(shí)路況的cut-in參數(shù)比測(cè)試場(chǎng)景激進(jìn)得多。原因場(chǎng)景參數(shù)是按“理想情況”設(shè)計(jì)的比如目標(biāo)車緩緩切入、橫向距離剛好壓線、相對(duì)速度卻遠(yuǎn)低于真實(shí)博弈場(chǎng)景中的速度。這種參數(shù)下系統(tǒng)有充足時(shí)間響應(yīng)測(cè)試自然全過(guò)但也完全沒(méi)有暴露性能邊界。解決參數(shù)必須從真實(shí)路采數(shù)據(jù)里提取分布不要憑直覺(jué)填表。把路測(cè)數(shù)據(jù)中所有cut-in事件的橫向距離、縱向距離、相對(duì)速度做分位數(shù)統(tǒng)計(jì)取5%到95%分位范圍作為測(cè)試參數(shù)矩陣。同時(shí)定期用新采集數(shù)據(jù)校準(zhǔn)參數(shù)分布防止場(chǎng)景庫(kù)逐漸偏離真實(shí)路況。5.4 標(biāo)注口徑不統(tǒng)一同一指標(biāo)橫跳的源頭現(xiàn)象同一批點(diǎn)云數(shù)據(jù)兩個(gè)月后再標(biāo)注一遍目標(biāo)物數(shù)量、類別分布和之前差異很大。用新舊標(biāo)注分別評(píng)測(cè)同一套感知算法AEB誤觸發(fā)率指標(biāo)一個(gè)高一個(gè)低不知道系統(tǒng)真實(shí)水平是什么。原因不同標(biāo)注員對(duì)“遮擋目標(biāo)”“遠(yuǎn)距離小目標(biāo)”“部分可見(jiàn)目標(biāo)”的處理標(biāo)準(zhǔn)不一致。有的人只要點(diǎn)云夠幾個(gè)點(diǎn)就標(biāo)有的人要求目標(biāo)輪廓完整才算數(shù)。沒(méi)有統(tǒng)一標(biāo)注規(guī)范數(shù)據(jù)質(zhì)量完全取決于執(zhí)行者個(gè)人尺度和當(dāng)日狀態(tài)。解決先定分類樹(shù)明確每個(gè)目標(biāo)類別的邊界和最小標(biāo)注要求再跑一致性檢驗(yàn)用同一批數(shù)據(jù)進(jìn)行重復(fù)標(biāo)注計(jì)算標(biāo)注一致率不一致的樣本強(qiáng)制復(fù)審。關(guān)鍵數(shù)據(jù)集的標(biāo)注規(guī)范要凍結(jié)版本數(shù)據(jù)更新時(shí)標(biāo)注規(guī)范本身不能隨意改這樣才能保證前后指標(biāo)可比。5.5 只看功能通過(guò)率漏了預(yù)期功能安全評(píng)估現(xiàn)象某系統(tǒng)在所有標(biāo)準(zhǔn)法規(guī)測(cè)試、功能測(cè)試中全部通過(guò)AEB觸發(fā)距離、響應(yīng)時(shí)間都在目標(biāo)范圍內(nèi)但在一個(gè)普通雨夜場(chǎng)景中系統(tǒng)對(duì)路面積水反光產(chǎn)生誤識(shí)別出現(xiàn)一次不必要的緊急制動(dòng)。原因測(cè)試矩陣覆蓋了“系統(tǒng)應(yīng)該會(huì)做什么”但沒(méi)有覆蓋“系統(tǒng)在什么條件下不知道自己做不到”。雨夜反光導(dǎo)致傳感器產(chǎn)生虛假目標(biāo)感知模塊置信度不夠高卻仍然輸出了危險(xiǎn)目標(biāo)規(guī)控模塊按正常邏輯觸發(fā)制動(dòng)整套鏈路“功能正常”但整體行為錯(cuò)誤。解決引入預(yù)期功能安全視角給感知、決策、執(zhí)行各環(huán)節(jié)建立性能邊界清單專門設(shè)計(jì)“邊界掃掠”用例。比如把傳感器退化條件雨霧、逆光、低對(duì)比度和場(chǎng)景條件做成交叉矩陣逐格掃過(guò)找出“看起來(lái)正常、實(shí)際不可信”的盲區(qū)。這類測(cè)試更應(yīng)該納入版本準(zhǔn)入條件因?yàn)樗┞兜恼钦鎸?shí)路測(cè)中最危險(xiǎn)的那類事故。6. 把測(cè)評(píng)沉淀成能力一份可復(fù)現(xiàn)測(cè)試規(guī)范的最小樣本測(cè)評(píng)做到最后拼的不是某一次測(cè)試做得多漂亮而是能不能讓測(cè)試結(jié)果長(zhǎng)期穩(wěn)定可信。我的習(xí)慣是每接手一個(gè)項(xiàng)目第一件事先沉淀一份可復(fù)現(xiàn)的測(cè)試規(guī)范讓后來(lái)者拿著文檔就能復(fù)現(xiàn)結(jié)果而不是依賴某個(gè)測(cè)試工程師的經(jīng)驗(yàn)。一份最小可用規(guī)范至少包含這幾個(gè)部分模塊要寫(xiě)清楚的內(nèi)容示例測(cè)試目的本次測(cè)試要回答什么問(wèn)題驗(yàn)證V2.3版本在雨天cut-in場(chǎng)景下的響應(yīng)表現(xiàn)前置條件車輛狀態(tài)、軟件版本、場(chǎng)地、氣象封閉場(chǎng)地濕滑路面軟件版本V2.3.1場(chǎng)景矩陣場(chǎng)景編號(hào)、參數(shù)組合、來(lái)源CutIn_023相對(duì)距離8-12m相對(duì)速度15-20km/h數(shù)據(jù)記錄記錄哪些信號(hào)、采樣率、格式CAN、視頻、點(diǎn)云全部帶統(tǒng)一時(shí)間戳通過(guò)判據(jù)每個(gè)指標(biāo)的合格線響應(yīng)時(shí)間≤600ms無(wú)危險(xiǎn)事件回歸觸發(fā)什么條件下需要重跑感知、規(guī)控算法變更后全量重跑制定規(guī)范時(shí)的關(guān)鍵原則是一切判據(jù)要寫(xiě)在執(zhí)行之前不允許在跑完數(shù)據(jù)之后再“根據(jù)數(shù)據(jù)表現(xiàn)”調(diào)整閾值否則指標(biāo)會(huì)不斷向系統(tǒng)能力妥協(xié)測(cè)評(píng)就失去了拷問(wèn)系統(tǒng)的意義。我在團(tuán)隊(duì)里定死了一條規(guī)矩測(cè)試參數(shù)和判據(jù)變更必須走評(píng)審流程禁止個(gè)人在執(zhí)行過(guò)程中臨時(shí)修改。還有一條重要經(jīng)驗(yàn)把每次回歸測(cè)試的輸入和輸出連同軟件版本一起歸檔。三個(gè)月后有人質(zhì)疑某個(gè)指標(biāo)是當(dāng)時(shí)“測(cè)錯(cuò)了”時(shí)能快速調(diào)出當(dāng)時(shí)的數(shù)據(jù)包、場(chǎng)景參數(shù)和軟件版本號(hào)直接重跑驗(yàn)證最有說(shuō)服力。數(shù)據(jù)閉環(huán)的鏈路我也一直在維護(hù)路測(cè)發(fā)現(xiàn)異常片段 → 沉淀為場(chǎng)景用例 → 加入回歸場(chǎng)景庫(kù) → 新版軟件必須重跑。這個(gè)循環(huán)跑得越順暢測(cè)評(píng)能力的護(hù)城河越深我自己在這上面的投入也最值得。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取