出門之前家里人給了一句很隨意的話去3號倉庫看看門有沒有關(guān)順便把門口的箱子拍張照回來。這句話如果給一個剛接觸無人機的工程師聽他大概率會愣住3號倉庫在哪門長什么樣看看要飛多近才算看門口的箱子是哪個箱子光照不好怎么辦如果門是壞的但看起來關(guān)了要不要報告這類問題不是傳統(tǒng)航跡規(guī)劃能回答的也不是單張圖像的目標(biāo)檢測能解決的。它要求無人機把視覺感知、自然語言理解、任務(wù)規(guī)劃和動作執(zhí)行串成一條完整鏈路業(yè)內(nèi)叫VLAVision-Language-Action任務(wù)。而面向高層無人機視覺-語言-動作任務(wù)的基準(zhǔn)拆開來看就是一套專門用于評估這類能力的標(biāo)準(zhǔn)化考試給出一句非結(jié)構(gòu)化的高層指令讓無人機在未知場景中自主完成然后看它做得到不到位。這篇文章里我會從任務(wù)設(shè)計、數(shù)據(jù)生成、評估指標(biāo)、模型方案、踩坑經(jīng)驗幾個角度把這份基準(zhǔn)的里里外外講透。寫這篇東西的出發(fā)點是最近陸續(xù)有不少團隊在做無人機大模型相關(guān)的測試但大家各自定義任務(wù)、自己跑自己的數(shù)據(jù)結(jié)果誰也沒法復(fù)現(xiàn)誰整個領(lǐng)域反而越來越混亂。如果你正好在做類似的事或者想給自己的VLA模型找一個相對公平的橫向?qū)Ρ拳h(huán)境這篇內(nèi)容應(yīng)該能幫你省下不少時間。1. 為什么高層無人機任務(wù)需要一個真正的基準(zhǔn)1.1 從單指令飛行動作到語言-認(rèn)知-規(guī)劃閉環(huán)早期無人機任務(wù)大多集中在“低層控制”層面你告訴我一個GPS坐標(biāo)我把飛機飛過去你給我一條軌跡我安全跟蹤。這類任務(wù)的核心是控制精度反應(yīng)時間要求極高但語義理解幾乎為零。高層任務(wù)完全不同。它天然帶有一層模糊性和時序性?？纯撮T有沒有關(guān)這句話里沒有一個數(shù)字、沒有一次提到具體經(jīng)緯度但它隱含至少三個子任務(wù)定位目標(biāo)門在哪里、狀態(tài)判斷怎么判定開關(guān)、執(zhí)行動作飛多近、用什么角度觀察。模型必須先做視覺理解再結(jié)合地理常識進行空間推理最后把它們翻譯成一串可執(zhí)行的動作序列。缺少基準(zhǔn)的后果在開發(fā)中非常明顯。我的經(jīng)驗是同一個模型在這個場景里成功率65%換一個場景直接掉到20%你根本不知道是視覺分支沒學(xué)到東西還是語言分支理解錯了指令又或者純粹是執(zhí)行器不給力。沒有不可控變量的對照實驗就只能靠感覺調(diào)模型效率極低。1.2 基準(zhǔn)到底在衡量什么無人機的智商還是執(zhí)行力常有朋友問高層無人機基準(zhǔn)到底想測模型哪塊能力我的答案是它盡量隔離測認(rèn)知能力和執(zhí)行能力但又沒法完全隔離這也是這類基準(zhǔn)最有趣的地方。一個VLA系統(tǒng)可以拆成三塊感知看到了什么、推理理解了我要做什么、執(zhí)行飛得穩(wěn)不穩(wěn)、動作是否有效。如果只給一個總分感知特別強但推理很弱和推理很強但執(zhí)行很弱的模型可能會拿同樣的分?jǐn)?shù)這顯然不公平。所以合格的高層基準(zhǔn)至少要把指標(biāo)拆開語義完成度指令要求做的事情最終是否被做了語義正確率任務(wù)做對了還是做錯了哪怕動作被執(zhí)行執(zhí)行效率時間消耗、路徑長度、電池?fù)p耗控制穩(wěn)定性飛行過程是否安全有沒有大幅震動、靠近障礙物。只看成功率太粗糙。比如一個模型雖然正確識別了門的位置但懸停時離障礙物只有30厘米雖然事件成功了這樣的系統(tǒng)放在真實場景完全不可用?；鶞?zhǔn)的意義就在于把這些細(xì)粒度指標(biāo)變成一個統(tǒng)一的坐標(biāo)系讓不同團隊的結(jié)果能放在一起比較。2. 核心設(shè)計思路任務(wù)、數(shù)據(jù)與評測協(xié)議2.1 任務(wù)族設(shè)計指令是純文本動作是高語義的設(shè)計一套高層無人機任務(wù)基準(zhǔn)最核心的其實是任務(wù)族分類。用的動作空間不需要是遙控級別的四個通道而是高層動作原語移動、懸停、拍攝、檢測、報告、跟蹤。指令文本則是自然語言的任意組合。一個比較完整的任務(wù)族可以參照這張表任務(wù)類型指令示例核心評估點難點目標(biāo)檢索找到東門附近藍(lán)色的充電樁目標(biāo)定位與識別區(qū)域較大目標(biāo)可能被遮擋狀態(tài)判斷檢查3號倉庫的門是否關(guān)閉狀態(tài)判定需要多角度逼近觀察區(qū)域巡邏繞著園區(qū)外圍飛一圈記錄異常路線規(guī)劃與異常檢測長時程任務(wù)異常定義模糊指定拍攝在涼亭上方45度角拍一張全景視角控制與構(gòu)圖需要空間角度計算遞進任務(wù)先找到配電房再檢查里面的儀表讀數(shù)子任務(wù)拆分強時序依賴前序錯誤會傳導(dǎo)條件任務(wù)如果充電樁被占用去備用機位等待條件判斷與行為切換需要在線決策每種任務(wù)族都不是隨便編的它們對應(yīng)真實巡檢、物流、農(nóng)業(yè)監(jiān)測場景里的核心需求。設(shè)計時還要注意任務(wù)難度梯度簡單任務(wù)讓模型驗證基礎(chǔ)能力困難任務(wù)專門打擊只會做查詢、不會做推理的模型。2.2 仿真與數(shù)據(jù)生成億級指令數(shù)據(jù)的來源真實無人機飛行的數(shù)據(jù)采集成本極高飛一次要準(zhǔn)備空域、設(shè)備、人員更別說在真實環(huán)境里對語言-動作對進行標(biāo)注了。所以這類基準(zhǔn)的數(shù)據(jù)集基本都在仿真環(huán)境里生成。我比較推薦的做法是用一個支持真實物理動力學(xué)和傳感器噪聲的仿真環(huán)境場景按模塊化方式搭建把建筑、植被、車輛、人物、標(biāo)牌分層存放再通過排列組合生成上千個不同布局。每個布局下自動放置目標(biāo)物然后通過程序化模板生成指令。指令生成有兩條路線一是模板嵌套。預(yù)定義大量句式骨架再在不改變語義的前提下替換地點詞、物體詞、狀態(tài)詞組合出幾百條指令。優(yōu)點是質(zhì)量可控缺點是容易產(chǎn)生模板味模型可能靠關(guān)鍵詞直接命中結(jié)果而沒有真正理解語義。二是大模型蒸餾。用通用大模型根據(jù)場景生成自然指令再讓標(biāo)注員進行一致性校驗。這個方案近年來效果很好尤其適合生成那些語法不完整但人類能懂的口語化指令比如那個門看下關(guān)了沒。這條路線明顯能拉近仿真數(shù)據(jù)與真實用戶表達(dá)方式之間的距離。我自己的實踐建議是混合兩條路線模板保證基礎(chǔ)覆蓋率大模型生成保證多樣性。兩者比例大概在6比4既穩(wěn)定又不套路。2.3 評測指標(biāo)成功率、路徑效率與語言忠實度評估指標(biāo)的設(shè)計直接決定模型會往哪個方向優(yōu)化。指標(biāo)里我見過最普遍也最容易誤用的是一個任務(wù)成功率。這里的成功判定本身就很微妙。指令是檢查門是否關(guān)閉無人機飛到門前懸停了三秒這算成功但它只是看到門框就算嗎如果門在紅外視角下是開著的可見光下看起來像關(guān)著怎么辦所以評估標(biāo)準(zhǔn)里必須寫清楚什么算完成什么算半完成什么算失敗我稱之為語言忠實度量表。更細(xì)化的三個指標(biāo)建議存檔任務(wù)成功率SR完整完成指令的比例。這里需要注意計算時是把未達(dá)到目標(biāo)區(qū)域但返回了報告算成成功還是只有到達(dá)了目標(biāo)位置并且給出正確狀態(tài)報告才算成功。路徑效率PE理想路徑長度與實際飛行長度之比。防止模型暴力搜索刷成功率飛遍全場總能找到目標(biāo)但實際沒有實戰(zhàn)價值。行為一致性BC執(zhí)行序列是否符合指令的隱含順序比如先檢查再返回不能變成先返回再檢查。高層任務(wù)的順序錯誤往往比位置偏差更致命。還有一個被很多基準(zhǔn)忽略的指標(biāo)是報告質(zhì)量。無人機執(zhí)行完任務(wù)后需要返回一條文本報告報告里包含的關(guān)鍵信息是否準(zhǔn)確、完整也應(yīng)該納入打分。否則就會出現(xiàn)模型路徑飛對了但最終輸出一份含糊報告過關(guān)的情況。3. 關(guān)鍵技術(shù)拆解VLA模型的三個關(guān)鍵環(huán)節(jié)3.1 視覺側(cè)如何從圖像序列中提取可量化的狀態(tài)表示視覺模塊在VLA系統(tǒng)里不是單純做目標(biāo)檢測。它需要提供一個持續(xù)更新的環(huán)境狀態(tài)因為高層任務(wù)往往持續(xù)幾十秒甚至幾分鐘場景隨無人機運動不斷變化。我常用的方案是把輸入幀拆成兩路。一路做高頻率的局部感知專門輸出物體類別、邊界框、語義分割圖頻率盡量高保證低層控制有足夠新鮮的反饋另一路做低頻的全局感知類似視覺Transformer把整張場景圖編碼成環(huán)境記憶向量供規(guī)劃器使用。兩路的輸出合并成結(jié)構(gòu)化的場景狀態(tài)表比如在坐標(biāo)(12.5, 8.3)有一扇門顏色灰色狀態(tài)未知。這一步最大的坑在于時間一致性。無人機運動時目標(biāo)物在畫面里會出現(xiàn)、消失、再出現(xiàn)如果視覺模塊把它們當(dāng)成不同物體規(guī)劃層會完全混亂。所以需要加入基于位置的特征追蹤機制確保多次出現(xiàn)的同一物體在狀態(tài)表里是同一行記錄。仿真環(huán)境里還會有一個隱性問題傳感器噪聲太小。真實無人機的視覺會受運動模糊、曝光不足、光線急劇變化影響仿真環(huán)境默認(rèn)不擅長模擬這些。如果基準(zhǔn)希望跨域泛化必須在數(shù)據(jù)生成時額外注入運動模糊和光照抖動否則模型仿真好、真機崩。3.2 語言側(cè)指令理解、步驟拆分與意圖澄清語言模塊負(fù)責(zé)把自然語言指令轉(zhuǎn)成結(jié)構(gòu)化任務(wù)描述。這一步過去靠規(guī)則槽位填充現(xiàn)在基本都是大語言模型LLM直接完成。你需要讓LLM輸出兩種東西一是任務(wù)語義表示把目標(biāo)、約束、時序說清楚二是動作序列規(guī)劃直接生成高層原語序列。例如檢查3號倉庫門是否關(guān)閉可以轉(zhuǎn)成移動至3號倉庫門口 - 懸停 - 多角度拍攝門區(qū)域 - 執(zhí)行關(guān)閉狀態(tài)分類 - 生成狀態(tài)報告 - 返航。做這一步時Prompt設(shè)計比想象中重要。我踩過的坑是直接要求LLM輸出動作序列它經(jīng)常會輸出一些模棱兩可的中間動作比如尋找門口這對下游控制器毫無意義。后來我改成要求JSON格式輸出并顯式聲明動作原語集合模型立刻穩(wěn)定很多。另外值得注意的一點是指令可能本身有歧義。檢查門是否關(guān)閉里的關(guān)閉可能是門的物理閉合也可能是設(shè)備系統(tǒng)意義上的關(guān)閉。所以語言模塊最好帶一個意圖澄清機制置信度低時可以在仿真環(huán)境中主動詢問或者先飛近目標(biāo)做進一步觀察再判斷。目前多數(shù)基準(zhǔn)沒有澄清機制但我認(rèn)為這是未來評估的一個重大加分項。3.3 動作側(cè)高層動作原語與底層飛行控制的銜接動作側(cè)是把規(guī)劃序列變成真實飛行動作的地方它處于一個尷尬的中間層太細(xì)了規(guī)劃器處理不了太粗了低層控制跟不上。我習(xí)慣把動作層分成兩個子層子層一原語解釋器。它接收高層原語如移動至12.5, 8.3, 2.0負(fù)責(zé)生成局部路徑。這里的路徑規(guī)劃需要考慮障礙物、禁飛區(qū)、飛行安全距離一般用采樣類規(guī)劃器加軌跡平滑處理。子層二底層穩(wěn)定控制器。負(fù)責(zé)把路徑點變成油門、俯仰、滾轉(zhuǎn)、偏航指令。仿真環(huán)境里這是現(xiàn)成的但真機上的PID參數(shù)往往需要重新調(diào)。這里有一個很容易被忽視的關(guān)鍵點原語之間的銜接。比如從一個懸停拍攝原語切換到移動原語如果控制器切換不順暢無人機會有明顯的抖動和掉高度影響視覺采集質(zhì)量。所以基準(zhǔn)里的控制器必須帶平滑過渡機制或者至少在評估時統(tǒng)計切換次數(shù)作為附加指標(biāo)否則性能差距可能是控制器造成的而不是模型造成的。我在實際調(diào)試中還發(fā)現(xiàn)動作層的輸出頻率對VLA整個系統(tǒng)影響極大。LLM規(guī)劃器的推理速度慢可能幾百毫秒才能出一個動作但低層控制需要20到50赫茲的指令。中間需要一個執(zhí)行緩存機制把上一個動作原語翻譯成一段可連續(xù)執(zhí)行的軌跡確保模型思考期間無人機不會懸停不動。4. 實驗中的坑與避坑清單4.1 常見問題語言歧義、感知誤導(dǎo)、任務(wù)級稀疏獎勵做基準(zhǔn)測試最常用的方式是訓(xùn)練一個VLA模型然后跑指標(biāo)。這里我總結(jié)了幾個反復(fù)出現(xiàn)的典型問題。第一個是語言捷徑。模型學(xué)會了不看視覺直接按指令模板猜答案。比如指令里出現(xiàn)檢查門就往上報告門已關(guān)閉因為訓(xùn)練數(shù)據(jù)里關(guān)閉更常見。這聽起來很蠢但在統(tǒng)計上確實經(jīng)常出現(xiàn)。解決辦法是在評測集里加入對抗樣本同一個指令配不同場景如果場景變了結(jié)果不變那基本可以判定模型在走捷徑?；鶞?zhǔn)設(shè)計時要用嚴(yán)格分割的想象場景子集來專門測這一點。第二個是感知誤導(dǎo)。仿真環(huán)境的物體材質(zhì)、紋理、光照太干凈模型把藍(lán)色門學(xué)成了藍(lán)色矩形區(qū)域一旦測試場景加入地面藍(lán)色標(biāo)牌就誤判門的位置。這個要通過域隨機化解決把顏色、紋理、陰影在訓(xùn)練時做大幅擾動。第三個是任務(wù)級稀疏獎勵。高層任務(wù)往往全程只有一個二值獎勵模型很難從零開始在幾十步長的任務(wù)里學(xué)到有效策略。這時需要把獎勵拆成子目標(biāo)獎勵比如前進一步到目標(biāo)區(qū)域給一點、畫面中出現(xiàn)目標(biāo)物給一點、完成狀態(tài)判斷給一點。拆的時候注意別讓模型鉆空子它會學(xué)到繞圈刷路徑獎勵所以有時還要加一個反重復(fù)獎勵。4.2 實操經(jīng)驗從離線數(shù)據(jù)到在線微調(diào)VLA模型的訓(xùn)練通常分兩步實際跑實驗時會發(fā)現(xiàn)遠(yuǎn)沒有論文里寫的順利。第一步是離線預(yù)訓(xùn)練。用大模型生成的指令-動作-圖像三元組做監(jiān)督學(xué)習(xí)讓模型學(xué)會看到什么應(yīng)該做什么。這個階段最怕的是數(shù)據(jù)分布差異太大比如訓(xùn)練集里沒有夜晚場景測試集全是夜晚模型直接撲街。解決方法是預(yù)訓(xùn)練數(shù)據(jù)里主動加一定比例的困難場景哪怕它們只占很小的比例。第二步是仿真環(huán)境中在線微調(diào)。讓模型自己行動拿結(jié)果反饋做強化學(xué)習(xí)或DAgger式模仿學(xué)習(xí)。在線階段注意力要放在長時程錯誤積累上——模型前半段一旦理解錯目標(biāo)后面全部白費。我的經(jīng)驗是先從短任務(wù)開始微調(diào)任務(wù)長度逐漸增加一步步拉長模型能穩(wěn)定處理的最大步數(shù)這個方法比直接端到端長任務(wù)靠譜得多。還有一個容易忽略的小細(xì)節(jié)校驗導(dǎo)航坐標(biāo)系的漂移。仿真環(huán)境下坐標(biāo)系理論上是統(tǒng)一的但多次復(fù)位后偶發(fā)的累積誤差會讓模型在長任務(wù)后段系統(tǒng)性偏航。做實驗前建議加一個短距離往返航向一致性檢查把這種漂移控制在千分之一以內(nèi)否則評估結(jié)果會有水分。4.3 評測一致性別讓隨機性毀掉AB對比做基準(zhǔn)最煩的事是同一個模型同一套配置跑了兩次結(jié)果差10個百分點。仿真環(huán)境里的物理噪聲、隨機種子、光照變化都會造成波動所以基準(zhǔn)評測需要一整套手段保證公平。我的做法是每輪評測必須固定隨機種子和場景初始條件至少重復(fù)跑5到10次取均值并報告標(biāo)準(zhǔn)差如果模型有隨機采樣模塊比如規(guī)劃時的隨機路徑推理時也要固定種子或者做溫度參數(shù)調(diào)零評測腳本和執(zhí)行環(huán)境使用容器封裝避免不同機器上物理仿真庫版本不同導(dǎo)致動力學(xué)結(jié)果不一致。有個更隱蔽的坑并行評估時的資源競爭。很多人在多卡上同時跑評測如果仿真器是CPU密集型的GPU推理和CPU物理仿真在同時搶資源動作響應(yīng)延遲會大幅波動。最后的結(jié)果不是模型能力差而是評測環(huán)境差。建議模擬器推理和場景運行進程分開隔離或者至少記錄每次動作的響應(yīng)延遲事后剔除異常值。5. 未來擴展從單機到多機、從仿真到真實5.1 多機協(xié)同的評估挑戰(zhàn)當(dāng)前主流基準(zhǔn)基本是單無人機視角但真實場景里最有價值的是多機協(xié)同。從東面繞到倉庫后門看看有沒有異常車輛——如果只有一架無人機它必須先離開當(dāng)前區(qū)域才能過去中間可能錯過其他區(qū)域的變化。如果有兩架無人機一架留在原地監(jiān)控另一架去后門任務(wù)完成度和信息完整性完全不同。多機協(xié)同帶來的評估問題很直接任務(wù)成功歸功于誰兩架飛機合作完成任務(wù)如果其中一架拉胯了但整體還是成功了性能曲線會很好看但這不代表每個單機都很強。未來基準(zhǔn)需要設(shè)計專門的協(xié)作效率指標(biāo)比如比較理想情況下需要幾架飛機完成任務(wù)和實際使用了多少架這個比值才能真正反映協(xié)同決策的水平。5.2 視覺-語言-動作之外的常識層現(xiàn)在VLA模型最大的短板不是感知不是動作而是常識。模型知道門是長方形的但不一定知道門外有積雪時門可能被凍住打開會有聲音。這類物理世界常識目前在數(shù)據(jù)集里幾乎沒有體現(xiàn)。面向真實落地基準(zhǔn)必須加入常識推理型任務(wù)。例如如果看到地面有大量水漬繞開那片區(qū)域飛行或者倉庫窗戶破損說明可能有安全問題拍照并報告。這類任務(wù)對模型的開放世界知識要求很高也更能區(qū)分出到底是在做檢索式AI還是推理式AI。這一塊還有一個隱含問題常識是有地域和時間性的。同一個場景在北方的冬天和南方的雨季常識判斷完全不同。所以測試集最好能標(biāo)注場景環(huán)境屬性讓模型表現(xiàn)出對環(huán)境條件有自適應(yīng)理解。5.3 真正能落地的評估框架應(yīng)該具備什么如果讓我給做這類基準(zhǔn)的人一個參考框架我會說三個要素穩(wěn)定性、可擴展性、真實性。穩(wěn)定性指評測協(xié)議能復(fù)現(xiàn)不能今天是這個成績明天是另一個成績可擴展性指新的任務(wù)族、新的傳感器模態(tài)紅外、毫米波能很方便地加入真實性指仿真到真實的遷移能力至少要做sim-to-real的初步驗證否則在仿真里刷到99%的成功率也沒有實際意義。很多基準(zhǔn)項目做到90分都會撐不住因為維護成本和拖動新場景的成本太高。我比較看好的是**仿真管線真實場景補測**的組合模式大部分評測在仿真環(huán)境里跑但預(yù)留10%左右的真機測試項用來檢驗?zāi)Ｐ褪欠癯霈F(xiàn)過擬合仿真特性。這個比例不需要多但必須有它決定了基準(zhǔn)的公信力。寫在最后的一點體會做這類基準(zhǔn)一段時間后我最大的體會是它比訓(xùn)練模型本身更能逼出問題。很多模型在自定義環(huán)境里看著很強搬到統(tǒng)一評測平臺上一跑逐項指標(biāo)一拆短板立刻現(xiàn)形。語言理解、視覺感知、動作執(zhí)行任何一個環(huán)節(jié)拉胯總分都會被拖下去。我也越來越傾向于先設(shè)計評估、再設(shè)計模型的開發(fā)路徑先想清楚要在什么維度上獲勝再來選架構(gòu)和數(shù)據(jù)而不是先訓(xùn)一個大模型再去想它能干什么。拿這個思路去設(shè)計VLA系統(tǒng)大概率能少走很多彎路。如果你也在做無人機VLA類項目建議先別急著上大模型花點時間把你的任務(wù)定義清楚、評估協(xié)議定下來這套基礎(chǔ)設(shè)施才是整個項目最值錢的部分。后續(xù)無論換模型、換數(shù)據(jù)還是換場景你都有一個穩(wěn)定參照系來支撐判斷。