這項由騰訊機器人X團隊、富田實驗室與騰訊混元團隊聯(lián)合發(fā)布的研究于2026年7月15日以預印本形式公開論文編號為arXiv:2607.14187。感興趣的讀者可以通過該編號在arXiv平臺查閱完整論文。**研究概要**教一個機器人完成任務遠比教一個孩子學騎自行車難得多。孩子看幾次示范就能理解要向前踏、要保持平衡而機器人往往需要被明確告知每一個步驟甚至需要提前想象自己完成任務之后周圍世界會變成什么樣子。這種既能規(guī)劃步驟、又能在腦海中預見結果的能力正是人類與目前大多數(shù)機器人之間最本質(zhì)的差距之一。騰訊這支聯(lián)合團隊提出了一個名為**Hy-Embodied-RxBrain**簡稱RxBrain的具身認知基礎模型目標是讓機器人在制定行動計劃時不僅能用語言描述第一步做什么、第二步做什么還能同時在腦海中生成每一步執(zhí)行完成后世界應該是什么樣子的畫面——就像一個有經(jīng)驗的廚師不僅知道菜譜上寫著先把洋蔥炒軟還能在動手之前就清晰地預見到鍋里金黃透明的洋蔥應該呈現(xiàn)出什么狀態(tài)。這項研究的核心突破在于它是業(yè)界首次將語言推理與視覺想象真正耦合在同一個規(guī)劃序列中的具身認知模型而非讓兩者分別工作后再拼合結果。---**一、為什么機器人既要說也要想**現(xiàn)有的機器人智能系統(tǒng)大致分成兩個陣營。一類是視覺語言模型它們擅長理解眼前的畫面、聽懂人類指令、分解任務步驟能用語言告訴機器人先拿起杯子再把杯子放到托盤上。這類模型的短板是它們描述計劃時完全停留在語言層面對于拿起杯子之后世界應該長什么樣缺乏明確的視覺預見就像一個從未下過廚房的人照著菜譜念步驟卻沒見過食物完成時應有的樣子。另一類是生成式世界模型它們善于預測動作執(zhí)行后的畫面能生成機器手臂伸過去抓住杯子后的視頻片段。但這類模型通常不擅長進行因果推理、理解約束條件或進行長程的邏輯規(guī)劃更像是一臺擅長渲染畫面的攝影機卻沒有導演的腳本意識。RxBrain的思路是讓語言和視覺像樂隊里的指揮和樂手一樣配合工作。語言負責告訴機器人整首曲子的結構——哪一段先演奏、哪里要停頓、整體節(jié)奏是什么視覺想象則負責把每一段旋律奏出來讓抽象的樂譜變成實實在在的聲音。在RxBrain的規(guī)劃序列中語言描述行動步驟、約束條件和決策邏輯而視覺想象則為每一個步驟生成對應的世界狀態(tài)圖——執(zhí)行完這步之后眼前的場景應該是什么樣子。兩者互為補充缺一不可。---**二、RxBrain的大腦結構是怎么搭建的**RxBrain建立在一種叫做**混合變換器架構**Mixture-of-Transformers簡稱MoT的技術框架上。普通讀者可以把這個架構理解為一座分工明確的大型辦公樓樓里有專門處理文字的部門、專門理解圖片的部門、專門生成圖片的部門但這三個部門共享同一套會議室——也就是說不同部門之間可以充分交流信息但各自的專業(yè)工作又不會相互干擾。具體來說RxBrain包含三類主要工作單元。語言變換器負責處理所有文字包括理解人類指令和生成規(guī)劃步驟的文字描述視覺變換器負責理解輸入的圖像和視頻理解和生成的視覺內(nèi)容共享同一套注意力機制可以理解為它們看同一套信息但用不同的方式處理同時各自有獨立的前饋網(wǎng)絡相當于各自的專屬處理流水線此外還有一個專門負責視覺生成的模塊它的處理容量特意做得更大——中間層寬度從6144擴展到12288——因為憑空生成一張有意義的畫面比理解一張已有的畫面更具挑戰(zhàn)性。整個模型共有62億個參數(shù)其中語言理解和視覺理解各約15億視覺生成模塊約24億其余分布在共享模塊和外圍組件中。視覺內(nèi)容的生成采用了來自FLUX模型的凍結VAE變分自動編碼器作為圖像的編碼和解碼工具可以理解為一個專業(yè)的圖像壓縮與還原機器負責在模型內(nèi)部表示和最終輸出圖像之間架橋。為了讓模型在生成規(guī)劃序列時既能保持因果邏輯先發(fā)生的影響后發(fā)生的又能讓同一張圖片內(nèi)部的信息充分交流RxBrain設計了一套混合注意力機制處理文字時用因果注意力只看之前的內(nèi)容處理圖片時在每張圖片內(nèi)部用雙向注意力圖片內(nèi)所有位置互相參考跨圖片之間仍保持因果順序。這就像一本故事書同一頁內(nèi)的插圖細節(jié)可以互相對照但后面的頁面不能劇透前面的內(nèi)容。---**三、RxBrain如何生成文字畫面交織的計劃**RxBrain支持三種輸出模式對應具身任務中的不同需求。第一種是純文字生成模式用于回答關于當前場景的問題或輸出語言形式的規(guī)劃步驟。機器人看到眼前的場景后通過標準的逐詞生成方式輸出文字答案或行動指令。第二種是多幀視頻預測模式用于預測執(zhí)行某個動作后接下來四幀畫面會是什么樣子。這四幀畫面并行生成而非一幀一幀串行大幅提升效率同時幀間保持因果順序也就是越后面的幀可以參考越早的幀但不能看到未來。這就像同時制作四格漫畫的四個格子每個格子的畫師都能看到前面格子已經(jīng)畫好的內(nèi)容但不能偷看后面格子。第三種是交錯生成模式這也是RxBrain最核心的能力所在。在這種模式下模型輸出的是一個語言與圖像交替出現(xiàn)的完整規(guī)劃序列先生成第一步的文字描述再生成對應的目標狀態(tài)圖像然后把這張生成的圖像重新看一遍作為上下文輸入再生成第二步的文字再生成第二步的畫面……如此循環(huán)直到任務完成。關鍵的設計細節(jié)在于在訓練時模型看到的上一步生成的圖像不是直接拿來的原圖而是經(jīng)過了生成→解碼→重新編碼這一完整流程處理過的圖像。這么做是為了讓訓練時和真正推理時的體驗盡量一致——因為在實際使用時上一步的圖像確實是模型自己生成的而不是來自真實世界的照片。這個細節(jié)減少了訓練和推理之間的期望差距讓交錯生成的質(zhì)量更加穩(wěn)定。---**四、用五萬小時視頻訓練出計劃感**要讓RxBrain學會這種語言加視覺的聯(lián)合規(guī)劃能力需要大量帶有每一步動作配對對應狀態(tài)變化畫面的訓練數(shù)據(jù)。然而現(xiàn)有的數(shù)據(jù)集幾乎沒有這種格式——大多數(shù)機器人數(shù)據(jù)只有動作指令或只有連續(xù)視頻沒有把兩者精確對齊起來。為此研究團隊設計了一套全自動的數(shù)據(jù)構建流水線把原始具身任務視頻轉(zhuǎn)化為文字畫面配對的聯(lián)合規(guī)劃訓練樣本。原始視頻數(shù)據(jù)來自四大類來源真實機器人操作數(shù)據(jù)約17292小時、UMI手持夾持器采集數(shù)據(jù)約17506小時、仿真環(huán)境數(shù)據(jù)約1317小時、以及第一人稱人類日常操作視頻約14062小時?？傆嫵^5萬小時包含約2150萬個可用片段通過約2861萬個候選片段篩選而來通過率約75%。這條流水線分三個階段。第一階段是時序片段標注系統(tǒng)先對視頻進行關鍵幀采樣——不是均勻采樣而是優(yōu)先選取畫面變化最明顯的時刻就像一本菜譜只需要在每道工序最關鍵的時刻拍一張照片而不是每秒都拍。采樣完成后用一個多模態(tài)大語言模型對視頻進行整體理解提出候選動作步驟列表每個步驟包含一個簡短名稱、詳細描述以及在關鍵幀序列中對應的粗略起止位置。隨后系統(tǒng)在粗略范圍附近密集采樣用模型精確定位每個步驟的真實開始幀和結束幀。第二階段是質(zhì)量驗證對每一個標注出來的片段系統(tǒng)自動檢查它是否符合高質(zhì)量訓練樣本的標準。檢查項涵蓋三大類語義質(zhì)量這個片段是否只包含一個清晰的原子動作操作目標是否清晰可見畫面是否有水印遮擋文字描述是否準確匹配畫面動作是否真實發(fā)生兩幀錨點是否都可讀、視覺接地性手或夾持器是否可見機器手臂是否可見目標物體是否有意外消失、以及一致性兩幀是否在同一場景相機視角是否穩(wěn)定畫面朝向是否正常描述與視覺變化是否一致手的變化是否在文字中有所體現(xiàn)。如果畫面變化有效但文字描述有誤系統(tǒng)會自動修正文字而不是直接丟棄這個片段。最終約75%的候選片段通過了質(zhì)量驗證。第三階段是片段結構化把通過質(zhì)量驗證的片段組織成四個層級的訓練任務。最基礎的L0層是單步預測輸入一步的起始畫面和動作描述預測這步結束時的畫面L1層是步驟級聯(lián)合規(guī)劃給定視覺上下文和目標條件模型輸出一系列步驟文字及其對應的結束畫面L2層是子目標規(guī)劃把若干步驟合并為更高層次的子目標每個子目標配有邊界畫面L3層是最終狀態(tài)想象只給初始畫面和任務描述讓模型直接預測整個任務完成時的最終畫面。這四個層級從局部到全局讓模型學會在不同粒度上進行聯(lián)合規(guī)劃。---**五、分兩階段訓練先打基礎再專攻具身**RxBrain的訓練采用兩階段課程式策略可以類比為先上通識課、再上專業(yè)課。第一階段是聯(lián)合視覺語言預訓練訓練數(shù)據(jù)由兩大部分混合而成60%是大規(guī)模圖文對來自LAION和COYO數(shù)據(jù)集共約2億條40%是多模態(tài)指令跟隨數(shù)據(jù)來自LLaVA-OneVision和MAmmoTH共約1.13億條。這一階段的核心目標是讓模型同時學會理解圖像和生成圖像在一個共享的表示空間中把語言、視覺感知和視覺生成統(tǒng)一起來同時保留大語言模型原有的語言能力。圖像生成目標損失權重設置相對更高λ1.0語言生成權重相對較低λ0.25這是因為視覺生成能力需要從頭建立而語言能力已有良好基礎。第二階段是具身監(jiān)督微調(diào)從第一階段的檢查點繼續(xù)訓練訓練數(shù)據(jù)混合了六類內(nèi)容總計約422份的混合比例一般圖文對T2I基礎數(shù)據(jù)和高質(zhì)量圖文對合計約25.9%、通用多模態(tài)理解數(shù)據(jù)34.6%、具身多幀世界模型數(shù)據(jù)16.2%、具身交錯規(guī)劃數(shù)據(jù)20.8%。這一階段兩類損失權重相等均為1.0讓語言推理和視覺生成在具身任務上協(xié)同提升。訓練時使用了最高368塊GPU即46個8卡節(jié)點全局批量大小7360第二階段使用312塊GPU39個節(jié)點全局批量3120。兩階段均使用AdamW優(yōu)化器、余弦學習率調(diào)度和bf16精度圖像生成分辨率上限256像素通過16倍下采樣的VAE進行潛變量操作。---**六、RxBrain-Bench專門評測聯(lián)合規(guī)劃能力的新基準**為了衡量模型是否真正掌握了語言視覺聯(lián)合規(guī)劃的能力研究團隊專門構建了一個新的評測基準**RxBrain-Bench**。這個基準分三個評測賽道。第一個賽道叫具身視覺問答EVQA評測模型能否從視覺觀察中理解具身場景并作出任務相關的決策。題目來自工業(yè)、零售和服務等真實商業(yè)場景涵蓋高層規(guī)劃把任務分解為可執(zhí)行步驟、模擬推進規(guī)劃在多輪交互中根據(jù)中間狀態(tài)更新后續(xù)決策、細粒度步驟推理抓取點、運動軌跡、動作選擇、時序判斷、多視角觀察、錯誤恢復識別異常狀態(tài)并選擇正確應對方式、以及任務完成判斷判斷當前狀態(tài)是否滿足目標。共1123道多選題加258道模擬規(guī)劃題總計1381個評測項目。第二個賽道叫世界狀態(tài)預測WorldPred評測模型在給定當前觀察和自然語言動作指令后能否生成描述動作結果的短時序畫面4幀。評測標準包含五個維度觀察連續(xù)性生成的第一幀是否自然延續(xù)當前觀察、動作正確性生成的幀序列是否執(zhí)行了正確的動作、目標完成度最終幀是否達到了任務暗示的目標狀態(tài)、時序物理合理性幀間運動是否流暢且物理上合理、以及與真實軌跡的匹配度最終加權得分為這五項的線性組合。第三個賽道叫聯(lián)合規(guī)劃JointPlan也是RxBrain-Bench最核心的部分評測模型能否在完全自回歸的閉環(huán)推演中進行語言加視覺的聯(lián)合規(guī)劃。模型在每一步都必須輸出自然語言子步驟描述和對應的目標畫面然后以自己生成的畫面作為下一步的輸入繼續(xù)規(guī)劃直到任務完成。評測標準包含六個維度觀察理解、子任務規(guī)劃、目標圖像正確性、子任務與目標的一致性、完整鏈條的完成度、以及圖像相似度用DINO特征的余弦相似度衡量生成畫面與真實目標畫面的接近程度加權得分覆蓋這六個方面。---**七、評測結果在多個維度上表現(xiàn)出色**在通用圖像生成能力方面RxBrain在GenEval基準上獲得82.4分與專門針對圖像生成優(yōu)化的BAGEL模型82分基本持平明顯高于同樣具備生成能力的Cosmos-3-Nano模型71.68分。這說明RxBrain在擴展到具身任務的同時并沒有犧牲其通用圖像生成能力。在具身與空間理解方面RxBrain在多個公開基準上處于前列。在CV-Bench上以88.59分排名第一在EmbSpatial上以82.3分緊追Cosmos-3-Nano82.1分的第二位在DA-2k深度感知理解上以83.4分排名第一。特別在多視角和三維理解領域RxBrain的優(yōu)勢最為突出在3DRSBench上以54.1分排名第一在MMSI-Bench多圖空間智能上以35.8分領先在MindCube空間心理建模上以47.5分名列前茅在SITE-Bench圖像空間理解上以54.9分居首。在機器人軌跡預測上Share-Robot-TrajectoryRxBrain以51.13分排名第一比此前最佳模型Cosmos-3-Nano的39.02分高出約12個百分點。在RoboSpatial-Home配置理解上以86.28分排名第一。不過在需要精確指點定位Pointing和機器人抓取位置預測Share-Robot-Affordance方面專門針對空間指向優(yōu)化的RoboBrain2.5模型仍然更強。在RxBrain-Bench-EVQA的自建評測中RxBrain綜合得分為72.7分低于Qwen3.5-4B的78.1分和Cosmos-3-Nano的76.7分但在成功檢測Success Detection85.1分和模擬規(guī)劃Simulation Planning51.6分兩個維度上表現(xiàn)最佳說明模型在判斷任務是否完成以及在多輪模擬中更新決策方面有獨特優(yōu)勢。主要差距集中在精細空間定位、軌跡與時序推理以及錯誤恢復方面。在世界狀態(tài)預測WorldPred評測中RxBrain以0.62的綜合得分超越Cosmos-3-Nano0.591和Wan2.2-TI2V-5B0.429。觀察連續(xù)性得分0.67和動作正確性得分0.65是最強項時序物理合理性0.53是最弱項說明生成畫面的物理連貫性仍有提升空間。在不同子數(shù)據(jù)集上的表現(xiàn)從UMI的0.73到arctic的0.35不等兩幀條件輸入的整體效果最佳。值得關注的是RxBrain雖然并非專門的視頻生成模型卻超過了專為具身世界建模設計且在大量視頻數(shù)據(jù)上預訓練的Cosmos-3-Nano體現(xiàn)了統(tǒng)一模型架構的優(yōu)勢。在聯(lián)合規(guī)劃JointPlan評測中RxBrain以0.68的綜合得分大幅領先所有基線Cosmos-3-Nano智能體得分0.521統(tǒng)一多模態(tài)模型BAGEL-7B-MoT得分0.503模塊化的Qwen-Agent得分0.431。具體來看觀察理解得分0.83和子任務規(guī)劃得分0.78是最強項目標圖像正確性0.52是最弱項再次印證了語言推理能力強于視覺想象能力的規(guī)律。在不同規(guī)劃深度上兩步規(guī)劃得分0.69八步規(guī)劃得分降至0.55體現(xiàn)了長程推演中誤差累積的挑戰(zhàn)。RxBrain在子任務規(guī)劃和鏈條完成度上的領先優(yōu)勢最大說明它在保持整體計劃一致性方面具有明顯優(yōu)勢。---**八、從大腦到手臂擴展到真實機器人動作生成**RxBrain不只是一個能規(guī)劃的大腦研究團隊還把它擴展成能控制機器人手臂實際運動的系統(tǒng)。擴展的方式是在原有的MoT架構基礎上新增一個動作專屬分支包含獨立的注意力投影層、前饋網(wǎng)絡和層歸一化但仍與語言、視覺和狀態(tài)的全局注意力共享信息交流。這個動作分支的初始參數(shù)復制自視覺理解分支相當于讓它從理解畫面的能力出發(fā)重新學習如何把理解轉(zhuǎn)化為動作。一個特別設計的門控專家融合機制讓動作分支能夠借用視覺生成分支中已經(jīng)學到的預測性和規(guī)劃性知識。具體來說動作模塊的前饋網(wǎng)絡輸出等于動作專屬前饋網(wǎng)絡的結果加上一個可學習的通道門控權重乘以視覺生成前饋網(wǎng)絡的結果。這個門控權重初始為零意味著訓練開始時動作模塊完全依靠自身隨著訓練推進門控權重逐漸學習到哪些視覺生成知識對動作預測有幫助并選擇性地引入。這種設計讓動作模塊不需要從零開始學習規(guī)劃性知識而是站在視覺生成模塊已有積累的肩膀上。動作的表示方式是對于雙臂機器人每個機械手臂的末端執(zhí)行器狀態(tài)包含三維位置、四元數(shù)姿態(tài)和夾持器開合量共16維。本體感知狀態(tài)通過輕量級編碼器映射為單一狀態(tài)令牌未來H步的動作塊通過流匹配Flow Matching在歸一化動作空間中生成訓練目標是讓模型預測的速度場在去噪過程中準確指向真實動作方向。在真實機器人實驗中研究團隊選取了三個多階段家務操作任務進行評測每個任務各進行100次真機試驗。在擺設餐桌任務中需要從架子上取出盤子、叉子和刀并按正確位置擺放RxBrain成功率97%超過π0的82%和π0.5的90%。在折疊收納眼鏡任務中需要折疊眼鏡腿并放入眼鏡盒RxBrain成功率95%超過π0的76%和π0.5的82%。在撿拾垃圾任務中需要先開垃圾桶蓋再將廢紙放入RxBrain成功率68%超過π0的46%但略低于π0.5的74%。三個任務的平均成功率為87%π0為68%π0.5為82%。需要特別指出的是這些結果是在沒有大規(guī)模動作數(shù)據(jù)預訓練的情況下取得的說明具身規(guī)劃預訓練產(chǎn)生的世界知識確實能夠遷移到真實動作控制中。---**九、讓推理速度跟上機器人的手速**在實驗室里表現(xiàn)優(yōu)秀的模型在真正控制機器人時還面臨一個重要挑戰(zhàn)速度。如果模型每次預測動作都需要很長時間機器人就會動得磕磕絆絆就像一個總是猶豫半天才邁腿的人走路一樣。研究團隊對實時部署進行了專項加速優(yōu)化并堅守一個底線所有優(yōu)化必須在數(shù)值上等價于原始模型也就是說機器人的軌跡不能因為加速而發(fā)生任何可測量的變化。原始模型每幀推理需要210毫秒主要瓶頸出乎意料地不是矩陣乘法而是混合變換器架構中的模態(tài)分發(fā)邏輯每一層都要重新計算哪些令牌屬于語言、哪些屬于視覺、哪些屬于動作這個操作在一次前向傳播中觸發(fā)了約1091次nonzero調(diào)用累計占據(jù)174毫秒CPU時間再加上索引操作的48毫秒和拷貝操作的21毫秒。針對這個瓶頸研究團隊實施了三項優(yōu)化預計算前綴鍵值緩存觀察幀和指令文字的上下文在動作流匹配的多步去噪過程中是固定不變的可以只計算一次并復用僅對動作令牌進行快速解碼有了緩存之后每步去噪只需要處理16個動作令牌而非989個前綴令牌加16個動作令牌去同步化模態(tài)分發(fā)加CUDA圖捕獲把每層的令牌路由索引預計算好用gather和scatter替換布爾索引消除GPU與CPU之間的反復同步最后用CUDA圖固定整個解碼步驟以消除內(nèi)核啟動開銷。三項優(yōu)化組合后推理延遲從210毫秒降至143毫秒提速約1.47倍同時位置誤差小于0.65毫米、姿態(tài)誤差小于0.73度完全處于bf16精度的舍入誤差范圍內(nèi)。---**研究的局限與未來方向**研究團隊坦誠地指出了RxBrain目前存在的三個主要局限。第一模型規(guī)模相對較小62億參數(shù)可能限制了它處理高度復雜推理、精細視覺想象和長程規(guī)劃的能力擴大模型和數(shù)據(jù)規(guī)模是顯然的改進方向。第二雖然RxBrain能跨多種具身場景泛化但對于完全陌生的環(huán)境、機器人形態(tài)或任務領域仍然需要額外的微調(diào)才能達到理想性能。第三交錯生成涉及兩種不同的生成范式文字的自回歸生成和圖像的流匹配生成訓練和推理之間仍然存在一些差異盡管通過VAE重建傳遞的視覺狀態(tài)構建策略已經(jīng)有所緩解但尚未引入強化學習或其他序列級優(yōu)化方法來進一步對齊兩種模態(tài)的生成過程。未來團隊計劃向兩個方向發(fā)力一是擴大模型規(guī)模預期更大的模型將在聯(lián)合規(guī)劃的連貫性、世界狀態(tài)預測的準確性和整體規(guī)劃能力上帶來系統(tǒng)性提升二是增強自主性讓模型更好地分解開放性任務、監(jiān)控執(zhí)行進度、修正規(guī)劃并以更自主的方式與環(huán)境交互。---說到底RxBrain這項工作的意義在于它清晰地回答了一個問題一個能真正勝任復雜任務的機器人大腦需要的不僅僅是會說第一步做什么也需要能在腦海中看見每一步完成后世界應該是什么樣子這兩種能力必須緊密耦合而不是各自為政。RxBrain給出了一套初步但系統(tǒng)的實現(xiàn)方案——從模型架構、數(shù)據(jù)構建、訓練策略到評測體系——為具身認知基礎模型的研究開辟了一條有價值的路徑。對這項研究感興趣的讀者可以通過arXiv編號2607.14187找到完整論文也可以在Hugging Face上查找Tencent/Hy-Embodied-RxBrain-1.0獲取模型在GitHub上查找Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0獲取代碼。---**QA**Q1RxBrain和普通機器人規(guī)劃模型有什么區(qū)別A普通機器人規(guī)劃模型要么只用語言描述步驟要么只生成畫面兩者分開工作。RxBrain的特點是把語言步驟規(guī)劃和視覺狀態(tài)想象放在同一個序列里同時完成——每說出一個動作步驟就同時生成那步執(zhí)行后世界應該是什么樣子的畫面兩者互相驗證、互相依賴。Q2RxBrain真實機器人測試的成功率是多少A在三個家務操作任務上RxBrain平均成功率為87%擺設餐桌97%折疊收納眼鏡95%撿拾垃圾68%。對比基線π0平均68%和π0.5平均82%RxBrain整體更優(yōu)且是在沒有大規(guī)模動作數(shù)據(jù)預訓練的條件下取得的。Q3RxBrain的訓練數(shù)據(jù)有多大規(guī)模A研究團隊從真實機器人操作、手持夾持器采集、仿真環(huán)境和人類第一視角視頻四類來源收集了超過5萬小時的具身任務視頻通過自動化流水線篩選出約2150萬個高質(zhì)量訓練片段通過率約75%。