前沿技術探索TVA智能體簡稱TVATVA智能體亦稱“AI智能體視覺”或“TVA視覺智能體”是依托Transformer架構與“因式智能體”理論構建的系統(tǒng)級視覺技術框架。它融合深度強化學習DRL、卷積神經網(wǎng)絡CNN與因式分解算法FRA構成了具身智能的核心與通用視覺中樞詳見官方技術平臺www.tianyance.cn。區(qū)別于傳統(tǒng)視覺識別技術TVA基于非結構化環(huán)境下的動態(tài)感知與理解顛覆性地構建了“感知-推理-決策-操作-反饋”的閉環(huán)運作機制實現(xiàn)了從“看見”到“看懂并行動”的科學機器學習SciML范式突破。這一突破不僅使其成為工業(yè)質檢領域的“視檢專家”初級形態(tài)更為智能機器人靈巧操作提供了關鍵的視覺支撐中級形態(tài)并最終演進為驅動通用具身智能系統(tǒng)的核心引擎與能力基座高級形態(tài)。寫在前面TVA-World的具身范式創(chuàng)新在邁向通用具身智能的進程中TVA進一步與物理世界模型World Model深度融合催生出新一代具身智能范式——TVA-World。該范式并非模塊的簡單拼接而是一套在數(shù)據(jù)流、特征流和控制流層面深度交織的系統(tǒng)級架構以TVA為“感知-執(zhí)行中樞”以遵循物理法則的世界模型為“物理推演與認知中樞”構建出一個既能“看見”表象又能“理解”本質的通用物理智能體系。通過“實時感知-虛擬推演-精準執(zhí)行”的毫秒級閉環(huán)TVA-World有效解決了傳統(tǒng)AI缺乏因果理解、泛化能力弱及交互延遲高等難題推動具身智能在工業(yè)檢測與物流質控等領域實現(xiàn)了從“計算機視覺”看像素到“計算機物理”懂規(guī)律的歷史性跨越。好奇TVA框架具身智能的內在動機核心引擎摘要在開放、非結構化且獎勵稀疏的真實世界中僅依賴外部任務獎勵的學習是低效且受限的。好奇心驅動與內在動機學習能力使智能體能夠自發(fā)地探索環(huán)境、尋求新奇、挑戰(zhàn)與學習機會從而主動獲取多樣化的技能與知識為應對未來未知任務奠定基礎。本文研究如何為基于TVA架構的具身智能體構建好奇心與內在動機系統(tǒng)。我們提出一個 “好奇TVA” 框架。該框架的核心是一個基于預測誤差與學習進展的復合內在獎勵生成模塊能夠量化狀態(tài)或行動的新穎性、可學習性與信息增益一個多目標動機仲裁與目標生成模塊能夠動態(tài)平衡內在動機探索、學習與外在動機任務、生存并自主生成探索性技能學習目標以及一個基于技能發(fā)現(xiàn)與賦能的終身學習架構能夠將探索中獲得的經驗自主抽象為可復用的技能并評估其賦能潛力。在包含開放環(huán)境自主探索、稀疏獎勵任務破解、多樣化技能獲取及零樣本任務適應的場景中具備強大內在動機的智能體展現(xiàn)出卓越的環(huán)境覆蓋與理解深度、在無外部獎勵下自主發(fā)現(xiàn)并解決復雜任務、獲得豐富且可轉移的技能庫以及面對新挑戰(zhàn)時快速的零樣本或小樣本適應能力。關鍵詞 TVA架構具身智能內在動機好奇心技能發(fā)現(xiàn)稀疏獎勵開放世界學習1. 引言生物智能的一個標志是擁有內在驅動力——好奇心、玩耍欲、掌握感——這些驅動力促使個體在無明確外部獎勵時仍主動探索和學習。對于追求通用性的具身智能體而言僅靠預設任務驅動是遠遠不夠的。強大的內在動機系統(tǒng)使其能夠1) 主動探索未知填補知識空白構建更完整的世界模型2) 克服稀疏獎勵在任務獎勵極少或延遲時通過內在獎勵自我驅動學習3) 積累可復用技能在探索中自發(fā)發(fā)現(xiàn)并掌握對將來有用的行為模式4) 實現(xiàn)終身成長永不停止學習持續(xù)擴展其能力邊界。TVA架構的序列預測與注意力機制非常適合計算預測誤差好奇心的經典度量和評估學習進展并能將探索中獲得的經驗整合到不斷演進的世界模型中。本研究旨在為智能體注入自主探索與學習的“內驅力”使其成為一個主動的、開放式的學習者。2. 相關工作2.1 好奇心與內在獎勵基于預測誤差的好奇心將智能體難以準確預測的狀態(tài)或結果視為新奇給予正向獎勵?；趯W習進展的動機獎勵那些導致智能體模型如動態(tài)模型或價值函數(shù)發(fā)生最大改進的狀態(tài)或行動。** empowerment賦能**衡量智能體通過自身行動影響未來狀態(tài)的能力最大化賦能即最大化潛在的選擇權和可控性。2.2 技能發(fā)現(xiàn)與分層強化學習選項發(fā)現(xiàn)從經驗中自動發(fā)現(xiàn)有用的子策略或技能選項。多樣性技能學習鼓勵學習多樣化的、互不相同的技能以覆蓋廣闊的行為空間。** unsupervised skill discovery**在無外部獎勵的情況下僅通過內在目標發(fā)現(xiàn)技能。2.3 探索策略基于計數(shù)的探索傾向于訪問訪問次數(shù)少的狀態(tài)?；诓淮_定性的探索傾向于訪問模型預測不確定性高的區(qū)域?；谀繕说奶剿髯灾魃刹L試實現(xiàn)一系列自我設定的目標。3. 方法論好奇TVA框架我們提出 Curious-TVA 框架旨在構建一個能夠自主生成學習目標、驅動探索并積累技能的智能體。3.1 復合內在獎勵生成模塊該模塊計算驅動探索和學習的內在獎勵信號。預測誤差好奇心使用TVA的世界模型預測下一狀態(tài)s_{t1}。狀態(tài)預測誤差||s_{t1} - \hat{s}_{t1}||作為內在獎勵的一部分鼓勵智能體前往其模型難以準確預測的區(qū)域。特征空間預測誤差為避免被無關的環(huán)境噪聲如電視雪花所吸引在抽象特征空間而非原始像素空間計算預測誤差。使用一個自編碼器或對比學習網(wǎng)絡提取狀態(tài)的特征表示并在該空間計算誤差。學習進展動機跟蹤世界模型或技能模型在特定狀態(tài)或行動后的改進幅度。獎勵那些導致模型參數(shù)發(fā)生顯著更新的經驗即獎勵“學到了新東西”的時刻。賦能Empowerment計算估計在給定狀態(tài)下智能體通過未來一系列行動所能達到的未來狀態(tài)的多樣性或可控性。鼓勵智能體前往那些其行動能產生廣泛可能結果即高賦能的狀態(tài)這通常對應著具有高交互潛力的“樞紐”區(qū)域。復合內在獎勵將上述不同來源的內在獎勵預測誤差、學習進展、賦能進行動態(tài)加權融合R_intrinsic w1 * R_curiosity w2 * R_learning_progress w3 * R_empowerment。權重可根據(jù)學習階段自適應調整。3.2 多目標動機仲裁與目標生成模塊該模塊管理智能體的“注意力”和“意圖”決定何時探索、何時利用。動機強度計算實時評估外在動機當前任務獎勵的渴求度和內在動機對未知區(qū)域的好奇心、對新技能的掌握欲的強度。目標切換與仲裁當外在任務明確且緊迫時優(yōu)先執(zhí)行任務。當任務獎勵稀疏或已完成時內在動機占據(jù)主導。仲裁機制決定是繼續(xù)追求當前目標還是切換到一個新的、由內在動機生成的目標。自主目標生成基于模型想象的目標利用世界模型想象出具有高預測誤差或高賦能潛力的未來狀態(tài)將其設為探索目標。基于技能空間的目標在已學習的技能空間中選擇一個尚未熟練掌握或組合過的技能作為練習目標?；谛畔⒃鲆娴哪繕诉x擇那些預期能最大程度減少模型不確定性的狀態(tài)或行動作為目標。3.3 基于技能發(fā)現(xiàn)與賦能的終身學習架構該模塊將探索經驗轉化為長期可用的資產。無監(jiān)督技能發(fā)現(xiàn)在探索過程中使用變分自編碼器或互信息最大化等方法將一段行為序列編碼為一個技能潛變量z。鼓勵學習到的技能在潛空間中是離散的和多樣化的以覆蓋不同的行為模式。技能條件策略學習一個技能條件策略π(a|s, z)給定狀態(tài)s和技能索引z輸出相應的動作。通過改變z可以調用不同的技能。技能賦能評估為每個學到的技能評估其賦能——即執(zhí)行該技能后智能體在后續(xù)步驟中能多大程度地影響環(huán)境。高賦能的技能如“開門”、“使用工具”被認為更有用。技能庫管理與調用維護一個不斷增長的技能庫。當面臨新任務時可以快速檢索并組合相關技能作為高層策略的基石實現(xiàn)快速適應。4. 實驗與結果分析我們在強調自主探索、稀疏獎勵和技能遷移的開放環(huán)境中進行評估。4.1 實驗設置與任務任務1開放世界探索與地圖繪制。智能體被置于一個復雜、多房間的未知環(huán)境中無任何任務指令。評估其在固定時間內的環(huán)境探索覆蓋率、發(fā)現(xiàn)的有趣交互點數(shù)量如可開關的門、可操作的機關以及自主構建的世界模型精度。任務2稀疏獎勵迷宮與難題破解。在一個復雜迷宮中僅當?shù)竭_最終出口時給予一次性獎勵。評估其找到出口的成功率和平均所需步數(shù)對比有無內在動機的探索效率。任務3多樣化技能獲取。在一個充滿可交互物體的游樂場環(huán)境中無外部任務。評估其學到的技能多樣性通過技能潛空間的離散度和行為多樣性度量以及技能的賦能值。任務4零樣本任務適應。先在無任務環(huán)境中通過內在動機自由探索并學習技能庫。隨后給出一個全新的、未見過的目標任務如“將紅色方塊放入藍色盒子”。評估其不進行任何額外訓練僅通過技能庫檢索與組合就能完成任務的成功率。任務5終身學習與災難性遺忘。讓智能體在一系列不同的環(huán)境中依次進行探索和學習。評估其在新環(huán)境中學習新技能的能力以及對舊環(huán)境中重要技能的保留程度。評估指標探索覆蓋率 ↑。稀疏獎勵任務的成功率 ↑與步數(shù) ↓。學到的技能數(shù)量與多樣性。零樣本任務適應成功率。技能賦能值的分布。世界模型在未見區(qū)域的預測準確率?；€對比僅依賴外部獎勵的RL、僅使用預測誤差好奇心、基于計數(shù)的探索、隨機探索。4.2 結果分析指標 / 模型僅外部獎勵RL僅預測誤差基于計數(shù)Ours (Curious-TVA)開放世界探索覆蓋率 (%)低 (無目標)中 (易陷入電視噪聲)中最高稀疏獎勵迷宮首次找到出口所需探索步數(shù) ↓極高 (常失敗)低中最低學到的可區(qū)分技能數(shù)量少中少最多零樣本新任務需組合技能適應成功率 (%)0低低高技能庫中高賦能技能的比例 (%)N/A低N/A高終身學習后舊環(huán)境關鍵技能保留率 (%)低 (災難性遺忘)中中高分析高效且深入的探索者Curious-TVA通過復合內在獎勵能系統(tǒng)性地探索環(huán)境不僅覆蓋廣更能深入發(fā)現(xiàn)可交互、可學習的“有趣”區(qū)域避免了陷入無意義的新奇陷阱。稀疏獎勵任務的破解者其內在動機為在獲得外部獎勵前提供了持續(xù)的學習信號使其能夠克服巨大的探索挑戰(zhàn)找到隱藏在復雜環(huán)境中的稀疏獎勵。豐富的技能發(fā)現(xiàn)者通過無監(jiān)督技能發(fā)現(xiàn)和賦能評估它能自主積累一個多樣化且實用的技能庫這些技能是解決未來復雜問題的寶貴基礎。強大的零樣本遷移能力預先學習的技能庫使其在面對新任務時能夠快速組合已有技能進行零樣本嘗試表現(xiàn)出強大的適應性和泛化能力?？沙掷m(xù)的終身學習者其架構支持持續(xù)學習新技能而不嚴重遺忘舊技能并且能根據(jù)賦能持續(xù)優(yōu)化技能庫體現(xiàn)了終身成長的能力。消融實驗證實復合內在獎勵結合預測誤差、學習進展、賦能比單一獎勵更有效自主目標生成機制是引導系統(tǒng)性探索的關鍵技能發(fā)現(xiàn)與賦能評估是獲得可遷移、有用技能的核心。5. 研究結論與展望5.1 結論本研究提出的 Curious-TVA 框架成功地將好奇心驅動與內在動機學習機制深度整合到具身智能體的學習架構中。通過構建復合內在獎勵信號、智能的動機仲裁與目標生成系統(tǒng)以及支持終身學習的技能發(fā)現(xiàn)模塊該框架使智能體獲得了自主探索世界、主動尋求挑戰(zhàn)、自發(fā)積累知識的強大內驅力。這使其能夠在獎勵稀疏的環(huán)境中自我驅動學習、構建豐富的行為技能庫、并為應對未知未來做好準備。這是實現(xiàn)能夠在開放世界中自主學習、持續(xù)進化的真正自主智能體的關鍵一步。5.2 展望未來研究可向更復雜、更擬人化的內在動機維度拓展首先研究社交好奇心與模仿學習智能體是否會對其他智能體或人類的行為產生好奇并主動模仿以學習新技能。其次探索審美好奇心與創(chuàng)造智能體是否會被對稱、和諧或新穎的模式所吸引并主動創(chuàng)造具有此類特性的結構或行為。第三實現(xiàn)基于認知沖突的動機當智能體的內部模型與觀察嚴重不符時會產生強烈的動機去解決這種沖突即“認知失調”驅動學習。第四研究動機的發(fā)育與演化內在動機的權重和形式如何隨著智能體的“成長”經驗積累而動態(tài)變化。第五探索內在動機與外在任務的協(xié)同如何設計機制使內在探索能更直接地服務于已知或未知的外在任務。最后必須考量內在動機的安全邊界防止智能體出于好奇去嘗試危險或破壞性的行為。本工作為創(chuàng)造擁有內在求知欲、探索精神和終身學習熱情的自主智能體注入了靈魂。寫在最后——以TVA重新定義視覺技術的理論內涵與能力邊界本文提出好奇TVA框架為具身智能體構建基于預測誤差、學習進展和賦能計算的復合內在動機系統(tǒng)。該框架包含三個核心模塊1)復合內在獎勵生成模塊量化狀態(tài)/行動的新穎性和可學習性2)多目標動機仲裁模塊動態(tài)平衡探索與任務需求3)技能發(fā)現(xiàn)與賦能評估架構將探索經驗轉化為可復用技能。實驗表明具備該內在動機系統(tǒng)的智能體在開放環(huán)境探索、稀疏任務破解、技能獲取和零樣本適應方面表現(xiàn)卓越展現(xiàn)出自主探索、持續(xù)學習和快速適應能力。研究為構建具有內驅力的自主智能體提供了新思路。重磅預告本專欄將獨家連載系列叢書《AI智能體視覺技術與應用》部分精華內容該書是世界首套系統(tǒng)闡述“因式智能體”視覺理論與實踐的專著特邀美國 TypeOne 公司首席科學家、斯坦福大學博士 Bohan 擔任技術顧問。Bohan先生師從世界模型開創(chuàng)者、“AI教母”李飛飛教授學術引用量在近四年內突破萬次是全球AI與機器人視覺領域的標桿性人物www.type-one.com。全書嚴格遵循“基礎—原理—實操—進階—賦能—未來”的六步進階邏輯致力于引入“類人智眼”新范式系統(tǒng)破解從數(shù)字世界到物理世界“最后一公里”的世界級難題。該書精彩內容將優(yōu)先在本專欄陸續(xù)發(fā)布其紙質專著亦將正式出版。敬請關注版權聲明本文系作者原創(chuàng)首發(fā)于 CSDN 的技術類文章受《中華人民共和國著作權法》保護轉載或商用敬請注明出處。參考文獻Oudeyer, P.-Y., Kaplan, F. (2007). What is intrinsic motivation? A typology of computational approaches.Frontiers in Neurorobotics.Pathak, D., Agrawal, P., Efros, A. A., Darrell, T. (2017). Curiosity-driven Exploration by Self-supervised Prediction.ICML.Burda, Y., Edwards, H., Storkey, A., Klimov, O. (2018). Exploration by Random Network Distillation.ICLR.Gregor, K., Rezende, D. J., Wierstra, D. (2016). Variational Intrinsic Control.ICLR. (早期 empowerment 相關工作)Eysenbach, B., Gupta, A., Ibarz, J., Levine, S. (2018). Diversity is All You Need: Learning Skills without a Reward Function.ICLR.Achiam, J., Edwards, H., Amodei, D., Abbeel, P. (2018). Variational Option Discovery Algorithms.arXiv preprint.Haber, N., Mrowca, D., Fei-Fei, L., Yamins, D. L. K. (2018). Learning to Play with Intrinsically-Motivated, Self-Aware Agents.NeurIPS.Colas, C., Karch, T., Sigaud, O., Oudeyer, P.-Y. (2020). Intrinsically Motivated Goal-Conditioned Reinforcement Learning.NeurIPS.Sharma, A., Gu, S., Levine, S., Kumar, V., Hausman, K. (2019). Dynamics-Aware Unsupervised Discovery of Skills.ICLR.Vaswani, A., et al. (2017). Attention Is All You Need.NeurIPS. 基于TVA的具身智能好奇心與內驅力研究
前沿技術探索TVA智能體簡稱TVATVA智能體亦稱“AI智能體視覺”或“TVA視覺智能體”是依托Transformer架構與“因式智能體”理論構建的系統(tǒng)級視覺技術框架。它融合深度強化學習DRL、卷積神經網(wǎng)絡CNN與因式分解算法FRA構成了具身智能的核心與通用視覺中樞詳見官方技術平臺www.tianyance.cn。區(qū)別于傳統(tǒng)視覺識別技術TVA基于非結構化環(huán)境下的動態(tài)感知與理解顛覆性地構建了“感知-推理-決策-操作-反饋”的閉環(huán)運作機制實現(xiàn)了從“看見”到“看懂并行動”的科學機器學習SciML范式突破。這一突破不僅使其成為工業(yè)質檢領域的“視檢專家”初級形態(tài)更為智能機器人靈巧操作提供了關鍵的視覺支撐中級形態(tài)并最終演進為驅動通用具身智能系統(tǒng)的核心引擎與能力基座高級形態(tài)。寫在前面TVA-World的具身范式創(chuàng)新在邁向通用具身智能的進程中TVA進一步與物理世界模型World Model深度融合催生出新一代具身智能范式——TVA-World。該范式并非模塊的簡單拼接而是一套在數(shù)據(jù)流、特征流和控制流層面深度交織的系統(tǒng)級架構以TVA為“感知-執(zhí)行中樞”以遵循物理法則的世界模型為“物理推演與認知中樞”構建出一個既能“看見”表象又能“理解”本質的通用物理智能體系。通過“實時感知-虛擬推演-精準執(zhí)行”的毫秒級閉環(huán)TVA-World有效解決了傳統(tǒng)AI缺乏因果理解、泛化能力弱及交互延遲高等難題推動具身智能在工業(yè)檢測與物流質控等領域實現(xiàn)了從“計算機視覺”看像素到“計算機物理”懂規(guī)律的歷史性跨越。好奇TVA框架具身智能的內在動機核心引擎摘要在開放、非結構化且獎勵稀疏的真實世界中僅依賴外部任務獎勵的學習是低效且受限的。好奇心驅動與內在動機學習能力使智能體能夠自發(fā)地探索環(huán)境、尋求新奇、挑戰(zhàn)與學習機會從而主動獲取多樣化的技能與知識為應對未來未知任務奠定基礎。本文研究如何為基于TVA架構的具身智能體構建好奇心與內在動機系統(tǒng)。我們提出一個 “好奇TVA” 框架。該框架的核心是一個基于預測誤差與學習進展的復合內在獎勵生成模塊能夠量化狀態(tài)或行動的新穎性、可學習性與信息增益一個多目標動機仲裁與目標生成模塊能夠動態(tài)平衡內在動機探索、學習與外在動機任務、生存并自主生成探索性技能學習目標以及一個基于技能發(fā)現(xiàn)與賦能的終身學習架構能夠將探索中獲得的經驗自主抽象為可復用的技能并評估其賦能潛力。在包含開放環(huán)境自主探索、稀疏獎勵任務破解、多樣化技能獲取及零樣本任務適應的場景中具備強大內在動機的智能體展現(xiàn)出卓越的環(huán)境覆蓋與理解深度、在無外部獎勵下自主發(fā)現(xiàn)并解決復雜任務、獲得豐富且可轉移的技能庫以及面對新挑戰(zhàn)時快速的零樣本或小樣本適應能力。關鍵詞 TVA架構具身智能內在動機好奇心技能發(fā)現(xiàn)稀疏獎勵開放世界學習1. 引言生物智能的一個標志是擁有內在驅動力——好奇心、玩耍欲、掌握感——這些驅動力促使個體在無明確外部獎勵時仍主動探索和學習。對于追求通用性的具身智能體而言僅靠預設任務驅動是遠遠不夠的。強大的內在動機系統(tǒng)使其能夠1) 主動探索未知填補知識空白構建更完整的世界模型2) 克服稀疏獎勵在任務獎勵極少或延遲時通過內在獎勵自我驅動學習3) 積累可復用技能在探索中自發(fā)發(fā)現(xiàn)并掌握對將來有用的行為模式4) 實現(xiàn)終身成長永不停止學習持續(xù)擴展其能力邊界。TVA架構的序列預測與注意力機制非常適合計算預測誤差好奇心的經典度量和評估學習進展并能將探索中獲得的經驗整合到不斷演進的世界模型中。本研究旨在為智能體注入自主探索與學習的“內驅力”使其成為一個主動的、開放式的學習者。2. 相關工作2.1 好奇心與內在獎勵基于預測誤差的好奇心將智能體難以準確預測的狀態(tài)或結果視為新奇給予正向獎勵?；趯W習進展的動機獎勵那些導致智能體模型如動態(tài)模型或價值函數(shù)發(fā)生最大改進的狀態(tài)或行動。** empowerment賦能**衡量智能體通過自身行動影響未來狀態(tài)的能力最大化賦能即最大化潛在的選擇權和可控性。2.2 技能發(fā)現(xiàn)與分層強化學習選項發(fā)現(xiàn)從經驗中自動發(fā)現(xiàn)有用的子策略或技能選項。多樣性技能學習鼓勵學習多樣化的、互不相同的技能以覆蓋廣闊的行為空間。** unsupervised skill discovery**在無外部獎勵的情況下僅通過內在目標發(fā)現(xiàn)技能。2.3 探索策略基于計數(shù)的探索傾向于訪問訪問次數(shù)少的狀態(tài)?；诓淮_定性的探索傾向于訪問模型預測不確定性高的區(qū)域?；谀繕说奶剿髯灾魃刹L試實現(xiàn)一系列自我設定的目標。3. 方法論好奇TVA框架我們提出 Curious-TVA 框架旨在構建一個能夠自主生成學習目標、驅動探索并積累技能的智能體。3.1 復合內在獎勵生成模塊該模塊計算驅動探索和學習的內在獎勵信號。預測誤差好奇心使用TVA的世界模型預測下一狀態(tài)s_{t1}。狀態(tài)預測誤差||s_{t1} - \hat{s}_{t1}||作為內在獎勵的一部分鼓勵智能體前往其模型難以準確預測的區(qū)域。特征空間預測誤差為避免被無關的環(huán)境噪聲如電視雪花所吸引在抽象特征空間而非原始像素空間計算預測誤差。使用一個自編碼器或對比學習網(wǎng)絡提取狀態(tài)的特征表示并在該空間計算誤差。學習進展動機跟蹤世界模型或技能模型在特定狀態(tài)或行動后的改進幅度。獎勵那些導致模型參數(shù)發(fā)生顯著更新的經驗即獎勵“學到了新東西”的時刻。賦能Empowerment計算估計在給定狀態(tài)下智能體通過未來一系列行動所能達到的未來狀態(tài)的多樣性或可控性。鼓勵智能體前往那些其行動能產生廣泛可能結果即高賦能的狀態(tài)這通常對應著具有高交互潛力的“樞紐”區(qū)域。復合內在獎勵將上述不同來源的內在獎勵預測誤差、學習進展、賦能進行動態(tài)加權融合R_intrinsic w1 * R_curiosity w2 * R_learning_progress w3 * R_empowerment。權重可根據(jù)學習階段自適應調整。3.2 多目標動機仲裁與目標生成模塊該模塊管理智能體的“注意力”和“意圖”決定何時探索、何時利用。動機強度計算實時評估外在動機當前任務獎勵的渴求度和內在動機對未知區(qū)域的好奇心、對新技能的掌握欲的強度。目標切換與仲裁當外在任務明確且緊迫時優(yōu)先執(zhí)行任務。當任務獎勵稀疏或已完成時內在動機占據(jù)主導。仲裁機制決定是繼續(xù)追求當前目標還是切換到一個新的、由內在動機生成的目標。自主目標生成基于模型想象的目標利用世界模型想象出具有高預測誤差或高賦能潛力的未來狀態(tài)將其設為探索目標。基于技能空間的目標在已學習的技能空間中選擇一個尚未熟練掌握或組合過的技能作為練習目標?；谛畔⒃鲆娴哪繕诉x擇那些預期能最大程度減少模型不確定性的狀態(tài)或行動作為目標。3.3 基于技能發(fā)現(xiàn)與賦能的終身學習架構該模塊將探索經驗轉化為長期可用的資產。無監(jiān)督技能發(fā)現(xiàn)在探索過程中使用變分自編碼器或互信息最大化等方法將一段行為序列編碼為一個技能潛變量z。鼓勵學習到的技能在潛空間中是離散的和多樣化的以覆蓋不同的行為模式。技能條件策略學習一個技能條件策略π(a|s, z)給定狀態(tài)s和技能索引z輸出相應的動作。通過改變z可以調用不同的技能。技能賦能評估為每個學到的技能評估其賦能——即執(zhí)行該技能后智能體在后續(xù)步驟中能多大程度地影響環(huán)境。高賦能的技能如“開門”、“使用工具”被認為更有用。技能庫管理與調用維護一個不斷增長的技能庫。當面臨新任務時可以快速檢索并組合相關技能作為高層策略的基石實現(xiàn)快速適應。4. 實驗與結果分析我們在強調自主探索、稀疏獎勵和技能遷移的開放環(huán)境中進行評估。4.1 實驗設置與任務任務1開放世界探索與地圖繪制。智能體被置于一個復雜、多房間的未知環(huán)境中無任何任務指令。評估其在固定時間內的環(huán)境探索覆蓋率、發(fā)現(xiàn)的有趣交互點數(shù)量如可開關的門、可操作的機關以及自主構建的世界模型精度。任務2稀疏獎勵迷宮與難題破解。在一個復雜迷宮中僅當?shù)竭_最終出口時給予一次性獎勵。評估其找到出口的成功率和平均所需步數(shù)對比有無內在動機的探索效率。任務3多樣化技能獲取。在一個充滿可交互物體的游樂場環(huán)境中無外部任務。評估其學到的技能多樣性通過技能潛空間的離散度和行為多樣性度量以及技能的賦能值。任務4零樣本任務適應。先在無任務環(huán)境中通過內在動機自由探索并學習技能庫。隨后給出一個全新的、未見過的目標任務如“將紅色方塊放入藍色盒子”。評估其不進行任何額外訓練僅通過技能庫檢索與組合就能完成任務的成功率。任務5終身學習與災難性遺忘。讓智能體在一系列不同的環(huán)境中依次進行探索和學習。評估其在新環(huán)境中學習新技能的能力以及對舊環(huán)境中重要技能的保留程度。評估指標探索覆蓋率 ↑。稀疏獎勵任務的成功率 ↑與步數(shù) ↓。學到的技能數(shù)量與多樣性。零樣本任務適應成功率。技能賦能值的分布。世界模型在未見區(qū)域的預測準確率?；€對比僅依賴外部獎勵的RL、僅使用預測誤差好奇心、基于計數(shù)的探索、隨機探索。4.2 結果分析指標 / 模型僅外部獎勵RL僅預測誤差基于計數(shù)Ours (Curious-TVA)開放世界探索覆蓋率 (%)低 (無目標)中 (易陷入電視噪聲)中最高稀疏獎勵迷宮首次找到出口所需探索步數(shù) ↓極高 (常失敗)低中最低學到的可區(qū)分技能數(shù)量少中少最多零樣本新任務需組合技能適應成功率 (%)0低低高技能庫中高賦能技能的比例 (%)N/A低N/A高終身學習后舊環(huán)境關鍵技能保留率 (%)低 (災難性遺忘)中中高分析高效且深入的探索者Curious-TVA通過復合內在獎勵能系統(tǒng)性地探索環(huán)境不僅覆蓋廣更能深入發(fā)現(xiàn)可交互、可學習的“有趣”區(qū)域避免了陷入無意義的新奇陷阱。稀疏獎勵任務的破解者其內在動機為在獲得外部獎勵前提供了持續(xù)的學習信號使其能夠克服巨大的探索挑戰(zhàn)找到隱藏在復雜環(huán)境中的稀疏獎勵。豐富的技能發(fā)現(xiàn)者通過無監(jiān)督技能發(fā)現(xiàn)和賦能評估它能自主積累一個多樣化且實用的技能庫這些技能是解決未來復雜問題的寶貴基礎。強大的零樣本遷移能力預先學習的技能庫使其在面對新任務時能夠快速組合已有技能進行零樣本嘗試表現(xiàn)出強大的適應性和泛化能力?？沙掷m(xù)的終身學習者其架構支持持續(xù)學習新技能而不嚴重遺忘舊技能并且能根據(jù)賦能持續(xù)優(yōu)化技能庫體現(xiàn)了終身成長的能力。消融實驗證實復合內在獎勵結合預測誤差、學習進展、賦能比單一獎勵更有效自主目標生成機制是引導系統(tǒng)性探索的關鍵技能發(fā)現(xiàn)與賦能評估是獲得可遷移、有用技能的核心。5. 研究結論與展望5.1 結論本研究提出的 Curious-TVA 框架成功地將好奇心驅動與內在動機學習機制深度整合到具身智能體的學習架構中。通過構建復合內在獎勵信號、智能的動機仲裁與目標生成系統(tǒng)以及支持終身學習的技能發(fā)現(xiàn)模塊該框架使智能體獲得了自主探索世界、主動尋求挑戰(zhàn)、自發(fā)積累知識的強大內驅力。這使其能夠在獎勵稀疏的環(huán)境中自我驅動學習、構建豐富的行為技能庫、并為應對未知未來做好準備。這是實現(xiàn)能夠在開放世界中自主學習、持續(xù)進化的真正自主智能體的關鍵一步。5.2 展望未來研究可向更復雜、更擬人化的內在動機維度拓展首先研究社交好奇心與模仿學習智能體是否會對其他智能體或人類的行為產生好奇并主動模仿以學習新技能。其次探索審美好奇心與創(chuàng)造智能體是否會被對稱、和諧或新穎的模式所吸引并主動創(chuàng)造具有此類特性的結構或行為。第三實現(xiàn)基于認知沖突的動機當智能體的內部模型與觀察嚴重不符時會產生強烈的動機去解決這種沖突即“認知失調”驅動學習。第四研究動機的發(fā)育與演化內在動機的權重和形式如何隨著智能體的“成長”經驗積累而動態(tài)變化。第五探索內在動機與外在任務的協(xié)同如何設計機制使內在探索能更直接地服務于已知或未知的外在任務。最后必須考量內在動機的安全邊界防止智能體出于好奇去嘗試危險或破壞性的行為。本工作為創(chuàng)造擁有內在求知欲、探索精神和終身學習熱情的自主智能體注入了靈魂。寫在最后——以TVA重新定義視覺技術的理論內涵與能力邊界本文提出好奇TVA框架為具身智能體構建基于預測誤差、學習進展和賦能計算的復合內在動機系統(tǒng)。該框架包含三個核心模塊1)復合內在獎勵生成模塊量化狀態(tài)/行動的新穎性和可學習性2)多目標動機仲裁模塊動態(tài)平衡探索與任務需求3)技能發(fā)現(xiàn)與賦能評估架構將探索經驗轉化為可復用技能。實驗表明具備該內在動機系統(tǒng)的智能體在開放環(huán)境探索、稀疏任務破解、技能獲取和零樣本適應方面表現(xiàn)卓越展現(xiàn)出自主探索、持續(xù)學習和快速適應能力。研究為構建具有內驅力的自主智能體提供了新思路。重磅預告本專欄將獨家連載系列叢書《AI智能體視覺技術與應用》部分精華內容該書是世界首套系統(tǒng)闡述“因式智能體”視覺理論與實踐的專著特邀美國 TypeOne 公司首席科學家、斯坦福大學博士 Bohan 擔任技術顧問。Bohan先生師從世界模型開創(chuàng)者、“AI教母”李飛飛教授學術引用量在近四年內突破萬次是全球AI與機器人視覺領域的標桿性人物www.type-one.com。全書嚴格遵循“基礎—原理—實操—進階—賦能—未來”的六步進階邏輯致力于引入“類人智眼”新范式系統(tǒng)破解從數(shù)字世界到物理世界“最后一公里”的世界級難題。該書精彩內容將優(yōu)先在本專欄陸續(xù)發(fā)布其紙質專著亦將正式出版。敬請關注版權聲明本文系作者原創(chuàng)首發(fā)于 CSDN 的技術類文章受《中華人民共和國著作權法》保護轉載或商用敬請注明出處。參考文獻Oudeyer, P.-Y., Kaplan, F. (2007). What is intrinsic motivation? A typology of computational approaches.Frontiers in Neurorobotics.Pathak, D., Agrawal, P., Efros, A. A., Darrell, T. (2017). Curiosity-driven Exploration by Self-supervised Prediction.ICML.Burda, Y., Edwards, H., Storkey, A., Klimov, O. (2018). Exploration by Random Network Distillation.ICLR.Gregor, K., Rezende, D. J., Wierstra, D. (2016). Variational Intrinsic Control.ICLR. (早期 empowerment 相關工作)Eysenbach, B., Gupta, A., Ibarz, J., Levine, S. (2018). Diversity is All You Need: Learning Skills without a Reward Function.ICLR.Achiam, J., Edwards, H., Amodei, D., Abbeel, P. (2018). Variational Option Discovery Algorithms.arXiv preprint.Haber, N., Mrowca, D., Fei-Fei, L., Yamins, D. L. K. (2018). Learning to Play with Intrinsically-Motivated, Self-Aware Agents.NeurIPS.Colas, C., Karch, T., Sigaud, O., Oudeyer, P.-Y. (2020). Intrinsically Motivated Goal-Conditioned Reinforcement Learning.NeurIPS.Sharma, A., Gu, S., Levine, S., Kumar, V., Hausman, K. (2019). Dynamics-Aware Unsupervised Discovery of Skills.ICLR.Vaswani, A., et al. (2017). Attention Is All You Need.NeurIPS.