1. 項(xiàng)目緣起當(dāng)機(jī)器人需要“手感”時(shí)在工業(yè)自動(dòng)化領(lǐng)域讓機(jī)器人完成“擰螺絲”、“拔插頭”、“拆卡扣”這類(lèi)看似簡(jiǎn)單的接觸式拆解任務(wù)一直是個(gè)老大難問(wèn)題。傳統(tǒng)的“示教-再現(xiàn)”模式或者基于固定軌跡的編程在面對(duì)零件公差、裝配應(yīng)力、工具磨損等現(xiàn)實(shí)變量時(shí)往往顯得笨拙不堪。一個(gè)螺絲稍微擰得緊一點(diǎn)或者卡扣老化變脆機(jī)器人就可能因?yàn)榱夭划?dāng)而損壞工件甚至傷及自身。這背后是機(jī)器人對(duì)“觸覺(jué)”和“手感”的缺失——它無(wú)法像熟練工人那樣通過(guò)微妙的力反饋和視覺(jué)觀察實(shí)時(shí)調(diào)整自己的動(dòng)作策略。近年來(lái)視覺(jué)-語(yǔ)言-動(dòng)作Vision-Language-Action, VLA模型的出現(xiàn)為機(jī)器人帶來(lái)了新的曙光。它讓機(jī)器人能“看懂”指令語(yǔ)言、“看清”環(huán)境視覺(jué)并“規(guī)劃”出動(dòng)作。然而標(biāo)準(zhǔn)的VLA模型在處理需要精細(xì)力交互的接觸式任務(wù)時(shí)常常力不從心。它可能知道要“擰下螺絲”但不知道用多大的扭矩、多快的速度以及在遇到阻力時(shí)該如何“柔順”地應(yīng)對(duì)。這就像教一個(gè)孩子用筷子只告訴他“夾起花生”卻沒(méi)教他手指如何發(fā)力、如何感知花生的滑膩與重量?！癝ELF-VLA: A Skill Enhanced Agentic Vision-Language-Action Framework for Contact-Rich Disassembly”這個(gè)項(xiàng)目正是為了解決這一核心痛點(diǎn)。它不是一個(gè)簡(jiǎn)單的工具集成而是一個(gè)旨在為機(jī)器人注入“肌肉記憶”和“觸覺(jué)智能”的增強(qiáng)型框架。其核心思想是在通用VLA模型的“大腦”之上疊加一層專(zhuān)門(mén)針對(duì)接觸式操作的“技能層”。這個(gè)技能層就像一位經(jīng)驗(yàn)豐富的老師傅能將抽象的“拆解”指令轉(zhuǎn)化為一系列包含力感知、自適應(yīng)調(diào)整和錯(cuò)誤恢復(fù)的具體“手感”動(dòng)作。我之所以對(duì)這個(gè)框架感興趣是因?yàn)樗|及了機(jī)器人從“看得見(jiàn)”到“干得好”的關(guān)鍵躍遷對(duì)于推動(dòng)自動(dòng)化進(jìn)入更復(fù)雜、更柔性的裝配與維修場(chǎng)景具有實(shí)實(shí)在在的價(jià)值。2. SELF-VLA框架的核心架構(gòu)拆解要理解SELF-VLA如何工作我們需要把它拆開(kāi)來(lái)看。這個(gè)名字本身就包含了它的設(shè)計(jì)哲學(xué)SkillEnhancedLearningFramework forVision-Language-Action。它不是一個(gè)從零開(kāi)始訓(xùn)練的全新模型而是一個(gè)“增強(qiáng)插件”式的架構(gòu)旨在賦能現(xiàn)有的VLA基礎(chǔ)模型。2.1 三層核心模塊感知、決策與執(zhí)行閉環(huán)整個(gè)框架可以清晰地劃分為三個(gè)協(xié)同工作的層級(jí)它們共同構(gòu)成了一個(gè)從指令理解到動(dòng)作執(zhí)行的完整閉環(huán)。第一層視覺(jué)-語(yǔ)言理解與場(chǎng)景解析層這是框架的“眼睛”和“耳朵”通常基于一個(gè)強(qiáng)大的多模態(tài)大模型如GPT-4V、Flamingo等變體。它的任務(wù)不僅僅是識(shí)別物體“這是一個(gè)螺絲刀”更是理解場(chǎng)景的語(yǔ)義和任務(wù)結(jié)構(gòu)。給定一個(gè)自然語(yǔ)言指令如“請(qǐng)拆卸這個(gè)筆記本電腦的后蓋”這一層需要完成物體檢測(cè)與位姿估計(jì)精準(zhǔn)定位后蓋、螺絲、卡扣的位置和三維朝向。任務(wù)步驟分解將“拆卸后蓋”分解為“找到并擰下所有螺絲”、“用撬片沿邊緣分離卡扣”、“小心向上提起后蓋”等子步驟。這一步往往通過(guò)思維鏈Chain-of-Thought提示或內(nèi)部規(guī)劃模塊實(shí)現(xiàn)。狀態(tài)理解判斷當(dāng)前任務(wù)進(jìn)行到哪一步例如“已擰下3顆螺絲還剩1顆”“卡扣A已分離卡扣B仍卡緊”。第二層技能增強(qiáng)與策略規(guī)劃層這是SELF-VLA的“靈魂”所在也是其區(qū)別于普通VLA的核心。當(dāng)基礎(chǔ)VLA模型輸出一個(gè)高層級(jí)動(dòng)作如“擰螺絲”后并不會(huì)直接轉(zhuǎn)換為低層機(jī)器人指令。而是會(huì)進(jìn)入這個(gè)“技能庫(kù)”進(jìn)行查詢(xún)和增強(qiáng)。技能庫(kù)這是一個(gè)預(yù)定義或?qū)W習(xí)得到的技能集合。每個(gè)技能不是一個(gè)簡(jiǎn)單的動(dòng)作軌跡而是一個(gè)參數(shù)化的策略模型。例如“擰螺絲”技能包含的參數(shù)可能涉及初始接觸力、旋轉(zhuǎn)速度、目標(biāo)扭矩、最大允許扭矩、滑絲檢測(cè)閾值、回退策略等。這些技能可以通過(guò)模仿學(xué)習(xí)從人類(lèi)演示中學(xué)習(xí)、強(qiáng)化學(xué)習(xí)在仿真中自我練習(xí)或兩者結(jié)合的方式獲得。技能選擇與參數(shù)適配根據(jù)當(dāng)前視覺(jué)場(chǎng)景螺絲型號(hào)、生銹程度和任務(wù)狀態(tài)該層從技能庫(kù)中選擇最合適的技能實(shí)例并動(dòng)態(tài)調(diào)整其參數(shù)。比如對(duì)于一顆生銹的螺絲它會(huì)自動(dòng)調(diào)高最大允許扭矩并啟用“往復(fù)微振”的輔助策略來(lái)松動(dòng)銹跡。力-位混合規(guī)劃輸出不再是純粹的位置軌跡而是力控與位控相結(jié)合的混合指令。例如在插入撬片時(shí)先以力控模式輕輕頂住縫隙邊緣保持一個(gè)恒定的微小接觸力再切換到位控模式沿特定軌跡滑動(dòng)。第三層實(shí)時(shí)執(zhí)行與狀態(tài)反饋層這是框架的“手”和“神經(jīng)”。它接收來(lái)自第二層的混合指令并通過(guò)機(jī)器人的控制器通常是阻抗控制或?qū)Ъ{控制器執(zhí)行。高頻率狀態(tài)監(jiān)控實(shí)時(shí)讀取關(guān)節(jié)扭矩、末端六維力/力矩傳感器數(shù)據(jù)、視覺(jué)特征變化等。異常檢測(cè)與恢復(fù)這是接觸式任務(wù)的關(guān)鍵?？蚣艹掷m(xù)監(jiān)測(cè)執(zhí)行狀態(tài)是否偏離預(yù)期。例如當(dāng)擰螺絲時(shí)扭矩急劇上升但位移不變可能判斷為“滑絲”當(dāng)分離卡扣時(shí)力反饋突然消失可能判斷為“卡扣斷裂”。一旦檢測(cè)到異常立即觸發(fā)預(yù)定義的恢復(fù)策略如停止、回退、重新嘗試或上報(bào)錯(cuò)誤并將此異常狀態(tài)作為新的“場(chǎng)景”反饋給第一層和第二層進(jìn)行重規(guī)劃。這三層通過(guò)一個(gè)共享的“工作記憶”或“狀態(tài)表示”緊密連接使得高層語(yǔ)義理解、中層技能調(diào)度和底層執(zhí)行反饋能夠?qū)崟r(shí)同步形成一個(gè)真正自主、適應(yīng)性的智能體Agent。2.2 “Agentic”特性體現(xiàn)在何處“Agentic”一詞是項(xiàng)目的點(diǎn)睛之筆它意味著這個(gè)框架中的機(jī)器人不是一個(gè)被動(dòng)的執(zhí)行器而是一個(gè)具有自主性的智能體。主要體現(xiàn)在主動(dòng)感知與查詢(xún)當(dāng)指令模糊時(shí)如“拆開(kāi)它”智能體會(huì)主動(dòng)通過(guò)視覺(jué)掃描識(shí)別可操作部件并向用戶(hù)或知識(shí)庫(kù)詢(xún)問(wèn)以明確目標(biāo)“您是指要拆卸這個(gè)面板嗎”?；跔顟B(tài)的自主決策它不會(huì)死板地按預(yù)設(shè)步驟走。例如如果發(fā)現(xiàn)一顆螺絲滑絲無(wú)法擰下它可能自主決策跳過(guò)該螺絲嘗試從其他固定點(diǎn)開(kāi)始拆卸或者切換工具。試錯(cuò)與學(xué)習(xí)在安全邊界內(nèi)智能體可以嘗試不同的策略。如果一種擰入角度失敗它會(huì)稍微調(diào)整角度再試。更為先進(jìn)的設(shè)計(jì)中這些成功的調(diào)整可以被抽象為新的經(jīng)驗(yàn)沉淀到技能庫(kù)中實(shí)現(xiàn)框架的自我進(jìn)化這也是“SELF”中“Learning”的深層含義。3. 技能庫(kù)的構(gòu)建從“招式”到“內(nèi)功”技能庫(kù)是SELF-VLA的力量源泉。構(gòu)建一個(gè)豐富、魯棒的技能庫(kù)是整個(gè)項(xiàng)目落地中最具挑戰(zhàn)性也最富價(jià)值的一環(huán)。這不僅僅是錄制幾個(gè)動(dòng)作那么簡(jiǎn)單。3.1 技能的表征超越動(dòng)作軌跡一個(gè)合格的接觸式操作技能至少需要包含以下幾類(lèi)信息動(dòng)作基元技能的核心運(yùn)動(dòng)模式如“直線(xiàn)插入”、“旋轉(zhuǎn)”、“搖櫓式擺動(dòng)”、“恒力接觸”。感知觸發(fā)條件什么情況下可以/應(yīng)該啟動(dòng)這個(gè)技能例如“當(dāng)螺絲刀頭與螺絲槽口對(duì)齊且距離小于2mm時(shí)可觸發(fā)‘?dāng)Q入’技能”。終止條件技能何時(shí)算成功完成何時(shí)該失敗退出例如“‘?dāng)Q入’技能成功條件扭矩達(dá)到設(shè)定值且持續(xù)2秒失敗條件嘗試3次仍未達(dá)到接觸狀態(tài)或扭矩超限報(bào)警”。力控參數(shù)包括期望的接觸力/力矩、阻抗參數(shù)剛度、阻尼、力控方向等。這是賦予機(jī)器人“手感”的關(guān)鍵。異常處理策略當(dāng)遇到阻力突變、打滑、卡死等情況時(shí)應(yīng)該執(zhí)行怎樣的應(yīng)急動(dòng)作序列如“回退5mm-輕微振動(dòng)-再次嘗試”。在實(shí)際項(xiàng)目中我們通常使用動(dòng)態(tài)運(yùn)動(dòng)基元或神經(jīng)運(yùn)動(dòng)基元來(lái)封裝這些信息。它們能夠?qū)⒀菔镜膭?dòng)作軌跡泛化到不同的起始點(diǎn)、目標(biāo)點(diǎn)和速度要求上。3.2 技能獲取的三條路徑路徑一專(zhuān)家演示與模仿學(xué)習(xí)這是最直接的方法。由熟練的操作人員通過(guò)“手把手”示教或遙操作的方式完成多次拆卸任務(wù)。記錄下的不僅是末端軌跡更重要的是過(guò)程中的力/力矩?cái)?shù)據(jù)。然后使用行為克隆、動(dòng)態(tài)運(yùn)動(dòng)基元學(xué)習(xí)等算法從這些多模態(tài)數(shù)據(jù)中提煉出技能策略。這里的坑在于演示數(shù)據(jù)必須覆蓋足夠多的 corner cases邊緣情況比如特別緊的螺絲、已經(jīng)損壞的卡扣否則學(xué)到的技能會(huì)很脆弱。路徑二仿真環(huán)境與強(qiáng)化學(xué)習(xí)在MuJoCo、PyBullet或Isaac Sim等物理仿真器中構(gòu)建高保真的拆卸場(chǎng)景模型。讓智能體在仿真中通過(guò)試錯(cuò)強(qiáng)化學(xué)習(xí)來(lái)探索如何高效、安全地完成任務(wù)。仿真的優(yōu)勢(shì)在于可以低成本、高速地生成海量數(shù)據(jù)尤其是那些現(xiàn)實(shí)中難以獲取的失敗數(shù)據(jù)如用力過(guò)猛導(dǎo)致零件碎裂。我們可以設(shè)置密集的獎(jiǎng)勵(lì)函數(shù)例如完成任務(wù)獎(jiǎng)勵(lì)1000使用過(guò)大力矩懲罰-10耗時(shí)過(guò)長(zhǎng)懲罰-1引導(dǎo)智能體學(xué)習(xí)“又快又輕柔”的策略。之后再通過(guò)仿真到現(xiàn)實(shí)的遷移技術(shù)將習(xí)得的技能應(yīng)用到真實(shí)機(jī)器人上。路徑三混合學(xué)習(xí)與分層精煉這是目前最有前景的方向。首先通過(guò)有限的專(zhuān)家演示為技能學(xué)習(xí)提供一個(gè)較好的初始策略解決強(qiáng)化學(xué)習(xí)探索難的問(wèn)題。然后在仿真和真實(shí)世界中利用強(qiáng)化學(xué)習(xí)對(duì)這個(gè)初始策略進(jìn)行微調(diào)和優(yōu)化使其適應(yīng)更廣泛的情況。最后將優(yōu)化后的策略與基于模型的規(guī)劃相結(jié)合形成最終可部署的技能。這個(gè)過(guò)程就像學(xué)徒先跟師傅學(xué)個(gè)大概模仿然后自己反復(fù)練習(xí)琢磨強(qiáng)化學(xué)習(xí)最后形成自己的獨(dú)門(mén)手法。注意技能庫(kù)的構(gòu)建絕非一勞永逸。不同的工件材質(zhì)金屬、塑料、不同的連接方式螺紋、卡扣、膠粘、甚至不同的工具電動(dòng)螺絲刀、手動(dòng)螺絲刀都需要不同的技能或技能參數(shù)。因此一個(gè)可擴(kuò)展、易管理的技能庫(kù)架構(gòu)例如按任務(wù)類(lèi)型、物體類(lèi)別進(jìn)行索引至關(guān)重要。4. 實(shí)戰(zhàn)部署從實(shí)驗(yàn)室到車(chē)間的挑戰(zhàn)與應(yīng)對(duì)讓SELF-VLA框架在真實(shí)的工業(yè)環(huán)境中穩(wěn)定運(yùn)行是檢驗(yàn)其價(jià)值的最終標(biāo)準(zhǔn)。這里充滿(mǎn)了在仿真和理想實(shí)驗(yàn)室環(huán)境中遇不到的“魔鬼細(xì)節(jié)”。4.1 硬件選型與系統(tǒng)集成機(jī)器人本體并非所有機(jī)器人都適合。優(yōu)先選擇協(xié)作機(jī)器人因?yàn)樗鼈兲焐邆淞Ω兄芰桶踩藱C(jī)交互特性。例如Universal Robots的e系列、Franka Emika的Panda、以及國(guó)產(chǎn)的越疆、節(jié)卡等品牌都是不錯(cuò)的選擇。它們的關(guān)節(jié)通常內(nèi)置了扭矩傳感器能夠?qū)崿F(xiàn)較好的阻抗控制。感知系統(tǒng)視覺(jué)需要2D3D視覺(jué)的融合。一臺(tái)高分辨率工業(yè)相機(jī)用于精細(xì)的二維識(shí)別如螺絲型號(hào)、標(biāo)簽文字一臺(tái)深度相機(jī)如Intel RealSense, Azure Kinect或3D結(jié)構(gòu)光相機(jī)用于獲取精確的點(diǎn)云數(shù)據(jù)完成位姿估計(jì)。光照變化、反光表面是視覺(jué)系統(tǒng)的大敵必須設(shè)計(jì)穩(wěn)定的打光方案。力覺(jué)這是接觸式任務(wù)的“生命線(xiàn)”。除了機(jī)器人自帶的關(guān)節(jié)扭矩感知強(qiáng)烈建議在末端工具上加裝一個(gè)六維力/力矩傳感器。它能提供更直接、更精確的末端接觸力信息對(duì)于擰螺絲、插拔這類(lèi)操作至關(guān)重要。品牌如ATI、Robotous的都是行業(yè)標(biāo)準(zhǔn)。工具端工具需要“智能化”。例如使用帶扭矩反饋和轉(zhuǎn)速控制的電動(dòng)螺絲刀并將其通過(guò)IO或總線(xiàn)協(xié)議與機(jī)器人控制器集成使得機(jī)器人可以精確控制擰緊過(guò)程。對(duì)于撬動(dòng)操作可能需要定制帶有力感知的柔性末端執(zhí)行器。軟件框架整個(gè)系統(tǒng)通常運(yùn)行在ROS或ROS 2上。VLA模型部分可能部署在一臺(tái)高性能工控機(jī)或服務(wù)器上甚至部分在云端通過(guò)ROS服務(wù)或話(huà)題與機(jī)器人的實(shí)時(shí)控制系統(tǒng)如ROS-Control通信。這里的關(guān)鍵是實(shí)時(shí)性與延遲管理。從圖像采集到生成動(dòng)作指令的整個(gè)閉環(huán)延遲必須控制在可接受范圍內(nèi)通常希望小于100ms否則機(jī)器人會(huì)顯得“遲鈍”在快速交互中容易失控。4.2 校準(zhǔn)與標(biāo)定精度之源在部署前有幾項(xiàng)校準(zhǔn)工作必須一絲不茍地完成手眼標(biāo)定確定相機(jī)坐標(biāo)系與機(jī)器人基座坐標(biāo)系之間的變換關(guān)系。這是讓機(jī)器人“看得懂”空間位置的基礎(chǔ)。推薦使用easy_handeye或visp_hand2eye_calibration等ROS工具包并采集多組高精度的標(biāo)定板姿態(tài)數(shù)據(jù)進(jìn)行優(yōu)化。工具中心點(diǎn)標(biāo)定確定力傳感器坐標(biāo)系、工具如螺絲刀頭尖端在機(jī)器人末端法蘭坐標(biāo)系下的精確位置。這對(duì)于力控和精確操作至關(guān)重要。通常采用“四點(diǎn)法”或“六點(diǎn)法”進(jìn)行TCP標(biāo)定。力傳感器零漂校準(zhǔn)在機(jī)器人靜止、未接觸任何物體時(shí)記錄力傳感器的讀數(shù)作為零點(diǎn)。這個(gè)零點(diǎn)會(huì)隨溫度、姿態(tài)略有變化需要定期或在任務(wù)開(kāi)始前校準(zhǔn)。4.3 安全策略絕對(duì)紅線(xiàn)在涉及力的自動(dòng)化任務(wù)中安全是第一要?jiǎng)?wù)。必須在軟件層面設(shè)置多層安全防護(hù)軟件限位為機(jī)器人的位置、速度、關(guān)節(jié)扭矩和末端力設(shè)置嚴(yán)格的軟件限制。這些限制應(yīng)遠(yuǎn)低于硬件的物理極限。碰撞檢測(cè)實(shí)時(shí)監(jiān)控關(guān)節(jié)扭矩或電機(jī)電流一旦檢測(cè)到非預(yù)期的力突變可能發(fā)生碰撞立即觸發(fā)緊急停止或柔順退讓。人工干預(yù)機(jī)制必須保留便捷的人工急停、示教器暫停、以及“柔順拖動(dòng)”功能。操作員應(yīng)能隨時(shí)接管機(jī)器人。任務(wù)級(jí)安全約束在技能定義中就嵌入安全邏輯。例如“擰螺絲”技能必須包含“如果連續(xù)3秒扭矩?zé)o變化且未達(dá)到目標(biāo)則判定為異常并停止”。5. 一個(gè)具體的拆解案例筆記本電腦后蓋拆卸讓我們以一個(gè)具體的任務(wù)——“使用SELF-VLA框架指導(dǎo)機(jī)器人拆卸筆記本電腦后蓋”——來(lái)串聯(lián)上述所有概念看看這個(gè)框架是如何一步步工作的。步驟1任務(wù)初始化與解析操作員發(fā)出語(yǔ)音或文本指令“拆卸這臺(tái)筆記本電腦的D殼后蓋”。機(jī)器人通過(guò)麥克風(fēng)或HMI接收指令。視覺(jué)-語(yǔ)言層工作搭載VLA模型的工控機(jī)啟動(dòng)控制相機(jī)對(duì)工作臺(tái)上的筆記本進(jìn)行多角度拍攝。VLA模型識(shí)別出物體為“筆記本電腦”并理解“D殼”指的是底部蓋板。它開(kāi)始進(jìn)行任務(wù)分解①定位所有固定螺絲②定位可能的卡扣位置③規(guī)劃拆卸順序。輸出生成一個(gè)初步的任務(wù)圖[任務(wù)拆卸D殼] - [子任務(wù)1擰下所有可見(jiàn)螺絲] - [子任務(wù)2用工具分離邊緣卡扣] - [子任務(wù)3取下D殼]。同時(shí)輸出所有螺絲的3D位姿和卡扣的大致位置區(qū)域。步驟2螺絲拆卸——技能增強(qiáng)的體現(xiàn)機(jī)器人移動(dòng)到第一顆螺絲上方。技能層介入高層指令“擰下螺絲”被發(fā)送到技能增強(qiáng)層。該層結(jié)合視覺(jué)信息螺絲類(lèi)型十字PH2預(yù)估狀態(tài)無(wú)銹蝕和任務(wù)上下文第一步從技能庫(kù)中調(diào)用“十字螺絲-拆卸”技能實(shí)例。參數(shù)動(dòng)態(tài)配置技能實(shí)例加載默認(rèn)參數(shù)目標(biāo)轉(zhuǎn)速200 RPM期望扭矩0.5 Nm。但同時(shí)它接收來(lái)自視覺(jué)的微調(diào)建議由于螺絲位置較深略微調(diào)高初始接觸力閾值確保螺絲刀頭完全嵌入槽口?；旌峡刂茍?zhí)行機(jī)器人以位置模式精確移動(dòng)使螺絲刀頭對(duì)準(zhǔn)螺絲。在即將接觸時(shí)切換為力控模式以恒定微小力如2N向下壓確保咬合。咬合后切換為扭矩控制模式以恒定扭矩逆時(shí)針旋轉(zhuǎn)。力傳感器實(shí)時(shí)反饋扭矩值。異常處理如果旋轉(zhuǎn)時(shí)扭矩瞬間飆升可能滑絲技能內(nèi)置的異常處理程序被觸發(fā)立即停止旋轉(zhuǎn)小幅回退嘗試以更慢的速度和更垂直的角度再次接觸和旋轉(zhuǎn)。如果嘗試兩次仍失敗則標(biāo)記該螺絲為“異?！睂顟B(tài)“1號(hào)螺絲滑絲拆卸失敗”反饋給上層并詢(xún)問(wèn)是否繼續(xù)拆卸其他螺絲。步驟3卡扣分離——觸覺(jué)感知的挑戰(zhàn)所有螺絲拆卸完畢后進(jìn)入卡扣分離階段。這是最體現(xiàn)“手感”的部分。技能選擇技能增強(qiáng)層選擇“薄片工具-分離卡扣”技能。這個(gè)技能不是簡(jiǎn)單的撬動(dòng)而是一個(gè)復(fù)雜的力-軌跡混合策略。執(zhí)行過(guò)程機(jī)器人控制一個(gè)薄撬片以力控模式輕輕“貼”在D殼與C殼主體的縫隙處保持一個(gè)恒定的側(cè)向接觸力如1N。然后沿著縫隙邊緣以位置模式緩慢移動(dòng)同時(shí)持續(xù)監(jiān)控側(cè)向力。當(dāng)撬片移動(dòng)到卡扣位置時(shí)會(huì)感到阻力增加。此時(shí)技能策略要求在保持側(cè)向接觸力的同時(shí)增加一個(gè)微小的向上分力并配合高頻低幅的振動(dòng)模仿人手“抖”的動(dòng)作使卡扣彈性變形并脫鉤。狀態(tài)判斷卡扣脫開(kāi)的瞬間側(cè)向力會(huì)有一個(gè)驟降。力傳感器捕捉到這個(gè)信號(hào)技能判定“該卡扣已分離”。機(jī)器人記錄此位置并繼續(xù)沿著邊緣尋找下一個(gè)卡扣點(diǎn)。步驟4任務(wù)完成與狀態(tài)更新所有卡扣分離后“取下D殼”子任務(wù)被激活。機(jī)器人切換到純位置模式以平滑軌跡將D殼平移取出放置到指定區(qū)域。最終反饋視覺(jué)系統(tǒng)確認(rèn)D殼已移除內(nèi)部組件電池、內(nèi)存條等清晰可見(jiàn)。任務(wù)狀態(tài)更新為“完成”。整個(gè)過(guò)程中的關(guān)鍵數(shù)據(jù)如每顆螺絲的實(shí)際拆卸扭矩、卡扣分離時(shí)的力曲線(xiàn)可以被記錄并用于技能庫(kù)的優(yōu)化或預(yù)測(cè)性維護(hù)例如某顆螺絲扭矩異常大提示該連接點(diǎn)可能存在問(wèn)題。通過(guò)這個(gè)案例可以看到SELF-VLA框架將高層的語(yǔ)義理解、中層的技能調(diào)度和底層的力覺(jué)交互無(wú)縫融合使機(jī)器人能夠像熟練工一樣處理充滿(mǎn)不確定性的物理交互任務(wù)。它不再是機(jī)械地重復(fù)動(dòng)作而是能夠感知、思考并適應(yīng)復(fù)雜的現(xiàn)實(shí)世界。