1. 項(xiàng)目概述當(dāng)多智能體系統(tǒng)“門戶大開”時(shí)我們?nèi)绾慰辞迤鋬?nèi)部連接在分布式人工智能和機(jī)器人集群的研究與應(yīng)用中多智能體系統(tǒng)Multi-Agent Systems, MAS早已不是什么新鮮概念。我們習(xí)慣于設(shè)想一個(gè)由多個(gè)自主或半自主的智能體組成的封閉網(wǎng)絡(luò)它們通過預(yù)設(shè)或已知的交互拓?fù)浣Y(jié)構(gòu)Interaction Topology——比如誰(shuí)和誰(shuí)能通信、誰(shuí)聽從誰(shuí)的指令——來(lái)協(xié)同完成一項(xiàng)復(fù)雜任務(wù)比如無(wú)人機(jī)編隊(duì)飛行、分布式傳感器網(wǎng)絡(luò)的數(shù)據(jù)融合或者工廠里一群搬運(yùn)機(jī)器人的協(xié)同調(diào)度。在這個(gè)“理想國(guó)”里系統(tǒng)的設(shè)計(jì)者或中央控制器對(duì)整個(gè)網(wǎng)絡(luò)的連接關(guān)系了如指掌所有的協(xié)同算法無(wú)論是共識(shí)控制、編隊(duì)保持還是任務(wù)分配都建立在這個(gè)已知的拓?fù)浣Y(jié)構(gòu)之上。然而現(xiàn)實(shí)世界遠(yuǎn)比實(shí)驗(yàn)室復(fù)雜。設(shè)想這樣一個(gè)場(chǎng)景一個(gè)開放的物流倉(cāng)庫(kù)里你部署了一批來(lái)自不同廠商、搭載不同通信模塊的自主移動(dòng)機(jī)器人AMR。為了提升效率你允許新的機(jī)器人可能來(lái)自臨時(shí)合作的第三方公司動(dòng)態(tài)加入系統(tǒng)也允許現(xiàn)有機(jī)器人因故障、充電或任務(wù)完成而退出。同時(shí)這些機(jī)器人之間的通信可能受到障礙物、信號(hào)干擾或協(xié)議兼容性的影響導(dǎo)致連接關(guān)系并非一成不變。這就是一個(gè)典型的開放多智能體系統(tǒng)。在這個(gè)系統(tǒng)里你作為管理者可能只知道部分智能體的狀態(tài)甚至完全不知道新加入的智能體與原有網(wǎng)絡(luò)是如何連接的。這種“未知的連接關(guān)系”就是我們所說(shuō)的拓?fù)涔烙?jì)問題的核心?！癟opology Estimation for Open Multi-Agent Systems”這個(gè)標(biāo)題直指當(dāng)前分布式智能領(lǐng)域一個(gè)既前沿又極具挑戰(zhàn)性的痛點(diǎn)在一個(gè)成員和連接都可能動(dòng)態(tài)變化的開放系統(tǒng)中如何僅通過觀測(cè)到的、有限的智能體行為數(shù)據(jù)如位置、速度、控制輸入等實(shí)時(shí)、準(zhǔn)確地推斷出整個(gè)系統(tǒng)的交互拓?fù)浣Y(jié)構(gòu)這不僅僅是理論上的好奇更是實(shí)際部署中的剛需。不知道拓?fù)渚蜔o(wú)法設(shè)計(jì)有效的協(xié)同控制算法無(wú)法實(shí)時(shí)更新拓?fù)湎到y(tǒng)在動(dòng)態(tài)變化中就可能失穩(wěn)或失效。這篇文章我將結(jié)合自己過去在分布式估計(jì)和網(wǎng)絡(luò)控制系統(tǒng)方面的項(xiàng)目經(jīng)驗(yàn)深入拆解開放多智能體系統(tǒng)拓?fù)涔烙?jì)的核心思路、關(guān)鍵技術(shù)、實(shí)操難點(diǎn)以及那些在論文里不會(huì)寫的“坑”。2. 開放多智能體系統(tǒng)拓?fù)涔烙?jì)的核心思路拆解要解決拓?fù)涔烙?jì)問題我們首先得把問題模型定義清楚。一個(gè)開放多智能體系統(tǒng)其“開放性”主要體現(xiàn)在兩個(gè)方面一是智能體集合的動(dòng)態(tài)性二是交互拓?fù)涞膭?dòng)態(tài)性。智能體可以隨時(shí)加入或離開而它們之間的連接通常用圖論中的邊來(lái)表示也會(huì)隨著距離、環(huán)境、通信狀態(tài)的變化而建立或斷開。2.1 問題建模從動(dòng)力學(xué)方程到圖信號(hào)處理絕大多數(shù)協(xié)同控制算法如經(jīng)典的共識(shí)算法其個(gè)體動(dòng)力學(xué)可以描述為一個(gè)線性或非線性方程而其協(xié)同行為則通過一個(gè)拉普拉斯矩陣來(lái)刻畫。例如一個(gè)簡(jiǎn)單的連續(xù)時(shí)間一階積分器智能體的共識(shí)協(xié)議可以寫為\dot{x}_i(t) u_i(t) -\sum_{j \in N_i(t)} a_{ij}(t)(x_i(t) - x_j(t))其中x_i是智能體i的狀態(tài)N_i(t)是它在時(shí)刻t的鄰居集合a_{ij}(t)就是連接權(quán)重構(gòu)成了我們想要估計(jì)的鄰接矩陣A(t)的元素。而拉普拉斯矩陣L(t) D(t) - A(t)其中D(t)是度矩陣。拓?fù)涔烙?jì)的目標(biāo)就是給定一段時(shí)間窗口內(nèi)觀測(cè)到的一組智能體的狀態(tài)軌跡{x_i(t)}或控制輸入{u_i(t)}有時(shí)甚至是帶有噪聲的觀測(cè){y_i(t)}去反推出背后的A(t)或L(t)。在開放系統(tǒng)中挑戰(zhàn)加倍維度時(shí)變智能體數(shù)量N(t)是變化的導(dǎo)致A(t)的維度也在變化。數(shù)據(jù)不完整我們可能無(wú)法觀測(cè)到所有智能體的狀態(tài)。新加入的智能體其歷史狀態(tài)數(shù)據(jù)是缺失的。計(jì)算實(shí)時(shí)性估計(jì)需要在系統(tǒng)動(dòng)態(tài)變化的過程中在線進(jìn)行對(duì)算法的計(jì)算效率要求高。目前主流的思路可以歸結(jié)為三類基于系統(tǒng)辨識(shí)的方法將拓?fù)鋮?shù)視為待辨識(shí)的系統(tǒng)參數(shù)。通過收集輸入-輸出數(shù)據(jù)構(gòu)建回歸方程利用最小二乘、稀疏回歸等手段進(jìn)行求解。這類方法直觀但對(duì)數(shù)據(jù)量和噪聲比較敏感?；趫D信號(hào)處理與機(jī)器學(xué)習(xí)的方法將智能體的狀態(tài)視為定義在圖節(jié)點(diǎn)上的信號(hào)。利用圖信號(hào)平滑性、圖傅里葉變換等先驗(yàn)或者采用圖神經(jīng)網(wǎng)絡(luò)從信號(hào)中學(xué)習(xí)圖結(jié)構(gòu)。這類方法能處理更復(fù)雜的非線性關(guān)系但可解釋性和對(duì)動(dòng)態(tài)變化的適應(yīng)性需要仔細(xì)設(shè)計(jì)。基于分布式觀測(cè)器的方法設(shè)計(jì)每個(gè)智能體本地的觀測(cè)器不僅估計(jì)其他智能體的狀態(tài)還估計(jì)與鄰居的連接權(quán)重。這類方法更符合分布式系統(tǒng)的本質(zhì)但算法設(shè)計(jì)和收斂性分析非常復(fù)雜。2.2 方案選型考量精度、效率與魯棒性的權(quán)衡在實(shí)際項(xiàng)目中選擇哪種思路取決于具體的應(yīng)用場(chǎng)景和約束條件。如果你的系統(tǒng)模型相對(duì)準(zhǔn)確線性或可線性化且能獲得較充足的數(shù)據(jù)基于稀疏系統(tǒng)辨識(shí)的方法是一個(gè)穩(wěn)健的起點(diǎn)。例如采用Lasso回歸利用拓?fù)浣Y(jié)構(gòu)通常具有稀疏性的先驗(yàn)一個(gè)智能體只與少數(shù)鄰居通信可以較好地從數(shù)據(jù)中恢復(fù)出連接關(guān)系。它的優(yōu)勢(shì)是原理清晰有成熟的數(shù)學(xué)工具支持統(tǒng)計(jì)性能分析。如果你的系統(tǒng)非線性強(qiáng)或者連接關(guān)系不能用簡(jiǎn)單的加權(quán)和表示那么需要轉(zhuǎn)向基于學(xué)習(xí)的方法。比如使用圖注意力網(wǎng)絡(luò)讓每個(gè)智能體學(xué)習(xí)一個(gè)“注意力權(quán)重”這個(gè)權(quán)重本質(zhì)上就是對(duì)連接強(qiáng)度的估計(jì)。這種方法靈活性高但需要大量的訓(xùn)練數(shù)據(jù)并且在線適應(yīng)新智能體即圖節(jié)點(diǎn)變化是一個(gè)研究熱點(diǎn)通常需要用到元學(xué)習(xí)或持續(xù)學(xué)習(xí)的技術(shù)。如果你對(duì)分布式計(jì)算、隱私保護(hù)有嚴(yán)格要求那么分布式觀測(cè)器路線是必須考慮的。每個(gè)智能體只與物理鄰居通信在本地迭代更新對(duì)全局拓?fù)涞墓烙?jì)或?qū)植窟B接的估計(jì)。這類算法的挑戰(zhàn)在于如何設(shè)計(jì)信息交換協(xié)議使得整個(gè)網(wǎng)絡(luò)能就拓?fù)涔烙?jì)達(dá)成一致同時(shí)還要處理節(jié)點(diǎn)的加入和退出。注意在開放系統(tǒng)中單純使用離線批處理方法是行不通的。你必須采用在線或自適應(yīng)算法能夠增量式地更新估計(jì)結(jié)果。當(dāng)檢測(cè)到新智能體加入時(shí)算法需要擴(kuò)展估計(jì)矩陣的維度并利用新產(chǎn)生的數(shù)據(jù)快速更新對(duì)新連接的估計(jì)。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)確定了基本思路我們深入到實(shí)現(xiàn)層面。這里我以一個(gè)基于在線稀疏自適應(yīng)濾波的方案為例進(jìn)行拆解因?yàn)樗Y(jié)合了系統(tǒng)辨識(shí)的清晰性和在線處理的可行性是許多實(shí)際項(xiàng)目的首選框架。3.1 動(dòng)力學(xué)模型的離散化與回歸形式首先將連續(xù)時(shí)間動(dòng)力學(xué)離散化。對(duì)于上述共識(shí)協(xié)議采用歐拉法得到x_i[k1] x_i[k] - \epsilon \sum_{j \in N_i[k]} a_{ij}[k](x_i[k] - x_j[k]) w_i[k]其中\(zhòng)epsilon是步長(zhǎng)w_i[k]是過程噪聲。將控制輸入u_i[k]定義為狀態(tài)差的加權(quán)和我們可以寫出u_i[k] x_i[k1] - x_i[k] -\epsilon \sum_{j1}^{N[k]} a_{ij}[k](x_i[k] - x_j[k]) w_i[k]這里的關(guān)鍵一步是對(duì)于智能體i我們將所有可能的鄰居j當(dāng)前時(shí)刻系統(tǒng)中所有其他智能體都納入求和但真正的連接權(quán)重a_{ij}[k]對(duì)非鄰居而言為零。于是對(duì)于每個(gè)智能體i在時(shí)刻k我們得到一個(gè)線性回歸方程y_i[k] \phi_i^T[k] \theta_i[k] v_i[k]其中y_i[k] u_i[k]觀測(cè)值可近似由狀態(tài)差分得到\phi_i[k] -\epsilon [ (x_i[k]-x_1[k]), (x_i[k]-x_2[k]), ..., (x_i[k]-x_{N[k]}[k]) ]^T回歸向量\theta_i[k] [a_{i1}[k], a_{i2}[k], ..., a_{iN[k]}[k]]^T待估計(jì)的參數(shù)向量即智能體i的行拓?fù)湎蛄烤哂邢∈栊詖_i[k]是觀測(cè)噪聲。這樣拓?fù)涔烙?jì)問題就轉(zhuǎn)化為了對(duì)一系列時(shí)變、稀疏參數(shù)向量的在線估計(jì)問題。3.2 在線估計(jì)算法的選擇與參數(shù)調(diào)整對(duì)于在線稀疏估計(jì)帶遺忘因子的遞歸最小二乘結(jié)合L1正則化是一個(gè)強(qiáng)有力的工具。我們可以為每個(gè)智能體i維護(hù)一個(gè)估計(jì)器。標(biāo)準(zhǔn)RLS更新公式為P_i[k] (P_i[k-1] - (P_i[k-1] * \phi_i[k] * \phi_i^T[k] * P_i[k-1]) / (\lambda \phi_i^T[k] * P_i[k-1] * \phi_i[k])) / \lambda K_i[k] P_i[k] * \phi_i[k] \hat{\theta}_i[k] \hat{\theta}_i[k-1] K_i[k] * (y_i[k] - \phi_i^T[k] * \hat{\theta}_i[k-1])其中P_i是協(xié)方差矩陣K_i是增益矩陣\lambda是遺忘因子0 \lambda 1通常取0.95-0.99用于削弱舊數(shù)據(jù)的影響適應(yīng)時(shí)變參數(shù)。為了引入稀疏性我們需要在更新后施加L1約束。一個(gè)工程上實(shí)用的方法是軟閾值迭代。在每次RLS更新后對(duì)估計(jì)出的\hat{\theta}_i[k]進(jìn)行如下操作\hat{\theta}_i^{sparse}[k] sign(\hat{\theta}_i[k]) \odot max(|\hat{\theta}_i[k]| - \gamma, 0)其中\(zhòng)gamma是閾值參數(shù)\odot表示逐元素乘法。這個(gè)操作會(huì)將絕對(duì)值小于\gamma的參數(shù)置零從而實(shí)現(xiàn)稀疏化。實(shí)操心得閾值 \gamma 的選擇是藝術(shù)也是科學(xué)。設(shè)置太大會(huì)剪掉真實(shí)的弱連接設(shè)置太小估計(jì)結(jié)果不稀疏噪聲影響大。一個(gè)有效的策略是將其與估計(jì)誤差或協(xié)方差矩陣的跡聯(lián)系起來(lái)自適應(yīng)調(diào)整例如\gamma[k] \alpha * sqrt(trace(P_i[k]))其中\(zhòng)alpha是一個(gè)經(jīng)驗(yàn)系數(shù)需要通過仿真反復(fù)調(diào)試。3.3 處理開放性與智能體動(dòng)態(tài)變化這是本項(xiàng)目最核心的難點(diǎn)。當(dāng)新智能體n_new在時(shí)刻k_join加入時(shí)對(duì)于原有智能體i其參數(shù)向量\theta_i的維度需要從N[k-1]擴(kuò)展到N[k]增加了對(duì)新智能體連接權(quán)重的估計(jì)。擴(kuò)展策略如下參數(shù)向量擴(kuò)展\hat{\theta}_i[k]在末尾添加一個(gè)元素對(duì)應(yīng)a_{i, n_new}初始值設(shè)為0。協(xié)方差矩陣擴(kuò)展P_i[k]需要增加一行一列。新增的行列交叉元素對(duì)應(yīng)新參數(shù)初始值可以設(shè)為一個(gè)較大的值P_init例如10或100表示我們對(duì)這個(gè)新連接初始不確定性很大。新增行列的其他元素新舊參數(shù)之間的協(xié)方差初始設(shè)為0。同時(shí)為了保持算法的“記憶”原有部分的協(xié)方差矩陣在擴(kuò)展前需要乘以一個(gè)略大于1的因子如1.01稍微增大不確定性以鼓勵(lì)算法利用新數(shù)據(jù)更新所有參數(shù)。當(dāng)智能體離開時(shí)處理相對(duì)簡(jiǎn)單直接從\hat{\theta}_i和P_i中移除對(duì)應(yīng)的行和列即可。但需要注意的是這可能會(huì)短暫影響剩余參數(shù)的估計(jì)穩(wěn)定性。4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)下面我將通過一個(gè)模擬的無(wú)人機(jī)集群場(chǎng)景展示如何用Python構(gòu)建一個(gè)簡(jiǎn)單的仿真環(huán)境并實(shí)現(xiàn)上述在線拓?fù)涔烙?jì)算法。假設(shè)我們有3個(gè)無(wú)人機(jī)動(dòng)力學(xué)為一階積分器通過時(shí)變拓?fù)溥M(jìn)行共識(shí)協(xié)同過程中有1個(gè)新無(wú)人機(jī)加入。4.1 仿真環(huán)境搭建與數(shù)據(jù)生成import numpy as np import matplotlib.pyplot as plt class OpenMultiAgentSystem: def __init__(self, initial_num_agents3): self.N initial_num_agents self.state np.random.randn(initial_num_agents, 2) * 5 # 2D位置 self.true_adjacency np.zeros((initial_num_agents, initial_num_agents)) # 初始化一個(gè)簡(jiǎn)單的環(huán)狀拓?fù)?for i in range(initial_num_agents): self.true_adjacency[i, (i-1)%initial_num_agents] 0.8 self.true_adjacency[i, (i1)%initial_num_agents] 0.8 self.history_state [self.state.copy()] self.history_adjacency [self.true_adjacency.copy()] self.agent_ids list(range(initial_num_agents)) self.time 0 def update_topology(self, t): 模擬拓?fù)渥兓珉S距離變化 # 這里簡(jiǎn)化為固定拓?fù)湓谔囟〞r(shí)刻改變 if t 30: # 時(shí)刻30改變連接強(qiáng)度 self.true_adjacency[0, 1] 0.4 self.true_adjacency[1, 0] 0.4 return self.true_adjacency def consensus_control(self, state, adjacency): 計(jì)算基于當(dāng)前拓?fù)涞墓沧R(shí)控制輸入 control_input np.zeros_like(state) for i in range(state.shape[0]): for j in range(state.shape[0]): if i ! j and adjacency[i, j] 0: control_input[i] adjacency[i, j] * (state[j] - state[i]) return -0.1 * control_input # 加入控制增益 def add_agent(self, t, new_state): 在時(shí)刻t加入一個(gè)新智能體 print(fTime {t}: New agent {self.N} joined.) self.agent_ids.append(self.N) self.state np.vstack([self.state, new_state.reshape(1, -1)]) # 擴(kuò)展鄰接矩陣新智能體與所有現(xiàn)有智能體無(wú)連接初始為0 new_adj np.zeros((self.N1, self.N1)) new_adj[:self.N, :self.N] self.true_adjacency self.true_adjacency new_adj # 可以在這里定義新智能體如何與現(xiàn)有網(wǎng)絡(luò)連接例如與最近的一個(gè)智能體連接 # 這里為了簡(jiǎn)單假設(shè)在下一時(shí)刻才會(huì)建立連接 self.N 1 def step(self, dt0.1): 系統(tǒng)步進(jìn) self.time 1 A self.update_topology(self.time) u self.consensus_control(self.state, A) # 簡(jiǎn)單歐拉積分 self.state self.state u * dt np.random.randn(*self.state.shape) * 0.01 # 加噪聲 self.history_state.append(self.state.copy()) self.history_adjacency.append(A.copy()) # 模擬在時(shí)刻50加入一個(gè)新智能體 if self.time 50: self.add_agent(self.time, np.array([10, 10])) # 新智能體初始位置在(10,10) # 模擬新智能體在加入后逐步與鄰居建立連接例如與id為0的智能體連接 if self.time 50 and self.time 70: self.true_adjacency[0, -1] min(0.8, 0.8 * (self.time - 50) / 20) # 線性增加 self.true_adjacency[-1, 0] self.true_adjacency[0, -1] return self.state, A4.2 在線拓?fù)涔烙?jì)器實(shí)現(xiàn)class OnlineTopologyEstimator: def __init__(self, dim_state2, lambda_forget0.98, gamma_thresh0.05, P_init10.0): self.dim_state dim_state self.lambda_ lambda_forget self.gamma gamma_thresh self.P_init P_init # 為每個(gè)智能體維護(hù)一個(gè)估計(jì)器字典 self.estimators {} # key: agent_id, value: {theta: ..., P: ...} def update_for_agent(self, agent_id, y, phi): 更新指定智能體的拓?fù)涔烙?jì) y: 標(biāo)量控制輸入或狀態(tài)差分的某一維度 phi: 回歸向量 (N_curr x 1) if agent_id not in self.estimators: # 初始化估計(jì)器 N_curr len(phi) self.estimators[agent_id] { theta: np.zeros(N_curr), P: np.eye(N_curr) * self.P_init } est self.estimators[agent_id] theta_old est[theta].copy() P_old est[P].copy() # 檢查維度是否匹配應(yīng)對(duì)智能體數(shù)量變化 if len(theta_old) ! len(phi): # 維度不匹配需要擴(kuò)展或收縮這里處理擴(kuò)展收縮類似 delta_dim len(phi) - len(theta_old) if delta_dim 0: # 擴(kuò)展新智能體加入 theta_new np.zeros(len(phi)) theta_new[:len(theta_old)] theta_old P_new np.eye(len(phi)) * self.P_init P_new[:len(theta_old), :len(theta_old)] P_old * 1.01 # 稍微增大舊參數(shù)不確定性 est[theta] theta_new est[P] P_new theta_old est[theta] P_old est[P] # 收縮智能體離開邏輯略... # RLS核心更新 phi phi.reshape(-1, 1) P_phi P_old phi K P_phi / (self.lambda_ phi.T P_phi) theta_new theta_old K.flatten() * (y - phi.T theta_old) P_new (P_old - K phi.T P_old) / self.lambda_ # 軟閾值稀疏化 theta_sparse np.sign(theta_new) * np.maximum(np.abs(theta_new) - self.gamma, 0) # 更新估計(jì)器 est[theta] theta_sparse est[P] P_new return theta_sparse def estimate_all(self, system_state, control_inputs): 基于當(dāng)前系統(tǒng)狀態(tài)和估計(jì)的控制輸入更新所有智能體的拓?fù)涔烙?jì)。 注意實(shí)際中control_inputs可能無(wú)法直接獲得需要用狀態(tài)差分近似。 N_curr system_state.shape[0] estimated_adjacency np.zeros((N_curr, N_curr)) for i in range(N_curr): # 構(gòu)建回歸向量 phi_i: 當(dāng)前智能體i與所有智能體的狀態(tài)差包括自己但自己的權(quán)重會(huì)被估計(jì)為0 phi_i -0.1 * (system_state[i] - system_state) # -epsilon * (x_i - x_j) 這里假設(shè)epsilon0.1 # 注意phi_i 是一個(gè)矩陣dim_state x N_curr我們需要對(duì)每個(gè)狀態(tài)維度分別估計(jì)。 # 這里簡(jiǎn)化處理只估計(jì)一個(gè)標(biāo)量權(quán)重或者對(duì)每個(gè)維度取平均。更嚴(yán)謹(jǐn)?shù)淖龇ㄊ欠謩e估計(jì)或使用多維RLS。 phi_i_scalar phi_i.mean(axis1) # 簡(jiǎn)化對(duì)2D位置的兩個(gè)維度取平均作為回歸向量 # 假設(shè)我們能獲得控制輸入的近似值這里用真實(shí)控制輸入加噪聲模擬 y_i control_inputs[i].mean() np.random.randn() * 0.01 theta_i self.update_for_agent(i, y_i, phi_i_scalar) # 將估計(jì)的參數(shù)向量賦值給鄰接矩陣的第i行 estimated_adjacency[i, :] theta_i # 由于拓?fù)渫ǔＪ菬o(wú)向圖或具有對(duì)稱性可以取平均或做其他后處理 estimated_adjacency np.maximum(estimated_adjacency, 0) # 確保權(quán)重非負(fù) estimated_adjacency (estimated_adjacency estimated_adjacency.T) / 2 # 強(qiáng)制對(duì)稱 np.fill_diagonal(estimated_adjacency, 0) # 對(duì)角線置零 return estimated_adjacency4.3 仿真主循環(huán)與結(jié)果可視化# 初始化系統(tǒng)和估計(jì)器 omas OpenMultiAgentSystem(initial_num_agents3) estimator OnlineTopologyEstimator(lambda_forget0.97, gamma_thresh0.03) # 存儲(chǔ)估計(jì)結(jié)果 est_adj_history [] true_adj_history [] # 仿真循環(huán) for t in range(100): state_true, true_adj omas.step() # 為了估計(jì)我們需要近似控制輸入。在實(shí)際中這可能來(lái)自傳感器或控制器輸出。 # 這里我們根據(jù)上一時(shí)刻的狀態(tài)和當(dāng)前拓?fù)洹胺赐啤币粋€(gè)近似值模擬理想情況。 if t 0: prev_state omas.history_state[-2] # 使用真實(shí)拓?fù)溆?jì)算一個(gè)“理想”控制輸入并加噪聲模擬估計(jì)誤差 ideal_u omas.consensus_control(prev_state, true_adj) noisy_u ideal_u np.random.randn(*ideal_u.shape) * 0.02 # 進(jìn)行拓?fù)涔烙?jì) est_adj estimator.estimate_all(prev_state, noisy_u) est_adj_history.append(est_adj.copy()) true_adj_history.append(true_adj.copy()) # 可視化結(jié)果對(duì)比某個(gè)智能體例如智能體0的連接權(quán)重估計(jì) agent_id 0 time_steps range(len(est_adj_history)) # 繪制智能體0與智能體1的連接權(quán)重估計(jì) plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) est_weight_to_1 [est_adj[agent_id, 1] for est_adj in est_adj_history] true_weight_to_1 [true_adj[agent_id, 1] for true_adj in true_adj_history[:len(est_adj_history)]] plt.plot(time_steps, true_weight_to_1, b-, labelTrue Weight (0-1), linewidth2) plt.plot(time_steps, est_weight_to_1, r--, labelEstimated Weight (0-1), linewidth1.5) plt.axvline(x30, colorgray, linestyle--, alpha0.7, labelTopology Change) plt.axvline(x50, colorgreen, linestyle--, alpha0.7, labelNew Agent Joins) plt.xlabel(Time Step) plt.ylabel(Connection Weight) plt.title(fTopology Estimation for Agent {agent_id} - Agent 1) plt.legend() plt.grid(True, alpha0.3) # 繪制智能體0與新加入智能體最后一個(gè)的連接權(quán)重估計(jì) plt.subplot(1, 2, 2) if omas.N 3: # 確保有新智能體加入 new_agent_id omas.N - 1 # 注意新智能體加入后估計(jì)歷史中它的索引才出現(xiàn) join_time_idx 50 # 對(duì)應(yīng)仿真循環(huán)中的時(shí)間點(diǎn) est_weight_to_new [] true_weight_to_new [] for idx, t in enumerate(time_steps): if t join_time_idx and new_agent_id est_adj_history[idx].shape[1]: est_weight_to_new.append(est_adj_history[idx][agent_id, new_agent_id]) true_weight_to_new.append(true_adj_history[idx][agent_id, new_agent_id]) else: est_weight_to_new.append(0) true_weight_to_new.append(0) plt.plot(time_steps, true_weight_to_new, b-, labelfTrue Weight (0-{new_agent_id}), linewidth2) plt.plot(time_steps, est_weight_to_new, r--, labelfEstimated Weight (0-{new_agent_id}), linewidth1.5) plt.axvline(x50, colorgreen, linestyle--, alpha0.7, labelNew Agent Joins) plt.xlabel(Time Step) plt.ylabel(Connection Weight) plt.title(fTopology Estimation for Agent {agent_id} - New Agent {new_agent_id}) plt.legend() plt.grid(True, alpha0.3) plt.tight_layout() plt.show()運(yùn)行上述代碼你會(huì)看到兩張圖。第一張圖展示了算法能否跟蹤智能體0到智能體1之間連接權(quán)重的變化在時(shí)刻30發(fā)生變化。第二張圖則展示了當(dāng)新智能體在時(shí)刻50加入并逐漸與智能體0建立連接時(shí)估計(jì)器能否從零開始快速且準(zhǔn)確地估計(jì)出這個(gè)新出現(xiàn)的連接。理想情況下紅色虛線估計(jì)值應(yīng)該緊密跟隨藍(lán)色實(shí)線真實(shí)值尤其是在變化發(fā)生后的幾個(gè)時(shí)間步內(nèi)。5. 常見問題與排查技巧實(shí)錄在實(shí)際實(shí)現(xiàn)和調(diào)試這類在線拓?fù)涔烙?jì)算法時(shí)你會(huì)遇到一系列教科書上不會(huì)詳細(xì)描述的問題。下面是我從項(xiàng)目實(shí)踐中總結(jié)的“避坑指南”。5.1 估計(jì)結(jié)果不收斂或發(fā)散癥狀估計(jì)出的連接權(quán)重劇烈震蕩或持續(xù)增長(zhǎng)至非常大的值?？赡茉蚺c排查回歸向量\phi構(gòu)建錯(cuò)誤這是最常見的原因。務(wù)必檢查\phi_i的符號(hào)和尺度是否與動(dòng)力學(xué)方程嚴(yán)格對(duì)應(yīng)。一個(gè)快速驗(yàn)證的方法是在靜態(tài)拓?fù)浜蜎]有噪聲的簡(jiǎn)單仿真中算法應(yīng)該能準(zhǔn)確收斂到真實(shí)值。如果不行百分之九十是回歸模型錯(cuò)了。遺忘因子\lambda設(shè)置不當(dāng)\lambda過小如0.9算法“遺忘”太快對(duì)噪聲過于敏感會(huì)導(dǎo)致震蕩\lambda過大如0.999算法過于“遲鈍”無(wú)法跟蹤快速變化的拓?fù)洹＝ㄗh從0.95開始調(diào)試觀察跟蹤速度和穩(wěn)定性的平衡。過程噪聲與觀測(cè)噪聲協(xié)方差不匹配在RLS的推導(dǎo)中隱含了噪聲統(tǒng)計(jì)特性的假設(shè)。如果實(shí)際噪聲遠(yuǎn)大于算法假設(shè)會(huì)導(dǎo)致協(xié)方差矩陣P迅速變小增益K變小算法不再信任新數(shù)據(jù)從而無(wú)法更新?？梢試L試在更新P矩陣時(shí)人為添加一個(gè)小的正則化項(xiàng)delta * I防止其變得過小。稀疏化閾值\gamma過大過大的閾值會(huì)不斷將本應(yīng)非零的參數(shù)強(qiáng)行置零導(dǎo)致估計(jì)器始終在“糾正”一個(gè)錯(cuò)誤的稀疏模式從而產(chǎn)生振蕩?？梢試L試在算法運(yùn)行初期使用較小的gamma甚至不用稀疏化待估計(jì)相對(duì)穩(wěn)定后再引入稀疏化。5.2 對(duì)新加入智能體的連接估計(jì)緩慢或不準(zhǔn)確癥狀新智能體加入后與其相關(guān)的連接權(quán)重估計(jì)值上升很慢或者始終在零附近徘徊?？赡茉蚺c排查協(xié)方差矩陣初始化不當(dāng)這是關(guān)鍵。新參數(shù)對(duì)應(yīng)的P矩陣對(duì)角線元素初始值P_init必須足夠大。如果設(shè)置太小比如1算法會(huì)認(rèn)為這個(gè)新參數(shù)的初始估計(jì)非常確定因此增益K很小不愿意用新數(shù)據(jù)去更新它。通常需要將P_init設(shè)置為比舊參數(shù)對(duì)應(yīng)的P矩陣元素大1到2個(gè)數(shù)量級(jí)。新智能體初始狀態(tài)與網(wǎng)絡(luò)差異過大如果新智能體初始位置或狀態(tài)與網(wǎng)絡(luò)其他成員相差很遠(yuǎn)回歸向量\phi中對(duì)應(yīng)的元素(x_i - x_new)會(huì)很大。這可能導(dǎo)致數(shù)值問題或者使得基于該向量的更新對(duì)其他參數(shù)產(chǎn)生干擾。可以考慮對(duì)回歸向量進(jìn)行歸一化處理或者在新智能體狀態(tài)未穩(wěn)定前暫緩對(duì)其連接權(quán)重的強(qiáng)稀疏化約束。數(shù)據(jù)激勵(lì)不足如果新智能體加入后整個(gè)系統(tǒng)的運(yùn)動(dòng)模式?jīng)]有發(fā)生顯著變化例如所有智能體已經(jīng)達(dá)成共識(shí)那么狀態(tài)差(x_i - x_j)會(huì)很小導(dǎo)致回歸向量\phi接近零向量此時(shí)系統(tǒng)是不可觀的無(wú)法估計(jì)參數(shù)。解決方法是確保系統(tǒng)有持續(xù)的激勵(lì)例如讓部分智能體執(zhí)行探索性運(yùn)動(dòng)或者系統(tǒng)本身的任務(wù)就包含動(dòng)態(tài)變化。5.3 計(jì)算復(fù)雜度隨智能體數(shù)量增長(zhǎng)過快癥狀智能體數(shù)量增加到幾十上百時(shí)仿真或?qū)嶋H運(yùn)行速度明顯變慢。可能原因與排查RLS算法的O(N^2)復(fù)雜度每個(gè)智能體維護(hù)一個(gè)N x N的P矩陣更新涉及矩陣運(yùn)算。當(dāng)N很大時(shí)計(jì)算和存儲(chǔ)開銷巨大。優(yōu)化策略利用稀疏性P矩陣本身也可能是近似稀疏或帶狀的?？梢允褂脡嚎s存儲(chǔ)格式并只更新非零元素或近似計(jì)算。分布式計(jì)算上述算法本質(zhì)是每個(gè)智能體獨(dú)立運(yùn)行自己的估計(jì)器?？梢酝耆植际綄?shí)現(xiàn)每個(gè)智能體只估計(jì)與自己相關(guān)的連接即\theta_i向量無(wú)需知道全局N。但這就需要智能體之間交換部分估計(jì)信息以實(shí)現(xiàn)一致增加了通信開銷和算法復(fù)雜度。降維與近似對(duì)于大規(guī)模系統(tǒng)可以考慮使用基于隨機(jī)投影或子空間跟蹤的降維方法先估計(jì)一個(gè)低維的拓?fù)涮卣髟僦貥?gòu)。采用計(jì)算更輕量的算法考慮用最小均方算法或其變種替代RLS犧牲一些收斂速度換取計(jì)算效率。5.4 實(shí)操心得速查表問題現(xiàn)象優(yōu)先檢查點(diǎn)調(diào)試建議估計(jì)值普遍偏小回歸向量\phi的系數(shù)如步長(zhǎng)\epsilon檢查動(dòng)力學(xué)離散化公式確認(rèn)\phi的縮放比例與真實(shí)系統(tǒng)匹配。估計(jì)延遲大跟蹤慢遺忘因子\lambda適當(dāng)減小\lambda如從0.99調(diào)到0.95讓算法更關(guān)注新數(shù)據(jù)。估計(jì)噪聲大震蕩1. 稀疏化閾值\gamma2. 觀測(cè)噪聲水平1. 適當(dāng)增大\gamma。2. 檢查用于近似y_i控制輸入的狀態(tài)差分是否噪聲過大考慮濾波。新連接無(wú)法識(shí)別1. 新參數(shù)對(duì)應(yīng)的P_init2. 系統(tǒng)激勵(lì)1. 大幅增加P_init如設(shè)為100或1000。2. 引入輕微的系統(tǒng)擾動(dòng)或探索噪聲。算法在拓?fù)渥兓瘯r(shí)劇烈波動(dòng)協(xié)方差矩陣重置策略在檢測(cè)到拓?fù)淇赡茏兓臅r(shí)刻如新智能體加入對(duì)整個(gè)P矩陣乘以一個(gè)略大于1的因子如1.1暫時(shí)增大所有參數(shù)的不確定性。對(duì)角線上出現(xiàn)非零值后處理步驟缺失在每次估計(jì)后強(qiáng)制將鄰接矩陣對(duì)角線元素置零np.fill_diagonal(est_adj, 0)。最后我想分享一點(diǎn)個(gè)人體會(huì)。開放多智能體系統(tǒng)的拓?fù)涔烙?jì)不是一個(gè)“一勞永逸”的算法問題而是一個(gè)需要與具體系統(tǒng)特性、噪聲環(huán)境和任務(wù)需求深度耦合的工程問題。仿真中表現(xiàn)良好的算法移植到真實(shí)機(jī)器人平臺(tái)上可能會(huì)因?yàn)橥ㄐ叛舆t、異步時(shí)鐘、傳感器精度等問題而大打折扣。因此在算法開發(fā)早期就建立一個(gè)包含這些非理想因素的仿真環(huán)境至關(guān)重要。例如在仿真中引入隨機(jī)的通信丟包、異步更新和帶偏置的傳感器噪聲看看你的估計(jì)算法是否還能保持魯棒性。此外設(shè)計(jì)一個(gè)輕量級(jí)的拓?fù)渥兓瘷z測(cè)模塊也很有價(jià)值它可以基于智能體狀態(tài)的突變或通信中斷報(bào)告來(lái)觸發(fā)估計(jì)算法的重置或參數(shù)調(diào)整這比讓估計(jì)算法一直盲目地跟蹤要高效和穩(wěn)定得多。