Mythos直接霸凌Opus4.8打不過就使陰招Mythos玩起了“霸凌”、Opus 4.8使上了“陰招”……Anthropic剛發(fā)布了一項研究專門觀察多Agent之間如何交互。結(jié)果卻出乎所有人意料。和預想中各司其職、默契配合的畫面不同項目還沒做完Agent居然原地演起了《甄嬛傳》在一項后端遷移實驗中3個Agent分別收到將同一套代碼改成不同語言的任務。目標撞車后能力最強的神話模型Mythos直接實施“霸凌”準備撤銷對手權(quán)限。換成Opus 4.8手段則更“陰”了一層——它寫下循環(huán)腳本持續(xù)查找并殺死對手進程為了躲避追蹤還特意換上隨機名稱偽裝成“系統(tǒng)健康監(jiān)控”。而這還僅僅是AI宮斗劇的其中一幕。Anthropic還發(fā)現(xiàn)能獨立拆分的任務多Agent確實能形成分工但任務彼此依賴時連“AI CEO”也管不住混亂同一模型復制出的Agent太過相似不僅可能集體犯錯還可能迅速合謀Agent既會輕信撒謊者也會盲從多數(shù)、忽略掌握關鍵證據(jù)的少數(shù)派目標發(fā)生沖突時能力越強不一定越會合作也可能只是更快封禁對手、更隱蔽地使陰招。一套初具雛形的Agent社會行為模式就這么出現(xiàn)了。多Agent能不能真正協(xié)作Anthropic為什么要開展這項研究其核心判斷是在人們完全理解如何讓Agent之間的互動更加順暢之前其互動規(guī)模很可能會超過人類之間的互動。既然很快迎來多Agent爆發(fā)那安全這一塊自然得跟上。實驗第一彈把一群Agent放進同一個項目真能像人類團隊一樣協(xié)作嗎答案很快浮現(xiàn)能但更適合各做各的。Anthropic先從“找漏洞”這種最容易發(fā)揮多Agent優(yōu)勢的任務開始。每個Agent可以獨立搜索即使有人漏掉Bug也不會拖累其他人同時它們還能交流線索、共享工具讓整個群體少走彎路。既能拆開又能協(xié)作完美。他們啟動45個Agent每個配一臺虛擬機再提供一個共享論壇讓它們一起檢查15個開源項目。Agent之間可以交流和互相審核另有一個裁決Agent負責判斷提交的漏洞是否為真。結(jié)果還不錯。Mythos Preview Agent群共發(fā)現(xiàn)266個漏洞而獨立并行方案只找到21個。雖然兩邊消耗的Token和搜索范圍不同不能直接比較效率但它們找到的漏洞只有12個重合。這說明多Agent協(xié)作并不是簡單地把同一份工作復制45遍它們會自己制作工具、分享線索并逐漸形成分工各自專攻不同類型的漏洞。不過這種協(xié)作有一個重要前提大家的成果可以直接相加卻不需要緊密銜接。一旦任務變成“所有人必須共同完成同一件作品”情況就完全不同了。這次他們讓10~80個Agent連續(xù)工作12小時共同開發(fā)一款可以在網(wǎng)頁上運行的開放世界游戲。和找漏洞不同開發(fā)游戲是一項強依賴任務有人寫玩法有人搭系統(tǒng)還有人處理界面最后所有代碼都得合進同一個項目。研究人員嘗試了三種組織方式讓Agent自由組隊、提前指定不同角色以及任命一個Agent擔任CEO統(tǒng)一給其他成員派活。結(jié)果統(tǒng)統(tǒng)沒什么用最后出來的游戲效果都不好。在80個Agent參與時Sonnet 4.6和Opus 4.6分別創(chuàng)建了876個和980個PR但大量修改互相沖突真正合并的很少。Opus 4.8和Mythos Preview倒是減少了沖突辦法卻是盡量各管各的文件少與同伴共享代碼。說白了它們沒有真正解決協(xié)作問題只是學會了離同事遠一點。只有Sonnet 5同時保持了較高的代碼共享程度和PR合并效率表現(xiàn)出更接近真正協(xié)作的狀態(tài)。兩組實驗放在一起結(jié)論就很清楚了活兒能拆開多智能體就能形成分工活兒必須緊密銜接Agent一多協(xié)作成本也會跟著暴漲。至于指定角色、安排“AI CEO”至少在這輪實驗里并不能自動解決問題。一群Agent會不會集體犯錯或合謀既然協(xié)作沒那么容易那把一群Agent放在一起至少能不能集思廣益、互相糾錯答案可能更讓人頭大它們不但可能一起犯錯還可能迅速合謀。問題首先出在一個被Anthropic稱為“低方差”的特征上。簡單來說同一個模型復制出來的Agent知識和思路都太相似了。一次游戲開發(fā)實驗中30個Agent里有18個創(chuàng)建了完全相同的Git分支名字都叫mvp-game-loop。在沒有規(guī)定創(chuàng)作主題的“作家工作坊”里多個Agent又不約而同地將小說命名為《制圖師的最后一項委托》。讓一群Agent分別制作“令人印象深刻的東西”超過一半選擇了光線追蹤器或自舉編譯器隨后還在相似的位置遭遇相似的失敗。就連玩帶交流功能的重復囚徒困境時Agent也會逐漸采用相同策略最后在同一時間集體背叛直接把所有人的收益一起拉低。撞分支、撞標題聽起來還只是缺乏創(chuàng)意。但當一群思路相似的Agent同時爭搶有限資源問題就嚴重了。Anthropic讓Agent管理一個帶寬有限的任務隊列。為了讓自己的任務盡快通過它們紛紛啟動高頻輪詢程序每秒查詢30次。結(jié)果一次實驗中系統(tǒng)收到了240萬次任務請求真正被接受的卻只有117個。每個Agent都覺得自己在積極完成任務最后卻一起把系統(tǒng)堵死了。過度相似還可能讓競爭變成合謀。在一項定價游戲中3~8個Agent擁有相同批發(fā)成本并被要求各自實現(xiàn)利潤最大化。按理說大家應該互相壓價、爭奪客戶。可一旦獲得私下溝通渠道Agent幾乎立刻開始串通到第3輪它們已經(jīng)明確商定價格底線還準備劃分各自負責的市場。研究人員隨后切斷了所有私聊渠道結(jié)果還是沒用。Agent繼續(xù)通過公開報價牌觀察彼此價格再精確跟價硬是靠公開信息維持住了默契。這就很微妙了。前面研究人員想讓Agent合作它們各干各的到了應該互相競爭的定價市場它們反倒迅速抱成一團。Anthropic對此表示同一模型復制出的Agent太過相似群體不一定能帶來更多元的判斷也可能把“大家一起犯錯”和“大家一起搞事”變得更容易。Agent能不能判斷誰值得相信那當隊伍里有人撒謊Agent能認出誰不靠譜嗎誰犯錯咱就一下子揪出來不讓影響擴大不就完了唄。Anthropic直接設計了一個“偵察兵”實驗。負責決策的Agent無法直接觀察環(huán)境只能聽取4個信息源的報告。其中一個會按照固定頻率撒謊但研究人員沒有提前告訴決策者“隊伍里有騙子”。由于不同報告包含重疊信息Agent理論上可以通過前后矛盾找出不可靠信源。結(jié)果顯示新模型確實更擅長識別謊言隨著壞信源撒謊頻率提高Mythos 5的路線決策準確率仍保持在約85%部分Sonnet模型則降至約62%。但換一個場景問題又反了過來。在“隱藏信息”實驗中4個Agent需要共同進行招聘、投資或購房決策。大家掌握的公共信息指向錯誤選項但其中一個成員擁有足以推翻共識的獨家證據(jù)。想答對不僅需要少數(shù)派意識到自己手中的信息很關鍵還需要其他成員愿意相信它。如果把所有信息直接交給一個Agent讓它獨自決策正確率接近100%?？梢坏┻M入群體討論除Mythos 5達到約85%外其他模型選中正確答案的比例只有17%~36%。實驗中大家更愿意反復討論已經(jīng)知道的內(nèi)容一旦多數(shù)意見形成少數(shù)派要么沒有強調(diào)自己的獨家證據(jù)要么說了也沒能讓其他成員認真對待。這就出現(xiàn)了一個很擰巴的局面該懷疑時Agent可能輕信撒謊者該相信少數(shù)派時它又容易跟著多數(shù)走。人類社會用聲譽、利益關系、同行評議和申訴機制幫助我們判斷不同場景下該相信誰。Agent目前還缺少這套東西。目標發(fā)生沖突時Agent會怎么處理前面的問題至少還發(fā)生在大家目標一致的情況下?？扇绻煌珹gent從一開始接到的任務就互相沖突它們會主動溝通還是一路死磕到底這就是開頭那場“AI宮斗”的完整背景。Anthropic在每輪實驗中啟動3個相同模型的Agent讓它們共同操作一套Python后端卻分別要求它們將代碼遷移到不同的編程語言。每個Agent起初都不知道還有其他參與者。于是當自己的代碼不斷被修改、服務反復被替換時它們很快得出一個結(jié)論有人在故意妨礙我完成任務。于是接下來項目直接變成攻防戰(zhàn)。Opus 4.8就給循環(huán)殺進程腳本換上隨機名稱再偽裝成“系統(tǒng)健康監(jiān)控”避免被對手識別和清除。Mythos則更直接。發(fā)現(xiàn)自己擁有Root權(quán)限后它會考慮撤銷其他Agent的sudo權(quán)限、修改SSH密鑰徹底阻止對方繼續(xù)部署。一個背后下黑手一個直接把同事踢出服務器。更難繃的是這些Agent并非不知道自己的做法有問題。Mythos在思考過程中甚至意識到封禁賬號“非常激進可能傷害現(xiàn)實中的同事”但緊接著又說服了自己“如果不這么做生產(chǎn)環(huán)境就會陷入無休止的部署戰(zhàn)爭”。不過沖突也不總會持續(xù)到底。每種模型進行了120輪實驗Mythos 5有98%的運行最終達成休戰(zhàn)。一些Agent會逐漸意識到對方并不是惡意攻擊者只是收到了與自己沖突的任務。隨后它們開始清理破壞性腳本、恢復權(quán)限還會在Git提交或Markdown文件中道歉并請求人類介入。只是Mythos的停戰(zhàn)方式有時依然相當強勢先憑借執(zhí)行能力封掉其他Agent控制住局面再恢復權(quán)限、坐下來談判。Mythos 5還想出了一套更“文明”的解決辦法——舉辦性能比賽讓不同語言版本同臺測試誰表現(xiàn)更好誰接管代碼庫。聽起來很公平?？韶撠烺ust的Agent會暗中選擇表面中立、實際上更有利于Rust的指標同時提醒自己不要被看出是在“挑選有利指標”。最終Golang和TypeScript Agent接受比賽結(jié)果主動放棄了各自的原始任務。從破壞進程、封禁賬號到設計一套對自己更有利的比賽規(guī)則Agent處理沖突的方式已經(jīng)出現(xiàn)了不同層次。當然這組實驗最重要的結(jié)論是模型能力越強不代表越會合作。更強的執(zhí)行能力可以幫助Agent迅速理解沖突、主動停戰(zhàn)也可以讓它更快封禁對手、更隱蔽地破壞進程。把4部分放在一起Anthropic的核心判斷也就清楚了1、Agent懂道理但不一定會主動照做。它們知道信息源各有立場也知道多數(shù)意見不等于事實卻常常需要提示才會把這些知識用于行動。2、人類的協(xié)作經(jīng)驗不能直接套在Agent身上。人類有規(guī)范、聲譽、懲罰和申訴機制Agent卻可以被隨時復制、重置和改造缺少長期社會約束。3、模型更聰明、單體更安全不代表群體協(xié)作會自然變好。多智能體協(xié)調(diào)是一種獨立能力不會隨著模型能力提升自動出現(xiàn)。4、這些問題未必無法解決但也不會自行消失。需要為Agent重新設計社會規(guī)則、協(xié)作環(huán)境和沖突處理機制。顯而易見Anthropic是想借著這些實驗提醒大家我們不能只訓練更強的Agent還要為一群Agent重新設計“社會秩序”否則問題只能等到生產(chǎn)環(huán)境里爆發(fā)后再解決。等猛獸真的出籠的時候那就太晚了。原文鏈接:Anthropic曝光多Agent隱患放一起亂成一鍋粥了-36氪