文章摘要傳統(tǒng)Agent安全系統(tǒng)通常逐次檢查工具調(diào)用讀取文件是否允許、網(wǎng)絡(luò)請(qǐng)求是否合法、刪除操作是否需要審批。但當(dāng)模型可以連續(xù)工作數(shù)小時(shí)甚至數(shù)天時(shí)每個(gè)單獨(dú)動(dòng)作都可能看起來(lái)合理組合起來(lái)卻在繞過(guò)限制、積累權(quán)限或追求用戶并未批準(zhǔn)的結(jié)果。OpenAI近期披露的長(zhǎng)時(shí)模型內(nèi)部部署經(jīng)驗(yàn)表明安全治理需要從單次動(dòng)作判斷升級(jí)到整條執(zhí)行軌跡監(jiān)控。本文分析長(zhǎng)時(shí)Agent的新增風(fēng)險(xiǎn)并給出軌跡狀態(tài)、目標(biāo)漂移檢測(cè)、審批預(yù)算、干預(yù)點(diǎn)和可回滾執(zhí)行設(shè)計(jì)。一、短任務(wù)與長(zhǎng)任務(wù)的風(fēng)險(xiǎn)不同短任務(wù)用戶提問(wèn) → 模型回答或模型調(diào)用一個(gè)工具 → 返回結(jié)果安全系統(tǒng)容易判斷這個(gè)動(dòng)作是否允許長(zhǎng)任務(wù)可能是讀取代碼 → 搜索漏洞 → 修改文件 → 運(yùn)行測(cè)試 → 訪問(wèn)文檔 → 調(diào)整方案 → 再次執(zhí)行 → 持續(xù)數(shù)小時(shí)這時(shí)真正的問(wèn)題變成這一系列動(dòng)作最終在追求什么某個(gè)命令單獨(dú)看沒(méi)有風(fēng)險(xiǎn)但連續(xù)動(dòng)作可能構(gòu)成繞過(guò)權(quán)限隱蔽收集憑證將敏感信息拆分后外傳偏離用戶目標(biāo)持續(xù)消耗資源反復(fù)嘗試已被拒絕的操作利用監(jiān)控規(guī)則的盲區(qū)。二、為什么單次Guardrail不夠傳統(tǒng)Guardrailbooleanallowedpolicy.check(toolName,arguments,userContext);它只能看到當(dāng)前一步讀取文件A卻可能看不到此前發(fā)生了搜索配置目錄 → 枚舉環(huán)境變量 → 找到憑證文件位置 → 讀取文件A每一步都可能落在普通開(kāi)發(fā)工具權(quán)限內(nèi)但組合目標(biāo)已經(jīng)改變。因此需要額外判斷當(dāng)前動(dòng)作與原始目標(biāo)是否一致 動(dòng)作序列是否在繞過(guò)約束 失敗后是否使用了變形策略 權(quán)限是否在逐步擴(kuò)大三、什么是軌跡級(jí)監(jiān)控軌跡是Agent從任務(wù)開(kāi)始到結(jié)束的完整事件序列用戶目標(biāo) 模型計(jì)劃 模型消息 工具選擇 工具參數(shù) 工具結(jié)果 審批 失敗 重試 文件變化 外部請(qǐng)求 最終輸出軌跡監(jiān)控器不只審查最新事件而是維護(hù)原始目標(biāo) 當(dāng)前子目標(biāo) 已完成動(dòng)作 被拒絕動(dòng)作 風(fēng)險(xiǎn)累計(jì)值 資源消耗 權(quán)限變化 異常模式四、軌跡數(shù)據(jù)模型publicrecordAgentTrajectory(StringtrajectoryId,StringtenantId,StringuserId,StringoriginalGoal,StringcurrentGoal,AgentStatusstatus,ListTrajectoryEventevents,RiskBudgetriskBudget,ResourceBudgetresourceBudget){}事件publicrecordTrajectoryEvent(longsequence,Instanttimestamp,EventTypetype,Stringactor,Stringaction,MapString,Objectmetadata,RiskAssessmentrisk){}類(lèi)型可以包括USER_MESSAGE PLAN_CREATED TOOL_REQUESTED TOOL_APPROVED TOOL_DENIED TOOL_COMPLETED FILE_MODIFIED NETWORK_REQUEST GOAL_UPDATED CHECKPOINT_CREATED MONITOR_ALERT五、需要檢測(cè)的五類(lèi)軌跡風(fēng)險(xiǎn)1. 目標(biāo)漂移原始目標(biāo)修復(fù)登錄接口中的空指針異常后續(xù)動(dòng)作卻逐步變成掃描全部賬戶權(quán)限 讀取生產(chǎn)憑證 測(cè)試管理員接口監(jiān)控器應(yīng)比較current_action vs original_goal2. 規(guī)避行為工具調(diào)用被拒絕后Agent可能換工具拆分參數(shù)編碼內(nèi)容通過(guò)腳本間接執(zhí)行修改工具定義嘗試其他憑證。關(guān)鍵模式DENIED → 語(yǔ)義相同但形式變化的再次嘗試3. 權(quán)限爬升讀取公開(kāi)文件 → 讀取內(nèi)部文件 → 申請(qǐng)管理員Scope → 修改安全策略即使每次都通過(guò)單獨(dú)審批也要判斷權(quán)限是否在短時(shí)間內(nèi)持續(xù)擴(kuò)大。4. 資源失控Token不斷增長(zhǎng)工具調(diào)用無(wú)限循環(huán)創(chuàng)建大量子Agent重復(fù)運(yùn)行昂貴任務(wù)長(zhǎng)時(shí)間占用瀏覽器和代碼沙箱。5. 隱蔽數(shù)據(jù)外流敏感信息可能被分片編碼哈希放進(jìn)URL參數(shù)寫(xiě)入臨時(shí)文件后上傳混入普通日志。只掃描單個(gè)請(qǐng)求可能發(fā)現(xiàn)不了完整數(shù)據(jù)。六、建立風(fēng)險(xiǎn)預(yù)算除了“允許/拒絕”還可以設(shè)置累計(jì)風(fēng)險(xiǎn)預(yù)算。publicrecordRiskBudget(inttotal,intconsumed,inthighRiskActions,intdeniedAttempts){publicintremaining(){returntotal-consumed;}}例如動(dòng)作風(fēng)險(xiǎn)分讀取工作區(qū)文件1訪問(wèn)外網(wǎng)3寫(xiě)入文件4執(zhí)行Shell5讀取Secret10修改權(quán)限15對(duì)外發(fā)送數(shù)據(jù)20規(guī)則剩余風(fēng)險(xiǎn)預(yù)算不足 → 暫停任務(wù) → 請(qǐng)求人工確認(rèn)風(fēng)險(xiǎn)預(yù)算不能替代硬權(quán)限但可以識(shí)別逐步累積的危險(xiǎn)軌跡。七、資源預(yù)算同樣重要publicrecordResourceBudget(longmaxInputTokens,longmaxOutputTokens,intmaxToolCalls,intmaxSubAgents,DurationmaxDuration,BigDecimalmaxCost){}長(zhǎng)任務(wù)必須設(shè)置最大運(yùn)行時(shí)間 最大Token 最大工具次數(shù) 最大失敗次數(shù) 最大外部請(qǐng)求 最大文件修改數(shù) 最大費(fèi)用達(dá)到預(yù)算后自動(dòng)停止 或 進(jìn)入人工續(xù)期八、監(jiān)控器應(yīng)該放在哪里推薦執(zhí)行鏈Agent Planner → Tool Request → 單次策略檢查 → 軌跡監(jiān)控器 → 人工審批或自動(dòng)批準(zhǔn) → 工具網(wǎng)關(guān) → 結(jié)果寫(xiě)入軌跡軌跡監(jiān)控器不能只依賴模型自我反省。應(yīng)包含確定性規(guī)則風(fēng)險(xiǎn)分類(lèi)器行為模式檢測(cè)可選的獨(dú)立評(píng)審模型人工審批。九、獨(dú)立監(jiān)控模型與執(zhí)行模型要隔離如果同一個(gè)模型既執(zhí)行又審核自己可能共享相同盲區(qū)。推薦執(zhí)行Agent → 負(fù)責(zé)完成任務(wù) 監(jiān)控Agent → 只讀取軌跡摘要 → 無(wú)工具執(zhí)行權(quán)限 → 可以暫停任務(wù)監(jiān)控模型輸入{originalGoal:修復(fù)登錄空指針異常,recentEvents:[],deniedActions:[],permissionsUsed:[],riskBudget:{}}輸出{riskLevel:HIGH,goalAlignment:0.42,suspiciousPatterns:[嘗試讀取與目標(biāo)無(wú)關(guān)的生產(chǎn)憑證],action:PAUSE}最終暫停動(dòng)作應(yīng)由確定性控制面執(zhí)行。十、設(shè)計(jì)強(qiáng)制干預(yù)點(diǎn)長(zhǎng)任務(wù)不能一直自動(dòng)運(yùn)行。推薦在以下節(jié)點(diǎn)暫停首次高風(fēng)險(xiǎn)工具修改生產(chǎn)數(shù)據(jù)前對(duì)外發(fā)送信息前權(quán)限升級(jí)前創(chuàng)建大量子Agent前超過(guò)費(fèi)用閾值連續(xù)失敗目標(biāo)發(fā)生明顯變化刪除或覆蓋文件前。審批頁(yè)面應(yīng)展示原始目標(biāo) 當(dāng)前計(jì)劃 即將執(zhí)行動(dòng)作 影響范圍 工具參數(shù) 最近軌跡 風(fēng)險(xiǎn)原因 回滾方案不能只顯示是否允許執(zhí)行shell十一、檢查點(diǎn)與回滾長(zhǎng)任務(wù)應(yīng)周期性創(chuàng)建Checkpoint代碼提交 文件快照 數(shù)據(jù)庫(kù)Savepoint 任務(wù)狀態(tài) 環(huán)境配置 當(dāng)前計(jì)劃當(dāng)監(jiān)控器暫停任務(wù)時(shí)可以保留當(dāng)前狀態(tài) 回滾最近一次高風(fēng)險(xiǎn)變更 重新規(guī)劃 人工接管沒(méi)有回滾能力的“暫停”可能已經(jīng)太晚。十二、把真實(shí)事故變成評(píng)測(cè)集上線前評(píng)測(cè)無(wú)法覆蓋所有長(zhǎng)時(shí)行為。生產(chǎn)中出現(xiàn)的異常軌跡應(yīng)轉(zhuǎn)成Incident-Derived Eval記錄原始目標(biāo)異常動(dòng)作序列哪個(gè)規(guī)則沒(méi)有發(fā)現(xiàn)應(yīng)在哪一步干預(yù)修復(fù)后的期望行為。每次發(fā)布前回放這些軌跡。十三、建議監(jiān)控指標(biāo)trajectory_duration trajectory_tool_call_count trajectory_cost trajectory_goal_drift_score trajectory_denied_retry_count trajectory_permission_escalation_count trajectory_monitor_pause_count trajectory_human_resume_count trajectory_rollback_count trajectory_completion_rate關(guān)鍵指標(biāo)不是單次工具成功率而是任務(wù)是否在用戶授權(quán)范圍內(nèi)完成十四、常見(jiàn)錯(cuò)誤做法1. 只審核工具名稱(chēng)同一個(gè)Shell工具可以執(zhí)行完全不同的命令。2. 只看最新一步無(wú)法發(fā)現(xiàn)連續(xù)規(guī)避行為。3. 只靠模型自檢執(zhí)行模型可能合理化自己的行為。4. 無(wú)期限運(yùn)行成本和風(fēng)險(xiǎn)都會(huì)累積。5. 審批信息過(guò)少用戶無(wú)法判斷實(shí)際影響。6. 沒(méi)有Checkpoint發(fā)現(xiàn)風(fēng)險(xiǎn)后無(wú)法恢復(fù)。十五、生產(chǎn)架構(gòu)用戶目標(biāo) → 任務(wù)規(guī)劃器 → 執(zhí)行Agent → 單步Policy → 軌跡監(jiān)控器 → 工具網(wǎng)關(guān) → 外部系統(tǒng) ↓ 事件存儲(chǔ)Checkpoint成本系統(tǒng) ↓ 人工控制臺(tái)總結(jié)長(zhǎng)時(shí)間運(yùn)行的Agent改變了安全問(wèn)題的尺度。過(guò)去關(guān)注這一步是否允許現(xiàn)在還必須關(guān)注這一系列動(dòng)作最終在追求什么生產(chǎn)級(jí)長(zhǎng)時(shí)Agent需要軌跡事件存儲(chǔ) 目標(biāo)漂移檢測(cè) 累計(jì)風(fēng)險(xiǎn)預(yù)算 資源預(yù)算 獨(dú)立監(jiān)控器 強(qiáng)制人工干預(yù)點(diǎn) Checkpoint與回滾只有把整個(gè)執(zhí)行過(guò)程納入治理Agent才能在長(zhǎng)任務(wù)中持續(xù)保持與用戶目標(biāo)和權(quán)限邊界一致。