1. 項(xiàng)目概述當(dāng)數(shù)據(jù)分析師學(xué)會(huì)“自我進(jìn)化”最近在AI圈里“Agentic”這個(gè)詞的熱度居高不下幾乎成了智能體Agent研究的新代名詞。它描述的是一種系統(tǒng)或模型能夠像人類一樣主動(dòng)感知、規(guī)劃、決策并執(zhí)行復(fù)雜任務(wù)而不僅僅是響應(yīng)指令。當(dāng)我們將這種“能動(dòng)性”與“無(wú)監(jiān)督技能發(fā)現(xiàn)”結(jié)合并聚焦于“數(shù)據(jù)分析”這個(gè)具體領(lǐng)域時(shí)一個(gè)極具想象力的圖景便展開了我們能否創(chuàng)造一個(gè)數(shù)據(jù)分析智能體它不需要我們手把手地教它每一個(gè)分析套路而是能從海量的、未標(biāo)記的數(shù)據(jù)中自己“悟”出有用的分析技能和模式這正是“Unsupervised Skill Discovery for Agentic Data Analysis”這個(gè)項(xiàng)目標(biāo)題所指向的核心。它不是一個(gè)具體的工具或產(chǎn)品而是一個(gè)前沿的研究方向和技術(shù)框架。其目標(biāo)是構(gòu)建一個(gè)具備自主性的數(shù)據(jù)分析智能體它能夠像一位經(jīng)驗(yàn)豐富但充滿好奇心的分析師在面對(duì)陌生數(shù)據(jù)集時(shí)自主地探索、發(fā)現(xiàn)潛在的分析維度、關(guān)聯(lián)規(guī)則、異常模式或特征組合并將這些發(fā)現(xiàn)固化為可復(fù)用的“技能”。這背后的驅(qū)動(dòng)力很明確在數(shù)據(jù)爆炸的時(shí)代傳統(tǒng)依賴于固定規(guī)則或監(jiān)督學(xué)習(xí)需要大量標(biāo)注數(shù)據(jù)的分析方法其構(gòu)建和維護(hù)成本高昂且難以適應(yīng)快速變化的業(yè)務(wù)場(chǎng)景和層出不窮的數(shù)據(jù)形態(tài)。一個(gè)能“自學(xué)成才”的智能體無(wú)疑是應(yīng)對(duì)這一挑戰(zhàn)的終極愿景。這個(gè)方向尤其適合兩類人關(guān)注一是希望將前沿AI研究落地到實(shí)際數(shù)據(jù)分析場(chǎng)景中的算法工程師和研究員二是苦于數(shù)據(jù)探索成本高、希望提升分析自動(dòng)化水平的數(shù)據(jù)團(tuán)隊(duì)負(fù)責(zé)人和資深分析師。接下來(lái)我將結(jié)合最新的技術(shù)動(dòng)態(tài)如“Agentic RAG”和“Agentic RL”的思想拆解實(shí)現(xiàn)這一愿景的核心路徑、關(guān)鍵技術(shù)細(xì)節(jié)以及那些在論文中不會(huì)寫的實(shí)操心得。2. 核心理念與技術(shù)框架拆解要理解如何實(shí)現(xiàn)無(wú)監(jiān)督的技能發(fā)現(xiàn)我們需要先拆解這個(gè)復(fù)合概念。“無(wú)監(jiān)督”意味著沒(méi)有預(yù)先定義好的任務(wù)標(biāo)簽或獎(jiǎng)勵(lì)信號(hào)來(lái)指導(dǎo)學(xué)習(xí)過(guò)程?！凹寄馨l(fā)現(xiàn)”則是指智能體在與環(huán)境此處是數(shù)據(jù)集的交互中自主識(shí)別并學(xué)習(xí)出一組離散的、有意義的、可重復(fù)執(zhí)行的基本動(dòng)作或策略單元?！癆gentic”要求整個(gè)發(fā)現(xiàn)和執(zhí)行過(guò)程是自主、連貫且目標(biāo)導(dǎo)向的。2.1 從“Agentic RAG”與“Agentic RL”中汲取靈感當(dāng)前網(wǎng)絡(luò)熱議的“Agentic RAG”和“Agentic RL”為我們提供了重要的設(shè)計(jì)思路。Agentic RAG (Retrieval-Augmented Generation)的核心思想是讓LLM驅(qū)動(dòng)的智能體主動(dòng)地、迭代地執(zhí)行信息檢索、評(píng)估、整合和生成而不是一次性完成。映射到我們的數(shù)據(jù)分析場(chǎng)景智能體不應(yīng)只是被動(dòng)地運(yùn)行一個(gè)查詢或模型而應(yīng)能主動(dòng)決定我現(xiàn)在該看數(shù)據(jù)的哪個(gè)部分我剛剛發(fā)現(xiàn)了一個(gè)異常是否需要深入鉆取Drill-down相關(guān)維度當(dāng)前的聚合粒度是否合適是否需要調(diào)整這要求智能體具備對(duì)分析過(guò)程的“元認(rèn)知”能力。Agentic RL (Reinforcement Learning)則強(qiáng)調(diào)智能體通過(guò)試錯(cuò)在稀疏或內(nèi)在獎(jiǎng)勵(lì)的驅(qū)動(dòng)下學(xué)習(xí)復(fù)雜策略。在無(wú)監(jiān)督技能發(fā)現(xiàn)中我們無(wú)法提供“這個(gè)分析結(jié)論有價(jià)值”這樣的外部獎(jiǎng)勵(lì)。因此我們需要設(shè)計(jì)內(nèi)在激勵(lì)讓智能體覺(jué)得“發(fā)現(xiàn)新東西”本身就是有回報(bào)的。常見(jiàn)的思路包括新奇性激勵(lì)訪問(wèn)或生成罕見(jiàn)的數(shù)據(jù)模式、 empowerment最大化對(duì)未來(lái)狀態(tài)的影響能力、 或技能多樣性學(xué)習(xí)盡可能多且不同的技能。一個(gè)可行的技術(shù)框架是分層強(qiáng)化學(xué)習(xí)與表征學(xué)習(xí)的結(jié)合底層技能學(xué)習(xí)在無(wú)監(jiān)督環(huán)境下智能體通過(guò)探索數(shù)據(jù)空間例如對(duì)數(shù)據(jù)進(jìn)行不同的變換、篩選、聚合操作學(xué)習(xí)一系列基礎(chǔ)技能。每個(gè)技能對(duì)應(yīng)一個(gè)能產(chǎn)生某種穩(wěn)定、可識(shí)別數(shù)據(jù)模式或表征的策略。高層任務(wù)規(guī)劃當(dāng)面臨一個(gè)具體的數(shù)據(jù)分析問(wèn)題即使是模糊的時(shí)高層控制器將這些基礎(chǔ)技能像樂(lè)高積木一樣組合起來(lái)形成一個(gè)復(fù)雜的分析工作流。表征與評(píng)估利用自編碼器、對(duì)比學(xué)習(xí)等方法為數(shù)據(jù)狀態(tài)和學(xué)習(xí)到的技能學(xué)習(xí)一個(gè)緊湊的、語(yǔ)義化的表征空間。在這個(gè)空間里可以度量技能的新穎性、多樣性和有效性。注意這里的“強(qiáng)化學(xué)習(xí)”并非指一定要用傳統(tǒng)的Q-learning或PPO算法。在數(shù)據(jù)分析這個(gè)動(dòng)作空間可能離散且復(fù)雜的領(lǐng)域基于LLM的規(guī)劃與推理結(jié)合基于梯度的策略學(xué)習(xí)正成為一種混合范式。Simulink Agentic Toolkit 等工具的出現(xiàn)也反映了將智能體邏輯進(jìn)行模塊化、可視化編排的趨勢(shì)這對(duì)我們?cè)O(shè)計(jì)技能庫(kù)的接口有啟發(fā)意義。2.2 技能的定義與形式化什么算一個(gè)“數(shù)據(jù)分析技能”這是項(xiàng)目落地第一個(gè)要解決的難題。技能不能太原子化如“選擇A列”也不能太宏觀如“完成銷售預(yù)測(cè)”。它應(yīng)該是一個(gè)有明確輸入輸出、能完成一個(gè)有意義子任務(wù)的單元。在我的實(shí)踐中一個(gè)數(shù)據(jù)分析技能可以形式化為一個(gè)三元組(Trigger, Action, Termination)觸發(fā)條件在何種數(shù)據(jù)狀態(tài)或分析上下文下這個(gè)技能可能有用例如“當(dāng)數(shù)據(jù)包含時(shí)間序列字段且存在缺失值時(shí)”。動(dòng)作序列執(zhí)行的具體操作。這可能是一段可執(zhí)行的代碼如df.resample(W).mean()一個(gè)對(duì)LLM的提示“請(qǐng)找出與當(dāng)前維度相關(guān)性最高的三個(gè)其他維度”或一個(gè)調(diào)用特定分析工具的函數(shù)。終止條件/效果評(píng)估如何判斷技能執(zhí)行完畢及其效果例如“生成一個(gè)季節(jié)性分解圖”或“輸出一組聚類標(biāo)簽及輪廓系數(shù)”。內(nèi)在激勵(lì)就作用于這個(gè)效果評(píng)估上比如如果這個(gè)技能產(chǎn)生了一個(gè)前所未有的、高輪廓系數(shù)的聚類結(jié)果它就應(yīng)獲得高獎(jiǎng)勵(lì)。例如一個(gè)可能被發(fā)現(xiàn)的技能是“多變量異常協(xié)同檢測(cè)”。觸發(fā)條件數(shù)據(jù)包含多個(gè)連續(xù)變量且當(dāng)前視圖下未發(fā)現(xiàn)明顯異常。動(dòng)作自動(dòng)計(jì)算馬氏距離或訓(xùn)練一個(gè)輕量的孤立森林模型對(duì)樣本進(jìn)行異常評(píng)分。終止輸出異常分?jǐn)?shù)排名前5%的樣本及其主要貢獻(xiàn)變量。這個(gè)技能一旦被“發(fā)現(xiàn)”并存入技能庫(kù)以后遇到類似數(shù)據(jù)結(jié)構(gòu)時(shí)高層規(guī)劃器就可以直接調(diào)用它。3. 核心模塊實(shí)現(xiàn)細(xì)節(jié)與實(shí)操要點(diǎn)構(gòu)建這樣一個(gè)系統(tǒng)可以分解為幾個(gè)核心模塊每個(gè)模塊都有其技術(shù)選型和實(shí)操陷阱。3.1 數(shù)據(jù)環(huán)境仿真與交互接口設(shè)計(jì)智能體需要在某個(gè)“環(huán)境”中學(xué)習(xí)。我們需要?jiǎng)?chuàng)建一個(gè)數(shù)據(jù)交互環(huán)境其核心是定義一個(gè)狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)。狀態(tài)空間這不是原始數(shù)據(jù)本身而是當(dāng)前數(shù)據(jù)的表征。我們可以使用一個(gè)凍結(jié)的預(yù)訓(xùn)練編碼器如基于Transformer的表格數(shù)據(jù)編碼器將當(dāng)前的數(shù)據(jù)子集可能是經(jīng)過(guò)多次操作后的視圖編碼為一個(gè)固定維度的向量。這個(gè)向量應(yīng)捕捉數(shù)據(jù)的統(tǒng)計(jì)特性、分布和結(jié)構(gòu)。動(dòng)作空間這是設(shè)計(jì)的關(guān)鍵決定了智能體的探索能力。動(dòng)作空間需要足夠豐富但又不能太大導(dǎo)致難以探索。一個(gè)可行的設(shè)計(jì)是分層動(dòng)作空間原子操作選擇列、過(guò)濾行基于值或條件、排序、分組、聚合求和、平均等、創(chuàng)建計(jì)算列。復(fù)合操作/技能模板基于原子操作組合的常見(jiàn)模式如“時(shí)間序列重采樣”、“單變量分布分析”、“A/B測(cè)試分組對(duì)比”。智能體初期可以探索原子操作后期可以學(xué)習(xí)調(diào)用或調(diào)整這些復(fù)合模板。LLM調(diào)用動(dòng)作允許智能體向一個(gè)LLM如GPT-4、Claude提交一個(gè)自然語(yǔ)言請(qǐng)求例如“解釋當(dāng)前數(shù)據(jù)視圖的主要特征”或“建議一個(gè)下一步的分析方向”。LLM的回復(fù)可以被解析并轉(zhuǎn)化為環(huán)境狀態(tài)的變化。獎(jiǎng)勵(lì)函數(shù)內(nèi)在激勵(lì)這是無(wú)監(jiān)督學(xué)習(xí)的引擎。我們可以結(jié)合多種內(nèi)在激勵(lì)新奇性獎(jiǎng)勵(lì)如果當(dāng)前數(shù)據(jù)狀態(tài)的表征與技能庫(kù)中所有技能產(chǎn)生的歷史狀態(tài)表征都足夠不同則給予獎(jiǎng)勵(lì)。這鼓勵(lì)發(fā)現(xiàn)新模式。學(xué)習(xí)進(jìn)度獎(jiǎng)勵(lì)如果智能體執(zhí)行某個(gè)動(dòng)作后其預(yù)測(cè)的下一個(gè)狀態(tài)表征的誤差降低了表明它對(duì)這個(gè)動(dòng)作的效果理解更深了給予獎(jiǎng)勵(lì)。技能多樣性獎(jiǎng)勵(lì)定期評(píng)估技能庫(kù)中技能表征的多樣性例如計(jì)算技能表征向量的聚類離散度并獎(jiǎng)勵(lì)那些能增加整體多樣性的探索行為。實(shí)操心得在項(xiàng)目初期不要試圖構(gòu)建一個(gè)完美的、包羅萬(wàn)象的動(dòng)作空間。從一個(gè)小的、針對(duì)特定數(shù)據(jù)類型如銷售交易表的動(dòng)作子集開始。重點(diǎn)確保每個(gè)動(dòng)作都是可逆或可追蹤的這樣智能體才能理解動(dòng)作的因果關(guān)系。獎(jiǎng)勵(lì)函數(shù)的調(diào)參是玄學(xué)開始時(shí)可以簡(jiǎn)單點(diǎn)比如只用新奇性獎(jiǎng)勵(lì)穩(wěn)定后再引入其他。3.2 技能發(fā)現(xiàn)與表征學(xué)習(xí)循環(huán)這是系統(tǒng)的核心學(xué)習(xí)循環(huán)。我參考了學(xué)術(shù)界在“Unsupervised Skill Discovery”上的工作如DIAYNDiversity is All You Need的思想并加以改造以適應(yīng)數(shù)據(jù)分析領(lǐng)域。技能編碼與執(zhí)行我們維護(hù)一個(gè)可訓(xùn)練的“技能編碼器”網(wǎng)絡(luò)。智能體每一步都從一個(gè)先驗(yàn)分布如均勻分類分布中采樣一個(gè)技能編碼z。這個(gè)z和當(dāng)前狀態(tài)s一起輸入到一個(gè)“策略網(wǎng)絡(luò)”中決定執(zhí)行哪個(gè)動(dòng)作a。數(shù)據(jù)狀態(tài)轉(zhuǎn)移執(zhí)行動(dòng)作a環(huán)境從狀態(tài)s轉(zhuǎn)移到新狀態(tài)s。技能鑒別與獎(jiǎng)勵(lì)計(jì)算同時(shí)我們訓(xùn)練一個(gè)“技能鑒別器”網(wǎng)絡(luò)它的目標(biāo)是給定最終狀態(tài)s盡可能準(zhǔn)確地猜出是哪個(gè)技能z導(dǎo)致了這一狀態(tài)。而智能體策略網(wǎng)絡(luò)的目標(biāo)則是最大化技能鑒別器的困惑度——即讓執(zhí)行不同技能z后到達(dá)的狀態(tài)s盡可能容易被區(qū)分。這形成了一個(gè)對(duì)抗博弈策略網(wǎng)絡(luò)努力使每個(gè)技能產(chǎn)生獨(dú)特的數(shù)據(jù)狀態(tài)而鑒別器努力識(shí)別它們。策略網(wǎng)絡(luò)從鑒別器的“難以識(shí)別”中獲得獎(jiǎng)勵(lì)。技能庫(kù)更新與歸檔當(dāng)一個(gè)技能即特定的z被多次執(zhí)行并且能穩(wěn)定地產(chǎn)生一組相似且獨(dú)特的數(shù)據(jù)狀態(tài)時(shí)我們可以將這個(gè)(z, 策略)對(duì)以及其典型產(chǎn)出狀態(tài)歸檔到一個(gè)“技能庫(kù)”中。技能庫(kù)中的技能可以被賦予人類可理解的描述通過(guò)分析其典型動(dòng)作序列和產(chǎn)出狀態(tài)用LLM生成。# 概念性代碼展示核心循環(huán)邏輯 import torch import numpy as np class SkillDiscoveryAgent: def __init__(self, state_dim, action_dim, skill_dim): self.skill_encoder SkillEncoder(skill_dim) # 輸出技能z self.policy_net PolicyNet(state_dim skill_dim, action_dim) self.discriminator Discriminator(state_dim, skill_dim) self.skill_library [] # 存儲(chǔ)已發(fā)現(xiàn)的技能 def explore(self, state): # 采樣一個(gè)技能 skill_z self.skill_encoder.sample() # 策略網(wǎng)絡(luò)根據(jù)狀態(tài)和技能決定動(dòng)作 action self.policy_net(state, skill_z) # 執(zhí)行動(dòng)作得到新狀態(tài)和內(nèi)在獎(jiǎng)勵(lì) new_state, intrinsic_reward self.environment.step(action) # 用新狀態(tài)和技能訓(xùn)練鑒別器 d_loss self.discriminator.train_step(new_state, skill_z) # 策略網(wǎng)絡(luò)的目標(biāo)是最大化鑒別器損失即讓鑒別器分不清 policy_reward -d_loss # 簡(jiǎn)化的內(nèi)在獎(jiǎng)勵(lì) # 更新策略網(wǎng)絡(luò)... # 判斷技能是否成熟決定是否存入技能庫(kù) if self.is_skill_mature(skill_z, new_state): self.skill_library.append({ z: skill_z.detach(), description: self.generate_description(skill_z, action, new_state) }) return new_state3.3 高層任務(wù)規(guī)劃與技能組合當(dāng)技能庫(kù)建立后我們需要一個(gè)“經(jīng)理”智能體來(lái)調(diào)用這些技能解決實(shí)際問(wèn)題。這可以是一個(gè)基于LLM的規(guī)劃模塊。任務(wù)解析用戶提出一個(gè)自然語(yǔ)言請(qǐng)求如“分析上季度銷售下滑的原因”。LLM首先將其解析為一個(gè)抽象的目標(biāo)并可能拆解為子目標(biāo)定位下滑時(shí)間段、對(duì)比渠道、分析產(chǎn)品組合等。技能檢索與匹配將子目標(biāo)與技能庫(kù)中每個(gè)技能的描述和典型產(chǎn)出狀態(tài)進(jìn)行語(yǔ)義匹配通過(guò)嵌入向量相似度計(jì)算。例如“定位下滑時(shí)間段”可能匹配到“時(shí)間序列分段與突變點(diǎn)檢測(cè)”技能。規(guī)劃與執(zhí)行LLM根據(jù)子目標(biāo)之間的邏輯關(guān)系編排出一個(gè)技能執(zhí)行序列并可能補(bǔ)充必要的原子操作作為銜接。然后系統(tǒng)按序執(zhí)行這些技能。驗(yàn)證與迭代執(zhí)行完一個(gè)規(guī)劃后LLM可以評(píng)估結(jié)果是否滿足了子目標(biāo)。如果沒(méi)有它可以重新規(guī)劃嘗試不同的技能組合或參數(shù)。這個(gè)過(guò)程體現(xiàn)了“Agentic”的迭代和反思特性。注意事項(xiàng)技能庫(kù)的描述質(zhì)量至關(guān)重要。模糊的描述會(huì)導(dǎo)致錯(cuò)誤的匹配。建議在技能歸檔時(shí)不僅讓LLM生成描述還自動(dòng)附上幾個(gè)該技能成功應(yīng)用的示例數(shù)據(jù)狀態(tài)片段供匹配時(shí)參考。此外規(guī)劃LLM需要被精心設(shè)計(jì)提示詞限制其只能建議庫(kù)內(nèi)技能和有限的原子操作防止其“幻想”出不存在的功能。4. 工程化落地與系統(tǒng)集成挑戰(zhàn)將研究原型轉(zhuǎn)化為一個(gè)可用的系統(tǒng)會(huì)遇到許多純算法研究之外的問(wèn)題。4.1 計(jì)算效率與探索范圍平衡無(wú)監(jiān)督探索本質(zhì)上是低效的。讓智能體在龐大的動(dòng)作空間和數(shù)據(jù)集上盲目探索計(jì)算成本無(wú)法承受。必須引入先驗(yàn)知識(shí)來(lái)引導(dǎo)動(dòng)作空間剪枝基于數(shù)據(jù)模式動(dòng)態(tài)禁用無(wú)關(guān)動(dòng)作。例如數(shù)據(jù)沒(méi)有時(shí)間戳則禁用所有時(shí)間序列相關(guān)操作。課程學(xué)習(xí)先從簡(jiǎn)單的數(shù)據(jù)集和小動(dòng)作集開始訓(xùn)練逐步增加復(fù)雜性。離線學(xué)習(xí)與模擬器考慮使用歷史數(shù)據(jù)分析日志作為離線數(shù)據(jù)集進(jìn)行離線強(qiáng)化學(xué)習(xí)預(yù)訓(xùn)練讓智能體先“看”人類分析師是怎么做的。甚至可以為常用數(shù)據(jù)集類型創(chuàng)建輕量級(jí)的“數(shù)據(jù)模擬器”加速訓(xùn)練。4.2 技能的可解釋性與可控性一個(gè)“黑箱”技能庫(kù)是難以被信任和使用的。我們必須為每個(gè)發(fā)現(xiàn)的技能提供解釋自動(dòng)生成文檔利用LLM根據(jù)技能的觸發(fā)條件、典型動(dòng)作序列和產(chǎn)出狀態(tài)生成一段自然語(yǔ)言描述和用例說(shuō)明?？梢暬寄苄Ч麨槊總€(gè)技能開發(fā)一個(gè)標(biāo)準(zhǔn)化的可視化摘要例如對(duì)于聚類技能自動(dòng)生成聚類分布圖和中心點(diǎn)特征圖。人類反饋介入設(shè)計(jì)一個(gè)界面允許數(shù)據(jù)專家查看新發(fā)現(xiàn)的技能對(duì)其進(jìn)行評(píng)分、打標(biāo)簽或修正描述。可以將人類反饋?zhàn)鳛橐粋€(gè)額外的獎(jiǎng)勵(lì)信號(hào)融入學(xué)習(xí)過(guò)程實(shí)現(xiàn)人機(jī)協(xié)同的技能優(yōu)化。4.3 與現(xiàn)有數(shù)據(jù)棧的集成這個(gè)智能體不應(yīng)是一個(gè)孤立的系統(tǒng)而應(yīng)能融入現(xiàn)代數(shù)據(jù)棧如DataOps、MLOps。輸入/輸出適配器需要開發(fā)適配器使其能從各種數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、本地文件讀取數(shù)據(jù)并能將分析結(jié)果技能、洞察寫回到BI工具如Tableau、Power BI或數(shù)據(jù)目錄中。技能封裝與部署成熟的技能應(yīng)能被封裝成可復(fù)用的組件例如一個(gè)“季節(jié)性檢測(cè)技能”可以打包成一個(gè)Python函數(shù)或一個(gè)API端點(diǎn)供其他數(shù)據(jù)管道調(diào)用。版本管理與血緣追蹤技能庫(kù)需要版本管理。每個(gè)技能的分析結(jié)果都應(yīng)具備完整的數(shù)據(jù)血緣可追溯其來(lái)源數(shù)據(jù)和執(zhí)行過(guò)的所有操作這對(duì)于結(jié)果可信度和合規(guī)性至關(guān)重要。5. 典型問(wèn)題排查與效果評(píng)估指南在開發(fā)和測(cè)試此類系統(tǒng)時(shí)你會(huì)遇到一些典型問(wèn)題。以下是一個(gè)快速排查指南問(wèn)題現(xiàn)象可能原因排查步驟與解決方案智能體始終重復(fù)少數(shù)簡(jiǎn)單動(dòng)作內(nèi)在獎(jiǎng)勵(lì)設(shè)計(jì)失敗探索不足動(dòng)作空間設(shè)計(jì)有缺陷復(fù)雜動(dòng)作難以執(zhí)行。1. 檢查內(nèi)在獎(jiǎng)勵(lì)值是否過(guò)于集中在某些動(dòng)作上。2. 引入“計(jì)數(shù)基”的好奇心獎(jiǎng)勵(lì)對(duì)訪問(wèn)少的狀態(tài)給予更高獎(jiǎng)勵(lì)。3. 簡(jiǎn)化復(fù)雜動(dòng)作或?qū)⑵浞纸鉃樽觿?dòng)作序列供智能體學(xué)習(xí)。發(fā)現(xiàn)的技能看似隨機(jī)無(wú)實(shí)際意義技能鑒別器過(guò)于強(qiáng)大或過(guò)于弱小狀態(tài)表征未能捕捉數(shù)據(jù)語(yǔ)義。1. 調(diào)整鑒別器的學(xué)習(xí)率使其與策略網(wǎng)絡(luò)形成健康的對(duì)抗。2. 改進(jìn)狀態(tài)編碼器嘗試使用更先進(jìn)的表格數(shù)據(jù)預(yù)訓(xùn)練模型或在編碼中融入領(lǐng)域知識(shí)如列類型、業(yè)務(wù)含義。3. 引入“技能最小描述長(zhǎng)度”原則鼓勵(lì)技能產(chǎn)生簡(jiǎn)潔、規(guī)律的狀態(tài)變化。技能庫(kù)膨脹包含大量相似技能技能多樣性獎(jiǎng)勵(lì)未起作用技能聚類/去重機(jī)制缺失。1. 在技能歸檔前計(jì)算新技能與庫(kù)中所有技能產(chǎn)出狀態(tài)的相似度若高于閾值則合并或丟棄。2. 定期對(duì)技能庫(kù)進(jìn)行聚類合并同一類下的技能保留最具代表性的一個(gè)。高層規(guī)劃器無(wú)法有效組合技能技能描述質(zhì)量差導(dǎo)致匹配不準(zhǔn)LLM規(guī)劃提示詞設(shè)計(jì)不佳。1. 強(qiáng)化技能描述生成環(huán)節(jié)要求LLM基于多個(gè)示例生成描述。2. 在規(guī)劃提示詞中提供清晰的技能庫(kù)清單和每個(gè)技能的明確輸入輸出格式。3. 實(shí)現(xiàn)一個(gè)“規(guī)劃-執(zhí)行-驗(yàn)證”的循環(huán)允許規(guī)劃器在失敗后嘗試備選方案。系統(tǒng)在真實(shí)數(shù)據(jù)上運(yùn)行極慢狀態(tài)編碼計(jì)算開銷大與數(shù)據(jù)庫(kù)/數(shù)據(jù)湖交互頻繁。1. 對(duì)狀態(tài)編碼進(jìn)行緩存相同數(shù)據(jù)視圖不重復(fù)編碼。2. 采用抽樣方式進(jìn)行探索而非全量數(shù)據(jù)。3. 將頻繁使用的數(shù)據(jù)預(yù)處理操作物化為中間表。效果評(píng)估是另一個(gè)挑戰(zhàn)。由于無(wú)監(jiān)督?jīng)]有絕對(duì)的正確標(biāo)簽。我們可以從多個(gè)維度評(píng)估技能質(zhì)量邀請(qǐng)領(lǐng)域?qū)＜覍?duì)發(fā)現(xiàn)的技能進(jìn)行有用性評(píng)分。覆蓋度系統(tǒng)能否針對(duì)一個(gè)未知數(shù)據(jù)集自主發(fā)現(xiàn)其中已知的、重要的模式如周期性、關(guān)鍵影響因素可以構(gòu)建一個(gè)包含隱藏模式的數(shù)據(jù)集作為測(cè)試集。效率提升對(duì)比使用智能體輔助探索與完全人工探索在發(fā)現(xiàn)關(guān)鍵洞察所需的時(shí)間和數(shù)據(jù)遍歷量上的差異。組合能力給定一個(gè)復(fù)雜分析任務(wù)系統(tǒng)能否通過(guò)組合技能生成一個(gè)合理、可執(zhí)行的分析流水線6. 未來(lái)展望與個(gè)人實(shí)踐思考無(wú)監(jiān)督技能發(fā)現(xiàn)用于能動(dòng)數(shù)據(jù)分析目前仍處于實(shí)驗(yàn)室前沿走向工程實(shí)踐的早期階段。但我認(rèn)為它的演進(jìn)路徑不會(huì)是完全取代分析師而是成為分析師的“副駕駛”或“探索引擎”。它可以不知疲倦地遍歷數(shù)據(jù)海洋中的各種角落提出成千上萬(wàn)種假設(shè)和潛在模式然后由人類專家進(jìn)行最終的價(jià)值判斷和決策。在我自己的嘗試中一個(gè)深刻的體會(huì)是業(yè)務(wù)領(lǐng)域的約束是先驗(yàn)知識(shí)的最佳來(lái)源。完全無(wú)監(jiān)督的探索在廣闊空間里效率太低。在金融風(fēng)控、醫(yī)療診斷、工業(yè)質(zhì)檢等領(lǐng)域我們可以將領(lǐng)域規(guī)則如“交易金額突增需關(guān)注”、“某個(gè)生化指標(biāo)與另一個(gè)指標(biāo)通常負(fù)相關(guān)”作為硬約束或軟獎(jiǎng)勵(lì)注入學(xué)習(xí)過(guò)程能極大地引導(dǎo)技能發(fā)現(xiàn)走向有價(jià)值的方向。例如在金融數(shù)據(jù)中一個(gè)能自動(dòng)發(fā)現(xiàn)“與歷史模式偏離的客戶交易集群”的技能其價(jià)值遠(yuǎn)高于一個(gè)單純發(fā)現(xiàn)“任意聚類”的技能。另一個(gè)實(shí)踐要點(diǎn)是從小處著手定義成功。不要一開始就追求一個(gè)通用的、全能的“數(shù)據(jù)分析AI”。可以從一個(gè)非常具體的垂直場(chǎng)景開始比如“電商商品評(píng)論的情感與主題聯(lián)合挖掘”定義清楚在這個(gè)場(chǎng)景下什么是“技能”例如“識(shí)別抱怨物流的評(píng)論”、“提取產(chǎn)品特定功能的評(píng)價(jià)”然后在這個(gè)受限但定義明確的領(lǐng)域內(nèi)實(shí)現(xiàn)無(wú)監(jiān)督發(fā)現(xiàn)。這樣的MVP最小可行產(chǎn)品更容易成功也更能驗(yàn)證核心技術(shù)的有效性。最后這個(gè)方向與“DataCOPE”一種假設(shè)的數(shù)據(jù)治理或協(xié)作平臺(tái)概念所倡導(dǎo)的自動(dòng)化、智能化數(shù)據(jù)管理理念不謀而合。未來(lái)這類智能體或許能成為數(shù)據(jù)平臺(tái)的內(nèi)核主動(dòng)進(jìn)行數(shù)據(jù)質(zhì)量探查、敏感信息發(fā)現(xiàn)、數(shù)據(jù)關(guān)聯(lián)推薦真正讓數(shù)據(jù)從被動(dòng)的存儲(chǔ)資產(chǎn)變?yōu)橹鲃?dòng)提供洞察的伙伴。這條路很長(zhǎng)但每一步都指向一個(gè)更高效、更智能的數(shù)據(jù)驅(qū)動(dòng)未來(lái)。