TDengine TDgpt 時(shí)序數(shù)據(jù)分析智能體架構(gòu)、原理與擴(kuò)展實(shí)踐【免費(fèi)下載鏈接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios項(xiàng)目地址: https://gitcode.com/GitHub_Trending/tde/TDengineTDgpt 是 TDengine 面向時(shí)序數(shù)據(jù)分析推出的智能分析代理它將統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)/深度學(xué)習(xí)模型、時(shí)序基礎(chǔ)模型與大語(yǔ)言模型統(tǒng)一封裝為 SQL 可調(diào)用的分析服務(wù)。本文圍繞 TDgpt 官方介紹文檔 展開(kāi)結(jié)合倉(cāng)庫(kù)內(nèi)tools/tdgpt的源碼實(shí)現(xiàn)系統(tǒng)講解 TDgpt 的架構(gòu)組成、分析能力、擴(kuò)展機(jī)制與運(yùn)維要點(diǎn)幫助讀者理解并落地用 SQL 完成預(yù)測(cè)、異常檢測(cè)與數(shù)據(jù)補(bǔ)齊的實(shí)踐方案。一、背景數(shù)據(jù)庫(kù)為什么需要 AI 分析能力時(shí)序數(shù)據(jù)的預(yù)測(cè)forecasting、異常檢測(cè)anomaly detection、數(shù)據(jù)補(bǔ)齊imputation與分類(lèi)classification領(lǐng)域已積累了海量算法但不同算法技術(shù)特性各異、適用場(chǎng)景不同。傳統(tǒng)上這些算法被打包為 Python、R 等高級(jí)語(yǔ)言的分析工具庫(kù)通過(guò)開(kāi)源渠道分發(fā)幫助開(kāi)發(fā)者把復(fù)雜算法集成進(jìn)業(yè)務(wù)系統(tǒng)、大幅降低高級(jí)算法的使用門(mén)檻。數(shù)據(jù)庫(kù)廠商也曾嘗試把分析算法直接融入數(shù)據(jù)庫(kù)——例如 Spark 的 MLlib 機(jī)器學(xué)習(xí)庫(kù)用成熟的統(tǒng)計(jì)與機(jī)器學(xué)習(xí)技術(shù)增強(qiáng)數(shù)據(jù)庫(kù)/分析引擎的高級(jí)分析能力。而大模型時(shí)代的到來(lái)給時(shí)序數(shù)據(jù)分析帶來(lái)了新機(jī)遇也對(duì)數(shù)據(jù)庫(kù)提出了新挑戰(zhàn)如何高效地把 AI 能力接進(jìn)數(shù)據(jù)查詢(xún)本身。TDengine 的答案是 TDgpt一個(gè)時(shí)序分析智能體。借助 TDgpt用戶(hù)可以直接通過(guò) SQL 語(yǔ)句使用統(tǒng)計(jì)算法、機(jī)器學(xué)習(xí)模型、深度學(xué)習(xí)模型、時(shí)序基礎(chǔ)模型乃至大語(yǔ)言模型通過(guò)新增的窗口與函數(shù)將這些能力作用于業(yè)務(wù)時(shí)序數(shù)據(jù)。二、TDgpt 技術(shù)特性總覽無(wú)縫集成TDgpt 是運(yùn)行在 TDengine 主進(jìn)程 taosd 之外的外部智能體將時(shí)序分析服務(wù)直接嵌入 TDengine 的查詢(xún)執(zhí)行流程。無(wú)狀態(tài)平臺(tái)TDgpt 本身不持久化業(yè)務(wù)數(shù)據(jù)僅將日志寫(xiě)入本地磁盤(pán)。其內(nèi)置了經(jīng)典統(tǒng)計(jì)建模庫(kù) statsmodels以及 PyTorch、Keras 等機(jī)器學(xué)習(xí)/深度學(xué)習(xí)框架還可通過(guò)請(qǐng)求轉(zhuǎn)發(fā)與適配直接調(diào)用 TDengine 自研時(shí)序基礎(chǔ)模型 TDtsfm。模型即服務(wù)MaaS擴(kuò)展方向作為分析智能體TDgpt 未來(lái)將支持對(duì)接第三方時(shí)序 MaaS 平臺(tái)屆時(shí)僅需修改一個(gè)algo參數(shù)即可接入前沿時(shí)序模型服務(wù)。開(kāi)放可擴(kuò)展用戶(hù)可以自行添加預(yù)測(cè)、異常檢測(cè)、補(bǔ)齊、分類(lèi)等算法新增算法只需修改 SQL 中對(duì)應(yīng)參數(shù)即可調(diào)用無(wú)需改動(dòng)一行應(yīng)用程序代碼。三、系統(tǒng)架構(gòu)與核心組件3.1 無(wú)狀態(tài)分析節(jié)點(diǎn) anodeTDgpt 由一個(gè)或多個(gè)無(wú)狀態(tài)分析節(jié)點(diǎn)組成這些節(jié)點(diǎn)被稱(chēng)為AI 節(jié)點(diǎn)anode。根據(jù)算法對(duì)硬件的需求anode 可以按需部署在 TDengine 集群中合適的硬件環(huán)境上例如配備 GPU 的計(jì)算節(jié)點(diǎn)。TDgpt 為不同類(lèi)型的分析算法提供統(tǒng)一接口與調(diào)用方式基于用戶(hù)指定的參數(shù)調(diào)用高級(jí)算法包與分析工具再按預(yù)定義格式將結(jié)果返回給 TDengine 主進(jìn)程 taosd。3.2 四大組成模塊TDgpt 由四類(lèi)組件構(gòu)成組件說(shuō)明內(nèi)置分析庫(kù)包含 statsmodels、pyculiarity、pmdarima 等庫(kù)提供開(kāi)箱即用的預(yù)測(cè)與異常檢測(cè)模型內(nèi)置機(jī)器學(xué)習(xí)庫(kù)包含 PyTorch、Keras、Scikit-learn在 TDgpt 進(jìn)程空間內(nèi)運(yùn)行預(yù)訓(xùn)練模型訓(xùn)練流程可通過(guò) Merlion、Kats 等端到端開(kāi)源 ML 框架管理訓(xùn)練好的模型上傳至指定目錄即可部署通用大語(yǔ)言模型請(qǐng)求適配器以 MaaS 方式將時(shí)序預(yù)測(cè)請(qǐng)求轉(zhuǎn)換為提示詞prompt交給 Llama 等通用 LLM注該能力未開(kāi)源本地時(shí)序模型適配器直接調(diào)用 Time-MoE、TDtsfm 等專(zhuān)為時(shí)序數(shù)據(jù)設(shè)計(jì)的模型。相比通用 LLM這類(lèi)模型無(wú)需提示詞工程、更輕量、更易本地部署、硬件要求更低該適配器還可對(duì)接 TimeGPT 等云端時(shí)序 MaaS實(shí)現(xiàn)云端模型、本地分析3.3 查詢(xún)執(zhí)行流程從架構(gòu)圖與官方介紹可以看出Mnode 將 anode 注冊(cè)進(jìn) TDengine 集群對(duì)應(yīng) SQL 中的CREATE ANODE查詢(xún)執(zhí)行時(shí)vnode 將涉及高級(jí)時(shí)序數(shù)據(jù)分析的元素直接轉(zhuǎn)發(fā)給 anodeanode 完成分析后結(jié)果被組裝并重新嵌入查詢(xún)執(zhí)行流程。從源碼看anode 對(duì)外暴露的是一組基于 Flask 的 RESTful 接口定義在 tools/tdgpt/taosanalytics/app.pyGET /status返回{protocol: 1.0, status: ready}供 taosd 探活GET /list列出全部可用服務(wù)預(yù)測(cè)、異常檢測(cè)、補(bǔ)齊、相關(guān)性、回歸、分類(lèi)GET /models列出已加載的模型文件POST /anomaly-detect、POST /forecast、POST /imputation、POST /correlation、POST /regression各分析類(lèi)型的請(qǐng)求入口POST /deploy、POST /undeploy動(dòng)態(tài)模型的部署與卸載。四、高級(jí)分析服務(wù)TDgpt 提供的服務(wù)可歸納為四類(lèi)異常檢測(cè)通過(guò) TDengine 新增的anomaly window異常窗口提供。異常窗口是一種特殊的事件窗口由異常檢測(cè)算法判定異常發(fā)生的時(shí)間窗口與普通事件窗口的區(qū)別在于窗口的開(kāi)啟與閉合由算法決定而非用戶(hù)輸入的表達(dá)式。異常窗口支持其他窗口支持的查詢(xún)操作。典型用法如SELECT COUNT(*) FROM foo ANOMALY_WINDOW(col_name, algoname)。時(shí)序預(yù)測(cè)FORECAST函數(shù)調(diào)用指定或默認(rèn)的預(yù)測(cè)算法基于輸入的歷史數(shù)據(jù)預(yù)測(cè)未來(lái)時(shí)序數(shù)據(jù)例如SELECT forecast(val, algotdtsfm_1) FROM forecast.electricity_demand;。數(shù)據(jù)補(bǔ)齊使用時(shí)序基礎(chǔ)模型自動(dòng)檢測(cè)并填補(bǔ)缺失的時(shí)間戳與數(shù)值。時(shí)序分類(lèi)當(dāng)前版本暫不可用。從 tools/tdgpt/taosanalytics/base.py 的抽象基類(lèi)可以看到各類(lèi)服務(wù)統(tǒng)一的能力契約set_input_list()注入輸入序列、set_params()注入算法參數(shù)、execute()執(zhí)行算法。以預(yù)測(cè)為例AbstractForecastService定義了start_ts、time_step、rows預(yù)測(cè)行數(shù)、period周期、conf置信度默認(rèn) 0.95、return_conf、precision等標(biāo)準(zhǔn)參數(shù)并校驗(yàn)rows 0、0 conf 1.0等合法性——這些參數(shù)最終都會(huì)出現(xiàn)在 SQL 的algoxxx參數(shù)字符串中。五、內(nèi)置算法與模型5.1 內(nèi)置算法清單anode 啟動(dòng)時(shí)會(huì)掃描內(nèi)置算法目錄并自動(dòng)注冊(cè)。結(jié)合 tools/tdgpt/taosanalytics/algo 目錄內(nèi)置算法按類(lèi)型分布如下異常檢測(cè)algo/ad/grubbsGrubbs 統(tǒng)計(jì)檢驗(yàn)、ksigmak-sigma 統(tǒng)計(jì)方法、iqr四分位距法、lof局部離群因子密度型、shesd季節(jié)性 ESD等預(yù)測(cè)algo/fc/arima自回歸移動(dòng)平均、holtwinters指數(shù)平滑、prophet、theta、ets、ces復(fù)數(shù)指數(shù)平滑、timemoeTime-MoE、chronos、moirai、timesfm、gpt等補(bǔ)齊algo/imputat/基于時(shí)序基礎(chǔ)模型的moment相關(guān)性分析algo/correl/dtw動(dòng)態(tài)時(shí)間規(guī)整、tlcc時(shí)序滯后互相關(guān)。模型服務(wù)進(jìn)程則位于 tools/tdgpt/taosanalytics/tsfmservice包含tdtsfm-server.py、timemoe-server.py、chronos-server.py、moirai-server.py、moment-server.py、timesfm-server.py等獨(dú)立服務(wù)。5.2 算法注冊(cè)機(jī)制服務(wù)注冊(cè)邏輯集中在 tools/tdgpt/taosanalytics/service_registry.py 的register_all_services()中啟動(dòng)時(shí)依次掃描algo/ad、algo/fc、algo/imputat、algo/correl四個(gè)內(nèi)置目錄必選再掃描algo/custom/ad、algo/custom/fc自定義目錄可選最后從動(dòng)態(tài)模型目錄加載 JSON 配置描述的動(dòng)態(tài)模型。注冊(cè)后的服務(wù)通過(guò)GET /list暴露taosd 側(cè)執(zhí)行SHOW ANODES FULL即可看到每個(gè) anode 當(dāng)前可用的算法列表。六、自定義算法三步擴(kuò)展TDgpt 是可擴(kuò)展平臺(tái)擴(kuò)展流程詳見(jiàn)算法開(kāi)發(fā)者指南按照 TDgpt 規(guī)范用 Python 開(kāi)發(fā)分析算法將源碼文件放入對(duì)應(yīng)目錄并重啟 anode刷新算法緩存表集群側(cè)執(zhí)行UPDATE ALL ANODES或?qū)蝹€(gè) anode 執(zhí)行UPDATE ANODE {anode_id}。此后即可在 SQL 中像使用內(nèi)置算法一樣調(diào)用新算法無(wú)需更新任何應(yīng)用程序。自定義算法需遵循以下約束來(lái)自開(kāi)發(fā)者指南與源碼實(shí)現(xiàn)異常檢測(cè)源碼放入taosanalytics/algo/ad預(yù)測(cè)源碼放入taosanalytics/algo/fc文件須以下劃線(xiàn)_開(kāi)頭、以Service結(jié)尾如_KsigmaServiceanode 通過(guò)命名約定自動(dòng)發(fā)現(xiàn)算法類(lèi)異常檢測(cè)算法須繼承AbstractAnomalyDetectionService并實(shí)現(xiàn)execute()預(yù)測(cè)算法須繼承AbstractForecastService并實(shí)現(xiàn)execute()對(duì)應(yīng) base.py 中的抽象基類(lèi)類(lèi)須初始化name小寫(xiě)算法標(biāo)識(shí)將出現(xiàn)在SHOW輸出中與desc算法描述。七、算法評(píng)估與模型管理算法評(píng)估TDengine 企業(yè)版提供算法評(píng)估工具可對(duì) TDgpt 中任意算法或模型包括內(nèi)置與自定義的預(yù)測(cè)、異常檢測(cè)算法進(jìn)行量化評(píng)估用指定數(shù)據(jù)集檢驗(yàn)各算法的準(zhǔn)確率與性能指標(biāo)。模型管理PyTorch、TensorFlow、Keras 等框架訓(xùn)練好的模型必須放入 anode 的指定目錄Linux 下為model_dir默認(rèn)/usr/local/taos/taosanode/model/anode 會(huì)自動(dòng)檢測(cè)并加載該目錄下的模型TDengine 企業(yè)版還提供與 Merlion、Kats 等端到端開(kāi)源 ML 框架無(wú)縫集成的模型管理器。模型目錄之外anode 還會(huì)掃描動(dòng)態(tài)模型目錄默認(rèn)model/dynamic/下的 JSON 配置與 pkl 模型文件實(shí)現(xiàn)熱加載當(dāng)配置缺失時(shí)自動(dòng)從內(nèi)存移除對(duì)應(yīng)服務(wù)并清理孤兒 pkl 文件具體邏輯見(jiàn) service_registry.py 的sync_dynamic_services()。八、處理性能與硬件考量時(shí)序分析是 CPU 密集型工作負(fù)載更強(qiáng)勁的 CPU 或 GPU 能顯著提升性能TDgpt 中的機(jī)器學(xué)習(xí)與深度學(xué)習(xí)模型經(jīng)由 PyTorch 運(yùn)行可采用常規(guī)性能優(yōu)化手段例如把 TDgpt 部署在內(nèi)存更大的機(jī)器上、使用支持 GPU 的 torch 模型可以在不同 anode 上部署不同算法與模型利用多節(jié)點(diǎn)實(shí)現(xiàn)并發(fā)處理推理與訓(xùn)練對(duì)硬件的要求不同純推理場(chǎng)景最小配置為 8 核 CPU、16 GB 內(nèi)存、200 GB SSDGPU 可選推薦 16 核 CPU、32 GB 內(nèi)存、500 GB SSD、24 GB 顯存的 NVIDIA GPU涉及訓(xùn)練/微調(diào)則建議 16 核 CPU、32 GB 內(nèi)存起步。完整規(guī)格參考系統(tǒng)要求文檔。九、部署、運(yùn)維與版本要點(diǎn)9.1 部署方式TDgpt 支持 Docker、TDengine Cloud 與本地安裝包三種方式詳見(jiàn)安裝文檔Dockertdengine/tdgpt鏡像內(nèi)置 TDtsfm v1.0tdengine/tdgpt-full額外包含 Time-MoE。啟動(dòng)命令為docker run -d -p 6035:6035 -p 6061:6061 tdengine/tdgpt:latest。TDgpt 監(jiān)聽(tīng) TCP 6035 端口v3.3.7.5 之前為 60906061 為 TDtsfm 模型服務(wù)端口6062 為 Time-MoE 模型服務(wù)端口Chronos/Moirai/TimesFM/Moment 默認(rèn)占用 6063-60666067-6070 預(yù)留。本地安裝要求 Linux 機(jī)器、Python 3.10 或 3.113.12 因依賴(lài)沖突暫不支持、TDengine v3.3.6.0 及以上解壓 tar 包后執(zhí)行./install.shanode 會(huì)部署在/var/lib/taos/taosanode/venv/虛擬環(huán)境中。Windows 從 v3.4.1.0 起提供標(biāo)準(zhǔn)安裝包。TDengine Cloud可在 DB Mart 中啟用時(shí)序預(yù)測(cè)分析數(shù)據(jù)集并直接執(zhí)行select forecast(val, algotdtsfm_1) from forecast.electricity_demand;體驗(yàn)。9.2 節(jié)點(diǎn)管理安裝 anode 后會(huì)自動(dòng)創(chuàng)建taosanoded服務(wù)可用 systemd 管理時(shí)序基礎(chǔ)模型資源開(kāi)銷(xiāo)大、不會(huì)自動(dòng)啟動(dòng)需手動(dòng)執(zhí)行start-model tdtsfm/start-model timemoe啟動(dòng)stop-model停止。在 TDengine CLI 中執(zhí)行節(jié)點(diǎn)管理CREATE ANODE {node_url} -- 注冊(cè) anodenode_url 為 IP:端口 SHOW ANODES; -- 查看節(jié)點(diǎn) FQDN 與狀態(tài) SHOW ANODES FULL; -- 查看各節(jié)點(diǎn)可用算法 UPDATE ANODE {anode_id} -- 刷新單個(gè)節(jié)點(diǎn)算法緩存 UPDATE ALL ANODES -- 刷新全部節(jié)點(diǎn)算法緩存 DROP ANODE {anode_id} -- 從集群注銷(xiāo)節(jié)點(diǎn)DROP ANODE僅從集群移除注冊(cè)信息停止服務(wù)用 systemctl徹底卸載用rmtaosanode。9.3 目錄與配置anode 的關(guān)鍵目錄與配置見(jiàn)節(jié)點(diǎn)管理文檔目錄/文件說(shuō)明/usr/local/taos/taosanode/bin可執(zhí)行文件/usr/local/taos/taosanode/resource資源文件軟鏈至 /var/lib/taos/taosanode/resource//usr/local/taos/taosanode/lib庫(kù)文件/usr/local/taos/taosanode/model模型目錄軟鏈至 /var/lib/taos/taosanode/model/var/log/taos/taosanode/日志目錄/etc/taos/taosanode.config.py配置文件自 v3.4.1.0 起Linux anode 使用 Gunicorn早期版本用 uWSGI配置為 Python 文件bind 0.0.0.0:6035定義監(jiān)聽(tīng)地址workers/threads控制并發(fā)timeout 1200適配長(zhǎng)時(shí)模型推理model_dir指定模型目錄tdtsfm_1、timemoe_fc等鍵配置基礎(chǔ)模型服務(wù)地址。Windows 端使用 Waitress配置文件位于C:\TDengine\taosanode\cfg\taosanode.config.py。源碼中 conf.py 展示了同樣的默認(rèn)值邏輯日志目錄、模型目錄、0.0.0.0:6035綁定等并通過(guò)TDGPT_CONF環(huán)境變量或-c參數(shù)指定配置文件路徑。9.4 運(yùn)維注意TDengine 開(kāi)源版不提供 TDgpt 的權(quán)限與資源管理自 v3.4.1.0 起Linux 使用 Gunicorn、Windows 使用 Waitress早期版本為 uWSGI監(jiān)控方式為端口探活與日志查看應(yīng)用日志app_log、訪問(wèn)日志與錯(cuò)誤日志log_level支持DEBUG/INFO/CRITICAL/ERROR/WARN默認(rèn)DEBUG。十、總結(jié)TDgpt 的定位不是把算法庫(kù)硬塞進(jìn)數(shù)據(jù)庫(kù)而是以外部無(wú)狀態(tài)分析節(jié)點(diǎn) 統(tǒng)一 SQL 接口的方式讓 TDengine 的查詢(xún)引擎具備調(diào)用統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)/深度學(xué)習(xí)模型、時(shí)序基礎(chǔ)模型與大語(yǔ)言模型的能力。其架構(gòu)上實(shí)現(xiàn)了分析能力可插拔、算法可熱擴(kuò)展、模型可遠(yuǎn)程適配配合異常窗口、FORECAST函數(shù)與補(bǔ)齊服務(wù)為工業(yè)物聯(lián)網(wǎng)等場(chǎng)景下的時(shí)序數(shù)據(jù)分析提供了一條不改應(yīng)用、只改 SQL的演進(jìn)路徑。相關(guān)部署、管理、算法開(kāi)發(fā)與系統(tǒng)要求細(xì)節(jié)可繼續(xù)閱讀 安裝指南、節(jié)點(diǎn)管理、算法開(kāi)發(fā)者指南 與系統(tǒng)要求其算法實(shí)現(xiàn)與注冊(cè)機(jī)制可在倉(cāng)庫(kù)的 tools/tdgpt/taosanalytics 源碼目錄中進(jìn)一步研讀。【免費(fèi)下載鏈接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios項(xiàng)目地址: https://gitcode.com/GitHub_Trending/tde/TDengine創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考