在數(shù)據(jù)中臺(tái)和數(shù)據(jù)治理體系中元數(shù)據(jù)采集是一項(xiàng)比較基礎(chǔ)的能力。很多人在第一次使用元數(shù)據(jù)管理功能時(shí)會(huì)有一個(gè)比較直接的疑問(wèn)數(shù)據(jù)源已經(jīng)通過(guò)數(shù)據(jù)連接接入平臺(tái)為什么還需要再執(zhí)行元數(shù)據(jù)采集這兩個(gè)步驟解決的問(wèn)題并不相同。數(shù)據(jù)連接主要解決的是平臺(tái)是否具備訪問(wèn)數(shù)據(jù)源的能力。而元數(shù)據(jù)采集關(guān)注的是數(shù)據(jù)源內(nèi)部有哪些數(shù)據(jù)對(duì)象、這些對(duì)象是什么結(jié)構(gòu)以及這些結(jié)構(gòu)后續(xù)是否發(fā)生變化。因此元數(shù)據(jù)采集的作用并不是重新復(fù)制一遍業(yè)務(wù)數(shù)據(jù)而是從數(shù)據(jù)庫(kù)、文件系統(tǒng)或?qū)ο蟠鎯?chǔ)中獲取數(shù)據(jù)對(duì)象的結(jié)構(gòu)信息和基礎(chǔ)描述信息并統(tǒng)一沉淀到元數(shù)據(jù)平臺(tái)中。本文結(jié)合 qData 數(shù)據(jù)中臺(tái)專業(yè)版的元數(shù)據(jù)管理流程主要說(shuō)明幾個(gè)問(wèn)題元數(shù)據(jù)采集具體會(huì)采集哪些信息結(jié)構(gòu)化數(shù)據(jù)和文件類數(shù)據(jù)如何進(jìn)行采集采集任務(wù)、采集實(shí)例和最新元數(shù)據(jù)之間是什么關(guān)系數(shù)據(jù)結(jié)構(gòu)發(fā)生變化后如何進(jìn)行版本記錄和對(duì)比已采集的元數(shù)據(jù)如何進(jìn)一步用于數(shù)據(jù)資產(chǎn)注冊(cè)。數(shù)據(jù)連接已經(jīng)做了為什么還需要元數(shù)據(jù)采集假設(shè)企業(yè)已經(jīng)通過(guò) qData 建立了一個(gè) MySQL 數(shù)據(jù)連接。完成連接后平臺(tái)解決的是能否訪問(wèn)這個(gè)數(shù)據(jù)庫(kù)。但對(duì)于后續(xù)數(shù)據(jù)治理而言僅僅“能夠連接”還不夠。平臺(tái)還需要進(jìn)一步知道數(shù)據(jù)庫(kù)里面有哪些表每張表有哪些字段字段是什么類型哪些字段是主鍵、外鍵結(jié)構(gòu)最近有沒(méi)有發(fā)生變化哪些元數(shù)據(jù)已經(jīng)經(jīng)過(guò)確認(rèn)哪些表后續(xù)需要納入數(shù)據(jù)資產(chǎn)管理所以從數(shù)據(jù)治理視角來(lái)看數(shù)據(jù)連接更像是建立了一條訪問(wèn)通道而元數(shù)據(jù)采集才開(kāi)始進(jìn)一步識(shí)別和管理通道背后的數(shù)據(jù)對(duì)象。一、元數(shù)據(jù)采集到底是在“采”什么元數(shù)據(jù)經(jīng)常被定義為“描述數(shù)據(jù)的數(shù)據(jù)”。放到企業(yè)數(shù)據(jù)平臺(tái)里可以把它理解得更具體一些元數(shù)據(jù)描述的是一份數(shù)據(jù)本身的技術(shù)結(jié)構(gòu)和基本屬性而不是再次復(fù)制其中的業(yè)務(wù)數(shù)據(jù)。例如一張訂單表里可能保存著幾百萬(wàn)條訂單記錄。元數(shù)據(jù)采集不會(huì)再把這幾百萬(wàn)條訂單復(fù)制到元數(shù)據(jù)平臺(tái)而是識(shí)別表叫什么屬于哪個(gè)數(shù)據(jù)庫(kù)包含哪些字段字段叫什么字段是什么數(shù)據(jù)類型長(zhǎng)度、精度、小數(shù)位是多少是否必填是否屬于主鍵、外鍵當(dāng)前表和字段是什么結(jié)構(gòu)。對(duì)于數(shù)據(jù)庫(kù)類結(jié)構(gòu)化數(shù)據(jù)可以把采集層級(jí)理解為數(shù)據(jù)源 → 數(shù)據(jù)庫(kù) → 數(shù)據(jù)表 → 字段只有把這些技術(shù)信息采集出來(lái)平臺(tái)才真正知道一個(gè)數(shù)據(jù)源中存在什么數(shù)據(jù)對(duì)象以及這些數(shù)據(jù)對(duì)象當(dāng)前是什么狀態(tài)。不只是數(shù)據(jù)庫(kù)文件類數(shù)據(jù)也可以進(jìn)入元數(shù)據(jù)管理企業(yè)數(shù)據(jù)并不全部存儲(chǔ)在數(shù)據(jù)庫(kù)中。實(shí)際業(yè)務(wù)環(huán)境中還存在大量CSV、JSON、SQL、文檔等文件。這些文件可能分布在不同的文件系統(tǒng)或?qū)ο蟠鎯?chǔ)中。因此qData 同樣支持針對(duì)文件類數(shù)據(jù)進(jìn)行元數(shù)據(jù)采集。與數(shù)據(jù)庫(kù)不同文件類元數(shù)據(jù)更加關(guān)注文件名稱文件類型文件大小存儲(chǔ)位置來(lái)源系統(tǒng)更新時(shí)間等。也就是說(shuō)無(wú)論是數(shù)據(jù)庫(kù)中的表和字段還是文件系統(tǒng)中的文件對(duì)象元數(shù)據(jù)采集首先解決的都是同一個(gè)問(wèn)題先把企業(yè)中分散存在的數(shù)據(jù)識(shí)別出來(lái)。二、這些元數(shù)據(jù)是怎么進(jìn)入 qData 的元數(shù)據(jù)并不會(huì)自動(dòng)出現(xiàn)在平臺(tái)中而是通過(guò)元數(shù)據(jù)采集任務(wù)從指定數(shù)據(jù)源中獲取。qData 可以根據(jù)數(shù)據(jù)類型創(chuàng)建結(jié)構(gòu)化采集任務(wù)非結(jié)構(gòu)化采集任務(wù)。對(duì)于**結(jié)構(gòu)化數(shù)據(jù)**創(chuàng)建采集任務(wù)時(shí)第一步仍然是確定數(shù)據(jù)從哪里來(lái)。平臺(tái)會(huì)關(guān)聯(lián)相應(yīng)的來(lái)源系統(tǒng)和數(shù)據(jù)連接并獲取數(shù)據(jù)庫(kù)類型、IP、端口、賬號(hào)等連接信息。之后再進(jìn)一步確定這次需要采集哪些內(nèi)容。采集范圍既可以覆蓋整個(gè)數(shù)據(jù)源也可以根據(jù)數(shù)據(jù)治理范圍自定義選擇其中部分?jǐn)?shù)據(jù)庫(kù)。因此元數(shù)據(jù)采集并不意味著每次都必須“全量掃描”企業(yè)可以根據(jù)實(shí)際數(shù)據(jù)管理邊界決定哪些數(shù)據(jù)庫(kù)需要進(jìn)入平臺(tái)。同時(shí)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)庫(kù)結(jié)構(gòu)并不是長(zhǎng)期不變的所以元數(shù)據(jù)采集任務(wù)還可以配置調(diào)度周期。例如每天固定時(shí)間執(zhí)行一次元數(shù)據(jù)采集。這樣平臺(tái)獲取的就不只是數(shù)據(jù)源第一次接入時(shí)的結(jié)構(gòu)而能夠持續(xù)同步源端最新的元數(shù)據(jù)狀態(tài)。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)文件系統(tǒng)和對(duì)象存儲(chǔ)中的文件也可以通過(guò)對(duì)應(yīng)的數(shù)據(jù)連接將相關(guān)文件信息采集至元數(shù)據(jù)平臺(tái)。整個(gè)采集過(guò)程可以概括為確定數(shù)據(jù)來(lái)源 → 確定采集范圍 → 設(shè)置采集周期 → 執(zhí)行采集任務(wù)其中采集任務(wù)定義的是“去哪里采、采什么、什么時(shí)候采”而每一次真實(shí)執(zhí)行則會(huì)產(chǎn)生對(duì)應(yīng)的采集實(shí)例。這個(gè)區(qū)別對(duì)于后續(xù)運(yùn)行管理非常重要。三、采集任務(wù)執(zhí)行完以后先看“這次有沒(méi)有采成功”創(chuàng)建采集任務(wù)并不代表元數(shù)據(jù)已經(jīng)成功進(jìn)入平臺(tái)。每次任務(wù)真正執(zhí)行后都可以通過(guò)采集實(shí)例查看這一次具體的運(yùn)行結(jié)果。采集實(shí)例會(huì)記錄本次采集是否成功數(shù)據(jù)來(lái)自哪里采集耗時(shí)采集數(shù)量開(kāi)始時(shí)間結(jié)束時(shí)間對(duì)應(yīng)采集日志。它首先解決的是一個(gè)運(yùn)行層問(wèn)題“這一次到底有沒(méi)有采成功實(shí)際采到了多少”對(duì)于周期性運(yùn)行的元數(shù)據(jù)采集任務(wù)而言這一步也為后續(xù)異常排查提供了基本依據(jù)。四、采集成功以后元數(shù)據(jù)進(jìn)入“最新元數(shù)據(jù)”當(dāng)一次采集成功后真正獲取到的數(shù)據(jù)結(jié)構(gòu)信息會(huì)進(jìn)入 qData數(shù)據(jù)中臺(tái) 的最新元數(shù)據(jù)中。對(duì)于數(shù)據(jù)庫(kù)類型的數(shù)據(jù)可以按照來(lái)源系統(tǒng)、數(shù)據(jù)庫(kù)等層級(jí)查看當(dāng)前已經(jīng)采集的數(shù)據(jù)表。列表中能夠進(jìn)一步看到表名稱、表注釋、所屬庫(kù)、采集來(lái)源、當(dāng)前狀態(tài)等。進(jìn)入具體表詳情后還可以繼續(xù)查看字段級(jí)信息包括字段名稱字段注釋數(shù)據(jù)類型字段長(zhǎng)度字段精度小數(shù)位是否必填是否主鍵是否外鍵等。到這里數(shù)據(jù)連接與元數(shù)據(jù)采集之間的區(qū)別就更加直觀。連接之前平臺(tái)不知道這個(gè)數(shù)據(jù)源建立數(shù)據(jù)連接后平臺(tái)知道“這里有一個(gè)數(shù)據(jù)庫(kù)我能夠訪問(wèn)它?！痹獢?shù)據(jù)采集完成以后平臺(tái)則進(jìn)一步知道數(shù)據(jù)庫(kù)里面有哪些表、每張表有哪些字段、字段是什么類型以及當(dāng)前結(jié)構(gòu)是什么。文件元數(shù)據(jù)同樣進(jìn)入統(tǒng)一管理文件類數(shù)據(jù)采用類似邏輯。完成采集后可以在**最新元數(shù)據(jù)文件**中查看已經(jīng)識(shí)別到的文件名稱、文件類型、物理存儲(chǔ)信息、來(lái)源信息以及修改時(shí)間等。進(jìn)入文件詳情后還能夠進(jìn)一步查看對(duì)應(yīng)數(shù)據(jù)連接、文件路徑、文件大小、來(lái)源系統(tǒng)以及相關(guān)責(zé)任信息。這樣原本分散在不同數(shù)據(jù)庫(kù)、文件系統(tǒng)和對(duì)象存儲(chǔ)中的表、字段和文件信息就能夠統(tǒng)一沉淀到元數(shù)據(jù)平臺(tái)中。五、源系統(tǒng)一直在變化元數(shù)據(jù)如何保持同步如果元數(shù)據(jù)只采集一次它能夠反映的只是某一個(gè)時(shí)間點(diǎn)的數(shù)據(jù)結(jié)構(gòu)。但企業(yè)業(yè)務(wù)系統(tǒng)實(shí)際上一直在變化。例如一次系統(tǒng)升級(jí)之后可能出現(xiàn)新增字段刪除字段修改原有字段。這意味著元數(shù)據(jù)管理不能只回答“現(xiàn)在是什么結(jié)構(gòu)”還需要進(jìn)一步回答“它和以前相比發(fā)生了什么變化”qData 通過(guò)周期性元數(shù)據(jù)采集持續(xù)獲取源端最新結(jié)構(gòu)同時(shí)保留相應(yīng)的元數(shù)據(jù)版本。從最新結(jié)構(gòu)繼續(xù)看到“版本與變更”在表的版本與變更中可以查看不同元數(shù)據(jù)版本以及每一次版本對(duì)應(yīng)的變化情況。例如某個(gè)版本新增了一個(gè)字段另一個(gè)版本刪除了一個(gè)字段。這些變化都會(huì)通過(guò)版本記錄保留下來(lái)。如果需要進(jìn)一步判斷兩個(gè)版本之間究竟有哪些具體差異還可以通過(guò)元數(shù)據(jù)對(duì)比。選擇基準(zhǔn)版本 對(duì)比版本進(jìn)行比較。這樣元數(shù)據(jù)管理回答的問(wèn)題就從“現(xiàn)在有什么”擴(kuò)展為“以前是什么樣現(xiàn)在又變成了什么樣”對(duì)于數(shù)據(jù)平臺(tái)長(zhǎng)期治理而言這比單純展示當(dāng)前表結(jié)構(gòu)更有價(jià)值因?yàn)楹芏鄶?shù)據(jù)問(wèn)題本身就來(lái)自上游結(jié)構(gòu)變化。六、確認(rèn)后的元數(shù)據(jù)可以進(jìn)一步“定版”對(duì)于經(jīng)過(guò)確認(rèn)、希望相對(duì)穩(wěn)定保留的元數(shù)據(jù)版本qData 還可以進(jìn)一步形成定版元數(shù)據(jù)。定版之后仍然可以查看對(duì)應(yīng)的表結(jié)構(gòu)和字段信息。這里需要特別區(qū)分一個(gè)概念定版元數(shù)據(jù)并不等于把元數(shù)據(jù)自動(dòng)轉(zhuǎn)換成數(shù)據(jù)標(biāo)準(zhǔn)。它更接近于將某個(gè)已經(jīng)采集、確認(rèn)過(guò)的元數(shù)據(jù)版本固定下來(lái)作為后續(xù)統(tǒng)一查看、管理和使用的相對(duì)穩(wěn)定基礎(chǔ)。因此從一次元數(shù)據(jù)采集到長(zhǎng)期管理實(shí)際上形成了一條持續(xù)演進(jìn)鏈路采集 → 更新 → 版本記錄 → 變化對(duì)比 → 定版確認(rèn)這也說(shuō)明企業(yè)元數(shù)據(jù)管理并不應(yīng)該只是“一次摸底”而需要隨著源系統(tǒng)變化持續(xù)更新。七、采完元數(shù)據(jù)以后還能繼續(xù)做什么如果元數(shù)據(jù)采集最后只是停留在“查看表和字段”它的價(jià)值仍然比較有限。當(dāng)平臺(tái)已經(jīng)知道企業(yè)有哪些數(shù)據(jù)以及這些數(shù)據(jù)是什么結(jié)構(gòu)之后下一步就可以繼續(xù)進(jìn)入數(shù)據(jù)資產(chǎn)建設(shè)。在 qData 數(shù)據(jù)資產(chǎn)模塊中可以從已經(jīng)采集的元數(shù)據(jù)里選擇數(shù)據(jù)庫(kù)表將相應(yīng)的數(shù)據(jù)表進(jìn)一步注冊(cè)為數(shù)據(jù)資產(chǎn)。注冊(cè)過(guò)程中可以直接選擇現(xiàn)有元數(shù)據(jù)同時(shí)繼續(xù)補(bǔ)充資產(chǎn)名稱表類型數(shù)倉(cāng)分層業(yè)務(wù)分類數(shù)據(jù)分域所屬主題表命名規(guī)范資產(chǎn)描述等信息。這里實(shí)際上體現(xiàn)了元數(shù)據(jù)與數(shù)據(jù)資產(chǎn)之間的區(qū)別和聯(lián)系。元數(shù)據(jù)回答“技術(shù)上有什么”數(shù)據(jù)資產(chǎn)回答“業(yè)務(wù)上是什么”元數(shù)據(jù)首先回答的是“技術(shù)上有什么數(shù)據(jù)”例如這張表叫什么來(lái)自哪個(gè)數(shù)據(jù)庫(kù)有哪些字段結(jié)構(gòu)是什么但進(jìn)入數(shù)據(jù)資產(chǎn)管理之后還需要進(jìn)一步回答“這份數(shù)據(jù)在企業(yè)里面到底是什么”例如屬于哪個(gè)業(yè)務(wù)屬于哪個(gè)數(shù)據(jù)域位于什么數(shù)倉(cāng)層級(jí)應(yīng)該如何分類由誰(shuí)進(jìn)行管理因此可以把整個(gè)過(guò)程理解為數(shù)據(jù)連接 → 元數(shù)據(jù)采集 → 元數(shù)據(jù)管理 → 元數(shù)據(jù)確認(rèn) → 數(shù)據(jù)資產(chǎn)注冊(cè)元數(shù)據(jù)采集先把數(shù)據(jù)的技術(shù)結(jié)構(gòu)識(shí)別出來(lái)之后再繼續(xù)補(bǔ)充業(yè)務(wù)屬性和管理屬性逐步將原本散落在各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)納入統(tǒng)一的數(shù)據(jù)資產(chǎn)管理體系。這也是為什么企業(yè)數(shù)據(jù)資產(chǎn)建設(shè)通常不能繞開(kāi)元數(shù)據(jù)。因?yàn)樵谟懻摗澳男?shù)據(jù)值得作為資產(chǎn)管理”之前首先要知道企業(yè)到底有哪些數(shù)據(jù)?；仡^看一條元數(shù)據(jù)管理鏈路到底經(jīng)歷了什么把前面的過(guò)程重新串起來(lái)可以得到一條比較完整的 qData 元數(shù)據(jù)管理鏈路① 建立數(shù)據(jù)連接讓平臺(tái)能夠訪問(wèn)數(shù)據(jù)庫(kù)、文件系統(tǒng)或?qū)ο蟠鎯?chǔ)。② 創(chuàng)建元數(shù)據(jù)采集任務(wù)確定來(lái)源系統(tǒng)、數(shù)據(jù)連接、采集范圍以及調(diào)度周期。③ 執(zhí)行采集通過(guò)采集實(shí)例確認(rèn)執(zhí)行結(jié)果、采集數(shù)量、耗時(shí)以及日志。④ 進(jìn)入最新元數(shù)據(jù)查看當(dāng)前數(shù)據(jù)表、字段或文件的最新結(jié)構(gòu)信息。⑤ 周期持續(xù)采集隨著源系統(tǒng)變化持續(xù)獲取最新結(jié)構(gòu)。⑥ 版本與變更記錄新增字段、刪除字段以及不同版本的結(jié)構(gòu)變化。⑦ 元數(shù)據(jù)對(duì)比比較兩個(gè)版本之間的具體差異。⑧ 定版元數(shù)據(jù)將經(jīng)過(guò)確認(rèn)的元數(shù)據(jù)版本進(jìn)一步固定和沉淀。⑨ 數(shù)據(jù)資產(chǎn)注冊(cè)從已有元數(shù)據(jù)中選擇數(shù)據(jù)表并補(bǔ)充業(yè)務(wù)分類、數(shù)據(jù)分域、數(shù)倉(cāng)分層等資產(chǎn)屬性。這樣一來(lái)元數(shù)據(jù)采集就不再是一個(gè)孤立的技術(shù)動(dòng)作而成為從數(shù)據(jù)發(fā)現(xiàn)到資產(chǎn)建設(shè)之間的一項(xiàng)基礎(chǔ)能力?？偨Y(jié)從完整流程來(lái)看元數(shù)據(jù)采集并不是簡(jiǎn)單獲取數(shù)據(jù)庫(kù)中的表數(shù)量和字段數(shù)量而是數(shù)據(jù)治理過(guò)程中用于識(shí)別數(shù)據(jù)結(jié)構(gòu)、維護(hù)當(dāng)前狀態(tài)和跟蹤結(jié)構(gòu)變化的一項(xiàng)基礎(chǔ)工作。在 qData 中這條流程可以概括為數(shù)據(jù)連接 → 元數(shù)據(jù)采集 → 最新元數(shù)據(jù) → 周期更新 → 版本與變更 → 元數(shù)據(jù)對(duì)比 → 定版元數(shù)據(jù) → 數(shù)據(jù)資產(chǎn)注冊(cè)其中數(shù)據(jù)連接負(fù)責(zé)建立訪問(wèn)通道元數(shù)據(jù)采集負(fù)責(zé)獲取表、字段、文件等數(shù)據(jù)對(duì)象的技術(shù)信息周期采集和版本管理則用于持續(xù)記錄源端結(jié)構(gòu)變化。當(dāng)這些技術(shù)元數(shù)據(jù)經(jīng)過(guò)確認(rèn)后還可以繼續(xù)補(bǔ)充業(yè)務(wù)分類、數(shù)據(jù)分域、數(shù)倉(cāng)分層等屬性并注冊(cè)為數(shù)據(jù)資產(chǎn)。因此從技術(shù)實(shí)現(xiàn)和數(shù)據(jù)治理流程來(lái)看元數(shù)據(jù)采集主要解決三個(gè)問(wèn)題第一當(dāng)前有哪些數(shù)據(jù)第二這些數(shù)據(jù)是什么結(jié)構(gòu)第三這些結(jié)構(gòu)后來(lái)發(fā)生了什么變化。只有先建立相對(duì)完整、可持續(xù)更新的元數(shù)據(jù)基礎(chǔ)后續(xù)的數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)血緣以及其他治理工作才有比較明確的數(shù)據(jù)對(duì)象作為管理基礎(chǔ)。