簡介圍繞人工智能高質(zhì)量數(shù)據(jù)集建設(shè)的系統(tǒng)性研究文檔適合AI領(lǐng)域研究者、數(shù)據(jù)工程師及政策規(guī)劃人員參考針對數(shù)據(jù)質(zhì)量參差不齊、標(biāo)注不規(guī)范等現(xiàn)實問題給出系統(tǒng)化應(yīng)對思路。文檔從數(shù)據(jù)集定義與特點入手梳理數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)標(biāo)注與質(zhì)量控制、數(shù)據(jù)存儲與管理等關(guān)鍵要素進(jìn)而從政策法規(guī)與標(biāo)準(zhǔn)制定、技術(shù)研發(fā)與創(chuàng)新、產(chǎn)學(xué)研合作與資源共享、人才培養(yǎng)與激勵機(jī)制四個維度展開實施路徑并輔以國內(nèi)外案例對比與挑戰(zhàn)應(yīng)對策略。全文為docx格式共1個文件壓縮包約68KB目錄結(jié)構(gòu)完整便于按章節(jié)定位閱讀。已有107人瀏覽學(xué)習(xí)閱讀者由此可掌握高質(zhì)量數(shù)據(jù)集建設(shè)的理論框架、操作要點和長期規(guī)劃建議適合作為課題研究、方案設(shè)計或教學(xué)培訓(xùn)的參考資料。1. 為什么高質(zhì)量數(shù)據(jù)集成了人工智能項目真正的瓶頸先講個我自己的真實經(jīng)歷。前兩年幫一家制造企業(yè)做缺陷檢測算法工程師換了三版模型結(jié)構(gòu)召回率死活卡在87%上不去。后來把訓(xùn)練數(shù)據(jù)從頭到尾翻了一遍發(fā)現(xiàn)問題根本不在模型一千多張標(biāo)注圖里有將近三成的小缺陷框偏移了一兩個像素還有幾十張圖壓根標(biāo)注錯了缺陷類別。把數(shù)據(jù)重新清洗、重新標(biāo)注之后同樣一套模型結(jié)構(gòu)召回率直接干到94%。從那以后我就形成了一個習(xí)慣項目效果不對先查數(shù)據(jù)再調(diào)模型。這個順序基本沒讓我踩過大坑?，F(xiàn)在聊“人工智能高質(zhì)量數(shù)據(jù)集建設(shè)”很多團(tuán)隊其實已經(jīng)意識到數(shù)據(jù)的重要性但真正落到執(zhí)行層面問題一堆數(shù)據(jù)來源雜、格式亂、標(biāo)注標(biāo)準(zhǔn)不統(tǒng)一、臟數(shù)據(jù)沒人管、版本迭代靠手動覆蓋。這些問題處理不好后面所有環(huán)節(jié)都在給前面填坑。尤其是做視覺方向的團(tuán)隊天天跟YOLO、COCO格式、VOC格式打交道數(shù)據(jù)集的質(zhì)量直接決定了你訓(xùn)練出的模型能不能上線。這篇文章就是想把“高質(zhì)量數(shù)據(jù)集”這件事掰開揉碎講講從需求分析、數(shù)據(jù)采集、清洗整理、標(biāo)注管控到版本管理的完整實施路徑。適合正在搭數(shù)據(jù)流程的算法工程師、帶數(shù)據(jù)標(biāo)注團(tuán)隊的負(fù)責(zé)人、以及做人工智能課程設(shè)計或者大作業(yè)的學(xué)生參考。內(nèi)容不繞彎子全是實操層面的東西你拿過去可以直接對應(yīng)到自己項目里用。先說一個生活化的類比。數(shù)據(jù)集之于人工智能模型就像食材之于廚師。你請一個米其林大廚來給他一筐爛菜葉、過期肉他也做不出像樣的席面。反過來食材新鮮、搭配合理哪怕廚師手藝普通一點做出來的菜也差不到哪去。模型崩了、效果不對、上線表現(xiàn)拉胯絕大多數(shù)時候不是算法不行是喂進(jìn)去的“食材”不行。那什么樣的數(shù)據(jù)集算“高質(zhì)量”我自己的標(biāo)準(zhǔn)是六個維度準(zhǔn)確性、多樣性、一致性、時效性、完整性、安全性。準(zhǔn)確性就是標(biāo)注和真值要對不要有錯標(biāo)漏標(biāo)多樣性講究的是場景、光線、角度、樣本形態(tài)要足夠豐富一致性要求不同標(biāo)注員、不同批次標(biāo)注的標(biāo)準(zhǔn)統(tǒng)一不能同一類東西一個人框成矩形另一個人框成多邊形時效性指的是數(shù)據(jù)要貼合當(dāng)前真實分布不能拿三年前的舊數(shù)據(jù)硬套現(xiàn)在的場景完整性是指覆蓋邊界情況極端樣本和長尾案例不能缺安全性則強(qiáng)調(diào)數(shù)據(jù)不能涉及侵權(quán)、隱私和敏感內(nèi)容。這六個詞看著簡單每一條展開都是在真實項目中反復(fù)踩出來的教訓(xùn)。2. 建設(shè)高質(zhì)量數(shù)據(jù)集的整體路徑拆解2.1 先做需求拆解別急著追熱點找數(shù)據(jù)很多人一上來就問“哪里能下載現(xiàn)成的數(shù)據(jù)集”我通常都會潑一盆冷水?，F(xiàn)成數(shù)據(jù)集比如MNIST手寫數(shù)字、KITTI自動駕駛、COCO2017這些經(jīng)典集合練手學(xué)模型完全沒問題但放到真實業(yè)務(wù)場景里幾乎不可能直接滿足需求。原因很簡單你的業(yè)務(wù)場景和數(shù)據(jù)分布跟公開數(shù)據(jù)集的采集環(huán)境差別太大。用COCO預(yù)訓(xùn)練的模型做工業(yè)質(zhì)檢泛化效果往往慘不忍睹核心就是數(shù)據(jù)分布對不上。所以第一步永遠(yuǎn)是需求拆解。拿一個問題清單去問業(yè)務(wù)方模型要識別哪些類別在什么環(huán)境下運行光照、角度、距離目標(biāo)物體有什么形態(tài)變化可接受哪些錯誤漏檢更嚴(yán)重還是誤報更嚴(yán)重這些問題直接決定了數(shù)據(jù)采集的方向和標(biāo)注策略。舉個例子做X光安檢物品檢測你需要考慮的不是“我找個通用目標(biāo)檢測數(shù)據(jù)集來微調(diào)”而是“安檢機(jī)成像下物體的遮擋、堆疊、變形情況嚴(yán)重不同材質(zhì)物品在X光下的紋理和灰度差異極大”。如果需求拆解不到位很可能你辛辛苦苦標(biāo)注了幾千張圖發(fā)現(xiàn)類別分布嚴(yán)重失衡或者采集場景單一導(dǎo)致模型上現(xiàn)場直接失靈。需求拆解做完之后數(shù)據(jù)規(guī)模、類別數(shù)量、場景覆蓋、標(biāo)注精度要求、數(shù)據(jù)格式這些指標(biāo)也就順勢定下來了。2.2 數(shù)據(jù)獲取自采、公開數(shù)據(jù)集與合作數(shù)據(jù)怎么選需求明確之后數(shù)據(jù)從哪來常見的路子有三條自己采集、用公開數(shù)據(jù)集打底、從合作方拿數(shù)據(jù)。三條路各有取舍。自己采集最貼近真實場景但成本最高。一套工業(yè)相機(jī)加光源系統(tǒng)就能花掉不少預(yù)算還要考慮人員、場地、時間成本。公開數(shù)據(jù)集成本低比如做通用目標(biāo)檢測可以用COCO2017做預(yù)訓(xùn)練做遙感識別可以用DOTA數(shù)據(jù)集做醫(yī)學(xué)圖像有各種專病數(shù)據(jù)集但問題在于公開數(shù)據(jù)的場景和標(biāo)注標(biāo)準(zhǔn)未必匹配你的業(yè)務(wù)需求一般適合做底座或者做預(yù)訓(xùn)練不適合直接做最終訓(xùn)練集。合作數(shù)據(jù)通常質(zhì)量不錯但要重點處理數(shù)據(jù)的格式統(tǒng)一和權(quán)限合規(guī)問題別拿到手才發(fā)現(xiàn)標(biāo)注風(fēng)格五花八門或者沒法確認(rèn)數(shù)據(jù)來源是否干凈。我的建議是搞組合策略公開數(shù)據(jù)集做底座解決模型前期收斂問題自采數(shù)據(jù)做核心覆蓋業(yè)務(wù)真實場景合作數(shù)據(jù)做補充用來擴(kuò)邊界場景和長尾案例。組合策略比單一渠道穩(wěn)妥得多也方便后面做數(shù)據(jù)配比調(diào)整。2.3 清洗、去重、整理這步千萬別省數(shù)據(jù)拿回來不是直接就能喂給模型的清洗整理這一步?jīng)Q定后面所有流程的體驗。我見過不少團(tuán)隊原始數(shù)據(jù)下載完直接扔給標(biāo)注員結(jié)果標(biāo)注員光處理亂七八糟的格式就耗掉一半時間成本翻倍還容易出錯。清洗主要做四件事。第一是去重相近視角、相近場景的重復(fù)樣本會放大模型對特定模式的過擬合用感知哈?；蛘咛卣飨蛄康姆绞阶鱿嗨贫热ブ厥潜容^常用的手段。第二是去臟模糊、過曝、損壞、帶水印的圖該刪就刪不要心疼臟數(shù)據(jù)留著只會拉低訓(xùn)練效果。第三是格式統(tǒng)一無論來源是手機(jī)拍攝、監(jiān)控截圖、掃描件還是傳感器導(dǎo)出最終都要統(tǒng)一成同一套命名規(guī)則和文件格式。第四是元數(shù)據(jù)補齊每張樣本至少應(yīng)該記錄來源、場景、采集時間、光線條件這些信息方便后面分析錯誤案例時回溯問題根源。我見過太多團(tuán)隊在這個環(huán)節(jié)上偷懶結(jié)果訓(xùn)練時發(fā)現(xiàn)數(shù)據(jù)里混著格式錯誤的文件或者同一類物體兩種標(biāo)注方式并存最后只能回頭重新清洗。這中間的返工成本遠(yuǎn)大于一開始就把流程做干凈的成本。3. 標(biāo)注與質(zhì)量管控決定成果天花板的環(huán)節(jié)3.1 標(biāo)注規(guī)范怎么定才可執(zhí)行標(biāo)注規(guī)范是數(shù)據(jù)質(zhì)量管控的“法律文件”但很多團(tuán)隊的標(biāo)注規(guī)范寫得太粗什么“把目標(biāo)框出來”這種話等于沒寫。真正能落地的標(biāo)注規(guī)范必須對每個類別給出明確的邊界定義。以目標(biāo)檢測的標(biāo)注為例你至少要規(guī)定清楚這幾件事物體被遮擋超過多少比例不需要標(biāo)注物體在圖像邊緣只露出一部分時框的邊界怎么切兩個物體緊密重疊時各自框的邊界怎么卡模糊到什么程度算不可標(biāo)注每個類別有沒有容易混淆的近似類別區(qū)別標(biāo)準(zhǔn)是什么這些問題不定義清楚標(biāo)注員的自由發(fā)揮空間一大一致性一定崩。具體操作上我建議規(guī)范里帶兩樣?xùn)|西一是正反例圖每個類別配一兩張標(biāo)準(zhǔn)標(biāo)注圖和兩張錯誤標(biāo)注圖直觀展示“對”和“錯”的區(qū)別二是常見疑難case的截圖把容易踩坑的點集中列出來。標(biāo)注規(guī)范不是寫一次就完事應(yīng)該每跑完一批數(shù)據(jù)就復(fù)盤一次把新出現(xiàn)的分歧點補充進(jìn)去形成持續(xù)更新的機(jī)制。3.2 質(zhì)量抽檢與一致性校驗怎么做標(biāo)注完成之后必須設(shè)置質(zhì)量檢查環(huán)節(jié)不能直接進(jìn)訓(xùn)練管道。最常用的是分層抽樣抽檢按標(biāo)注員、按類別、按場景維度分別抽一定比例的數(shù)據(jù)檢查標(biāo)注的準(zhǔn)確率。如果某一類或者某一位標(biāo)注員的錯誤率超標(biāo)這一批數(shù)據(jù)全部退回重做。一致性校驗更復(fù)雜一些。做法是拿同一批數(shù)據(jù)給兩個不同標(biāo)注員各標(biāo)一遍對比兩者之間的差異常見的指標(biāo)是IoU交并比和類別一致性比率。如果兩個標(biāo)注員對同一目標(biāo)的框交并比低于閾值或者類別判斷不一致說明規(guī)范理解有分歧需要拉齊標(biāo)準(zhǔn)。這類工作現(xiàn)在被歸到“人工智能訓(xùn)練師”的核心技能里確實名副其實因為模型表現(xiàn)的分水嶺往往就在這里。另外建議給標(biāo)注員做能力畫像記錄每個人在哪些類別的表現(xiàn)更穩(wěn)定、哪些類別的錯誤更頻繁。標(biāo)注質(zhì)量不是平均的有人對遮擋場景特別敏感有人對模糊目標(biāo)的判斷更準(zhǔn)確把任務(wù)分給擅長的人整體質(zhì)量能上一個大臺階。3.3 數(shù)據(jù)版本管理與迭代機(jī)制數(shù)據(jù)集一旦開始迭代沒有版本管理就是災(zāi)難。我見過有人把數(shù)據(jù)集文件夾命名成“final_final_v3”過兩天又改成“final_v3_改”最后整個團(tuán)隊都搞不清哪個是當(dāng)前有效版本。這跟代碼管理不搞Git是一個道理。數(shù)據(jù)集版本管理至少要記錄這些信息數(shù)據(jù)來源、樣本數(shù)量、類別分布、標(biāo)注規(guī)范版本、已知問題、變更記錄。推薦用DVC這類專門管理數(shù)據(jù)的工具或者至少做一個標(biāo)準(zhǔn)化的目錄結(jié)構(gòu)和版本說明文件。每次迭代都要能明確回答“這版數(shù)據(jù)跟上一版相比改了什么、為什么改、對模型有什么影響”。還有一個容易忽略的點數(shù)據(jù)集和模型實驗要強(qiáng)關(guān)聯(lián)。每跑一輪訓(xùn)練必須記清楚用了哪個數(shù)據(jù)版本這樣模型效果突然變化時能快速定位是數(shù)據(jù)問題還是模型問題。我自己就吃過這虧模型效果莫名變好查了半天是數(shù)據(jù)集悄悄多了兩百張圖訓(xùn)練腳本自動全量讀取了實驗記錄瞬間作廢。4. 實操案例一個目標(biāo)檢測數(shù)據(jù)集從0到1的完整過程4.1 場景設(shè)定與數(shù)據(jù)盤點拿一個具體的例子來說。假設(shè)我們要做X光安檢場景下的違禁品檢測類別包括刀具、槍支、液體、打火機(jī)等。這個場景的難點在于X光成像跟自然光圖像差別很大物體堆疊嚴(yán)重、輪廓重疊、不同材質(zhì)灰度差異大、很多物品在透視視角下形狀嚴(yán)重畸變。需求拆解階段就要明確檢測精度優(yōu)先還是召回優(yōu)先安檢場景必然是漏檢零容忍所以標(biāo)注標(biāo)準(zhǔn)要更細(xì)致哪怕目標(biāo)很小、遮擋很嚴(yán)重只要人類標(biāo)注員能辨認(rèn)出來就必須標(biāo)。這個決策直接影響數(shù)據(jù)規(guī)模和標(biāo)注成本的估算。數(shù)據(jù)盤點階段我們先把已有數(shù)據(jù)分成三類A類是歷史安檢機(jī)的真實過包圖像B類是用實驗設(shè)備專門采集的模擬圖像C類是網(wǎng)上找到的公開數(shù)據(jù)集。底數(shù)是A類B類約兩千張標(biāo)注完整度參差不齊公開數(shù)據(jù)集只用來做預(yù)訓(xùn)練底座。盤完之后發(fā)現(xiàn)兩個問題一是液體類樣本占比太低只有百分之三左右長尾嚴(yán)重二是擊穿場景多個物體堆疊導(dǎo)致邊緣模糊的樣本幾乎沒有。這兩個缺口就直接寫進(jìn)采集計劃里作為第二階段重點補充方向。4.2 標(biāo)注格式選擇與轉(zhuǎn)換VOC、COCO與YOLO標(biāo)注格式這件事看著簡單實際上一堆坑。YOLO系列暗黑風(fēng)格訓(xùn)練要用txt格式每個txt對應(yīng)一張圖每行是“類別 x_center y_center width height”坐標(biāo)全部歸一化到圖像尺寸COCO數(shù)據(jù)集是json格式所有標(biāo)注集中在一個大json文件里結(jié)構(gòu)層級多新手很容易看暈VOC用的是XML文件夾一個文件對應(yīng)一張圖的標(biāo)注。三者之間互轉(zhuǎn)是家常便飯我建議團(tuán)隊里固定一個數(shù)據(jù)格式轉(zhuǎn)換腳本別每次手動轉(zhuǎn)容易轉(zhuǎn)出一堆坐標(biāo)錯誤。這里穩(wěn)妥的做法是統(tǒng)一用COCO格式做內(nèi)部存儲標(biāo)準(zhǔn)需要訓(xùn)練YOLO時再轉(zhuǎn)成txt格式。原因在于COCO格式除了標(biāo)注框還支持分割、關(guān)鍵點、屬性描述等更豐富的信息擴(kuò)展性好而且主流的開源工具都提供了COCO格式的讀寫庫方便做統(tǒng)計分析。以YOLO訓(xùn)練為例最終的數(shù)據(jù)集目錄結(jié)構(gòu)一般長這樣dataset/ ├── images/ │ ├── train/ # 訓(xùn)練圖像 │ └── val/ # 驗證圖像 ├── labels/ │ ├── train/ # 對應(yīng)的YOLO格式標(biāo)簽 │ └── val/ ├── data.yaml # 類別名、路徑配置data.yaml的核心內(nèi)容就是類別列表和路徑指向path: ./dataset train: images/train val: images/val names: 0: knife 1: gun 2: liquid 3: lighter這一步看起來簡單但目錄路徑和類別索引一旦寫錯前面全部白干。YOLO的類別索引是從0開始的跟COCO的類別ID未必對應(yīng)轉(zhuǎn)換腳本里最容易埋雷的就是這個一定要專門做一次校驗。4.3 訓(xùn)練集、驗證集、測試集的劃分原則數(shù)據(jù)集劃分看著簡單實則是最容易引入“數(shù)據(jù)泄露”的環(huán)節(jié)。最典型的錯誤是同一個物體在連續(xù)幀里反復(fù)出現(xiàn)如果你按單張圖片隨機(jī)劃分同一個物體的不同幀可能同時出現(xiàn)在訓(xùn)練集和驗證集里驗證結(jié)果虛高一到真實場景馬上現(xiàn)原形。尤其在視頻抽幀場景下必須先按視頻序列分組再基于組做劃分而不是按單幀劃分。通常的比例是7:2:1訓(xùn)練集七成、驗證集兩成、測試集一成。注意測試集是最終模型驗收用的訓(xùn)練過程中絕對不能碰否則你匯報的指標(biāo)都是“表演”性質(zhì)的自嗨。劃分之后還要做一個類別分布檢查看一下各個類別在訓(xùn)練、驗證、測試三個集合里的比例是否大致一致。如果驗證集里某個類別樣本數(shù)極少那模型在這個類別上的評估結(jié)果本身就是不穩(wěn)定的不具備說服力。5. 高質(zhì)量數(shù)據(jù)集建設(shè)中的典型問題與避坑指南5.1 類別不平衡不僅是數(shù)量問題還是難度問題類別不平衡是數(shù)據(jù)集建設(shè)里最普遍的問題。許多人的第一反應(yīng)是增加少數(shù)類的樣本數(shù)量但對目標(biāo)檢測任務(wù)來說光加數(shù)量不夠還要關(guān)注難度分布。假設(shè)你的數(shù)據(jù)里有1000張“刀具”樣本但其中900張都是刀具在畫面中央、輪廓清晰的情況剩下100張才是小目標(biāo)、遮擋、重疊這種難例那模型訓(xùn)練出來的效果仍然是“只會標(biāo)容易的”。難例挖掘是數(shù)據(jù)建設(shè)里很關(guān)鍵的一步要把那些模型預(yù)測置信度低、或者loss明顯高于平均值的樣本找出來檢查是不是難例不足定向補數(shù)據(jù)。某些分類任務(wù)可以用重采樣或者換loss權(quán)重來緩解數(shù)量不平衡比如focal loss這類方案就是專門針對難例問題的。但注意這些手段是彌補數(shù)據(jù)本身的缺陷不是替代數(shù)據(jù)建設(shè)。數(shù)據(jù)側(cè)先把難例補上來模型側(cè)再用策略適配兩條腿走路才穩(wěn)。5.2 數(shù)據(jù)泄露最隱蔽的性能虛高來源數(shù)據(jù)泄露是讓人印象最深刻的翻車現(xiàn)場。之前在給一個視頻行為識別項目做數(shù)據(jù)集時某個實習(xí)生把同一個視頻的連續(xù)幀拆開后同時分到了訓(xùn)練集和驗證集模型訓(xùn)練的驗證集準(zhǔn)確率一直在94%以上但到了現(xiàn)場直接滑坡到60%多。排查到最后才定位到問題視頻幀高度相似模型在驗證階段“看到了”和訓(xùn)練集幾乎一樣的畫面。類似的場景還有做增強(qiáng)時先對整個數(shù)據(jù)集做標(biāo)準(zhǔn)化統(tǒng)計再劃分訓(xùn)練驗證集導(dǎo)致驗證集信息間接混入了訓(xùn)練過程或者做預(yù)處理時用了全局的數(shù)值統(tǒng)計結(jié)果這在嚴(yán)格意義上是另一種形式的信息泄露。正確做法是先劃分?jǐn)?shù)據(jù)集再基于訓(xùn)練集單獨計算統(tǒng)計量。5.3 偏見問題數(shù)據(jù)采集的覆蓋度決定模型的公平性人工智能偏見不是模型自己產(chǎn)生的更多時候是數(shù)據(jù)集里埋進(jìn)去的。假如做一個人臉識別系統(tǒng)訓(xùn)練數(shù)據(jù)里絕大多數(shù)是某個年齡段或某種膚色的人臉模型對少數(shù)群體的識別準(zhǔn)確率一定偏低。數(shù)據(jù)建設(shè)階段就要有意識地去統(tǒng)計樣本在不同維度上的分布比如年齡段、性別、場景、光線、地區(qū)等針對覆蓋度低的維度做定向采集。這里要特別提醒做數(shù)據(jù)采集的團(tuán)隊不要為了“省事”只從網(wǎng)上爬圖——網(wǎng)絡(luò)圖片往往集中反映某類群體的特征覆蓋度極其有限而且版權(quán)合規(guī)風(fēng)險也需要提前評估。真實場景采集、合作方數(shù)據(jù)、定向拍攝這些渠道雖然成本高但從多樣性和合規(guī)性角度看都更值得投入。5.4 安全合規(guī)數(shù)據(jù)建設(shè)不可繞過的底線不論做什么場景的數(shù)據(jù)集安全合規(guī)都是底線問題。涉及個人信息的數(shù)據(jù)要做好脫敏處理涉及行業(yè)數(shù)據(jù)的使用要確認(rèn)授權(quán)范圍涉及敏感場景的采集要注意安全邊界。數(shù)據(jù)集的存儲和分發(fā)同樣要有控制不要明文存放原始數(shù)據(jù)訓(xùn)練服務(wù)器、標(biāo)注平臺的數(shù)據(jù)訪問權(quán)限也要做最小化管控。這一塊我在實踐中的原則是寧可多問一句、多驗證一次也不要心存僥幸。商業(yè)項目里因為數(shù)據(jù)合規(guī)翻車的案例實在太多真出了事?lián)p失的不僅是錢還有整個團(tuán)隊的聲譽。6. 把數(shù)據(jù)集當(dāng)成產(chǎn)品來做而不是一次性消耗品做完幾個大型數(shù)據(jù)項目之后我最大的體會是數(shù)據(jù)集建設(shè)不能當(dāng)成一次性任務(wù)它應(yīng)該是一個持續(xù)進(jìn)化的產(chǎn)品。模型上線后要不斷收集錯例、挖掘難例、補充新場景、校正標(biāo)注規(guī)范讓數(shù)據(jù)集的版本跟著業(yè)務(wù)變化一起迭代。我建議團(tuán)隊從第一天就建立“數(shù)據(jù)復(fù)盤”機(jī)制每次模型效果不佳的時候不要只想著調(diào)參而是把對應(yīng)的bad case拉出來分析是數(shù)據(jù)問題還是模型問題。數(shù)據(jù)層面可以做的動作有很多補樣本、修正標(biāo)注、調(diào)整類別定義、增加場景覆蓋。模型層面再去考慮改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)或調(diào)loss。這個流程走順了團(tuán)隊對數(shù)據(jù)的敏感度會明顯提升不再盲目迷信模型結(jié)構(gòu)。另一個值得養(yǎng)成的習(xí)慣是數(shù)據(jù)文檔化。不要覺得數(shù)據(jù)集建完了丟給訓(xùn)練腳本就完事一份包含數(shù)據(jù)來源、標(biāo)注規(guī)范、已知問題、變更歷史的數(shù)據(jù)集說明文檔對團(tuán)隊協(xié)作和知識沉淀都非常重要。數(shù)據(jù)科學(xué)家換人、標(biāo)注團(tuán)隊更替都是靠這份文檔才接得上的。工具鏈方面如果團(tuán)隊預(yù)算允許可以考慮引入數(shù)據(jù)管理平臺做標(biāo)注任務(wù)分配、質(zhì)量抽檢、版本管理的一體化流程。預(yù)算有限的團(tuán)隊用LabelImg這類開源標(biāo)注工具加Git管理規(guī)范和腳本也夠用。關(guān)鍵是流程要清晰、標(biāo)準(zhǔn)要落地工具只是輔助。回頭再看人工智能訓(xùn)練師這個職業(yè)畫像為什么現(xiàn)在越來越受重視底層邏輯就是業(yè)界終于意識到模型的迭代速度再快也代替不了對數(shù)據(jù)本身的深刻理解。把數(shù)據(jù)集當(dāng)成產(chǎn)品來做本質(zhì)上就是把人工智能項目的護(hù)城河挖深——算法可以復(fù)現(xiàn)模型可以開源但一套經(jīng)過深度清洗、精細(xì)標(biāo)注、持續(xù)迭代的高質(zhì)量數(shù)據(jù)集才是別人短時間內(nèi)抄不走的核心資產(chǎn)。最后再分享一個小技巧每次標(biāo)注規(guī)范更新或者數(shù)據(jù)處理邏輯調(diào)整之后至少用一周時間做一次跟舊版本的結(jié)果對比。不要相信“改完肯定更好”的直覺一切以數(shù)據(jù)和模型指標(biāo)的實測結(jié)果為準(zhǔn)。這套方法論聽著不炫酷但就是它讓我在好幾個項目里避開了大坑希望對你也有用。本文還有配套的精品資源點擊獲取