最近幫某團隊做醫(yī)療AI項目碰到一個很現(xiàn)實的難題模型效果已經(jīng)到瓶頸想再提升就得拿更多真實病歷來訓練可醫(yī)院那邊的數(shù)據(jù)管理非常嚴格別說導出原始數(shù)據(jù)連在開發(fā)機上查看脫敏后的樣本都要走審批流程跑一輪下來一周時間就沒了。后來我們換了思路讓原始數(shù)據(jù)留在內(nèi)網(wǎng)先用字段統(tǒng)計和分布分析把數(shù)據(jù)規(guī)律摸清楚再用CTGAN訓練一個生成模型把模型參數(shù)帶出來批量生成合成醫(yī)療數(shù)據(jù)用于后續(xù)開發(fā)。整個過程走完我最大的感受是合成數(shù)據(jù)不是“憑空造數(shù)據(jù)”而是把真實數(shù)據(jù)的統(tǒng)計規(guī)律“遷移”出來。這篇文章會把我的方案選型、訓練配置、質(zhì)量評估方法、隱私風險控制以及幾次翻車后總結(jié)的排查經(jīng)驗都整理出來給正在做同類事情的讀者一份能直接抄作業(yè)的參考。1. 項目背景與整體設(shè)計思路1.1 醫(yī)療數(shù)據(jù)為什么這么難用醫(yī)療數(shù)據(jù)有兩個天然痛點隱私等級高和樣本分布極不均衡。我參與的這個項目屬于慢病管理方向原始數(shù)據(jù)集來自某合作醫(yī)院的信息系統(tǒng)字段包括年齡、性別、主診斷、合并癥數(shù)量、收縮壓、空腹血糖、總膽固醇、是否30天內(nèi)再入院等?？倶颖玖考s為12000條聽起來不算少但真正“再入院”的陽性樣本只有800條左右。直接把這種不平衡數(shù)據(jù)丟給模型訓練模型很容易偷懶把所有樣本都預測成“不再入院”因為這樣準確率也能到百分之九十以上。想解決樣本不均衡常規(guī)做法是先做上采樣或者過采樣。但問題是醫(yī)療字段之間不是簡單的線性關(guān)系比如血糖異常和主診斷類別之間、合并癥數(shù)量與再入院風險之間都存在復雜的交互。用傳統(tǒng)插值方式生造出來的樣本醫(yī)生一眼就能看出不合理放到模型里反而會引入噪聲。另一個更棘手的問題是數(shù)據(jù)出不了內(nèi)網(wǎng)。醫(yī)院允許你在內(nèi)網(wǎng)環(huán)境里查看統(tǒng)計結(jié)果但原始記錄級數(shù)據(jù)不能直接拷貝到外部開發(fā)環(huán)境。這就意味著要么開發(fā)團隊全部搬進醫(yī)院駐場要么找到一種能把“數(shù)據(jù)規(guī)律”帶出來但不暴露個體記錄的方法。合成數(shù)據(jù)正好卡在這個需求點上。1.2 合成數(shù)據(jù)在項目里的實際定位很多人對合成數(shù)據(jù)有誤解以為它是用來“以假亂真”糊弄項目的。其實不是。在我們這個項目里合成數(shù)據(jù)的定位非常明確作為研發(fā)階段的模型訓練原料和算法調(diào)試數(shù)據(jù)而絕對不替代真實數(shù)據(jù)做臨床驗證。具體用途有三個第一個是模型訓練。我們把合成數(shù)據(jù)下發(fā)到外部GPU服務(wù)器上用來做特征篩選、超參數(shù)搜索、模型結(jié)構(gòu)對比。這些實驗每天要跑幾十輪如果都用真實數(shù)據(jù)光審批流程就夠讓人崩潰。第二個是算法演示。項目要做成果匯報需要跑一個交互式demo給業(yè)務(wù)方看。真實數(shù)據(jù)不能出現(xiàn)在演示環(huán)境里合成數(shù)據(jù)可以放心展示字段結(jié)構(gòu)、統(tǒng)計分布都跟真實數(shù)據(jù)高度接近演示效果不打折扣。第三個是跨團隊協(xié)作。標注團隊、算法團隊、測試團隊分散在不同地點原始數(shù)據(jù)無法共享。合成數(shù)據(jù)作為“公共數(shù)據(jù)集”讓各團隊在統(tǒng)一的數(shù)據(jù)形態(tài)下工作避免每個人都去申請原始數(shù)據(jù)權(quán)限。但這里必須提醒一句合成數(shù)據(jù)再怎么逼真也不能用于診斷決策支持系統(tǒng)的最終臨床驗證。它保住了分布的“形”但未必保住了所有醫(yī)學邏輯的“神”尤其是罕見并發(fā)癥、極端生理狀態(tài)這些長尾情況合成數(shù)據(jù)很難覆蓋完整。項目里一定要把這條邊界劃清楚。1.3 為什么最終選了CTGAN而不是其他方案做表格式合成數(shù)據(jù)的方案其實不少我在項目初期也做過一輪對比包括SMOTE、VAE、貝葉斯網(wǎng)絡(luò)和CTGAN。簡單說下我的判斷依據(jù)。SMOTE的原理是在現(xiàn)有樣本的近鄰之間做線性插值適合處理連續(xù)值主導的小規(guī)模不平衡數(shù)據(jù)但它幾乎不會產(chǎn)生“新組合”只是在已有樣本的鄰域內(nèi)打轉(zhuǎn)而且對離散特征的支持很差。放在醫(yī)療數(shù)據(jù)這種離散列多、類別組合復雜的場景里效果不好。VAE訓練穩(wěn)定生成速度也快但生成的數(shù)值普遍偏“糊”連續(xù)變量的分布會被過度平滑類別變量容易出現(xiàn)模棱兩可的概率輸出。對于需要精確模擬多峰分布的場景VAE不夠用。貝葉斯網(wǎng)絡(luò)這類方法擅長描述離散變量之間的條件依賴可一旦連續(xù)變量占比高網(wǎng)絡(luò)結(jié)構(gòu)學習就會變得困難而且對字段間復雜非線性交互的表達能力有限。CTGAN屬于GAN家族專門為表格數(shù)據(jù)設(shè)計。它最大的優(yōu)勢是同時處理離散列和連續(xù)列連續(xù)列的多峰分布有對應(yīng)的歸一化機制離散列的稀有類別有專門的條件生成策略。雖然訓練不穩(wěn)定、調(diào)參成本高但在生成質(zhì)量上限上明顯優(yōu)于前面幾種方案。方案連續(xù)值多峰分布離散稀有類別生成新組合訓練穩(wěn)定性SMOTE差差差穩(wěn)定VAE中中中穩(wěn)定貝葉斯網(wǎng)絡(luò)中中中穩(wěn)定CTGAN好好好需調(diào)參實際項目里我們也不是完全排斥其他方法。數(shù)據(jù)量只有幾百條時貝葉斯網(wǎng)絡(luò)反而比CTGAN更實用但如果要生成幾萬條且要求分布接近真實數(shù)據(jù)CTGAN是更合適的選擇。2. CTGAN核心機制拆解它到底改進了什么2.1 把GAN用到表格數(shù)據(jù)上難在哪GAN的基本思路是讓兩個網(wǎng)絡(luò)互相博弈生成器負責從隨機噪聲中偽造樣本判別器負責分辨輸入是真實樣本還是偽造樣本。訓練的目標是讓生成器產(chǎn)出的數(shù)據(jù)越來越接近真實分布直到判別器分不出來。打個通俗的比方生成器是印假鈔的判別器是驗鈔的假鈔印得越真驗鈔的水平也被逼得越高最后兩邊達到動態(tài)平衡。但圖像GAN可以直接把像素矩陣當作連續(xù)向量處理表格數(shù)據(jù)就不一樣了。表格里每一列都有明確的業(yè)務(wù)含義變量類型混合有的列是連續(xù)值比如血糖的數(shù)值有的列是離散值比如性別、診斷類別。離散值不能直接走梯度下降因為“取哪個類別”是一個不可微的選擇。更麻煩的是連續(xù)變量往往不是簡單的高斯分布血糖數(shù)據(jù)可能出現(xiàn)“低、正常、高”三個峰訓練時如果拿單一正態(tài)分布去擬合生成出來的數(shù)值大概率都會聚集在平均值附近完全丟失多峰信息。CTGAN在論文里提出了三個關(guān)鍵設(shè)計來應(yīng)對這些問題模式歸一化、條件生成、以及離散列的softmax映射。下面逐個說。2.2 模式歸一化先選“峰”再定“值”模式歸一化是CTGAN處理連續(xù)列的核心手段也是它區(qū)別于普通GAN的關(guān)鍵設(shè)計。面對一個多峰的連續(xù)變量CTGAN不會嘗試用一個高斯分布去描述整個分布而是先用變分高斯混合模型估計這個變量的概率密度分布自動找出若干個高斯分量每個分量對應(yīng)一個“模式”。以空腹血糖為例模型可能學出“低血糖區(qū)間”“正?？崭箙^(qū)間”“偏高區(qū)間”三個模式每個模式都有自己的均值和方差。生成數(shù)據(jù)時分成兩步第一步根據(jù)模式權(quán)重隨機選擇一個模式第二步在選定模式對應(yīng)的歸一化空間里生成一個連續(xù)數(shù)值再逆變換回真實范圍。這樣一來生成器不需要直接預測血糖數(shù)值而是先做一次“模式選擇”再在模式內(nèi)部做精細的數(shù)值生成多峰特性就能被保留下來。這里有一個人工干預的小技巧如果業(yè)務(wù)上你知道某個連續(xù)變量的峰數(shù)或者大概分布形態(tài)可以在預處理階段做一次對數(shù)變換或者分組統(tǒng)計幫助模型更穩(wěn)定地擬合。但別做過頭比如手動把連續(xù)變量強制分箱會讓CTGAN的模式歸一化失去意義生成質(zhì)量反而變差。2.3 條件生成與按頻率采樣保住稀有類別醫(yī)療數(shù)據(jù)里類別不平衡是常態(tài)。比如“30天內(nèi)再入院”這個標簽只有6.7%的陽性率再比如某個主診斷類別只出現(xiàn)了十幾次。傳統(tǒng)GAN訓練時生成器會傾向于只生成高頻類別因為這樣最容易騙過判別器結(jié)果是合成數(shù)據(jù)里罕見類別幾乎消失相當于把本來就稀少的信息又丟掉了一部分。CTGAN的做法是引入條件生成機制。每一條訓練樣本都對應(yīng)一個條件向量用來指定當前批次里應(yīng)該生成哪個類別。訓練時不是按原始頻率均勻抽樣而是按類別頻率的對數(shù)來采樣讓稀有類別被“強制”分配到訓練批次中。這就是log_frequencyTrue這個參數(shù)背后的邏輯原始頻率做log變換后高頻類別和低頻類別的采樣差距被壓縮稀有類別不再被淹沒。我直觀測試過一次同一份數(shù)據(jù)集log_frequency關(guān)閉時占比0.5%的某個診斷類別在生成數(shù)據(jù)里幾乎消失只剩幾條打開之后能恢復到接近真實比例。如果你發(fā)現(xiàn)合成數(shù)據(jù)的離散列分布明顯偏離真實數(shù)據(jù)第一排查點就是這里。2.4 離散列如何參與反向傳播離散列的問題在于“選擇類別”這個動作不可微。CTGAN讓生成器為每個離散列輸出一個softmax概率分布代表各個類別的概率再用Gumbel-softmax之類的技巧做近似采樣從而讓梯度能穿過離散選擇回流到生成器。判別器側(cè)也做了配套處理連續(xù)變量和離散變量經(jīng)過嵌入映射后拼接在一起再送入全連接網(wǎng)絡(luò)。這里的目的是讓離散列不再以孤立的one-hot向量形式參與計算而是先映射到一個稠密向量空間便于神經(jīng)網(wǎng)絡(luò)捕捉類別之間的潛在關(guān)系。理解了這套機制你就明白為什么CTGAN的輸入不能帶空值、不能帶純粹的文本長字符串。它本質(zhì)上是一個數(shù)值和類別概率的處理框架文本字段必須先做編碼或者直接剔除。3. 數(shù)據(jù)準備與關(guān)鍵預處理3.1 字段設(shè)計不是越多越好很多人在做合成數(shù)據(jù)的第一步就栽了跟頭把能拿到的字段全塞進去幾十列往CTGAN里面一丟訓練時間翻倍生成質(zhì)量還稀爛。表格GAN對字段數(shù)量非常敏感。字段越多生成器需要學習的聯(lián)合分布就越復雜但訓練樣本沒有等比例增加最后每個字段都學了個皮毛。我在項目里的做法是先明確業(yè)務(wù)問題需要哪些字段再做回退。比如項目模型預測的是“是否30天內(nèi)再入院”那么核心輸入字段就是年齡、性別、主診斷、合并癥數(shù)量、收縮壓、空腹血糖、總膽固醇、再入院標簽共8個字段。其它像住院編號、科室代碼、醫(yī)生編號這類純標識性字段統(tǒng)計意義不大全部剔除。一個實用的字段清單示例字段名數(shù)據(jù)類型說明ageint年齡genderstr性別diagnosisstr主診斷類別comorbidity_countint合并癥數(shù)量blood_pressure_systolicfloat收縮壓glucosefloat空腹血糖cholesterolfloat總膽固醇readmissionbool是否30天內(nèi)再入院布爾字段要轉(zhuǎn)成字符串類別“是”/“否”或者0/1CTGAN對離散列和連續(xù)列的識別方式不同分類邏輯要明確。3.2 清洗原則別把缺失模式也“洗掉”CTGAN本身不接收空值所以缺失值必須提前處理。但處理方式?jīng)Q定了生成數(shù)據(jù)能否保留真實數(shù)據(jù)的缺失規(guī)律。我見過兩種極端做法一種是把所有含缺失值的行直接刪掉簡單粗暴但樣本量小的場景會損失太多信息另一種是用均值填充所有缺失結(jié)果缺失比例較高的字段被強行填成一個人為的集中值分布被人為拉瘦。更推薦的做法是把“是否缺失”本身作為一個類別特征保留。比如“血糖”字段缺失的樣本不要填血糖均值而是給血糖設(shè)一個“missing”類別或者在另一個字段上標記。這樣CTGAN能學到“什么情況下血糖容易缺失”這種真實模式生成的合成數(shù)據(jù)里缺失分布會更貼近原始數(shù)據(jù)。還有一個細節(jié)離群值的處理尺度要控制。血壓值超過300、血糖值為負數(shù)這類物理上不可能的值直接過濾掉但年齡偏大、血糖偏高等業(yè)務(wù)合理性范圍內(nèi)的“看似異?！辈灰p易刪它們往往是長尾分布的重要組成刪除后生成數(shù)據(jù)會把極端風險人群丟掉后續(xù)建模反而會偏樂觀。3.3 分布檢查提前知道數(shù)據(jù)長什么樣訓練前我會做一張單變量分布概覽把每個連續(xù)字段的直方圖和離散字段的柱狀圖打印出來先做到心里有數(shù)。重點關(guān)注三件事連續(xù)字段是否多峰、是否嚴重右偏、離散字段的類別是否過于稀疏。看清楚之后再決定是否需要預處理。CTGAN自帶的模式歸一化能處理多峰所以一般不需要手動分桶但是如果某個連續(xù)字段嚴重右偏比如住院費用這種動輒偏到幾百倍的字段生成器擬合起來還是有壓力。這種字段可以提前做log變換讓分布更集中。不過要注意變換后的數(shù)值在生成之后還要逆變換回原始業(yè)務(wù)單位否則業(yè)務(wù)方拿到的不倫不類。3.4 樣本量參考幾百條和幾萬條策略完全不同CTGAN對樣本量的容忍度比想象中高但質(zhì)量分水嶺很明顯。樣本量低于500條時生成結(jié)果幾乎沒有實用價值模式學不完整類別組合稀疏。500到5000條時能跑通但需要反復調(diào)參產(chǎn)出只能用于粗篩。5000條以上時生成的合成數(shù)據(jù)基本可以在研發(fā)階段替代真實數(shù)據(jù)使用。我們這次用12000條原始數(shù)據(jù)生成了50000條合成樣本分布對比各項指標都達標。如果你的數(shù)據(jù)量很少建議先用貝葉斯網(wǎng)絡(luò)生成一版做基線不要一上來就硬上CTGAN。4. 完整實操過程訓練、生成與評估4.1 環(huán)境準備和安裝安裝CTGAN只需要Python環(huán)境和pip但它依賴PyTorch所以機器的顯卡驅(qū)動和CUDA環(huán)境要提前確認。如果有GPU訓練速度快很多沒有GPU也能跑只是epoch要適當減少。pip install ctgan我用的Python版本是3.9。需要注意ctgan的版本差異0.x版本和1.x版本的API有些許變化比如個別參數(shù)名不同、默認值不同。建議安裝后先輸出一下版本再對著版本查文檔避免看著別人的老代碼報錯。4.2 訓練代碼與關(guān)鍵參數(shù)直接放核心訓練代碼這段是從項目里抽出來的可用版本。import pandas as pd from ctgan import CTGAN # 讀取原始數(shù)據(jù) real_data pd.read_csv(medical_data.csv) # 指定離散列 discrete_columns [ gender, diagnosis, readmission ] # 初始化CTGAN ctgan CTGAN( epochs300, batch_size500, log_frequencyTrue, verboseTrue, cudaTrue, ) # 訓練 ctgan.fit(real_data, discrete_columnsdiscrete_columns) # 生成50000條合成數(shù)據(jù) syn_data ctgan.sample(50000) # 保存 syn_data.to_csv(synthetic_medical.csv, indexFalse)參數(shù)選擇這里說下我的經(jīng)驗。epochs不是越大越好。300輪在這個數(shù)據(jù)規(guī)模下已經(jīng)足夠繼續(xù)增加到500輪以上生成質(zhì)量提升非常有限訓練時間卻成倍增加。判斷標準不是loss而是看生成數(shù)據(jù)的分布指標是否收斂。我試過一輪200場的實驗真實數(shù)據(jù)和合成數(shù)據(jù)在各項指標上的差異在300輪之后幾乎沒有變化。batch_size建議在256到1024之間嘗試。醫(yī)學數(shù)據(jù)字段不多的話500是一個比較穩(wěn)妥的中間值。batch太小生成器容易被單批次帶偏batch太大訓練過程變慢而且稀有類別的條件生成效果會下降。log_frequencyTrue一定要開上一節(jié)已經(jīng)解釋過原因這里不再重復。cudaTrue在有GPU的環(huán)境下打開。CPU環(huán)境下也能訓只是同一份數(shù)據(jù)可能要多等幾個小時。4.3 生成樣本時的兩個注意事項sample()函數(shù)接收你想要的條數(shù)但一次性生成幾十萬條可能會把內(nèi)存吃爆。建議分批次生成每次生成一兩萬條然后拼接保存對后續(xù)處理也更友好。另外CTGAN的生成過程還依賴隨機種子。如果你希望實驗結(jié)果可復現(xiàn)在訓練前設(shè)置好隨機種子import numpy as np import torch np.random.seed(42) torch.manual_seed(42)不過要說明受PyTorch底層并發(fā)影響即使設(shè)了種子跨機器環(huán)境也不保證完全復現(xiàn)但同一環(huán)境下基本穩(wěn)定。這個特性在做實驗對比時很重要。4.4 訓練過程中的觀察點CTGAN訓練時會打印一個個epoch的進度但GAN的loss不像普通分類任務(wù)那樣單調(diào)下降。生成器和判別器在互相博弈loss上下抖動是正常的。我見過很多人在這個階段被嚇到以為模型崩了。實際上你更應(yīng)該關(guān)注的是每訓練幾十輪后生成一批樣本人工看一下字段分布有沒有逐漸向真實數(shù)據(jù)靠攏。loss數(shù)值本身沒有絕對意義生成結(jié)果才是檢驗標準。實操中還有一個冒煙測試的思路拿真實數(shù)據(jù)里隨機抽200條做一個極小規(guī)模訓練把整個pipeline跑通確認代碼沒報錯、生成數(shù)據(jù)能保存再上全量數(shù)據(jù)。這樣能省下大量排錯時間。5. 質(zhì)量評估與隱私風險控制5.1 相似度評估從三個層面打分很多人覺得合成數(shù)據(jù)“看起來像”就行了這不夠。我用三個層面的指標來評估缺一個都不放心。第一層是單變量分布。對連續(xù)字段比較真實數(shù)據(jù)和合成數(shù)據(jù)的均值、標準差、分位數(shù)再用KS檢驗看分布是否一致p值大于0.05通常說明沒有顯著差異。對離散字段對比每個類別的占比計算相對誤差。第二層是多變量相關(guān)性。單變量分布一致不代表變量之間的關(guān)系也一致。我計算真實數(shù)據(jù)和合成數(shù)據(jù)的Pearson相關(guān)系數(shù)矩陣然后對比兩者差值。比如真實數(shù)據(jù)中“年齡”和“再入院”之間有0.3的正相關(guān)如果合成數(shù)據(jù)里這個相關(guān)系數(shù)變成0.05說明變量關(guān)系丟了。出現(xiàn)這種情況通常要回去調(diào)整epochs和網(wǎng)絡(luò)結(jié)構(gòu)。第三層是模型效用。這是最貼近業(yè)務(wù)的一關(guān)把合成數(shù)據(jù)當作訓練集真實數(shù)據(jù)當作測試集跑一個簡單的邏輯回歸或者樹模型看AUC表現(xiàn)是否接近真實數(shù)據(jù)訓練出來的基準。如果能達到基準的90%以上說明合成數(shù)據(jù)保留了足夠的預測信息。如果連60%都不到說明合成數(shù)據(jù)只是“形態(tài)像”內(nèi)在關(guān)系沒學好。5.2 隱私風險評估別只看分布像不像合成數(shù)據(jù)項目的出發(fā)點往往是為了保護隱私但如果不做風險評估可能會鬧出“偽匿名”的笑話。我主要做兩類風險測試。第一類是最近鄰距離檢查計算每一條合成記錄到所有真實記錄的最小歐氏距離。如果大量合成記錄與某條真實記錄的距離幾乎為零說明生成器把原始樣本“背下來了”這屬于嚴重的記憶泄露。正常情況下合成數(shù)據(jù)和真實數(shù)據(jù)的最小距離分布應(yīng)該與真實數(shù)據(jù)內(nèi)部的最小距離分布接近不能出現(xiàn)大量距離遠小于正常水平的點。第二類是成員推斷測試。拿一部分真實數(shù)據(jù)訓練一個簡單的二分類器特征保持不變標簽是“該樣本是否在訓練集中”用合成數(shù)據(jù)和剩下的真實數(shù)據(jù)做對照看分類器能不能猜中樣本來源。如果準確率明顯高于隨機水平說明合成數(shù)據(jù)攜帶了太多容易被識別的個體特征。如果你打算把合成數(shù)據(jù)對外公開這些測試必須做。如果只在公司內(nèi)部研發(fā)使用風險等級可以適當降低但對極端值字段還是建議做一次最近鄰檢查。5.3 差分隱私擴展什么時候值得上CTGAN本身不提供數(shù)學意義上的隱私保證它只是“讓數(shù)據(jù)不那么容易被還原”。如果業(yè)務(wù)方要求強隱私保證比如對外發(fā)布數(shù)據(jù)集那就得考慮差分隱私版本。差分隱私的核心思想是在模型訓練過程中加入受控噪聲讓輸出結(jié)果對“某一條具體樣本是否存在”不敏感。聽起來很完美但代價是生成質(zhì)量明顯下降。我們項目評估過DP方案的合成數(shù)據(jù)單變量分布還行多變量相關(guān)性損失較大模型效用比普通CTGAN版本低了差不多十個百分點。我的態(tài)度是內(nèi)部研發(fā)用普通CTGAN數(shù)據(jù)不出內(nèi)網(wǎng)的前提下風險可控外部共享或發(fā)布再上DP方案同時接受效果折損。不要一上來就追求最強隱私否則業(yè)務(wù)效果可能會被犧牲到?jīng)]法用。6. 常見問題與排查技巧實錄6.1 生成結(jié)果全是同一類樣本這是典型的模式崩潰。CTGAN的訓練本質(zhì)上是對抗博弈如果生成器找到一個能穩(wěn)定騙過判別器的“捷徑”它就會放棄探索其它模式只輸出同一種樣本。排查時先確認判別器和生成器的結(jié)構(gòu)是否平衡?？梢栽龃骲atch_size讓判別器看到更多樣的真實樣本也可以調(diào)整discriminator_steps參數(shù)增加判別器每輪更新的次數(shù)逼它變得更強迫使生成器提高多樣性。還有一個笨但有效的辦法把embedding_dim和gen_dim調(diào)小一點限制生成器的容量減少它“死記硬背”的能力。6.2 連續(xù)變量生成出負值或離譜數(shù)值如果生成數(shù)據(jù)里出現(xiàn)血糖負數(shù)、收縮壓3000這種物理上不可能的值多半是預處理階段出了問題。最常見的原因是原數(shù)據(jù)里的離群值沒有清干凈模式歸一化被極端值帶偏導致某個高斯模式的方差被拉得過大。另一個原因是對連續(xù)字段做了過度變換。比如先做z-score標準化再訓練CTGAN自己會再做歸一化一來一回反而放大誤差。建議只保留業(yè)務(wù)上必要的變換比如log變換其他交給模型自己學。6.3 類別占比和原始數(shù)據(jù)差異大出現(xiàn)這種情況優(yōu)先檢查log_frequency是否開啟。我在項目里做過對照實驗關(guān)閉后低頻類別在合成數(shù)據(jù)中的占比會顯著下降。如果已經(jīng)開啟但問題依舊考慮把樣本量過少的類別適度合并。比如某種主診斷只有幾十條可以合并到“其他”類別里先讓主干分布學對再去補細節(jié)。6.4 訓練速度慢得離譜訓練慢通常不是機器的錯而是參數(shù)和數(shù)據(jù)規(guī)模不匹配。字段數(shù)量多、batch_size大、epochs高都會讓訓練時間成倍增長。我的做法是先用1000條數(shù)據(jù)、50個epoch跑通流程確認管線沒有問題再用全量數(shù)據(jù)正式訓練。正式訓練時初始epochs不要直接飆到1000先用200一輪的配置跑一遍質(zhì)量評估如果分布指標還在明顯提升再往上加。醫(yī)學數(shù)據(jù)字段間的非線性關(guān)系并不像圖像那樣復雜多數(shù)場景300輪已經(jīng)夠用。6.5 問題排查速查表現(xiàn)象可能原因建議解決方式生成樣本類別單一模式崩潰調(diào)大batch_size增加判別器更新次數(shù)限制生成器容量連續(xù)值范圍異常離群值未處理或過度變換清洗極端離群值減少不必要的歸一化/標準化稀有類別比例偏低條件生成未生效確認log_frequencyTrue合并過少類別訓練loss嚴重震蕩GAN對抗正常現(xiàn)象不只看loss定期生成樣本并檢查分布訓練時間過長參數(shù)或字段設(shè)置不合理用少量數(shù)據(jù)冒煙測試先跑200輪看趨勢模型效用差距大變量關(guān)系學得不充分增加epochs檢查關(guān)鍵字段之間的相關(guān)性指標最后再分享一個這幾個月積累下來的習慣每次訓練完我不會直接拿生成數(shù)據(jù)往下游業(yè)務(wù)丟而是先跑一遍“真實數(shù)據(jù)內(nèi)距離分布”和“合成數(shù)據(jù)到真實數(shù)據(jù)最近距離分布”的對比圖如果后者出現(xiàn)明顯的左移峰值說明模型開始記憶個別樣本了需要重新清洗或調(diào)整訓練策略。合成數(shù)據(jù)這件事把它當成一個統(tǒng)計工具來用比把它當成“數(shù)據(jù)魔術(shù)”要踏實得多。你可以先從小規(guī)模項目試起把分布對比和質(zhì)量評估流程固定下來再去挑戰(zhàn)更復雜的場景。