回歸當(dāng)分類訓(xùn)了三天,loss狂跌上線指標(biāo)崩了:補(bǔ)完人工智能基礎(chǔ)才止血發(fā)版前兩天,業(yè)務(wù)方直接把電話打到我工位上:「你們那個(gè)房價(jià)預(yù)測(cè)模型,昨天估出來的三居室比市場(chǎng)價(jià)高了150萬,客戶在簽約室當(dāng)場(chǎng)摔了合同?！刮掖蜷_監(jiān)控一看,訓(xùn)練loss曲線優(yōu)雅地下滑到了0.008,但線上的平均絕對(duì)誤差(MAE)直接飆到287萬。那一刻我才意識(shí)到,自己把整個(gè)問題從頭定義錯(cuò)了。這事的起因說出來慚愧--我當(dāng)時(shí)剛接手一個(gè)二手房估價(jià)項(xiàng)目,數(shù)據(jù)結(jié)構(gòu)是一堆特征(面積、樓層、學(xué)區(qū))和對(duì)應(yīng)的成交價(jià)。我下意識(shí)就把它當(dāng)成了一個(gè)多分類問題:把價(jià)格分桶,讓模型去預(yù)測(cè)屬于哪個(gè)區(qū)間。于是順手搭了個(gè)三層全連接,輸出10個(gè)類別,損失函數(shù)選了CrossEntropyLoss。訓(xùn)練的時(shí)候看著loss一直往下掉,心里還挺美,以為這個(gè)「人工智能」項(xiàng)目能提前交付。如果你也正在用人工智能入門課程里的例子做真實(shí)項(xiàng)目,很容易像我一樣掉進(jìn)這個(gè)坑--把回歸硬套成分類,直到線上數(shù)據(jù)打臉才明白任務(wù)類型的選擇有多致命。為什么我會(huì)覺得「loss在降就對(duì)了」剛開始搞機(jī)器學(xué)習(xí)那陣子,我對(duì)評(píng)估的理解特別粗暴:loss往下走模型在變好。那門「機(jī)器學(xué)習(xí)入門」的教程里確實(shí)講過,訓(xùn)練過程中的損失函數(shù)值反映了模型預(yù)測(cè)與真實(shí)標(biāo)簽的差距,但沒人告訴我,當(dāng)任務(wù)類型選錯(cuò)的時(shí)候,loss完全可以變成一張騙人的面具。我當(dāng)時(shí)的想法:把價(jià)格離散化成分段區(qū)間,輸出10個(gè)類別的概率,最后取argmax作為預(yù)測(cè)區(qū)間,再去映射回中位價(jià),不也挺合理嗎?連續(xù)值被強(qiáng)行切碎之后我把500萬以內(nèi)的成交價(jià)切成10段,每段50萬。模型在訓(xùn)練集上的「準(zhǔn)確率」達(dá)到了92%,但那個(gè)準(zhǔn)確率是:只要預(yù)測(cè)區(qū)間與實(shí)際價(jià)格落在同一段就算對(duì)?？蓪?shí)際業(yè)務(wù)要的是精確數(shù)字,不是「差不多在200到250萬之間」這種含糊結(jié)果。特征工程這一步我也偷了懶。面積用原始值、樓層用樓層總數(shù)做歸一化,但學(xué)區(qū)被我用one-hot編碼成了20維稀疏向量,根本沒考慮不同學(xué)區(qū)之間的價(jià)格梯度信息。后來看「機(jī)器學(xué)習(xí)基礎(chǔ)」課程里專門有一節(jié)講連續(xù)特征的處理與分桶陷阱,我才明白自己把關(guān)鍵信息全扔掉了。如果你在做特征工程時(shí)對(duì)連續(xù)值、類別值的處理模棱兩可,那門課程里從特征存儲(chǔ)到數(shù)據(jù)預(yù)處理的完整管線真的能幫你避開這種災(zāi)難性設(shè)計(jì)。損失函數(shù)那張底牌被我完全忽略CrossEntropyLoss在意的是類別概率分布的對(duì)數(shù)似然,它根本不在乎預(yù)測(cè)值離真實(shí)價(jià)格有多遠(yuǎn)。舉個(gè)例子,真實(shí)價(jià)格是320萬,模型預(yù)測(cè)出「300-350萬」區(qū)間的概率是0.8,即使最終映射出的中位價(jià)325萬還算接近,但如果這個(gè)區(qū)間里所有點(diǎn)都映射到同一個(gè)值,loss的計(jì)算只關(guān)心那個(gè)0.8的置信度,完全看不出價(jià)格偏移。這就像你去醫(yī)院看病,醫(yī)生說你「大概率沒得癌癥」,但你其實(shí)得的是輕微胃炎--置信度很高,診斷方向全錯(cuò)。我后來在「人工智能入門」中學(xué)到一個(gè)特別關(guān)鍵的概念:評(píng)估指標(biāo)必須與業(yè)務(wù)目標(biāo)一致?；貧w問題就要用MAE、MSE、RMSE這些能反映數(shù)值偏差的指標(biāo);分類問題才看準(zhǔn)確率、精確率、召回率。如果你連這個(gè)都沒搞清楚就上手訓(xùn)練,哪怕用了最先進(jìn)的深度學(xué)習(xí)框架也是白搭。那門課用極其直觀的圖表對(duì)比了不同指標(biāo)在典型場(chǎng)景下的表現(xiàn),學(xué)完之后我再也沒犯過把「準(zhǔn)確率」貼在回歸任務(wù)上的蠢事。修復(fù)過程:拆掉重來,從「管道」做起出問題當(dāng)天下午,我把之前的訓(xùn)練腳本全部作廢,重新梳理了整套機(jī)器學(xué)習(xí)管道。正好之前斷斷續(xù)續(xù)看過「亞馬遜云科技機(jī)器學(xué)習(xí)」的一些文檔,知道做項(xiàng)目不是上來就搭網(wǎng)絡(luò),而是數(shù)據(jù)預(yù)處理 → 特征工程 → 模型選擇 → 訓(xùn)練 → 評(píng)估 → 上線監(jiān)控六步缺一不可。第一步:重新定義輸入輸出我把價(jià)格恢復(fù)為連續(xù)數(shù)值,輸出層改成1個(gè)神經(jīng)元,激活函數(shù)用linear。損失函數(shù)換成HuberLoss,因?yàn)樗鼘?duì)離群值不那么敏感--二手房數(shù)據(jù)里有不少上億的別墅,用MSE會(huì)讓模型過分討好那些極端值。import torch import torch.nn as nn # 錯(cuò)誤的分類頭(棄用) # self.classifier nn.Linear(128, 10) # loss_fn nn.CrossEntropyLoss() # 正確的回歸頭 self.regressor nn.Sequential( nn.Linear(128, 64), nn.ReLU(), nn.Dropout(0.2), nn.Linear(64, 1) # 輸出連續(xù)價(jià)格 ) loss_fn nn.HuberLoss(delta50.0) # 50萬以內(nèi)的誤差線性,之外的平方第二步:特征工程重做學(xué)區(qū)不再是one-hot,而是用對(duì)應(yīng)學(xué)區(qū)近三個(gè)月歷史成交均價(jià)作為連續(xù)特征;面積做了對(duì)數(shù)變換緩解右偏;樓層改為「樓層與總樓層比」并和朝向做了一個(gè)組合特征。這些手段都是我在「機(jī)器學(xué)習(xí)基礎(chǔ)」里學(xué)到的,那門課把數(shù)據(jù)預(yù)處理、特征存儲(chǔ)、數(shù)據(jù)漂移這些概念串成了一條線,看完之后感覺自己之前一直在盲人摸象。第三步:評(píng)估指標(biāo)換成MAE和R2訓(xùn)練時(shí)每個(gè)epoch結(jié)束后都在驗(yàn)證集上計(jì)算MAE,不再看那個(gè)欺騙性的loss數(shù)字。真正讓我服氣的是,我把同樣的數(shù)據(jù)用回歸模型跑了一晚,次日的MAE降到了18.7萬--比之前那個(gè)分類的偽92%準(zhǔn)確率靠譜得多。from sklearn.metrics import mean_absolute_error, r2_score def evaluate(model, loader): model.eval() preds, trues [], [] with torch.no_grad(): for X, y in loader: out model(X) preds.append(out.cpu().numpy()) trues.append(y.cpu().numpy()) preds np.concatenate(preds) trues np.concatenate(trues) mae mean_absolute_error(trues, preds) r2 r2_score(trues, preds) print(fMAE: {mae:.2f}萬, R2: {r2:.3f}) return mae, r2我從「混淆矩陣」里發(fā)現(xiàn)的第二個(gè)大坑雖然問題已經(jīng)定位到任務(wù)類型,但排查過程中還碰到了一個(gè)更隱蔽的坑:混淆矩陣。我用原來那套分桶方案的預(yù)測(cè)結(jié)果和真實(shí)桶畫了一個(gè)10×10的混淆矩陣,對(duì)角線上的數(shù)值確實(shí)很高,但不在對(duì)角線上的那些誤分類,對(duì)應(yīng)的價(jià)格偏差都是幾十上百萬。比如真實(shí)是「200-250萬」區(qū)間,被誤判到「300-350萬」,這一個(gè)跳躍就是100萬的誤差,但混淆矩陣只會(huì)把那一個(gè)格子標(biāo)記為1,不會(huì)告訴你偏差幅度。這就是為什么混淆矩陣對(duì)回歸問題毫無意義--它只在乎類別是否一致,不在乎偏離的程度。那門「人工智能」課程里專門有一章叫「模型評(píng)估與診斷」,把過擬合、欠擬合、混淆矩陣、ROC曲線、回歸指標(biāo)等概念掰開揉碎講了一遍。我以前總覺得這些指標(biāo)是面試八股文,真正被業(yè)務(wù)方指著鼻子罵的時(shí)候才意識(shí)到,不懂這些連為什么錯(cuò)都解釋不清楚。如果你想系統(tǒng)建立人工智能項(xiàng)目的評(píng)估思維習(xí)慣,這門課非常適合花一個(gè)周末通讀,學(xué)完你會(huì)發(fā)現(xiàn)調(diào)試模型的時(shí)間至少縮短一半。現(xiàn)在回看:如果早一點(diǎn)把「基礎(chǔ)」補(bǔ)牢如果我能在做這個(gè)項(xiàng)目之前,先把「人工智能入門」和「機(jī)器學(xué)習(xí)基礎(chǔ)」兩門課老老實(shí)實(shí)過一遍,至少能避開三個(gè)致命錯(cuò)誤:任務(wù)類型判斷:看到數(shù)值型目標(biāo)先問自己,是連續(xù)預(yù)測(cè)還是離散判別?損失函數(shù)選擇:回歸至少試MSE、MAE、Huber;分類才考慮交叉熵。評(píng)估指標(biāo)與業(yè)務(wù)對(duì)齊:賣房子要的是價(jià)格誤差,不是分類命中率?！窤WS機(jī)器學(xué)習(xí)」的學(xué)習(xí)路徑設(shè)計(jì)得很有層次:先從「人工智能入門」建立對(duì)整個(gè)領(lǐng)域的概念地圖,再通過「機(jī)器學(xué)習(xí)入門」掌握建模全流程,最后才是「深度學(xué)習(xí)入門」去搞復(fù)雜的神經(jīng)網(wǎng)絡(luò)。我之前就是跳過前兩步直接干到第三步,結(jié)果連機(jī)器學(xué)習(xí)管道的正規(guī)流程都沒搞清楚,上線就翻車。# 訓(xùn)練腳本中的檢查點(diǎn)監(jiān)控,避免再次被loss迷惑 for epoch in range(epochs): model.train() for Xb, yb in train_loader: pred model(Xb) loss loss_fn(pred, yb) optimizer.zero_grad() loss.backward() optimizer.step() # 每個(gè)epoch后必須同時(shí)看驗(yàn)證集的業(yè)務(wù)指標(biāo) train_mae, _ evaluate(model, train_loader) val_mae, val_r2 evaluate(model, val_loader) print(fEpoch {epoch}: train_mae{train_mae:.2f}, val_mae{val_mae:.2f}, val_r2{val_r2:.3f}) # 如果驗(yàn)證MAE連續(xù)3輪不降,提前終止 if early_stop(val_mae): break給同樣在「回歸還分類」上翻過車的人接到新需求先畫目標(biāo)變量分布圖:是連續(xù)的就按回歸走,別自作聰明分桶?！溉斯ぶ悄苋腴T」這門課里有張任務(wù)類型決策樹,把回歸、分類、聚類、推薦分別對(duì)應(yīng)到典型業(yè)務(wù)場(chǎng)景,我后來把它打印出來貼在工位上,每次新項(xiàng)目都先過一遍--值得點(diǎn)進(jìn)去看看原圖。評(píng)估指標(biāo)不能只盯著一個(gè):回歸至少看MAE、R2、殘差分布;分類不能只看準(zhǔn)確率,尤其樣本不平衡時(shí)要加上精確率、召回率。這些在「機(jī)器學(xué)習(xí)基礎(chǔ)」里講得特別透徹。特征工程不要敷衍:one-hot不是萬能藥,連續(xù)值分桶要先做相關(guān)性分析;「AWS基礎(chǔ)知識(shí)」那門課里介紹了特征存儲(chǔ)的概念,能把特征復(fù)用和版本管理做起來,而不是每次都重新寫腳本。上線前必須用獨(dú)立測(cè)試集跑一遍業(yè)務(wù)指標(biāo),而不是看訓(xùn)練loss。如果你的老板問你「人工智能項(xiàng)目為啥效果這么差」,別像我當(dāng)初一樣支支吾吾,帶著這套檢查清單去對(duì)答。那次房價(jià)預(yù)測(cè)翻車之后,我花了兩周把「人工智能」和「機(jī)器學(xué)習(xí)基礎(chǔ)」兩門課的系統(tǒng)學(xué)習(xí)路徑走了一遍,最大的感受是:理論不是用來面試的,是真的能在你掉進(jìn)數(shù)據(jù)沼澤時(shí)扔過來一根繩子?，F(xiàn)在再接到一個(gè)AI需求,我已經(jīng)能下意識(shí)地判斷該走回歸還是分類、選什么損失函數(shù)、用哪些指標(biāo)向上匯報(bào)。這感覺,比起當(dāng)初看著loss傻樂,踏實(shí)太多了。