深度學(xué)習(xí)這行干久了你會發(fā)現(xiàn)一個特別真實的規(guī)律把模型跑通只是萬里長征第一步從能跑到好用之間的差距幾乎全在調(diào)優(yōu)上。很多初學(xué)者卡在同一個地方——訓(xùn)練集上loss已經(jīng)很低了驗證集準(zhǔn)確率卻死活上不去或者模型在測試集上表現(xiàn)挺好一上真實場景就崩。我見過太多人這時候開始盲目堆層數(shù)、換網(wǎng)絡(luò)結(jié)構(gòu)、加大Batch Size結(jié)果越調(diào)越亂最后連最初的基線都回不去了。這篇記錄是我在實際項目中總結(jié)出來的深度學(xué)習(xí)模型調(diào)優(yōu)方法論覆蓋數(shù)據(jù)、模型結(jié)構(gòu)、訓(xùn)練過程、損失函數(shù)與評估指標(biāo)四個層面適合那些已經(jīng)掌握深度學(xué)習(xí)基礎(chǔ)、正在做實戰(zhàn)項目但總感覺模型差口氣的讀者。1. 調(diào)優(yōu)前的整體思路先診斷再動手1.1 模型調(diào)優(yōu)在解決什么問題先想清楚一個核心問題你調(diào)優(yōu)的目標(biāo)到底是什么。不同階段的調(diào)優(yōu)目標(biāo)差別極大目標(biāo)搞錯了后面所有操作都在白費力氣。剛跑通代碼時目標(biāo)是讓loss正常下降、結(jié)果可復(fù)現(xiàn)這時候關(guān)注的是訓(xùn)練流程本身有沒有Bug訓(xùn)練流程穩(wěn)定后目標(biāo)是提升模型在驗證集上的泛化能力這時候才是真正的調(diào)優(yōu)環(huán)節(jié)再往后目標(biāo)變成了對齊業(yè)務(wù)指標(biāo)比如把線上點擊率提升一個點或者在醫(yī)療場景里把假陰性壓到最低。我見過很多同學(xué)一上來就問準(zhǔn)確率怎么從92%提到95%但真要問他95%的準(zhǔn)確率在業(yè)務(wù)上意味著什么、錯誤代價是什么他往往答不上來。這其實是調(diào)優(yōu)前最需要想清楚的事——評估指標(biāo)沒定明白調(diào)優(yōu)就是無頭蒼蠅。在正式開始調(diào)優(yōu)之前我習(xí)慣把模型當(dāng)前的病情梳理成三類欠擬合訓(xùn)練集loss居高不下模型連訓(xùn)練數(shù)據(jù)都學(xué)不好。此時談什么正則化、數(shù)據(jù)增強(qiáng)都是錯的優(yōu)先要提升模型表達(dá)能力。過擬合訓(xùn)練集loss很低驗證集loss高兩者差距越來越大。此時需要增加數(shù)據(jù)量、加強(qiáng)正則化或降低模型容量。訓(xùn)練不穩(wěn)定loss震蕩劇烈、出現(xiàn)NaN、收斂極慢。此時要考慮學(xué)習(xí)率、優(yōu)化器、梯度裁剪、歸一化層等問題。這三類問題對應(yīng)完全不同的解決路徑就像一個病人咳嗽可能是感冒也可能是肺炎用藥方向完全不同。調(diào)優(yōu)的第一步永遠(yuǎn)是判斷你面對的是哪一類問題而不是急著換模型。1.2 調(diào)優(yōu)的正確順序與實驗管理有些從業(yè)者調(diào)模型靠感覺今天試試這個學(xué)習(xí)率明天改改那個網(wǎng)絡(luò)層改了三五輪之后連自己改了什么都記不清。這恰恰是調(diào)優(yōu)效率低的根源。我的做法是先建立一個評價基線。取一個相對標(biāo)準(zhǔn)的配置比如ResNet50AdamW固定學(xué)習(xí)率1e-4100個Epoch完整跑一遍記錄訓(xùn)練集和驗證集的loss曲線、準(zhǔn)確率、訓(xùn)練耗時、顯存占用。這個基線不一定最好但它是一把尺子之后的任何改動都要跟它對照。然后是單變量原則。每次只改一個東西要么只改學(xué)習(xí)率策略要么只加數(shù)據(jù)增強(qiáng)要么只換損失函數(shù)。同時改三個超參的話即使效果變好了你也不知道究竟是哪個改動起了作用。實驗記錄這件事看起來不起眼卻是資深從業(yè)者和新手拉開差距的地方。我現(xiàn)在每跑一個實驗都會同步記錄實驗編號、改動點、數(shù)據(jù)集版本、隨機(jī)種子、所有超參數(shù)、訓(xùn)練曲線截圖、驗證集指標(biāo)、顯存和耗時。連續(xù)記錄兩周之后你會發(fā)現(xiàn)自己對模型的直覺變得非常準(zhǔn)——因為你能看到哪個改動在什么情況下穩(wěn)定有效什么情況下完全沒用。2. 數(shù)據(jù)層面的調(diào)優(yōu)性價比最高的環(huán)節(jié)2.1 數(shù)據(jù)質(zhì)量檢查與標(biāo)簽清洗很多人調(diào)優(yōu)時把注意力全放在模型和超參上忽略了數(shù)據(jù)本身。但實際上我經(jīng)手過的項目里有相當(dāng)比例的模型效果差問題根因出在數(shù)據(jù)上。印象最深的是一次圖像分類項目驗證集準(zhǔn)確率卡在88%上不去。我試著去翻訓(xùn)練集發(fā)現(xiàn)有個類別的圖片里有大量背景極其相似但主體完全不同的樣本有些標(biāo)簽甚至明顯標(biāo)錯了。把這兩千多張錯誤樣本清理并重新標(biāo)注之后驗證集準(zhǔn)確率直接跳到了93.5%。這個提升只需要花兩天時間做數(shù)據(jù)清洗而當(dāng)時團(tuán)隊里有同學(xué)已經(jīng)在嘗試換更深的網(wǎng)絡(luò)結(jié)構(gòu)了。數(shù)據(jù)質(zhì)量的檢查有幾個常用的抓手統(tǒng)計每個類別的樣本量看是否存在極端不平衡隨機(jī)抽樣一批訓(xùn)練圖片人眼檢查標(biāo)注與內(nèi)容是否一致計算每個類別的樣本在特征空間的分布看是否存在明顯的離群點檢查數(shù)據(jù)預(yù)處理邏輯是否一致比如訓(xùn)練集和驗證集是否用了不同的歸一化參數(shù)其中容易忽視的是最后一條。去年我排查過一個詭異的問題訓(xùn)練時loss正常下降驗證時指標(biāo)始終不對。最后發(fā)現(xiàn)是驗證集忘了做和訓(xùn)練集一樣的標(biāo)準(zhǔn)化導(dǎo)致輸入分布完全錯位。這種低級錯誤藏得很深但一旦出現(xiàn)模型效果就會莫名其妙地變差。2.2 數(shù)據(jù)增強(qiáng)與樣本均衡的策略數(shù)據(jù)增強(qiáng)是深度學(xué)習(xí)調(diào)優(yōu)里見效最快的手段之一但它不是簡單地把圖片翻轉(zhuǎn)裁剪一下就行需要跟任務(wù)特點匹配。對于圖像分類任務(wù)常用的增強(qiáng)組合是隨機(jī)水平翻轉(zhuǎn)、隨機(jī)裁剪、顏色抖動、旋轉(zhuǎn)。但要注意有些增強(qiáng)對特定任務(wù)有害。比如在醫(yī)學(xué)影像里水平翻轉(zhuǎn)會改變器官的左右位置語義可能導(dǎo)致模型學(xué)到錯誤的不變性在手寫數(shù)字識別里旋轉(zhuǎn)角度過大會讓6和9難以區(qū)分。做增強(qiáng)之前一定要想清楚這個操作是否破壞了任務(wù)本身的不變性假設(shè)。對于文本或序列任務(wù)增強(qiáng)手段相對受限常用的有同義詞替換、隨機(jī)刪除、回譯等。這些方法對語義保持的要求很高用不好反而引入噪聲。樣本不均衡是另一個高頻問題。最直接的做法是過采樣少數(shù)類或欠采樣多數(shù)類但這兩種方法各有缺陷過采樣容易過擬合少數(shù)類欠采樣會丟失多數(shù)類的有用信息。在實際項目中我用得比較多的是先用過采樣保證每個類別至少有足夠樣本同時配合Focal Loss這樣的損失函數(shù)來降低易分類樣本的權(quán)重讓模型把注意力放在難樣本上。這個方法在長尾分布的數(shù)據(jù)集上效果相當(dāng)穩(wěn)定。3. 模型結(jié)構(gòu)層面的調(diào)整思路3.1 深度、寬度與感受野的權(quán)衡模型結(jié)構(gòu)調(diào)優(yōu)最容易踩的坑是一味加深網(wǎng)絡(luò)。一個直覺是網(wǎng)絡(luò)越深表達(dá)能力越強(qiáng)但實際上層數(shù)超過一定閾值后模型反而更難優(yōu)化梯度在反向傳播中逐漸消失訓(xùn)練loss根本降不下去。ResNet的價值恰恰在于用殘差連接解決了深層網(wǎng)絡(luò)的梯度傳播問題所以做結(jié)構(gòu)調(diào)優(yōu)時第一個要考慮的是你的骨干網(wǎng)絡(luò)是否具備跨層直達(dá)的能力。如果你用的是VGG這類不帶殘差的網(wǎng)絡(luò)訓(xùn)練深度超過16層時就要特別小心梯度消失問題。除了深度寬度也很關(guān)鍵。通道數(shù)決定了每層能提取多少種特征過窄會限制特征的多樣性過寬則帶來參數(shù)量的劇增。我通常的做法是參考同規(guī)模預(yù)訓(xùn)練模型的設(shè)計原則淺層通道數(shù)少、深層通道數(shù)多并且每一個降采樣階段升通道時同時升到原來的兩倍這種設(shè)計能保持計算量在全網(wǎng)絡(luò)的分布相對均衡。感受野是另一個容易被忽視的角度。對于目標(biāo)檢測、語義分割這類對局部和全局信息都有要求的任務(wù)單純的卷積堆疊得到的有效感受野往往比理論值小很多。這時候就需要引入空洞卷積、特征金字塔或者注意力機(jī)制來增強(qiáng)多尺度特征的融合。我在處理小目標(biāo)檢測問題時一個很管用的改動是在FPN的淺層增加一個高分辨率特征輸出分支小目標(biāo)的召回率明顯提升。3.2 激活函數(shù)與歸一化層的選擇激活函數(shù)的選擇對訓(xùn)練穩(wěn)定性和收斂速度有直接影響。ReLU是默認(rèn)選項但它在負(fù)半?yún)^(qū)的梯度恒為零容易導(dǎo)致部分神經(jīng)元死亡——即某個神經(jīng)元對任何輸入都不再激活梯度永遠(yuǎn)為0。如果神經(jīng)元的死亡比例過高模型容量會被嚴(yán)重浪費。在實戰(zhàn)中如果發(fā)現(xiàn)某些階段的loss下降非常緩慢可以檢查一下網(wǎng)絡(luò)中死亡ReLU的比例。解決方法很簡單把ReLU換成LeakyReLU或者GELU前者給負(fù)半?yún)^(qū)一個很小的斜率后者是Transformer里常用的平滑激活函數(shù)在深層網(wǎng)絡(luò)中通常表現(xiàn)得更加穩(wěn)定。最近幾年GELU在視覺Transformer和CNN混合結(jié)構(gòu)中越來越常見因為它的梯度曲線比ReLU族更平滑對優(yōu)化更友好。歸一化層的選擇也值得說兩句。CNN里常用的BatchNorm依賴于Batch內(nèi)的統(tǒng)計量當(dāng)Batch Size很小時均值和方差的估計噪聲會很大導(dǎo)致訓(xùn)練不穩(wěn)定。如果你只能用小Batch Size訓(xùn)練可以考慮用GroupNorm或LayerNorm替代BatchNorm。我在一個顯存受限的檢測項目里把BatchNorm換成GroupNorm之后訓(xùn)練loss的震蕩幅度明顯下降最終指標(biāo)也漲了一個多點。3.3 正則化與注意力機(jī)制的取舍正則化是用來對抗過擬合的武器但用力過猛會讓模型欠擬合。常用的正則化手段包括權(quán)重衰減、Dropout、Early Stopping、標(biāo)簽平滑等。它們的出發(fā)點是不同的權(quán)重衰減約束參數(shù)范數(shù)Dropout通過隨機(jī)屏蔽神經(jīng)元來強(qiáng)制模型學(xué)習(xí)冗余特征標(biāo)簽平滑則把獨熱標(biāo)簽變成軟標(biāo)簽避免模型對訓(xùn)練集過于自信。我見過不少人在訓(xùn)練CNN時從頭到尾用著一套固定的Dropout比例從不調(diào)整其實這是可以精細(xì)調(diào)節(jié)的。如果模型在驗證集上的表現(xiàn)遠(yuǎn)差于訓(xùn)練集可以先把Dropout比例從0.3提到0.5觀察一下如果訓(xùn)練loss都降不下去那Dropout反而要降低甚至關(guān)掉。調(diào)正則化強(qiáng)度有點像調(diào)水龍頭方向?qū)α瞬庞幸饬x。注意力機(jī)制是近年結(jié)構(gòu)調(diào)優(yōu)的另一個方向。SENet通過全局平均池化來計算每個通道的重要性權(quán)重相當(dāng)于讓網(wǎng)絡(luò)學(xué)會該重視哪些特征Transformer中的自注意力則讓每個位置能直接看到全局信息解決了CNN長距離依賴建模難的問題。但注意力不是萬能的它的計算量跟輸入尺寸的平方成正比在圖像分辨率高或者序列很長時會非常吃顯存。輕量級方案如窗口注意力、線性注意力則是為了在效率和效果之間找到平衡點。4. 訓(xùn)練過程的參數(shù)調(diào)優(yōu)最容易被低估的部分4.1 學(xué)習(xí)率策略的核心地位在所有超參數(shù)里學(xué)習(xí)率對模型最終效果的影響是最直接的。學(xué)習(xí)率設(shè)得太大loss會在一個較大值附近反復(fù)震蕩甚至直接發(fā)散到NaN設(shè)得太小模型收斂得極慢訓(xùn)練幾個Epoch后loss幾乎不動。一個合適的初始學(xué)習(xí)率通常需要看loss曲線的走勢來判斷。我的經(jīng)驗是先用一個小實驗做學(xué)習(xí)率掃描從一個很小的學(xué)習(xí)率開始每個Batch后指數(shù)增大學(xué)習(xí)率同時記錄每個batch的loss。把loss和學(xué)習(xí)率畫在一張圖上你會看到一個明顯的下降-觸底-上升曲線曲線的谷底附近就是合適的初始學(xué)習(xí)率區(qū)間實際訓(xùn)練時一般取谷底值的1/2到1/10左右。起步學(xué)習(xí)率定好之后訓(xùn)練過程中還要考慮學(xué)習(xí)率調(diào)度。我常用的策略有三種Step Decay每隔固定Epoch數(shù)把學(xué)習(xí)率縮小一個倍率簡單直接配合早停使用效果不錯Cosine Annealing學(xué)習(xí)率按余弦曲線從初始值降到接近0配合Warmup可以訓(xùn)練得更充分尤其在視覺大模型里非常常用ReduceLROnPlateau當(dāng)驗證集指標(biāo)連續(xù)N個Epoch不改善時自動把學(xué)習(xí)率減半屬于自適應(yīng)策略適合沒有精力手調(diào)的場景4.2 優(yōu)化器與Batch Size的配合SGD和Adam的選擇在社區(qū)里爭論了很多年。我的實踐經(jīng)驗是如果你的任務(wù)比較標(biāo)準(zhǔn)模型結(jié)構(gòu)穩(wěn)定AdamW是省心的選擇它對學(xué)習(xí)率的敏感度低收斂速度快適合快速驗證想法但如果你追求極致的泛化性能尤其是在圖像分類這類任務(wù)上帶動量的SGD往往能打磨到更好的最終精度只是需要更精細(xì)地調(diào)學(xué)習(xí)率和權(quán)重衰減。Batch Size對訓(xùn)練的動態(tài)過程影響很大。大Batch Size會讓梯度估計更準(zhǔn)確訓(xùn)練更穩(wěn)定但同時會降低模型的泛化能力——一個直觀的解釋是大Batch更容易收斂到尖銳的極小值而尖銳的極小值泛化性不如平坦的極小值。在實際操作中Batch Size翻倍學(xué)習(xí)率通常也要跟著翻倍再配合Warmup來緩解初始階段的不穩(wěn)定。梯度累積是在顯存受限時模擬大Batch Size的常用手段。比如你想用Batch Size 64但顯存只夠放16那就每4個Batch累加一次梯度再更新參數(shù)。但要注意梯度累積不能完全等價于增大Batch Size因為BatchNorm統(tǒng)計量的更新方式不同實際使用時要觀察效果再決定。4.3 訓(xùn)練輪數(shù)與早停策略Epoch數(shù)量不是什么深奧的道理但它關(guān)系到訓(xùn)練效率和過擬合風(fēng)險。訓(xùn)練不足會欠擬合訓(xùn)練過久則會開始記憶訓(xùn)練集里的噪聲。我的經(jīng)驗是不要一開始就把Epoch定得太死而是用早停來控制訓(xùn)練時長監(jiān)控驗證集上的評估指標(biāo)如果連續(xù)若干個Epoch沒有改善就停止訓(xùn)練并回滾到驗證集指標(biāo)最優(yōu)的那個時刻。這個沒有改善的容忍窗口一般取5到10個Epoch具體取決于數(shù)據(jù)集大小和訓(xùn)練穩(wěn)定性。大模型訓(xùn)練成本高可以適當(dāng)放寬窗口避免因為驗證集波動誤殺了還在上升期的訓(xùn)練過程。另外保存最佳模型這個動作看似簡單卻容易踩坑。有些人每保存一次模型就覆蓋上一次結(jié)果到最后發(fā)現(xiàn)保存的是最后一輪的模型而不是驗證集最優(yōu)的模型白白浪費了早停的意義。正確做法是每輪結(jié)束后用驗證集評估只保留驗證指標(biāo)最好的模型文件并記錄對應(yīng)的Epoch和超參。5. 損失函數(shù)與評估指標(biāo)的對齊5.1 常見損失函數(shù)的適用場景損失函數(shù)是模型優(yōu)化的指揮棒它決定了模型參數(shù)朝哪個方向調(diào)整。很多調(diào)優(yōu)瓶頸其實不是模型不夠強(qiáng)而是損失函數(shù)跟任務(wù)目標(biāo)不匹配。對于回歸任務(wù)MSE Loss是最常規(guī)的選擇但它對離群點非常敏感幾個極端樣本就能主導(dǎo)梯度。如果你的數(shù)據(jù)里存在明顯的噪聲樣本可以考慮換成Huber Loss它在誤差較小的時候接近MSE、誤差較大的時候接近MAE對離群點更穩(wěn)健。對于分類任務(wù)Cross Entropy Loss是默認(rèn)選項。但到了樣本極不平衡的場景比如異常檢測、醫(yī)療影像中病變區(qū)域只占幾個像素普通交叉熵會被多數(shù)類淹沒。這時候Dice Loss或Focal Loss往往更合適。Dice Loss直接優(yōu)化區(qū)域重疊度適合分割任務(wù)Focal Loss通過調(diào)制因子降低易分類樣本的權(quán)重讓模型關(guān)注難分類樣本。我在一個遙感圖像分割項目中試過加權(quán)交叉熵、Dice Loss和Focal Loss的組合。單純用Dice Loss時小目標(biāo)的召回率好了很多但精確率有所下降單純用Focal Loss則相反。最后我把兩者按一定權(quán)重相加才在召回率和精確率之間找到平衡。這個調(diào)權(quán)重的過程就是典型的損失函數(shù)調(diào)優(yōu)值得花時間實驗。5.2 評估指標(biāo)與業(yè)務(wù)目標(biāo)要匹配模型調(diào)優(yōu)的一個常見誤區(qū)是只盯著準(zhǔn)確率但這個指標(biāo)在很多場景下是有欺騙性的。比如在癌癥篩查任務(wù)里正樣本可能只占全部樣本的1%模型只需要把所有樣本都判為負(fù)就能得到99%的準(zhǔn)確率但這顯然沒有任何實用價值。所以在確定調(diào)優(yōu)目標(biāo)時一定要先想清楚業(yè)務(wù)關(guān)心的是什么。是更看重把正樣本找出來高召回率還是更看重找出來的結(jié)果足夠可靠高精確率這兩者往往是矛盾的不同業(yè)務(wù)有不同的取舍。在電商推薦里用戶更在意推薦結(jié)果的精準(zhǔn)度那精確率就更重要在疾病篩查里漏掉一個病人比多查一次更嚴(yán)重那召回率就更重要。F1 Score是綜合精確率和召回率的一個常用指標(biāo)適合兩者權(quán)重相同的場景。如果業(yè)務(wù)對精確率和召回率的偏好不同可以調(diào)整F-beta中的beta值或者直接用AUC來評估排序能力。關(guān)鍵是讓評估指標(biāo)成為業(yè)務(wù)目標(biāo)的忠實代理否則你辛辛苦苦把指標(biāo)調(diào)高了業(yè)務(wù)上卻沒有實際收益那才是真的白忙一場。5.3 從Loss曲線讀取訓(xùn)練狀態(tài)Loss曲線是診斷訓(xùn)練狀態(tài)最直接的窗口每個異常的走勢都對應(yīng)具體的病情。正常情況下訓(xùn)練loss和驗證loss都應(yīng)該呈現(xiàn)下降趨勢并且隨著訓(xùn)練推進(jìn)下降速度逐漸放緩。如果驗證loss先下降后上升而訓(xùn)練loss持續(xù)下降這是標(biāo)準(zhǔn)的過擬合信號——模型開始記憶訓(xùn)練數(shù)據(jù)了此時應(yīng)加強(qiáng)正則化或提前終止訓(xùn)練。如果loss曲線劇烈震蕩甚至出現(xiàn)尖峰上升可能是學(xué)習(xí)率過大也可能是Batch Size太小導(dǎo)致梯度噪聲過大?？梢韵热z查學(xué)習(xí)率用ReduceLROnPlateau這類自適應(yīng)策略來緩解如果還不行再考慮增大Batch Size或梯度裁剪。還有一種情況是loss降得很慢曲線看起來是平的。這時要反思是不是梯度本身出了問題比如梯度消失、特征沒有做歸一化或者學(xué)習(xí)率實在太小。我有一個習(xí)慣每次訓(xùn)練啟動后用一小批數(shù)據(jù)過一遍前向和反向打印出各層梯度的均值和方差如果發(fā)現(xiàn)某些層的梯度接近0那問題大概率出在網(wǎng)絡(luò)結(jié)構(gòu)或激活函數(shù)上。6. 常見問題與排查技巧實錄6.1 典型訓(xùn)練困境排查表我把這幾年常踩的坑整理成了一張速查表每次調(diào)試時先對照一遍能省下大量盲目嘗試的時間?，F(xiàn)象可能原因排查思路常用解法loss不下降甚至升高學(xué)習(xí)率過大檢查初始學(xué)習(xí)率是否過高調(diào)低學(xué)習(xí)率或先做學(xué)習(xí)率掃描loss在較高位置震蕩學(xué)習(xí)率偏大/Batch Size過小觀察震蕩幅度和周期降低學(xué)習(xí)率或增大Batch Size訓(xùn)練loss很低驗證loss高過擬合對比訓(xùn)練和驗證指標(biāo)的差距增加數(shù)據(jù)增強(qiáng)、Dropout、權(quán)重衰減訓(xùn)練loss降不下去模型容量不足/梯度消失查看各層梯度均值加深網(wǎng)絡(luò)、換激活函數(shù)、加殘差連接loss變?yōu)镹aN學(xué)習(xí)率過大/數(shù)值不穩(wěn)定查看NaN出現(xiàn)的時間點降低學(xué)習(xí)率加梯度裁剪檢查是否有除零運算驗證集指標(biāo)波動大驗證集太小/隨機(jī)種子未固定計算驗證集在多次評估下的方差固定隨機(jī)種子增大驗證集或使用交叉驗證訓(xùn)練正常但測試集崩數(shù)據(jù)分布不一致對比訓(xùn)練集和測試集的特征分布檢查預(yù)處理一致性做領(lǐng)域適配這張表不是萬能的但它覆蓋了調(diào)優(yōu)中最高頻的幾類問題。遇到奇怪現(xiàn)象時先對照表格做初步診斷比自己漫無目的地試參數(shù)有效得多。6.2 訓(xùn)練穩(wěn)定性與復(fù)現(xiàn)性經(jīng)驗最后分享幾個關(guān)于訓(xùn)練穩(wěn)定性和實驗復(fù)現(xiàn)的經(jīng)驗這些細(xì)節(jié)直接影響調(diào)優(yōu)的效率與可信度。第一固定隨機(jī)種子。深度學(xué)習(xí)中涉及大量隨機(jī)性包括數(shù)據(jù)加載順序、數(shù)據(jù)增強(qiáng)、權(quán)重初始化、Dropout等。如果不固定種子同一個配置跑兩次可能得到不同的結(jié)果你甚至無法判斷某個改動到底是有效還是隨機(jī)波動。我一般在代碼開頭固定Python、NumPy和PyTorch的隨機(jī)種子同時把DataLoader的shuffle種子也固定下來。第二梯度裁剪是個保險絲。尤其是在NLP任務(wù)里梯度爆炸幾乎是家常便飯一個太長的序列就能把loss推到天上去。給優(yōu)化器加上梯度裁剪把梯度范數(shù)限制在一個合理范圍內(nèi)比如1.0可以讓訓(xùn)練過程穩(wěn)定不少。雖然它會改變原始的梯度方向但多數(shù)情況下影響不大而帶來的穩(wěn)定性收益非常明顯。第三Warmup在處理大模型和大Batch Size時幾乎是必須的。訓(xùn)練初期參數(shù)離最優(yōu)解很遠(yuǎn)如果直接使用較大的學(xué)習(xí)率優(yōu)化過程很容易起步就跑偏。Warmup讓學(xué)習(xí)率從很小的值線性升到目標(biāo)值相當(dāng)于給訓(xùn)練一個助跑的過程。我在視覺Transformer和BERT類模型的訓(xùn)練中Warmup已成為默認(rèn)配置。我個人在實際操作中的體會是調(diào)優(yōu)不是一個線性過程更接近假設(shè)-實驗-驗證的循環(huán)。每做一次改動就記錄一次結(jié)果積累幾輪之后你對模型行為的直覺會越來越準(zhǔn)確。如果你剛開始走這條路建議先別急著追求最好效果把一套簡單的流程跑通調(diào)過一次學(xué)習(xí)率、加過一次數(shù)據(jù)增強(qiáng)、換過一次損失函數(shù)每一步都親眼看到指標(biāo)的變化那種體感比讀十篇教程都值錢。深度學(xué)習(xí)模型的調(diào)優(yōu)空間永遠(yuǎn)存在關(guān)鍵在于有沒有一套系統(tǒng)的方法去逼近它。