連續(xù)做了六天 BP 練習(xí)之后我對(duì)“BP”這個(gè)縮寫的感覺發(fā)生了一個(gè)比較明顯的變化。剛開始我以為只要看懂一張神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖、能寫出三層網(wǎng)絡(luò)的正向傳播就算入門了。但到了第六天我才確認(rèn)一件事真正決定你能不能把網(wǎng)絡(luò)用起來(lái)的不是正向傳播而是誤差怎么從最后一層準(zhǔn)確送回前面每一層。這個(gè)回傳過(guò)程才是 BP 練習(xí)中最值得花時(shí)間的地方。網(wǎng)上搜索“BP”會(huì)同時(shí)碰到“bp神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖”“bp神經(jīng)網(wǎng)絡(luò)原理”“多層感知機(jī)mlp與bp網(wǎng)絡(luò)”“sap bp”甚至一些工具類技術(shù)文檔。這說(shuō)明這個(gè)縮寫在不同技術(shù)領(lǐng)域里撞車很嚴(yán)重。為了避免誤解這篇文章只圍繞一個(gè)方向展開BP 神經(jīng)網(wǎng)絡(luò)中的反向傳播算法以及連續(xù)練習(xí)到第六天時(shí)最值得關(guān)注哪些問(wèn)題。如果你也處在“公式能看懂代碼能跑起來(lái)但一旦不收斂就不知道從哪里開始排查”的狀態(tài)下面這段經(jīng)驗(yàn)可能對(duì)你有用。它不是一個(gè)從入門到精通的完整教程而是從真實(shí)練習(xí)中提煉出的框架怎么理解 BP、怎么著手跑通、出問(wèn)題時(shí)該怎么定位。1. 連續(xù)練了六天 BP我更確定它真正難的不是公式而是誤差分配第一天練習(xí)時(shí)我打開筆記本的計(jì)劃是“背公式、看結(jié)構(gòu)、抄一段代碼”。結(jié)果發(fā)現(xiàn)一個(gè)很容易被騙過(guò)去的假象BP 公式看起來(lái)只是幾個(gè)偏導(dǎo)數(shù)相乘但等到你真正要把式子對(duì)應(yīng)到代碼里的矩陣乘法時(shí)才發(fā)現(xiàn)自己并不知道哪一行算的是哪一層梯度。BP 不是損失函數(shù)也不是激活函數(shù)更不是神經(jīng)網(wǎng)絡(luò)里某一個(gè)獨(dú)立模塊。它發(fā)生在前向傳播完成、損失函數(shù)已經(jīng)得到預(yù)測(cè)值和真實(shí)值差異之后。此時(shí)需要回答一個(gè)問(wèn)題每個(gè)參數(shù)應(yīng)該向哪個(gè)方向調(diào)整多少這個(gè)問(wèn)題的答案靠的是把損失相對(duì)于輸出的導(dǎo)數(shù)從輸出層逐層往回傳。數(shù)學(xué)做法是鏈?zhǔn)角髮?dǎo)訓(xùn)練程序里的實(shí)際過(guò)程是梯度回傳。沒(méi)有 BP多層感知機(jī)就沒(méi)有辦法通過(guò)誤差修正來(lái)學(xué)習(xí)。1.1 BP 網(wǎng)絡(luò)不等于“神經(jīng)網(wǎng)絡(luò)”本身通常說(shuō)的“BP 神經(jīng)網(wǎng)絡(luò)”在結(jié)構(gòu)上往往是一個(gè)多層感知機(jī)也叫 MLP。輸入層負(fù)責(zé)接收特征隱藏層負(fù)責(zé)做非線性變換輸出層給出結(jié)果。BP 則是訓(xùn)練這個(gè) MLP 時(shí)的核心梯度算法。所以嚴(yán)格來(lái)說(shuō)結(jié)構(gòu)層面它是層與層之間的矩陣和激活函數(shù)訓(xùn)練層面它依賴前向傳播得到預(yù)測(cè)再依賴 BP 得到梯度更新層面它把計(jì)算出的梯度結(jié)合學(xué)習(xí)率調(diào)整網(wǎng)絡(luò)中的權(quán)重和偏置。很多人會(huì)把“我用的是 BP 神經(jīng)網(wǎng)絡(luò)”當(dāng)成一種模型類型但實(shí)際上這更多是在描述“我用反向傳播來(lái)訓(xùn)練一個(gè)多層前饋網(wǎng)絡(luò)”。兩者不是同一個(gè)層級(jí)的概念雖然日常表達(dá)中經(jīng)?；煸谝黄?。1.2 為什么反復(fù)抄公式還是會(huì)忘我見過(guò)不少筆記這樣寫先從輸出層算誤差然后乘權(quán)重轉(zhuǎn)置再乘激活函數(shù)導(dǎo)數(shù)再往前一層?？雌饋?lái)每一步都沒(méi)錯(cuò)但第二天合上筆記再寫一遍還是會(huì)卡在“為什么是轉(zhuǎn)置”“為什么要逐元素相乘”這兩個(gè)問(wèn)題上。原因是記憶里只有操作步驟沒(méi)有“誤差分配”的邏輯。反向傳播的實(shí)質(zhì)是做一件事把輸出端產(chǎn)生的誤差按每一層權(quán)重的影響比例分?jǐn)偦厝ゲ⒏嬖V每個(gè)權(quán)重它到底該承擔(dān)多少責(zé)任。這樣理解之后公式里的轉(zhuǎn)置、連乘、激活函數(shù)導(dǎo)數(shù)就不是機(jī)械記憶了。權(quán)重矩陣的形狀決定梯度能不能沿著正確維度傳回去激活函數(shù)的導(dǎo)數(shù)決定信號(hào)經(jīng)過(guò)該神經(jīng)元后能保留多少多個(gè)層之間的連乘決定梯度是否會(huì)衰減或放大。你可以把 BP 看成一套歸因邏輯誤差不是憑空出現(xiàn)在最后一層它是由前面很多層共同造成的。要對(duì)每一層分別開責(zé)任清單就需要從后往前逐層推導(dǎo)。所以練習(xí)第六天我對(duì)“BP 到底在練什么”的判斷已經(jīng)變得清晰它練的不是計(jì)算能力而是建立一種誤差分配直覺。看見一個(gè)不收斂的網(wǎng)絡(luò)如果只想調(diào)學(xué)習(xí)率說(shuō)明你還停留在“調(diào)參”階段如果會(huì)先想“梯度到底是在哪一層斷掉的”才說(shuō)明 BP 的作用被你真正接住了。2. 真正讓我卡住的是誤差傳導(dǎo)鏈從 z 到 a 再到參數(shù)畫結(jié)構(gòu)圖很容易難的是在幾十行代碼里盯住每個(gè)矩陣的維度變化。很多人在寫 Python 實(shí)現(xiàn)時(shí)第一個(gè)報(bào)錯(cuò)往往不是“網(wǎng)絡(luò)不收斂”而是“矩陣形狀配不上”。這背后通常是同一個(gè)問(wèn)題對(duì)前向傳播和反向傳播之間的數(shù)據(jù)形狀變化沒(méi)有建立連接。2.1 前向傳播負(fù)責(zé)預(yù)測(cè)反向傳播負(fù)責(zé)把“責(zé)任”送回去一個(gè)最簡(jiǎn)單的三層層級(jí)關(guān)系大概是輸入特征 X 經(jīng)過(guò)輸入層到隱藏層的權(quán)重 W1得到 z1z1 經(jīng)激活函數(shù)得到 a1a1 經(jīng)過(guò)隱藏層到輸出層的權(quán)重 W2得到 z2z2 經(jīng)過(guò)輸出激活函數(shù)得到預(yù)測(cè)值 y_pred。在這個(gè)過(guò)程里每一層的矩陣形狀必須匹配。反向傳播時(shí)則是反過(guò)來(lái)先計(jì)算損失對(duì)輸出激活前信號(hào)的導(dǎo)數(shù)再計(jì)算它對(duì) W2 和 b2 的導(dǎo)數(shù)然后透過(guò) W2 把信號(hào)傳回 a1再通過(guò)激活函數(shù)導(dǎo)數(shù)傳到 z1最后得到對(duì) W1 和 b1 的導(dǎo)數(shù)。這里面最容易出錯(cuò)的地方有兩處。第一誤差信號(hào)在反向回傳時(shí)要乘的是前一層的激活輸出而不是當(dāng)前層的輸入。回傳梯度的形狀天然要求你做矩陣轉(zhuǎn)置。第二誤差信號(hào)經(jīng)過(guò)激活函數(shù)時(shí)要逐元素乘上激活函數(shù)在對(duì)應(yīng)位置的導(dǎo)數(shù)。這意味著激活函數(shù)的輸出范圍會(huì)直接影響梯度量級(jí)。當(dāng)你打印出每一層的 shape 卻發(fā)現(xiàn)完全對(duì)齊時(shí)只能說(shuō)明“流動(dòng)的通路”沒(méi)問(wèn)題不等于“流動(dòng)的信號(hào)”合理。信號(hào)有沒(méi)有消失、有沒(méi)有爆炸是另一層問(wèn)題。2.2 激活函數(shù)不只是做非線性變換它同時(shí)決定了反向傳播的“通量”第六天練習(xí)里我刻意對(duì)比了兩種常見的隱藏層激活方式sigmoid 和 tanh。如果你用過(guò)經(jīng)典教材里的三層 BP 網(wǎng)絡(luò)大概率會(huì)默認(rèn)選擇 sigmoid 或 tanh。它們?cè)?0 附近有比較好的非線性但有一個(gè)共同特點(diǎn)兩端導(dǎo)數(shù)趨近于 0神經(jīng)元飽和后反向傳播得到的梯度會(huì)非常小。更關(guān)鍵的是深度網(wǎng)絡(luò)中梯度要經(jīng)過(guò)多層導(dǎo)數(shù)連乘。如果每一層都處于飽和區(qū)這些接近 0 的小數(shù)相乘后傳到前面層級(jí)時(shí)梯度可能已經(jīng)趨近于 0前面層幾乎收不到有效更新訓(xùn)練會(huì)變得極慢。這就是常說(shuō)的梯度消失。另一種情況如果初始化權(quán)重偏大梯度連乘可能迅速放大出現(xiàn)梯度爆炸訓(xùn)練損失經(jīng)常變成 NaN?，F(xiàn)代實(shí)踐里ReLU 一族激活函數(shù)更常用正是因?yàn)檎齾^(qū)間導(dǎo)數(shù)為 1能在一定程度上保持梯度傳導(dǎo)。ReLU 也不是沒(méi)有缺點(diǎn)負(fù)區(qū)間導(dǎo)數(shù)為 0積少成多會(huì)讓部分神經(jīng)元死亡。所以激活函數(shù)的選用從來(lái)不只是影響表達(dá)能力的“非線性函數(shù)”它同時(shí)是反向傳播鏈路上控制信號(hào)衰減還是保留的閥門。2.3 參數(shù)初始化會(huì)直接左右第一次反向傳播的梯度剛接觸 BP 時(shí)很多人初始化權(quán)重直接寫np.random.randn覺得隨機(jī)就行。第六天我發(fā)現(xiàn)這個(gè)環(huán)節(jié)對(duì)后續(xù)訓(xùn)練影響比想象中大。輸入特征如果整體數(shù)值量級(jí)是 0.1 到 1而初始化權(quán)重矩陣的標(biāo)準(zhǔn)差達(dá)到 0.5 到 1那么經(jīng)過(guò)多層矩陣乘法和激活函數(shù)后信號(hào)會(huì)非常容易進(jìn)入飽和區(qū)。第一次反向傳播計(jì)算出的梯度可能已經(jīng)小到幾乎沒(méi)有任何更新意義。這也是為什么實(shí)踐中建議把小隨機(jī)數(shù)初始化作為一種默認(rèn)選擇。比較保守的一種寫法是把標(biāo)準(zhǔn)差設(shè)置成 0.01 到 0.1 之間或者使用專門設(shè)計(jì)的初始化方法。具體選擇與激活函數(shù)有關(guān)核心目的都是讓網(wǎng)絡(luò)在早期避免過(guò)飽和。手工練習(xí)時(shí)你不需要追求復(fù)雜公式但要有意識(shí)地做一次權(quán)重標(biāo)準(zhǔn)差對(duì)照實(shí)驗(yàn)用 0.5 和用 0.05訓(xùn)練曲線可能差非常多。這個(gè)現(xiàn)象背后其實(shí)說(shuō)明了一個(gè)容易被忽略的事實(shí)BP 不是獨(dú)立決定模型效果的網(wǎng)絡(luò)初始化決定了第一次梯度從什么狀態(tài)開始傳導(dǎo)學(xué)習(xí)率決定了每一次梯度被使用的程度數(shù)據(jù)標(biāo)準(zhǔn)化決定矩陣運(yùn)算的實(shí)數(shù)尺度。第六天開始我傾向于把 BP 放在整個(gè)訓(xùn)練流程里看待而不是只盯著一組求導(dǎo)結(jié)果。3. 第六天的最小練習(xí)用一個(gè)手工反向傳播跑通小樣本既然練習(xí)進(jìn)入第六天我不建議再繼續(xù)“只看不寫”。最有效的方法是把搭建框架的工作放下來(lái)用 NumPy 或普通 Python 寫一個(gè)小網(wǎng)絡(luò)完成一次完整的前向、損失計(jì)算、反向傳播、參數(shù)更新。下面是用 NumPy 演示一個(gè) 3 層小網(wǎng)絡(luò)的最小實(shí)現(xiàn)。這個(gè)例子只用于理解 BP 的執(zhí)行順序不用做生產(chǎn)模型。它展示了每個(gè)矩陣在反向傳播中應(yīng)該怎樣轉(zhuǎn)換。3.1 準(zhǔn)備一組極小的輸入和標(biāo)簽我習(xí)慣用 4 到 5 個(gè)樣本做玩具數(shù)據(jù)。數(shù)據(jù)越少越容易打印每個(gè)中間變量也越容易在紙上核對(duì)一個(gè)樣本的完整計(jì)算鏈。這里準(zhǔn)備 4 條樣本每條 3 個(gè)特征import numpy as np def sigmoid(x): return 1 / (1 np.exp(-x)) X np.array([ [0.1, 0.8, 0.3], [0.7, 0.4, 0.5], [0.2, 0.1, 0.9], [0.5, 0.9, 0.3] ]) y np.array([[0], [1], [1], [0]])在真正跑通大規(guī)模數(shù)據(jù)之前這樣一組小樣本足夠讓你看清向前傳播和反向更新的完整鏈路。如果需要打印中間值網(wǎng)絡(luò)越簡(jiǎn)單越容易追蹤。3.2 初始化權(quán)重并完成一次完整訓(xùn)練循環(huán)輸入層 3 個(gè)特征隱藏層用 4 個(gè)神經(jīng)元輸出層 1 個(gè)神經(jīng)元。隱藏層激活用 tanh輸出層激活用 sigmoid二分類損失用交叉熵np.random.seed(42) # 3 - 4 w1 np.random.normal(0, 0.1, size(3, 4)) b1 np.zeros((1, 4)) # 4 - 1 w2 np.random.normal(0, 0.1, size(4, 1)) b2 np.zeros((1, 1)) learning_rate 0.5 n_samples X.shape[0] for epoch in range(1, 4001): # 前向傳播 z1 X w1 b1 a1 np.tanh(z1) z2 a1 w2 b2 y_pred sigmoid(z2) # 損失函數(shù)二分類交叉熵加 1e-8 防止 log(0) loss -np.mean( y * np.log(y_pred 1e-8) (1 - y) * np.log(1 - y_pred 1e-8) ) # 反向傳播 # 輸出層交叉熵 sigmoid 合成后梯度簡(jiǎn)化為 y_pred - y delta2 (y_pred - y) / n_samples dw2 a1.T delta2 db2 np.sum(delta2, axis0, keepdimsTrue) # 誤差繼續(xù)回到隱藏層 delta1 (delta2 w2.T) * (1 - a1 ** 2) dw1 X.T delta1 db1 np.sum(delta1, axis0, keepdimsTrue) # 參數(shù)更新 w1 - learning_rate * dw1 b1 - learning_rate * db1 w2 - learning_rate * dw2 b2 - learning_rate * db2 if epoch % 500 0: print(fepoch {epoch}, loss {loss:.6f})這里有幾個(gè)點(diǎn)值得停下來(lái)想一下。delta2計(jì)算的是損失函數(shù)對(duì)輸出層激活前信號(hào) z2 的梯度。因?yàn)槎诸惤徊骒丶?sigmoid 的組合在實(shí)際推導(dǎo)中會(huì)出現(xiàn)化簡(jiǎn)最終得到y(tǒng)_pred - y。初學(xué)者如果拿均方誤差或其它損失硬套這個(gè)式子就不成立。這提醒我們?cè)趯?shí)際調(diào)試時(shí)不要盲抄別人代碼里的“梯度公式”要弄清楚損失類型和輸出激活函數(shù)之間的搭配關(guān)系。delta1中1 - a1 ** 2來(lái)自 tanh 的導(dǎo)數(shù)。如果想換成 sigmoid 隱藏層就要換成a1 * (1 - a1)。這種替換不是簡(jiǎn)單怕上下文而是數(shù)學(xué)鏈上對(duì)應(yīng)不同的變化率。3.3 手動(dòng)練習(xí)中應(yīng)該重點(diǎn)觀察哪些量跑通代碼只算第一層目標(biāo)。第六天練習(xí)我建議你在循環(huán)里額外檢查epoch 前幾次和后幾次y_pred分別在什么范圍dw1和dw2的數(shù)量級(jí)差距如果學(xué)習(xí)率從 0.5 改成 2loss是更快下降還是迅速變成 NaN如果初始權(quán)重標(biāo)準(zhǔn)差從 0.1 改成 1訓(xùn)練初期梯度會(huì)變成什么樣子。不要每一步都只盯著 “l(fā)oss 降了沒(méi)有”。你應(yīng)該能解釋 loss 變化和前向輸出分布之間的關(guān)系。比如損失下降變慢可能是網(wǎng)絡(luò)更接近局部最優(yōu)也可能是學(xué)習(xí)率太小如果訓(xùn)練集很小模型很容易記住樣本此時(shí) loss 很低不代表泛化能力就好。4. 連做幾天練習(xí)后我把調(diào)參經(jīng)驗(yàn)收成一套五步排查法如果你在第六天已經(jīng)能跑通上面的小例子下一步不是繼續(xù)加層也不是立刻換大型框架而是學(xué)會(huì)在沒(méi)有教程的情況下做排查。第六天到第七天之間可以嘗試故意破壞網(wǎng)絡(luò)然后通過(guò)一套固定次序來(lái)定位問(wèn)題。這是我總結(jié)出來(lái)的排查路徑優(yōu)先從成本最低、最容易越過(guò)的環(huán)節(jié)開始。4.1 先查輸入和標(biāo)簽而不是一上來(lái)調(diào)參網(wǎng)絡(luò)訓(xùn)練失敗時(shí)最常見的問(wèn)題是數(shù)據(jù)本身。特征是否出現(xiàn)了 NaN 或無(wú)窮值特征量級(jí)是否相差巨大比如一列是 0.1另一列是 10000隱藏層做矩陣乘法時(shí)數(shù)值波動(dòng)會(huì)把訓(xùn)練帶偏。標(biāo)簽是否連續(xù)值和分類值類型混用訓(xùn)練集和驗(yàn)證集是否真的互相獨(dú)立這個(gè)步驟的成本最低但很多場(chǎng)景下最先被忽略?？吹?loss 不降人的第一反應(yīng)通常是調(diào)學(xué)習(xí)率或換網(wǎng)絡(luò)結(jié)構(gòu)可真正原因可能是輸入數(shù)據(jù)里有臟值。4.2 再查損失函數(shù)與輸出層是否匹配損失選擇錯(cuò)了反向傳播公式可能完全不同。如果輸出層是 sigmoid用交叉熵是一個(gè)常見組合如果輸出層是線性輸出又用了交叉熵就可能出現(xiàn)log(負(fù)值)之類的計(jì)算錯(cuò)誤。用均方誤差也沒(méi)問(wèn)題但梯度公式會(huì)改變前幾個(gè) epoch 的學(xué)習(xí)曲線也會(huì)不同。所以當(dāng)現(xiàn)象是 loss 出現(xiàn)明顯異常比如保持在固定數(shù)字不下降、突然變成 NaN 時(shí)先回頭檢查損失函數(shù)和數(shù)據(jù)標(biāo)簽的格式。4.3 然后打印每一層梯度的 shape 與數(shù)值范圍很多人覺得梯度檢查很難其實(shí)手動(dòng)實(shí)現(xiàn)時(shí)只要打印每個(gè)關(guān)鍵變量就好print(fepoch {epoch}, y_pred[0]: {y_pred[0][0]:.4f}) print(fdw1 mean: {np.mean(np.abs(dw1)):.6f}) print(fdw2 mean: {np.mean(np.abs(dw2)):.6f})如果dw1相對(duì)dw2小了非常多說(shuō)明梯度在往前面層回傳時(shí)已經(jīng)衰減嚴(yán)重。這時(shí)就要檢查初始化標(biāo)準(zhǔn)差、隱藏層激活函數(shù)選擇以及網(wǎng)絡(luò)層數(shù)。如果兩個(gè)梯度都出現(xiàn)了極大數(shù)字則要懷疑梯度爆炸調(diào)整方向是降低學(xué)習(xí)率、縮小初始化方差或檢查輸入數(shù)據(jù)量級(jí)。4.4 再觀察 loss 曲線的形態(tài)手動(dòng)練習(xí)里最常見的三種 loss 形態(tài)是一直不降先檢查輸入與標(biāo)簽順序是否對(duì)齊再檢查梯度是否幾乎為 0。下降后反彈并最終變成 NaN學(xué)習(xí)率偏高或數(shù)據(jù)里有異常極大值。前幾百輪下降快之后完全停滯可能只是接近當(dāng)前結(jié)構(gòu)的能力上限此時(shí)加深或加寬網(wǎng)絡(luò)意義不大要看特征工程、數(shù)據(jù)量和模型結(jié)構(gòu)是否匹配。4.5 給調(diào)整動(dòng)作做一次單變量實(shí)驗(yàn)不要一鼓作氣改三個(gè)參數(shù)調(diào)參實(shí)驗(yàn)時(shí)避免同時(shí)改學(xué)習(xí)率、改隱藏層節(jié)點(diǎn)數(shù)、改初始化方式。第六天我自己踩過(guò)的一個(gè)最明顯的坑就是一開始把一堆參數(shù)全部改了等到 loss 終于正常反而說(shuō)不清是哪個(gè)動(dòng)作起了作用。后來(lái)改成一次只改一個(gè)維度記錄網(wǎng)絡(luò)能否收斂、收斂到多少、每輪耗時(shí)是多少。針對(duì) BP 練習(xí)可以整理成一張極簡(jiǎn)登記表調(diào)整項(xiàng)修改前修改后loss 變化影響判斷學(xué)習(xí)率0.10.5下降變快但波動(dòng)增加方向正確需觀察初始化標(biāo)準(zhǔn)差0.50.05前期能更新初始飽和問(wèn)題隱藏層激活sigmoidtanh前期梯度變大與網(wǎng)絡(luò)結(jié)構(gòu)匹配這張表本身不是答案但它能幫你把第六天獲得的經(jīng)驗(yàn)沉淀成可反復(fù)使用的判斷依據(jù)。否則練習(xí)再多也只是在重復(fù)試參數(shù)。5. BP 練習(xí)的價(jià)值邊界什么情況該用它什么情況不該靠堆層解決BP 在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的地位非常重要但它解決的不是所有問(wèn)題。用第六天的心態(tài)復(fù)盤我會(huì)這樣給 BP 劃清適用邊界。5.1 表格型、非線性、中小規(guī)模問(wèn)題適合先練手對(duì)一個(gè)樣本量幾千、特征數(shù)量幾十或幾百、以表格和數(shù)據(jù)為主的二分類或多分類問(wèn)題搭建一個(gè)手動(dòng) BP 網(wǎng)絡(luò)或小規(guī)模 MLP 是完全可行的。它沒(méi)有卷積核那種超大參數(shù)復(fù)雜性也沒(méi)有注意力機(jī)制等結(jié)構(gòu)正反向傳播都能用矩陣運(yùn)算清楚表達(dá)。在這樣的場(chǎng)景里練習(xí)你能看到每一層權(quán)重變化訓(xùn)練過(guò)程相對(duì)透明排錯(cuò)路徑也比較直觀。這也是第 1 到第 6 天最適合反復(fù)做的核心動(dòng)作。5.2 圖像、文本、超大規(guī)模場(chǎng)景需要交給更復(fù)雜結(jié)構(gòu)BP 的思想在 CNN、RNN、Transformer 等現(xiàn)代網(wǎng)絡(luò)里依然作為梯度計(jì)算框架存在但框架會(huì)利用自動(dòng)微分替你完成導(dǎo)數(shù)計(jì)算。自動(dòng)微分同樣基于反向模式只是把局部導(dǎo)數(shù)規(guī)則固化成了計(jì)算圖。因此你必須意識(shí)到練好 BP 不等于能夠手工推導(dǎo)所有大模型的全部梯度。它更像是一把鑰匙。你通過(guò) BP 理解了梯度從輸出到輸入是怎么流動(dòng)的再去看 PyTorch 或 TensorFlow 的反向傳播機(jī)制時(shí)才不會(huì)覺得那是一個(gè)黑盒。5.3 不要把 BP 問(wèn)題等同于“過(guò)擬合”“欠擬合”問(wèn)題第 6 天很常見的一個(gè)反直覺現(xiàn)象是同一份玩具數(shù)據(jù)網(wǎng)絡(luò)在訓(xùn)練集上 loss 很低但很難在新樣本上保持效果。這不是 BP 算法本身的鍋而是數(shù)據(jù)規(guī)模太小、模型容量過(guò)高、訓(xùn)練輪次過(guò)多共同造成的結(jié)果。BP 提供的是“如何修正權(quán)重”的梯度路徑但它不會(huì)自動(dòng)阻止模型死記硬背。真正需要補(bǔ)的是正則化、早停、更多數(shù)據(jù)或調(diào)整模型復(fù)雜度。如果只學(xué) BP卻不知道過(guò)擬合的存在就會(huì)把問(wèn)題錯(cuò)誤歸因到優(yōu)化算法上。6. 第六天結(jié)束時(shí)的真實(shí)狀態(tài)我還需要一套每天都可執(zhí)行的復(fù)盤流程如果能順利走完前五部分這個(gè)第六天已經(jīng)是有收獲的。但要讓練習(xí)繼續(xù)有價(jià)值最好把獲得經(jīng)驗(yàn)放到一個(gè)持續(xù)運(yùn)行的循環(huán)里。6.1 每個(gè)練習(xí)日只定一個(gè)目標(biāo)我常見的做法是以每第 n 天為單位設(shè)定可驗(yàn)證的成果。例如第 1 天能獨(dú)立畫出 3 層網(wǎng)絡(luò)結(jié)構(gòu)并標(biāo)出輸入、權(quán)重、激活、輸出位置。第 2 天能說(shuō)明前向傳播中每個(gè)矩陣乘法的作用。第 3 天能用數(shù)值差分法核對(duì)一個(gè)權(quán)重分量的梯度。第 4 天能解釋常見激活函數(shù)在反向傳播中的導(dǎo)數(shù)表現(xiàn)。第 5 天能在十行代碼里定位矩陣 shape 導(dǎo)致的問(wèn)題。第 6 天能在一個(gè)手動(dòng)實(shí)現(xiàn)網(wǎng)絡(luò)中完成單次反向傳播的逐步打印。到了第 6 天你已經(jīng)不是為了學(xué)“BP 是什么”而練習(xí)而是開始用它做排查和分析。這種感覺和第一天完全不同。第一天更多是在背知識(shí)第六天你已經(jīng)把 BP 當(dāng)成一套判斷工具來(lái)對(duì)待。6.2 下一個(gè)練習(xí)日最適合做的三件事如果讓我給準(zhǔn)備跨過(guò)第 6 天的自己一個(gè)建議我會(huì)選下面三件事第一把手工實(shí)現(xiàn)中的損失換成均方誤差重新推導(dǎo)一遍輸出層梯度。這樣可以打破“抄代碼”式的舒適區(qū)逼迫自己理解公式變化的原因。第二讓模型在同一個(gè)數(shù)據(jù)集上完成一次梯度檢查。所謂梯度檢查是用數(shù)值近似去驗(yàn)證解析梯度是否正確。實(shí)現(xiàn)方法是在某個(gè)權(quán)重上做一個(gè)極小的擾動(dòng)看看損失變化方向和幅度是否與你推導(dǎo)的梯度一致。這個(gè)過(guò)程可能花掉一部分時(shí)間但它能幫你確認(rèn)反向傳播實(shí)現(xiàn)沒(méi)有隱藏的形狀錯(cuò)位或公式錯(cuò)誤。第三記錄三份“失敗現(xiàn)象和分析”。不要只記成功的運(yùn)行結(jié)果更要記訓(xùn)練不收斂時(shí)的日志。一周以后再回看這些記錄你會(huì)發(fā)現(xiàn)自己對(duì)每個(gè)異常現(xiàn)象背后的原因明顯更敏感。epoch 2000, loss 0.0158 params: lr0.5, init_std0.1, hidden4 問(wèn)題記錄剛開始用 lr2前 100 輪 loss 反而變成 NaN 調(diào)整為 0.5 后能正常下降。 原因初始梯度和輸入量級(jí)被放大發(fā)生爆炸。6.3 關(guān)于“BP到底是什么”的總結(jié)性判斷練習(xí)到第六天我會(huì)給出一個(gè)綜合描述BP 不是某個(gè)獨(dú)立工具也不是某個(gè)模型格式而是一種把損失信號(hào)沿著前向網(wǎng)絡(luò)回傳的梯度計(jì)算方法。它是一種算法思想?yún)s在機(jī)器學(xué)習(xí)工程里改變了整套訓(xùn)練方式。沒(méi)有它早期多層感知機(jī)的能力就難被有效發(fā)掘。但要把這個(gè)方法用得得心應(yīng)手靠的是重復(fù)練習(xí)、調(diào)試意識(shí)和對(duì)數(shù)據(jù)與參數(shù)的敏感。第 1 天到第 6 天真正發(fā)生變化的不是“會(huì)描述 BP”的能力而是“訓(xùn)練失敗時(shí)對(duì)問(wèn)題層的估計(jì)能力”。如果讀到這里的你也在某個(gè)類似練習(xí)的第 6 天感到收效有限建議先別急著學(xué)更復(fù)雜結(jié)構(gòu)回到自己手動(dòng)網(wǎng)絡(luò)里故意制造一個(gè)小毛病再按輸入、損失、梯度、更新、觀測(cè)這五步順序去修復(fù)一次。這往往比再看十篇資料更有效。