LSTM 的門(mén)結(jié)構(gòu)與長(zhǎng)程依賴問(wèn)題LSTMLong Short-Term Memory通過(guò)引入細(xì)胞狀態(tài)Cell State和三個(gè)門(mén)控機(jī)制來(lái)解決標(biāo)準(zhǔn) RNN 的梯度消失問(wèn)題。核心設(shè)計(jì)思想是為梯度提供一條貫穿所有時(shí)間步的加法通路避免矩陣連乘導(dǎo)致的梯度衰減。整體結(jié)構(gòu)C_{t-1} ────────────●──────────────── C? ← 細(xì)胞狀態(tài)信息高速公路 ↑ h_{t-1} ──┬──→ [遺忘門(mén) f?] ──┐ │ │ x? ────┤──→ [輸入門(mén) i?] ──→●(加)──→ C? │ ↑ │ │ [候選 C??] │ │ │ └──→ [輸出門(mén) o?] ──→ tanh(C?) ⊙ o? ──→ h?三個(gè)門(mén)的詳細(xì)作用1. 遺忘門(mén)Forget Gate—— 決定丟棄什么f? σ(W_f · [h_{t-1}, x?] b_f)輸入上一步隱藏狀態(tài)h_{t-1} 當(dāng)前輸入x?輸出0 到 1 之間的向量逐元素控制作用決定細(xì)胞狀態(tài)C_{t-1}中哪些信息需要遺忘哪些需要保留f? → 0完全遺忘對(duì)應(yīng)維度的歷史信息f? → 1完全保留對(duì)應(yīng)維度的歷史信息直覺(jué)在語(yǔ)言模型中處理新主語(yǔ)時(shí)遺忘門(mén)會(huì)關(guān)閉以丟棄舊主語(yǔ)的性別信息。2. 輸入門(mén)Input Gate—— 決定寫(xiě)入什么i? σ(W_i · [h_{t-1}, x?] b_i) C?? tanh(W_C · [h_{t-1}, x?] b_C)輸入門(mén)i?0 到 1 的向量控制每個(gè)維度允許寫(xiě)入多少新信息候選狀態(tài)C??tanh 輸出-1 到 1表示候選的新信息內(nèi)容作用兩者逐元素相乘i? ⊙ C??決定將多少新信息寫(xiě)入細(xì)胞狀態(tài)直覺(jué)遇到新主語(yǔ) “Alice” 時(shí)輸入門(mén)打開(kāi)將 “女性” 信息寫(xiě)入細(xì)胞狀態(tài)。3. 輸出門(mén)Output Gate—— 決定輸出什么o? σ(W_o · [h_{t-1}, x?] b_o) h? o? ⊙ tanh(C?)作用決定細(xì)胞狀態(tài)C?中哪些信息作為當(dāng)前時(shí)間步的隱藏狀態(tài)h?輸出細(xì)胞狀態(tài)先經(jīng) tanh 壓縮到 [-1, 1]再與輸出門(mén)逐元素相乘直覺(jué)細(xì)胞狀態(tài)中可能存儲(chǔ)了主語(yǔ)性別信息但當(dāng)前詞是動(dòng)詞不需要輸出性別輸出門(mén)關(guān)閉。細(xì)胞狀態(tài)更新加法通路的關(guān)鍵三個(gè)門(mén)協(xié)同工作細(xì)胞狀態(tài)的更新公式C? f? ⊙ C_{t-1} i? ⊙ C?? ↑ ↑ 遺忘門(mén)控制保留 輸入門(mén)控制寫(xiě)入這是 LSTM 解決梯度消失的核心所在。為什么能解決梯度消失對(duì)比標(biāo)準(zhǔn) RNN 和 LSTM 的梯度傳播路徑標(biāo)準(zhǔn) RNNh? tanh(W_hh · h_{t-1} W_xh · x?) ?h?/?h_{t-1} W_hh · diag(tanh(h?)) ← 矩陣乘法連乘 T 次 → (W_hh)^T → 消失/爆炸LSTMC? f? ⊙ C_{t-1} i? ⊙ C?? ?C?/?C_{t-1} f? ← 逐元素乘法不是矩陣乘法關(guān)鍵區(qū)別標(biāo)準(zhǔn) RNNLSTM梯度傳播方式矩陣連乘(W_hh)^T逐元素乘法∏ f?連乘問(wèn)題特征值連乘 → 指數(shù)衰減/增長(zhǎng)無(wú)矩陣連乘無(wú)特征值問(wèn)題梯度控制無(wú)遺忘門(mén)f?可學(xué)習(xí)為接近 1當(dāng)遺忘門(mén)f? ≈ 1時(shí)?L/?C? ?L/?C_T · ∏(t2→T) f? ≈ ?L/?C_T · 1梯度幾乎無(wú)損地從最后一步傳回第一步長(zhǎng)距離依賴得以保留。各門(mén)協(xié)作的完整示例以語(yǔ)言模型處理句子The cat, which already ate fish, was full.為例時(shí)間步當(dāng)前詞遺忘門(mén)輸入門(mén)輸出門(mén)細(xì)胞狀態(tài)變化t1The打開(kāi)寫(xiě)入定冠詞輸出C: [定冠詞]t2cat保留寫(xiě)入貓、單數(shù)輸出C: [定冠詞, 貓, 單數(shù)]t3-7which…fish保留主語(yǔ)信息寫(xiě)入從句信息從句輸出C: [貓, 單數(shù), …從句]t8was保留單數(shù)寫(xiě)入過(guò)去時(shí)輸出C: [貓,單數(shù), 過(guò)去時(shí)]t9full保留—輸出C: [貓, 單數(shù), 過(guò)去時(shí)]was需要回溯到cat距離 6 步獲取單數(shù)信息 → 遺忘門(mén)保持打開(kāi)細(xì)胞狀態(tài)中的單數(shù)信息一路保留標(biāo)準(zhǔn) RNN 在 6 步后梯度已嚴(yán)重衰減無(wú)法將cat的單數(shù)信息傳遞到was總結(jié)門(mén)公式作用類比遺忘門(mén) f?σ(W_f·[h_{t-1},x?])控制歷史信息的保留/丟棄橡皮擦輸入門(mén) i?σ(W_i·[h_{t-1},x?])控制新信息的寫(xiě)入量筆候選狀態(tài) C??tanh(W_C·[h_{t-1},x?])生成候選新信息墨水輸出門(mén) o?σ(W_o·[h_{t-1},x?])控制細(xì)胞狀態(tài)到輸出的量閱讀窗口核心結(jié)論LSTM 解決長(zhǎng)程依賴的本質(zhì)不是門(mén)本身而是細(xì)胞狀態(tài)更新公式C? f? ⊙ C_{t-1} i? ⊙ C??中的加法結(jié)構(gòu)。加法使得梯度傳播變?yōu)橹鹪爻朔ㄓ煽蓪W(xué)習(xí)的遺忘門(mén)控制而非矩陣連乘從而讓遺忘門(mén)可以學(xué)會(huì)保持接近 1使梯度長(zhǎng)距離無(wú)損傳播。三個(gè)門(mén)的作用是讓模型自適應(yīng)地控制信息的保留、寫(xiě)入和輸出使加法通路攜帶的是有用信息而非噪聲。