1. 從“注意力”到“Transformer”一場認知范式的革命如果你在2017年之后才開始接觸深度學(xué)習(xí)尤其是自然語言處理或計算機視覺那么“注意力機制”和“Transformer”這兩個詞對你來說可能就像空氣一樣自然存在。但回到那個時間點之前整個領(lǐng)域完全是另一番景象。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN及其變體LSTM、GRU是處理序列數(shù)據(jù)的絕對王者我們花費大量精力去設(shè)計門控結(jié)構(gòu)、解決梯度消失只為讓模型能“記住”更久遠的信息。然而一個根本性的瓶頸始終存在序列計算的順序性。你必須一個接一個地處理輸入這既限制了訓(xùn)練時的并行效率也使得模型難以直接建立長距離依賴關(guān)系尤其是在處理兩個相距很遠的單詞或像素時信息需要經(jīng)過漫長的“跋涉”才能關(guān)聯(lián)起來。Transformer架構(gòu)的橫空出世徹底打破了這一僵局。它最核心、最革命性的貢獻就是完全摒棄了循環(huán)結(jié)構(gòu)轉(zhuǎn)而依賴一種名為“自注意力”的機制來建立序列內(nèi)部所有元素之間的全局關(guān)聯(lián)。你可以把它想象成在一個會議室里開會。RNN就像是一個只能聽上一個人發(fā)言然后自己發(fā)言的串行模式而Transformer的自注意力機制則像是讓會議室里的每個人同時發(fā)言并且每個人都能瞬間聽到并理解房間里所有人的發(fā)言內(nèi)容然后綜合這些信息形成自己的觀點。這種“全局視野”的能力是之前任何模型都難以企及的。今天我們不再滿足于僅僅知道Transformer“很強大”。作為從業(yè)者我們需要深入其核心拆解它的引擎——注意力機制。很多人初學(xué)時會混淆“注意力機制”、“自注意力”和“多頭注意力”這些概念或者對“位置編碼”為何如此關(guān)鍵一知半解。這篇文章的目的就是幫你徹底厘清Transformer架構(gòu)中這三種核心的注意力機制自注意力、編碼器-解碼器注意力交叉注意力和因果自注意力掩碼自注意力。我們會從最直觀的比喻出發(fā)深入到數(shù)學(xué)計算和代碼實現(xiàn)最后探討它們?nèi)绾螀f(xié)同工作構(gòu)成了當(dāng)今大模型時代的基石。無論你是想徹底理解BERT、GPT、ViT這些明星模型的工作原理還是計劃在自己的項目中引入注意力模塊搞懂這三種機制都是必經(jīng)之路。2. Transformer架構(gòu)總覽與注意力機制的核心角色在深入三種具體的注意力機制之前我們有必要先快速回顧一下Transformer的整體架構(gòu)理解注意力機制在其中扮演的“發(fā)動機”角色。原始的Transformer論文《Attention Is All You Need》提出的是一個用于序列到序列Seq2Seq任務(wù)的模型比如機器翻譯。它由編碼器Encoder和解碼器Decoder兩部分堆疊而成。編碼器由N個原論文中N6完全相同的層堆疊而成。每一層都包含兩個核心子層多頭自注意力機制Multi-Head Self-Attention前饋神經(jīng)網(wǎng)絡(luò)Position-wise Feed-Forward Network每個子層周圍都采用了殘差連接Residual Connection和層歸一化Layer Normalization。編碼器的任務(wù)是接收輸入序列例如一句英文并通過自注意力機制提取其內(nèi)部豐富的上下文信息將每個輸入詞元Token編碼成一個蘊含了全局上下文信息的向量表示。解碼器同樣由N個相同的層堆疊。每一層包含三個核心子層掩碼多頭自注意力機制Masked Multi-Head Self-Attention這是“因果自注意力”的具體實現(xiàn)。多頭編碼器-解碼器注意力機制Multi-Head Encoder-Decoder Attention這就是“交叉注意力”。前饋神經(jīng)網(wǎng)絡(luò)解碼器的任務(wù)是在已知編碼器輸出和已生成部分目標(biāo)序列的前提下自回歸地預(yù)測下一個詞元。注意雖然原始Transformer是編解碼結(jié)構(gòu)但后續(xù)很多著名模型只用了其中一部分。例如BERT只用了編碼器GPT系列只用了解碼器并去掉了其中的交叉注意力子層Vision Transformer (ViT) 則將圖像塊序列視為輸入使用編碼器進行處理。因此理解這三種注意力機制是理解所有Transformer變體的基礎(chǔ)。那么什么是“注意力”的通用計算模式呢拋開具體的變體其核心思想可以概括為給定一個“查詢”Query集合和一個“鍵-值”Key-Value對集合注意力機制通過計算Query與所有Key的相似度相關(guān)性來得到每個Key對應(yīng)的Value的加權(quán)和從而輸出一個聚焦于最重要信息的表示。用公式表示就是 scaled dot-product attention縮放點積注意力Attention(Q, K, V) softmax(QK^T / sqrt(d_k)) V這里Q、K、V分別是查詢、鍵、值矩陣。sqrt(d_k)是一個縮放因子用于防止點積結(jié)果過大導(dǎo)致softmax梯度消失。這個通用公式是三種注意力機制的共同數(shù)學(xué)基礎(chǔ)區(qū)別僅在于Q、K、V的來源以及是否應(yīng)用掩碼Mask。3. 核心機制一自注意力Self-Attention—— 建立序列內(nèi)部的全局關(guān)聯(lián)自注意力是Transformer的基石也是其得名“注意力就是你所需的一切”的底氣所在。它的核心思想非常簡單讓序列中的每個元素都與該序列中的所有元素包括它自己進行注意力計算。3.1 自注意力如何工作從“詞袋”到“關(guān)系網(wǎng)”想象一下我們要理解一句話“蘋果公司發(fā)布了新款手機它的設(shè)計很驚艷?！?對于傳統(tǒng)的詞嵌入模型每個詞“蘋果”、“公司”、“發(fā)布”等都被映射為一個獨立的向量它們之間缺乏明確的關(guān)聯(lián)。自注意力要做的事情就是為“蘋果”這個詞計算一個新的表示這個表示不僅包含“蘋果”自己的信息還包含了它與“公司”、“發(fā)布”、“手機”、“設(shè)計”、“驚艷”等所有詞的關(guān)系強度。具體計算步驟如下線性變換對于輸入序列中每個詞元的嵌入向量我們通過三個不同的權(quán)重矩陣W_QW_KW_V分別將其投影生成對應(yīng)的查詢向量q、鍵向量k和值向量v。這一步的目的是將原始嵌入轉(zhuǎn)換到適合計算注意力的空間。計算注意力分?jǐn)?shù)對于目標(biāo)詞元i例如“蘋果”我們?nèi)∑洳樵兿蛄縬_i與序列中所有詞元包括自身的鍵向量k_j進行點積得到一系列分?jǐn)?shù)score_{ij} q_i · k_j。這個分?jǐn)?shù)直觀地反映了詞元i對詞元j的“關(guān)注程度”?？s放與歸一化將分?jǐn)?shù)除以鍵向量維度d_k的平方根進行縮放然后通過softmax函數(shù)進行歸一化得到注意力權(quán)重α_{ij}?？s放是為了在d_k較大時防止點積結(jié)果過大導(dǎo)致softmax進入梯度極小的區(qū)域。加權(quán)求和最后將歸一化的注意力權(quán)重α_{ij}與對應(yīng)詞元的值向量v_j相乘并求和得到詞元i新的表示z_i Σ α_{ij} v_j。經(jīng)過這個過程“蘋果”的新向量z_蘋果就不再是一個孤立的“水果”或“品牌”概念而是一個融合了“蘋果公司發(fā)布了蘋果手機它的設(shè)計很驚艷”的豐富上下文信息的表示。它知道在這個句子里自己與“公司”和“手機”強相關(guān)。3.2 多頭注意力Multi-Head Attention并行化的多視角理解如果自注意力是讓模型學(xué)會關(guān)注全局那么多頭注意力就是讓模型同時從多個不同的角度進行關(guān)注。這是Transformer性能強大的一個關(guān)鍵設(shè)計。單一的自注意力機制可以學(xué)習(xí)到一種特定的依賴模式。但在復(fù)雜的語言或視覺模式中詞語或圖像塊之間的關(guān)系是多元的。例如“蘋果”和“公司”之間可能是“所屬”關(guān)系而“蘋果”和“設(shè)計”之間可能是“評價”關(guān)系。單頭注意力可能難以同時捕獲所有這些不同類型的關(guān)系。多頭注意力的做法是將查詢Q、鍵K、值V通過不同的線性投影矩陣并行地投影到h個例如8個更低維的子空間。在每個子空間稱為一個“頭”上獨立執(zhí)行縮放點積注意力計算。將h個頭計算出的結(jié)果拼接Concat起來。最后通過一個線性投影矩陣W_O將拼接后的結(jié)果映射回預(yù)期的維度。公式表示為MultiHead(Q, K, V) Concat(head_1 ... head_h) W_Owhere head_i Attention(QW_i^Q KW_i^K VW_i^V)這相當(dāng)于讓模型擁有了多組“感官”或“專家”每組專注于捕捉不同子空間中的依賴關(guān)系——有的頭可能專注于語法結(jié)構(gòu)有的頭可能專注于指代關(guān)系有的頭可能專注于情感色彩。最后再將所有視角的信息融合得到更全面、更魯棒的表示。實操心得在實現(xiàn)多頭注意力時一個高效的技巧是使用矩陣運算一次性完成所有頭的計算。我們并不需要真的創(chuàng)建h個獨立的矩陣然后循環(huán)計算。而是將QKV的維度從(batch_size seq_len d_model)通過線性變換和重塑reshape為(batch_size num_heads seq_len d_head)其中d_head d_model / num_heads。然后利用矩陣乘法的廣播機制一次性計算出所有頭的注意力輸出再重塑回來。這能極大利用GPU的并行計算能力。4. 核心機制二編碼器-解碼器注意力交叉注意力—— 連接兩個世界的橋梁在序列到序列的任務(wù)中如機器翻譯、文本摘要我們需要將源語言序列編碼器輸出的信息有效地傳遞并指導(dǎo)目標(biāo)語言序列解碼器的生成。這就是編碼器-解碼器注意力也稱為交叉注意力的用武之地。4.1 為何需要交叉注意力解碼器在生成目標(biāo)序列的每一個詞時它需要知道源序列的哪些部分是當(dāng)前最相關(guān)的。例如將英文“I love machine learning”翻譯成中文“我熱愛機器學(xué)習(xí)”。當(dāng)解碼器生成“學(xué)習(xí)”這個詞時它應(yīng)該高度關(guān)注源句中的“l(fā)earning”而不是“I”或“l(fā)ove”。交叉注意力機制提供了這種動態(tài)的、軟對齊的能力它比傳統(tǒng)的基于硬對齊如統(tǒng)計機器翻譯中的對齊表的方法更靈活、更強大。4.2 交叉注意力的計算邏輯交叉注意力發(fā)生在解碼器的每一層中在掩碼自注意力層之后。它的計算模式與自注意力完全相同都遵循Attention(Q K V) softmax(QK^T / sqrt(d_k)) V的公式。關(guān)鍵區(qū)別在于QKV的來源不同。查詢Q來源于解碼器上一層的輸出?？梢岳斫鉃榻獯a器當(dāng)前正在努力構(gòu)建的目標(biāo)序列表示它提出“問題”我現(xiàn)在該關(guān)注源序列的什么信息鍵K和值V都來源于編碼器最后一層的輸出。這是源序列經(jīng)過深度理解后的上下文表示它提供了可供查詢的“知識庫”。計算過程如下解碼器當(dāng)前的狀態(tài)作為Q去“查詢”編碼器的記憶K。計算Q和K中所有元素的相似度得到注意力權(quán)重。這個權(quán)重矩陣的每一行代表了在生成目標(biāo)序列某個位置時對源序列所有位置的關(guān)注程度。用這個權(quán)重對編碼器的值V通常V與K相同進行加權(quán)求和得到一個“上下文向量”。這個向量融合了源序列中與當(dāng)前生成步驟最相關(guān)的信息。將這個上下文向量與解碼器原有的表示結(jié)合輸入到后續(xù)的前饋網(wǎng)絡(luò)最終預(yù)測出下一個詞元。通過這種方式解碼器在生成每一個詞時都能動態(tài)地、有選擇地從源序列中提取信息實現(xiàn)了真正意義上的“內(nèi)容感知”生成。注意事項在訓(xùn)練時交叉注意力層的梯度會通過注意力權(quán)重反向傳播到編碼器。這意味著編碼器會被訓(xùn)練成能夠產(chǎn)生對解碼器有用的鍵值表示。這是一種端到端的聯(lián)合優(yōu)化編碼器和解碼器在訓(xùn)練中相互適應(yīng)。5. 核心機制三因果自注意力掩碼自注意力—— 確保未來的不可見性因果自注意力也稱為掩碼自注意力是Transformer解碼器獨有的設(shè)計用于實現(xiàn)自回歸生成。自回歸生成是像GPT這樣的語言模型的核心工作方式根據(jù)已經(jīng)生成的詞來預(yù)測下一個詞。5.1 自回歸生成的核心約束在訓(xùn)練或生成時對于一個目標(biāo)序列“我 熱愛 機器 學(xué)習(xí)”當(dāng)模型預(yù)測第三個詞“機器”時它只能看到“我”和“熱愛”而不能看到未來的詞“學(xué)習(xí)”。如果它看到了“學(xué)習(xí)”那么預(yù)測“機器”就變成了一個平凡的任務(wù)因為知道了答案模型無法學(xué)會真正的語言建模能力。因此必須施加一個約束每個位置只能關(guān)注該位置之前包括當(dāng)前位置的位置而不能關(guān)注之后的位置。5.2 掩碼的實現(xiàn)機制這個約束是通過一個“注意力掩碼”來實現(xiàn)的。具體來說在計算注意力分?jǐn)?shù)矩陣S QK^T之后在送入softmax之前我們對這個矩陣進行處理。我們創(chuàng)建一個下三角矩陣Lower Triangular Matrix其對角線及左下角元素為0或一個很小的負數(shù)如-1e9右上角未來位置元素為一個極大的負數(shù)如 -inf。有效位置為0 未來位置為 -inf [[0 -inf -inf -inf] [0 0 -inf -inf] [0 0 0 -inf] [0 0 0 0]]將這個掩碼矩陣加到注意力分?jǐn)?shù)矩陣S上。再進行softmax計算。由于softmax對-inf的輸入會輸出0因此未來位置的注意力權(quán)重被強制設(shè)為0。這樣對于序列中的第i個位置其輸出z_i就只依賴于位置1到i的輸入完美滿足了自回歸的要求。實操心得與常見陷阱訓(xùn)練與推理的一致性在訓(xùn)練解碼器時我們通常使用“教師強制”策略即即便在預(yù)測第i個詞時我們也知道第i個詞的真實標(biāo)簽作為輸入。但即便如此掩碼也必須存在以確保模型在訓(xùn)練時學(xué)到的分布與推理時只能看到自己生成的歷史的分布是一致的。這是成功訓(xùn)練自回歸模型的關(guān)鍵。并行化訓(xùn)練掩碼的存在使得解碼器在訓(xùn)練時仍然是并行的我們一次性輸入整個目標(biāo)序列右移一位后的即起始符真實序列但通過掩碼每個位置的計算在數(shù)學(xué)上等價于只能看到歷史信息。這比RNN的串行訓(xùn)練快得多。掩碼的添加時機務(wù)必在縮放點積之后、softmax之前添加掩碼。如果在softmax之后添加由于softmax已經(jīng)將-inf轉(zhuǎn)換為了0再乘0沒有意義但更關(guān)鍵的是在softmax之前添加-inf能確保未來位置的概率嚴(yán)格為0梯度也為0。6. 位置編碼Positional Encoding為無位置感知的注意力注入順序信息這是一個必須與注意力機制放在一起討論的核心組件。細心的你可能已經(jīng)發(fā)現(xiàn)自注意力機制對輸入序列的處理是完全置換不變的。也就是說打亂輸入序列的順序計算出的注意力權(quán)重和輸出在數(shù)學(xué)上只會隨之置換但模型本身無法感知“第一個詞”和“第二個詞”在原始序列中的先后關(guān)系。對于語言、時間序列等依賴順序的信息來說這是致命的缺陷。位置編碼就是為了解決這個問題而生的。它的作用是為序列中每個位置的詞元嵌入向量添加一個代表其位置信息的獨特向量。6.1 正弦余弦位置編碼的原理原始Transformer論文提出了一種非常巧妙且固定的位置編碼方式使用不同頻率的正弦和余弦函數(shù)PE(pos 2i) sin(pos / 10000^(2i/d_model))PE(pos 2i1) cos(pos / 10000^(2i/d_model))其中pos是位置i是維度索引。這種編碼方式有幾個優(yōu)良特性唯一性每個位置都有唯一的編碼。相對位置關(guān)系可學(xué)習(xí)對于固定的偏移量kPE(posk)可以表示為PE(pos)的線性函數(shù)這意味著模型可以很容易地學(xué)會關(guān)注相對位置信息。能處理比訓(xùn)練時更長的序列由于是三角函數(shù)它可以外推到訓(xùn)練時未見過的更長序列位置盡管效果可能下降。6.2 位置編碼與注意力的結(jié)合在實際操作中位置編碼PE與詞嵌入WE直接相加作為編碼器和解碼器第一層的輸入Input WE PE。通過這種方式模型在計算注意力時QKV中已經(jīng)包含了位置信息因此它可以學(xué)習(xí)到像“相鄰詞匯通常關(guān)系更緊密”這樣的模式。擴展與變體可學(xué)習(xí)的位置編碼直接將位置編碼作為可訓(xùn)練的參數(shù)與模型一起學(xué)習(xí)。這在BERT等模型中很常見。它更靈活但可能缺乏三角函數(shù)編碼的外推能力。相對位置編碼上述的絕對位置編碼有一個潛在問題它假設(shè)位置信息是絕對重要的。但很多時候兩個元素之間的相對距離如相距3個詞比它們的絕對位置第5個詞和第8個詞更重要。因此像Transformer-XL、T5等模型采用了相對位置編碼將位置信息注入到注意力分?jǐn)?shù)的計算中直接建模元素間的相對距離關(guān)系效果通常更好尤其是對于長文本。在視覺Transformer中的應(yīng)用在ViT中除了對圖像塊序列添加一維位置編碼有時還會使用二維位置編碼將行、列位置信息分開編碼再合并來更好地保留圖像的空間結(jié)構(gòu)信息。7. 三種注意力機制的協(xié)同與變體模型解析理解了這三種核心機制我們就能像搭積木一樣理解各種著名的Transformer變體模型。BERT (Bidirectional Encoder Representations from Transformers)它只使用了Transformer編碼器。因此它的核心是多頭自注意力并且是“雙向”的即每個詞能同時看到左右上下文因為沒有解碼器的掩碼。BERT通過MLM掩碼語言模型任務(wù)進行預(yù)訓(xùn)練學(xué)習(xí)強大的上下文表征。GPT (Generative Pre-trained Transformer)它只使用了Transformer解碼器并且去掉了其中的編碼器-解碼器注意力層。因此GPT的核心是因果自注意力掩碼多頭自注意力和前饋網(wǎng)絡(luò)。它通過標(biāo)準(zhǔn)的自回歸語言模型任務(wù)進行預(yù)訓(xùn)練學(xué)習(xí)生成文本的能力。原始Transformer / T5 / BART這些是完整的編碼器-解碼器架構(gòu)。編碼器使用自注意力理解源序列解碼器則依次使用因果自注意力關(guān)注已生成目標(biāo)歷史和交叉注意力關(guān)注編碼器源信息來生成目標(biāo)序列。適用于翻譯、摘要、問答等需要從源到目標(biāo)轉(zhuǎn)換的任務(wù)。Vision Transformer (ViT)它將圖像分割成塊視為一個序列然后直接輸入到Transformer編碼器自注意力中進行處理。它需要強大的位置編碼通常是可學(xué)習(xí)的一維或二維編碼來彌補自注意力對空間位置不敏感的缺陷。常見問題與排查技巧實錄訓(xùn)練時Loss震蕩或不收斂檢查點首先檢查縮放因子sqrt(d_k)是否被正確應(yīng)用。如果忘記縮放在d_k較大時如512、1024點積QK^T的值會非常大導(dǎo)致softmax梯度接近于0訓(xùn)練困難。檢查點檢查位置編碼是否正確添加。如果忘記添加模型將無法學(xué)習(xí)序列順序在語言任務(wù)上性能會極差。檢查點檢查注意力掩碼對于解碼器或BERT的MLM是否正確實現(xiàn)。錯誤的掩碼會導(dǎo)致信息泄露如未來信息被看到或該被關(guān)注的詞未被關(guān)注。推理時生成結(jié)果重復(fù)或無意義檢查點對于自回歸模型GPT類確保在推理時每一步都正確應(yīng)用了因果掩碼。一個常見錯誤是在推理循環(huán)中重復(fù)使用了訓(xùn)練時整個序列的掩碼而不是動態(tài)地為當(dāng)前生成的序列長度生成掩碼。檢查點檢查交叉注意力的輸入是否正確。在解碼器推理時每一步傳遞給交叉注意力層的編碼器輸出KV應(yīng)該是固定不變的整個源序列的編碼結(jié)果而查詢Q是當(dāng)前解碼器的隱狀態(tài)。多頭注意力效果不如單頭檢查點檢查d_model是否能被num_heads整除。d_head d_model / num_heads必須是整數(shù)。如果不是需要調(diào)整維度。檢查點檢查每個頭的輸出在拼接后經(jīng)過最終線性投影W_O的維度是否正確。輸出維度應(yīng)等于d_model。檢查點在資源有限時頭數(shù)并非越多越好。過多的頭數(shù)可能導(dǎo)致每個頭的表征能力d_head過小反而影響性能。通常d_head在64左右是一個經(jīng)驗值。處理長序列時內(nèi)存溢出OOM根源注意力矩陣的大小是(batch_size num_heads seq_len seq_len)。當(dāng)seq_len很大時如超過1024或2048這個矩陣會消耗巨大的內(nèi)存。解決方案優(yōu)化技巧使用梯度檢查點以時間換空間在反向傳播時重新計算部分前向結(jié)果。算法改進研究并應(yīng)用高效注意力機制如Linformer低秩近似、Longformer局部全局注意力、BigBird稀疏注意力、FlashAttentionIO感知的精確注意力算法等。這些方法能顯著降低內(nèi)存和計算復(fù)雜度。工程手段減少批次大小batch size或使用模型并行。8. 從原理到實踐一個簡化的注意力模塊代碼剖析理論說了這么多最后我們通過一個高度簡化但核心邏輯完整的PyTorch實現(xiàn)將自注意力的過程串聯(lián)起來。這能幫助你鞏固理解并作為自己實現(xiàn)的起點。import torch import torch.nn as nn import torch.nn.functional as F import math class SimpleSelfAttention(nn.Module): 一個簡化的單頭自注意力模塊包含位置編碼。 def __init__(self d_model d_k d_v): super().__init__() self.d_k d_k # 定義線性變換層 self.W_q nn.Linear(d_model d_k) # 查詢變換 self.W_k nn.Linear(d_model d_k) # 鍵變換 self.W_v nn.Linear(d_model d_v) # 值變換 self.W_o nn.Linear(d_v d_model) # 輸出變換 def forward(self x maskNone): Args: x: 輸入張量形狀為 (batch_size seq_len d_model) mask: 可選掩碼形狀為 (batch_size seq_len seq_len) 或 (seq_len seq_len) Returns: 輸出張量形狀同輸入x batch_size seq_len _ x.shape # 1. 線性投影得到Q K V Q self.W_q(x) # (batch seq d_k) K self.W_k(x) # (batch seq d_k) V self.W_v(x) # (batch seq d_v) # 2. 計算縮放點積注意力分?jǐn)?shù) scores torch.matmul(Q K.transpose(-2 -1)) / math.sqrt(self.d_k) # (batch seq seq) # 3. 應(yīng)用注意力掩碼如果提供 if mask is not None: # 通常mask中1表示需要被掩蓋的位置我們將其替換為一個很大的負數(shù) scores scores.masked_fill(mask 1 -1e9) # 4. 應(yīng)用softmax得到注意力權(quán)重 attn_weights F.softmax(scores dim-1) # (batch seq seq) # 5. 加權(quán)求和得到上下文向量 context torch.matmul(attn_weights V) # (batch seq d_v) # 6. 輸出投影 output self.W_o(context) # (batch seq d_model) return output attn_weights # 返回輸出和注意力權(quán)重用于可視化或分析 # 示例使用正弦余弦位置編碼 class PositionalEncoding(nn.Module): def __init__(self d_model max_len5000): super().__init__() pe torch.zeros(max_len d_model) position torch.arange(0 max_len).unsqueeze(1) div_term torch.exp(torch.arange(0 d_model 2) * -(math.log(10000.0) / d_model)) pe[: 0::2] torch.sin(position * div_term) pe[: 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0) # (1 max_len d_model) self.register_buffer(pe pe) # 不是模型參數(shù)但會隨模型保存/加載 def forward(self x): # x: (batch seq_len d_model) return x self.pe[: :x.size(1) :] # 組合使用示例 d_model 512 d_k d_v 64 seq_len 10 batch_size 4 # 模擬輸入詞嵌入 input_embeddings torch.randn(batch_size seq_len d_model) # 添加位置編碼 pos_encoder PositionalEncoding(d_model) x_with_pos pos_encoder(input_embeddings) # 創(chuàng)建自注意力層 attn_layer SimpleSelfAttention(d_model d_k d_v) # 前向傳播無掩碼即編碼器自注意力 output attn_weights attn_layer(x_with_pos) print(f輸入形狀 {input_embeddings.shape}) print(f輸出形狀 {output.shape}) print(f注意力權(quán)重形狀 {attn_weights.shape}) # 模擬一個因果掩碼下三角矩陣為0上三角為1 causal_mask torch.triu(torch.ones(seq_len seq_len) diagonal1).bool() print(因果掩碼True表示需要掩蓋) print(causal_mask) # 使用掩碼模擬解碼器 output_masked _ attn_layer(x_with_pos maskcausal_mask.unsqueeze(0)) # 增加batch維度這段代碼清晰地展示了從輸入到輸出的完整流程。在實際的Transformer實現(xiàn)中你會看到更復(fù)雜的多頭注意力類它封裝了多個這樣的“頭”并處理了所有的線性變換、重塑和拼接操作。但核心的scaled_dot_product_attention計算邏輯是完全一致的。理解這三種注意力機制就如同掌握了Transformer這座大廈的承重結(jié)構(gòu)。自注意力賦予了模型理解上下文的能力交叉注意力搭建了信息傳遞的橋梁而因果自注意力則保證了生成過程的合理性。位置編碼則是讓這一切成為可能的“膠水”。當(dāng)你下次閱讀BERT、GPT或ViT的論文或代碼時嘗試去識別其中哪些部分是自注意力哪些部分應(yīng)用了何種掩碼你會有一種豁然開朗的感覺。這不僅僅是理解一個模型更是掌握了一套構(gòu)建下一代智能系統(tǒng)的核心范式。