制的演進(jìn)之路)
很多剛接觸語音識別的同學(xué)第一次看到“HMM、CTC、RNN-T”這三個詞并列都會愣一下一個上世紀(jì)七十年代起家的老牌模型一個靠空標(biāo)簽把端到端訓(xùn)練變得可行的損失函數(shù)一個現(xiàn)在流式識別里最常聽到的架構(gòu)為什么要放在同一個章節(jié)里講其實它們沿著同一條線索遞進(jìn)——都在處理“語音幀序列”與“文本標(biāo)簽序列”之間的對齊問題。標(biāo)題里的Chapter1-5是語音識別課程里常見的章節(jié)順序?qū)R這一部分正好把前面的聲學(xué)特征、字典、語言模型和解碼器串成一條完整的鏈路。這篇文章我更想把它寫成一份工程筆記不只講HMM、CTC、RNN-T的公式長什么樣還想說清楚為什么這幾代方法要對“對齊”這件事反復(fù)折騰以及我在實際訓(xùn)練和調(diào)模型時踩過的那些跟對齊有關(guān)的坑。1. 對齊問題到底是什么從“先分段還是先識別”說起1.1 一段語音和一個句子的長度鴻溝原始音頻通常按25ms一幀、10ms移步取特征一分鐘語音大概6000幀但對應(yīng)文本可能只有幾百個字。字符或者詞片數(shù)和幀數(shù)之間沒有天然的一對一關(guān)系。更麻煩的是同一個字在語速快慢不同時持續(xù)時長可能差出一倍相鄰音節(jié)之間還常有停頓、送氣、協(xié)同發(fā)音根本沒有一個絕對客觀的邊界能直接切出“這是第幾個字的第幾幀”。語音識別內(nèi)部所有對齊機(jī)制做的都是同一件事建立從幀序列到標(biāo)簽序列的映射。實際項目里對齊不只出現(xiàn)在訓(xùn)練損失函數(shù)里。訓(xùn)練數(shù)據(jù)清洗要對齊強(qiáng)制標(biāo)注要對齊流式識別要判斷“這個字應(yīng)該在什么時候吐出來”口語評測要對齊每個音素的起始時間。所以我一直覺得理解語音識別不能只站在“分類”角度看更要站在“序列配準(zhǔn)”角度看。把 HMM、CTC、RNN-T 三條路線放在一起對比你會看到不同時代的人是怎樣一次次嘗試回答同一個問題的。1.2 所謂“對齊”其實是三條不同的契約HMM、CTC、RNN-T雖然都在做對齊但三者的思想差別非常大?？梢钥醋魅N不同的契約。HMM的契約是模型先有一個隱狀態(tài)序列每個狀態(tài)對應(yīng)音素或音素的子段狀態(tài)按順序轉(zhuǎn)移同時每個狀態(tài)產(chǎn)生一個觀測幀。最終文本順序由狀態(tài)轉(zhuǎn)移順序保證幀與狀態(tài)之間是一種“一對一”的對應(yīng)只是哪一幀對齊到哪個狀態(tài)需要推斷。CTC的契約是每個時刻預(yù)測一個標(biāo)簽或空標(biāo)簽空標(biāo)簽專門表示“什么都沒說”。把連續(xù)重復(fù)的標(biāo)簽合并成一個、把所有空標(biāo)簽刪掉之后剩下的序列必須等于目標(biāo)文本。這樣一來每幀一個輸出但很多輸出可以是同一個標(biāo)簽也可以輸出空。RNN-T的契約是每個時間步先利用當(dāng)前幀和歷史輸出決定輸出一個真實標(biāo)簽還是空標(biāo)簽。如果輸出真實標(biāo)簽同一幀還可以繼續(xù)再輸出下一個標(biāo)簽如果輸出空才消耗當(dāng)前幀。標(biāo)簽序列內(nèi)部始終保持順序幀和標(biāo)簽之間的聯(lián)系是單調(diào)的但不要求幀和標(biāo)簽一一對應(yīng)。區(qū)分之后你自然會發(fā)現(xiàn)HMM里對齊是生成模型的隱變量CTC里對齊是過程性的中間表示RNN-T里對齊是帶記憶的決策結(jié)果。三者看待“幀-標(biāo)簽配準(zhǔn)”的方式完全不同所以訓(xùn)練和解碼的復(fù)雜度也完全不同。2. HMM的對齊隱變量、前向后向和強(qiáng)制對齊的土辦法2.1 生成式模型里的狀態(tài)與發(fā)射HMM用于語音識別時通常一個音素被拆成幾個狀態(tài)比如三狀態(tài)分別表示音素的起始、穩(wěn)態(tài)、結(jié)束。每個狀態(tài)對應(yīng)一個發(fā)射分布早期用高斯混合模型建模后來在混合系統(tǒng)里用神經(jīng)網(wǎng)絡(luò)輸出擬合狀態(tài)后驗。每個狀態(tài)可以轉(zhuǎn)移到自身停留時間由自環(huán)概率決定。從聲學(xué)特征視角看一幀特征是由某個狀態(tài)生成的而狀態(tài)序列隨時間單調(diào)向前走語音的長短變化被自環(huán)和轉(zhuǎn)移概率吸收掉了。這里要特別注意HMM對“對齊”的定義非常強(qiáng)它假設(shè)狀態(tài)集合是有意義的子詞單位字典會告訴模型哪個詞由哪些音素組成。輸入幀數(shù)可以變但狀態(tài)順序只會線性推進(jìn)。如果在音頻里一個詞被讀了兩遍HMM對齊不會允許同一個狀態(tài)序列重復(fù)出現(xiàn)在同一個詞單元里因為狀態(tài)圖里這個詞到那個詞的連接方式是定死的。這種強(qiáng)約束在早期計算資源受限時是好事因為它大幅縮小了搜索空間但也讓它應(yīng)對真實口語時很僵硬比如讀錯、重讀、插入音等。2.2 Baum-Welch看不見的對齊怎么訓(xùn)練因為對齊是隱變量訓(xùn)練HMM時不能用簡單的交叉熵直接標(biāo)注“幀屬于哪個狀態(tài)”。標(biāo)準(zhǔn)做法是用EM算法里的Baum-Welch迭代。前向概率算的是“截至當(dāng)前幀處在某個狀態(tài)且已經(jīng)生成這些觀測的累計概率”后向概率算的是“從當(dāng)前狀態(tài)出發(fā)能生成后續(xù)觀測的概率”。兩個概率合起來再加權(quán)統(tǒng)計每個狀態(tài)轉(zhuǎn)移或發(fā)射的出現(xiàn)次數(shù)然后更新模型參數(shù)如此迭代直到收斂。這套機(jī)制聽起來復(fù)雜但它的核心思想值得反復(fù)體會我們不知道對齊但可以算“所有可能對齊的加權(quán)平均”。這其實就是后來CTC和RNN-T訓(xùn)練里前向后向算法的雛形。區(qū)別在于HMM里的對齊是狀態(tài)級的狀態(tài)轉(zhuǎn)移概率本身會參與訓(xùn)練CTC和RNN-T里是標(biāo)簽級的路徑?jīng)]有顯式的狀態(tài)時長模型時長信息被空標(biāo)簽和重復(fù)規(guī)則吸收。理解這個遞進(jìn)關(guān)系比死記公式有用得多。2.3 工程落地強(qiáng)制對齊的價值與損耗傳統(tǒng)混合系統(tǒng)里訓(xùn)練神經(jīng)網(wǎng)絡(luò)聲學(xué)模型之前往往需要先做強(qiáng)制對齊用訓(xùn)練好的GMM-HMM對每條音頻跑一次Viterbi得到每一幀對應(yīng)的音素或狀態(tài)標(biāo)簽這些標(biāo)簽再拿去訓(xùn)練神經(jīng)網(wǎng)絡(luò)。這個流程在很長一段時間里是工業(yè)界標(biāo)準(zhǔn)動作直到現(xiàn)在很多數(shù)據(jù)標(biāo)注工具還在用類似思路。但強(qiáng)制對齊的坑也很多。最典型的是靜音段。如果詞典里沒有專門的靜音音素對齊時靜音幀會被強(qiáng)行塞給相鄰音素導(dǎo)致音素邊界偏向靜音尤其是在句首句尾。另一個問題是如果音頻和文本不對應(yīng)比如說話人讀錯詞了但文本沒改強(qiáng)制對齊會靠轉(zhuǎn)移概率硬湊產(chǎn)生一些完全不符合聽覺常識的狀態(tài)跳變。所以我在做數(shù)據(jù)清洗時檢查對齊結(jié)果不看準(zhǔn)確率而是看對齊路徑里有沒有“狀態(tài)來回震蕩”或“某個狀態(tài)的時長突然短到離譜”。有這種跡象的基本需要返工這個經(jīng)驗后面還會展開講。3. CTC的對齊讓模型自己決定重復(fù)和停頓3.1 blank和重復(fù)坍縮把唯一路徑變成路徑集合CTC的核心貢獻(xiàn)是在輸出類別集合里加了一個空標(biāo)簽一般記作 blank。訓(xùn)練時每個時間步模型輸出一個類別概率分布一個完整的時間對齊路徑就是幀數(shù)長度的類別序列。把這個路徑里連續(xù)重復(fù)的相同標(biāo)簽合并成一個再把所有 blank刪掉得到的才是最終文本。比如目標(biāo)文本是“a”合法路徑可以是“a”“aa”“a_”“_a”“aa”等等只要經(jīng)過合并和去blank后得到“a”就行。CTC的損失就是所有合法路徑的條件概率之和。為什么要設(shè)計這樣一層繞來繞去的規(guī)則本質(zhì)上是從HMM那里學(xué)來的松弛做法。HMM要求狀態(tài)序列和幀之間嚴(yán)格對齊建模復(fù)雜CTC跳出顯式的子詞狀態(tài)概念直接把標(biāo)簽當(dāng)輸出把對齊當(dāng)作中間變量通過“重復(fù)空”來容忍時長的伸縮。這給訓(xùn)練帶來很大便利只要輸入序列和輸出序列是單調(diào)可配對的就能做端到端訓(xùn)練不需要外部字典不需要決策樹聚類也不需要人工定義音素狀態(tài)。3.2 前向-后向算法在CTC里的局部和整體合法路徑數(shù)量非常龐大不可能枚舉。CTC訓(xùn)練用的是帶前向變量 alpha(t, u) 的遞歸其中 t 是幀時間u 是輸出序列的位置。每一步可以從兩個方向轉(zhuǎn)移一是從當(dāng)前輸出位置繼續(xù)走保持或重復(fù)當(dāng)前標(biāo)簽二是從上一個輸出位置跳過來。前向變量把“到時刻t為止、輸出到位置u”的所有路徑概率累積起來反過來后向變量再從末尾往回收一次兩者合起來就能算出每個時刻每個位置的“總概率”然后對網(wǎng)絡(luò)輸出概率求梯度。整個遞歸每一步只涉及當(dāng)前時間步的局部轉(zhuǎn)移訓(xùn)練效率很高。如果你用CTC訓(xùn)練過模型一定見過訓(xùn)練曲線的典型特征剛開始損失下降很快因為模型在學(xué)“別亂輸出”到后期blank概率變得很高模型傾向先輸出一批標(biāo)簽再用一堆blank拖著等待后面信息。這說明模型正在用自己的方式找對齊。實際上一旦訓(xùn)練收斂CTC的blank位置往往對應(yīng)語音里的靜音或音素之間的間隔。我經(jīng)常把blank概率曲線可視化它能直觀告訴你模型認(rèn)為哪段音頻是“空”的。3.3 CTC模型最讓人頭疼的條件獨立與延遲問題CTC有一個基礎(chǔ)假設(shè)給定輸入特征每一幀的輸出相互獨立。這意味著模型無法直接利用已經(jīng)識別出的詞句來修正下一個字的判斷只能靠聲學(xué)特征本身。所以在識別“我去公園玩”這類句子時純CTC容易在“公園”和“公元”之間犯錯后續(xù)語言模型可以糾正但訓(xùn)練階段沒有這個能力。工程上大家通常會再接一個語言模型做重打分或者把CTC和其他序列模型結(jié)合來補(bǔ)上下文。其次是延遲問題。CTC在流式場景里常用但有一個老毛病為了讓輸出路徑盡量保證單調(diào)模型傾向于先輸出大量blank等積累足夠信息后再吐標(biāo)簽這就造成標(biāo)簽輸出相對真實語音滯后。常見緩解辦法是在流式識別里加延遲懲罰或者設(shè)計尖峰約束讓標(biāo)簽盡量集中在語音能量強(qiáng)的位置。如果你拿一個純CTC模型做實時識別會發(fā)現(xiàn)識別結(jié)果沒錯但出字時間比說話內(nèi)容慢了幾百毫秒這個在交互場景里體驗很差。4. RNN-T的對齊逐幀決策里塞進(jìn)序列記憶4.1 三張網(wǎng)絡(luò)各管一段編碼器、預(yù)測器、聯(lián)合器RNN-T也就是RNN Transducer核心是三網(wǎng)絡(luò)架構(gòu)。編碼器負(fù)責(zé)讀入當(dāng)前幀以及周圍聲學(xué)上下文輸出聲學(xué)表征預(yù)測網(wǎng)絡(luò)接收之前已經(jīng)識別出來的標(biāo)簽比如上一個字或詞片輸出“接下來該說什么”的表征聯(lián)合網(wǎng)絡(luò)把兩者融合產(chǎn)生在輸出標(biāo)簽集合上加空標(biāo)簽的一個概率分布。關(guān)鍵區(qū)別在于RNN-T每一步預(yù)測“要不要輸出一個標(biāo)簽”不是只靠當(dāng)前幀而是同時依賴前面已經(jīng)輸出的標(biāo)簽。相當(dāng)于每個時刻模型都會結(jié)合“我剛才說到哪了”來決定現(xiàn)在該不該往外蹦詞。這就不存在CTC那種輸出條件獨立問題。這個特性讓RNN-T自帶語言建模能力看起來像是“CTC加了一個條件語言模型”但它和外部語言模型不一樣外部語言模型是識別后再插進(jìn)去的RNN-T直接在學(xué)習(xí)目標(biāo)里就帶著對歷史輸出的依賴。4.2 空標(biāo)簽與循環(huán)RNN-T的路徑是怎么走出來的直觀上RNN-T到底是一幀對應(yīng)一個標(biāo)簽還是多幀對應(yīng)一個標(biāo)簽答案是都有可能靠同一個時刻內(nèi)的循環(huán)實現(xiàn)。標(biāo)準(zhǔn)流程是模型在當(dāng)前幀和當(dāng)前輸出位置聯(lián)合網(wǎng)絡(luò)給出一個概率分布。如果選擇空標(biāo)簽就消耗這一幀推進(jìn)到下一幀如果選擇非空標(biāo)簽就輸出這個標(biāo)簽同時把輸出位置推進(jìn)到下一個位置但當(dāng)前幀還保留。同一個幀內(nèi)可以連續(xù)預(yù)測多個標(biāo)簽直到選擇空標(biāo)簽才進(jìn)到下一幀。這個邏輯既能處理慢速發(fā)音很多幀才一個音也能處理快速連續(xù)輸出一個幀內(nèi)要吐好幾個字符。訓(xùn)練時損失函數(shù)也是對所有合法對齊路徑求和。這個和可以用一個二維格子上的前向-后向遞歸來算橫軸是幀縱軸是輸出標(biāo)簽位置每個狀態(tài)有兩個轉(zhuǎn)移方向一個由空標(biāo)簽驅(qū)動一個由真實標(biāo)簽驅(qū)動。雖然比CTC多一維因為多了一個預(yù)測網(wǎng)絡(luò)的狀態(tài)但核心思想仍然是“把所有可能對齊路徑的概率加起來”。4.3 和HMM、CTC相比的實質(zhì)變化從對齊視角看RNN-T和HMM、CTC的差別很清晰。和HMM比RNN-T沒有顯式的子詞狀態(tài)序列也不需要字典和決策樹共享狀態(tài)時長信息通過空標(biāo)簽和循環(huán)來吸收訓(xùn)練目標(biāo)是判別式的序列概率而不是生成式模型。和CTC比RNN-T的輸出不是每幀一個而是通過循環(huán)來決定預(yù)測網(wǎng)絡(luò)讓每一步輸出的概率都依賴已經(jīng)輸出的序列這一點是CTC做不到的。正因為結(jié)構(gòu)天然適合流式處理RNN-T在實時語音識別領(lǐng)域很流行。它可以隨音頻幀增量計算不需要看一眼完整句子再輸出同時語言信息直接在模型內(nèi)部建模一般比同等規(guī)模的CTC在相同測試集上表現(xiàn)更好。不過訓(xùn)練和推理成本也更高聯(lián)合網(wǎng)絡(luò)要融合兩路信息解碼器每步都要跑預(yù)測網(wǎng)絡(luò)beam search的復(fù)雜度比CTC大不少。5. 從對齊到上線三種方案的實際取舍和我踩過的坑5.1 場景選型離線、流式、資源受限怎么選不少人一上來就想用RNN-T但實際落地要看你手頭的資源和產(chǎn)品形態(tài)。如果只是處理一批離線錄音不要求實時出字用CTC加語言模型重打分往往又快又穩(wěn)如果是手機(jī)端實時語音助手RNN-T確實是主流但對算子融合、量化、內(nèi)存占用要求都很高否則延遲控制不住如果你面對的是極小規(guī)模的嵌入式芯片傳統(tǒng)混合系統(tǒng)或經(jīng)過剪枝的CTC可能更現(xiàn)實。維度HMM/GMM混合系統(tǒng)CTCRNN-T對齊形態(tài)隱狀態(tài)序列子詞狀態(tài)幀級標(biāo)簽序列含blank幀與標(biāo)簽間的單調(diào)遞進(jìn)決策是否需要外部詞典通常需要不需要也可以不需要輸出依賴由狀態(tài)轉(zhuǎn)移限制條件獨立依賴歷史輸出流式支持可以但延遲較大可以用注意標(biāo)簽滯后天然適合流式訓(xùn)練成本有復(fù)雜對齊管道中高資源受限設(shè)備成熟但系統(tǒng)復(fù)雜輕量高效較重需裁剪HMM本身也不是沒有價值。它的強(qiáng)制對齊能力在很多數(shù)據(jù)產(chǎn)線里仍然被用來打音素級標(biāo)簽發(fā)音詞典校驗、口語評測、語音切分都還需要精確的音素邊界。所以別急著把HMM掃進(jìn)歷史垃圾堆它更像是“對齊基礎(chǔ)設(shè)施”。不同方案之間不是簡單的替代關(guān)系而是各自解決不同層次的需求。5.2 對齊結(jié)果本身也是一種數(shù)據(jù)資產(chǎn)不管用HMM強(qiáng)制對齊、CTC的blank后驗還是RNN-T解碼時的標(biāo)簽觸發(fā)時間對齊的產(chǎn)出都可以沉淀下來重復(fù)使用。HMM強(qiáng)制對齊得到幀級音素邊界能輔助發(fā)音詞典校驗和發(fā)音評測CTC的blank概率曲線可以判斷一段音頻里是否有過長靜音、多說話人切換或者文本錯位RNN-T解碼時每個非空標(biāo)簽的觸發(fā)時間本質(zhì)上就是系統(tǒng)認(rèn)為“現(xiàn)在該出這個字了”的時刻可以用來做實時字幕、數(shù)字人口型同步。我在實際項目中做過這樣一件事拿一個已經(jīng)收斂的CTC模型把所有訓(xùn)練音頻跑一遍輸出每幀的標(biāo)簽概率再統(tǒng)計每段音頻的對齊路徑和標(biāo)簽文本的一致性。很多錯誤樣本比如文本和實際發(fā)音不一致往往會在錯誤位置出現(xiàn)一個“高概率真實標(biāo)簽但和文本完全不同”的峰。把這個峰的置信度當(dāng)成信號就能批量篩出臟數(shù)據(jù)。對齊不只是訓(xùn)練階段的副產(chǎn)品更是數(shù)據(jù)質(zhì)量檢測、音頻切分、標(biāo)注校驗的重要工具。5.3 實操中翻車的三件事第一件事用Viterbi直接從CTC模型里取一條對齊路徑當(dāng)強(qiáng)制標(biāo)注。CTC的目標(biāo)是最大化所有合法路徑的概率之和不是某一條最優(yōu)路徑。所以兩條在概率上相差不大的路徑邊界可能完全錯位。我最早做音素邊界時直接拿CTC路徑切分結(jié)果發(fā)現(xiàn)同一句話跑兩次或者稍微改一下隨機(jī)種子邊界能抖好幾幀。后來我改成“多候選路徑一致性檢查”對每條音頻解碼出多條高概率對齊路徑如果它們對應(yīng)同一個文本但邊界差異過大就把樣本標(biāo)記為不確定。如果只是想拿穩(wěn)定的音素邊界用帶語言約束的傳統(tǒng)強(qiáng)制對齊更可靠。第二件事訓(xùn)練RNN-T時loss卡在很平的位置。最常見原因是空標(biāo)簽的概率被模型估得太高學(xué)到了一招“什么都不輸出”。大多數(shù)幀本來確實不該輸出真實標(biāo)簽這個先驗在數(shù)據(jù)里太強(qiáng)模型一開始很容易陷進(jìn)去。我后來發(fā)現(xiàn)初始化時給預(yù)測網(wǎng)絡(luò)一個較小的輸出幅度或者控制一下空標(biāo)簽logit的初始偏置訓(xùn)練前期更容易蹦出第一批真實標(biāo)簽。這個幅度要根據(jù)實際數(shù)據(jù)去試調(diào)太大模型會亂輸出太小又會在原地停滯很久。第三件事流式部署RNN-T時只盯著識別率而忽略對齊觸達(dá)時間。識別率相同的情況下不同延遲懲罰配置下標(biāo)簽出現(xiàn)早晚差別很大。特別是做實時字幕一個字遲到太久體驗會非常差。我現(xiàn)在每次測流式模型都會在評測集上專門算“標(biāo)簽相對真實短語的觸發(fā)時間分布”而不只看字錯誤率。這個指標(biāo)對交互體驗的反映比單純準(zhǔn)確率要敏銳得多。最后再分享一個經(jīng)驗對齊機(jī)制在語音識別里的角色遠(yuǎn)不只是訓(xùn)練損失的一部分。把HMM、CTC、RNN-T放在一起看其實對應(yīng)著“結(jié)構(gòu)約束”“路徑松弛”“自回歸決策”三種生成對齊的思路。很多新模型都還在這些方案之間做取舍比如有人在RNN-T里加入中間音素級預(yù)測讓對齊可以被外部監(jiān)督也有人用CTC輸出的對齊路徑去做知識蒸餾把對齊信息傳遞給更小的學(xué)生模型。核心問題始終是如何利用好幀與標(biāo)簽之間那層看不見的對應(yīng)關(guān)系。如果你也在折騰對齊建議先把三種對齊路徑分別畫出來用空標(biāo)簽概率和觸發(fā)時間去看模型到底在做什么決策?？吹枚嗔撕芏嘤?xùn)練問題自己就有答案。 HMM、CTC、RNN-T：語音識別對齊機(jī)制的演進(jìn)之路
很多剛接觸語音識別的同學(xué)第一次看到“HMM、CTC、RNN-T”這三個詞并列都會愣一下一個上世紀(jì)七十年代起家的老牌模型一個靠空標(biāo)簽把端到端訓(xùn)練變得可行的損失函數(shù)一個現(xiàn)在流式識別里最常聽到的架構(gòu)為什么要放在同一個章節(jié)里講其實它們沿著同一條線索遞進(jìn)——都在處理“語音幀序列”與“文本標(biāo)簽序列”之間的對齊問題。標(biāo)題里的Chapter1-5是語音識別課程里常見的章節(jié)順序?qū)R這一部分正好把前面的聲學(xué)特征、字典、語言模型和解碼器串成一條完整的鏈路。這篇文章我更想把它寫成一份工程筆記不只講HMM、CTC、RNN-T的公式長什么樣還想說清楚為什么這幾代方法要對“對齊”這件事反復(fù)折騰以及我在實際訓(xùn)練和調(diào)模型時踩過的那些跟對齊有關(guān)的坑。1. 對齊問題到底是什么從“先分段還是先識別”說起1.1 一段語音和一個句子的長度鴻溝原始音頻通常按25ms一幀、10ms移步取特征一分鐘語音大概6000幀但對應(yīng)文本可能只有幾百個字。字符或者詞片數(shù)和幀數(shù)之間沒有天然的一對一關(guān)系。更麻煩的是同一個字在語速快慢不同時持續(xù)時長可能差出一倍相鄰音節(jié)之間還常有停頓、送氣、協(xié)同發(fā)音根本沒有一個絕對客觀的邊界能直接切出“這是第幾個字的第幾幀”。語音識別內(nèi)部所有對齊機(jī)制做的都是同一件事建立從幀序列到標(biāo)簽序列的映射。實際項目里對齊不只出現(xiàn)在訓(xùn)練損失函數(shù)里。訓(xùn)練數(shù)據(jù)清洗要對齊強(qiáng)制標(biāo)注要對齊流式識別要判斷“這個字應(yīng)該在什么時候吐出來”口語評測要對齊每個音素的起始時間。所以我一直覺得理解語音識別不能只站在“分類”角度看更要站在“序列配準(zhǔn)”角度看。把 HMM、CTC、RNN-T 三條路線放在一起對比你會看到不同時代的人是怎樣一次次嘗試回答同一個問題的。1.2 所謂“對齊”其實是三條不同的契約HMM、CTC、RNN-T雖然都在做對齊但三者的思想差別非常大?？梢钥醋魅N不同的契約。HMM的契約是模型先有一個隱狀態(tài)序列每個狀態(tài)對應(yīng)音素或音素的子段狀態(tài)按順序轉(zhuǎn)移同時每個狀態(tài)產(chǎn)生一個觀測幀。最終文本順序由狀態(tài)轉(zhuǎn)移順序保證幀與狀態(tài)之間是一種“一對一”的對應(yīng)只是哪一幀對齊到哪個狀態(tài)需要推斷。CTC的契約是每個時刻預(yù)測一個標(biāo)簽或空標(biāo)簽空標(biāo)簽專門表示“什么都沒說”。把連續(xù)重復(fù)的標(biāo)簽合并成一個、把所有空標(biāo)簽刪掉之后剩下的序列必須等于目標(biāo)文本。這樣一來每幀一個輸出但很多輸出可以是同一個標(biāo)簽也可以輸出空。RNN-T的契約是每個時間步先利用當(dāng)前幀和歷史輸出決定輸出一個真實標(biāo)簽還是空標(biāo)簽。如果輸出真實標(biāo)簽同一幀還可以繼續(xù)再輸出下一個標(biāo)簽如果輸出空才消耗當(dāng)前幀。標(biāo)簽序列內(nèi)部始終保持順序幀和標(biāo)簽之間的聯(lián)系是單調(diào)的但不要求幀和標(biāo)簽一一對應(yīng)。區(qū)分之后你自然會發(fā)現(xiàn)HMM里對齊是生成模型的隱變量CTC里對齊是過程性的中間表示RNN-T里對齊是帶記憶的決策結(jié)果。三者看待“幀-標(biāo)簽配準(zhǔn)”的方式完全不同所以訓(xùn)練和解碼的復(fù)雜度也完全不同。2. HMM的對齊隱變量、前向后向和強(qiáng)制對齊的土辦法2.1 生成式模型里的狀態(tài)與發(fā)射HMM用于語音識別時通常一個音素被拆成幾個狀態(tài)比如三狀態(tài)分別表示音素的起始、穩(wěn)態(tài)、結(jié)束。每個狀態(tài)對應(yīng)一個發(fā)射分布早期用高斯混合模型建模后來在混合系統(tǒng)里用神經(jīng)網(wǎng)絡(luò)輸出擬合狀態(tài)后驗。每個狀態(tài)可以轉(zhuǎn)移到自身停留時間由自環(huán)概率決定。從聲學(xué)特征視角看一幀特征是由某個狀態(tài)生成的而狀態(tài)序列隨時間單調(diào)向前走語音的長短變化被自環(huán)和轉(zhuǎn)移概率吸收掉了。這里要特別注意HMM對“對齊”的定義非常強(qiáng)它假設(shè)狀態(tài)集合是有意義的子詞單位字典會告訴模型哪個詞由哪些音素組成。輸入幀數(shù)可以變但狀態(tài)順序只會線性推進(jìn)。如果在音頻里一個詞被讀了兩遍HMM對齊不會允許同一個狀態(tài)序列重復(fù)出現(xiàn)在同一個詞單元里因為狀態(tài)圖里這個詞到那個詞的連接方式是定死的。這種強(qiáng)約束在早期計算資源受限時是好事因為它大幅縮小了搜索空間但也讓它應(yīng)對真實口語時很僵硬比如讀錯、重讀、插入音等。2.2 Baum-Welch看不見的對齊怎么訓(xùn)練因為對齊是隱變量訓(xùn)練HMM時不能用簡單的交叉熵直接標(biāo)注“幀屬于哪個狀態(tài)”。標(biāo)準(zhǔn)做法是用EM算法里的Baum-Welch迭代。前向概率算的是“截至當(dāng)前幀處在某個狀態(tài)且已經(jīng)生成這些觀測的累計概率”后向概率算的是“從當(dāng)前狀態(tài)出發(fā)能生成后續(xù)觀測的概率”。兩個概率合起來再加權(quán)統(tǒng)計每個狀態(tài)轉(zhuǎn)移或發(fā)射的出現(xiàn)次數(shù)然后更新模型參數(shù)如此迭代直到收斂。這套機(jī)制聽起來復(fù)雜但它的核心思想值得反復(fù)體會我們不知道對齊但可以算“所有可能對齊的加權(quán)平均”。這其實就是后來CTC和RNN-T訓(xùn)練里前向后向算法的雛形。區(qū)別在于HMM里的對齊是狀態(tài)級的狀態(tài)轉(zhuǎn)移概率本身會參與訓(xùn)練CTC和RNN-T里是標(biāo)簽級的路徑?jīng)]有顯式的狀態(tài)時長模型時長信息被空標(biāo)簽和重復(fù)規(guī)則吸收。理解這個遞進(jìn)關(guān)系比死記公式有用得多。2.3 工程落地強(qiáng)制對齊的價值與損耗傳統(tǒng)混合系統(tǒng)里訓(xùn)練神經(jīng)網(wǎng)絡(luò)聲學(xué)模型之前往往需要先做強(qiáng)制對齊用訓(xùn)練好的GMM-HMM對每條音頻跑一次Viterbi得到每一幀對應(yīng)的音素或狀態(tài)標(biāo)簽這些標(biāo)簽再拿去訓(xùn)練神經(jīng)網(wǎng)絡(luò)。這個流程在很長一段時間里是工業(yè)界標(biāo)準(zhǔn)動作直到現(xiàn)在很多數(shù)據(jù)標(biāo)注工具還在用類似思路。但強(qiáng)制對齊的坑也很多。最典型的是靜音段。如果詞典里沒有專門的靜音音素對齊時靜音幀會被強(qiáng)行塞給相鄰音素導(dǎo)致音素邊界偏向靜音尤其是在句首句尾。另一個問題是如果音頻和文本不對應(yīng)比如說話人讀錯詞了但文本沒改強(qiáng)制對齊會靠轉(zhuǎn)移概率硬湊產(chǎn)生一些完全不符合聽覺常識的狀態(tài)跳變。所以我在做數(shù)據(jù)清洗時檢查對齊結(jié)果不看準(zhǔn)確率而是看對齊路徑里有沒有“狀態(tài)來回震蕩”或“某個狀態(tài)的時長突然短到離譜”。有這種跡象的基本需要返工這個經(jīng)驗后面還會展開講。3. CTC的對齊讓模型自己決定重復(fù)和停頓3.1 blank和重復(fù)坍縮把唯一路徑變成路徑集合CTC的核心貢獻(xiàn)是在輸出類別集合里加了一個空標(biāo)簽一般記作 blank。訓(xùn)練時每個時間步模型輸出一個類別概率分布一個完整的時間對齊路徑就是幀數(shù)長度的類別序列。把這個路徑里連續(xù)重復(fù)的相同標(biāo)簽合并成一個再把所有 blank刪掉得到的才是最終文本。比如目標(biāo)文本是“a”合法路徑可以是“a”“aa”“a_”“_a”“aa”等等只要經(jīng)過合并和去blank后得到“a”就行。CTC的損失就是所有合法路徑的條件概率之和。為什么要設(shè)計這樣一層繞來繞去的規(guī)則本質(zhì)上是從HMM那里學(xué)來的松弛做法。HMM要求狀態(tài)序列和幀之間嚴(yán)格對齊建模復(fù)雜CTC跳出顯式的子詞狀態(tài)概念直接把標(biāo)簽當(dāng)輸出把對齊當(dāng)作中間變量通過“重復(fù)空”來容忍時長的伸縮。這給訓(xùn)練帶來很大便利只要輸入序列和輸出序列是單調(diào)可配對的就能做端到端訓(xùn)練不需要外部字典不需要決策樹聚類也不需要人工定義音素狀態(tài)。3.2 前向-后向算法在CTC里的局部和整體合法路徑數(shù)量非常龐大不可能枚舉。CTC訓(xùn)練用的是帶前向變量 alpha(t, u) 的遞歸其中 t 是幀時間u 是輸出序列的位置。每一步可以從兩個方向轉(zhuǎn)移一是從當(dāng)前輸出位置繼續(xù)走保持或重復(fù)當(dāng)前標(biāo)簽二是從上一個輸出位置跳過來。前向變量把“到時刻t為止、輸出到位置u”的所有路徑概率累積起來反過來后向變量再從末尾往回收一次兩者合起來就能算出每個時刻每個位置的“總概率”然后對網(wǎng)絡(luò)輸出概率求梯度。整個遞歸每一步只涉及當(dāng)前時間步的局部轉(zhuǎn)移訓(xùn)練效率很高。如果你用CTC訓(xùn)練過模型一定見過訓(xùn)練曲線的典型特征剛開始損失下降很快因為模型在學(xué)“別亂輸出”到后期blank概率變得很高模型傾向先輸出一批標(biāo)簽再用一堆blank拖著等待后面信息。這說明模型正在用自己的方式找對齊。實際上一旦訓(xùn)練收斂CTC的blank位置往往對應(yīng)語音里的靜音或音素之間的間隔。我經(jīng)常把blank概率曲線可視化它能直觀告訴你模型認(rèn)為哪段音頻是“空”的。3.3 CTC模型最讓人頭疼的條件獨立與延遲問題CTC有一個基礎(chǔ)假設(shè)給定輸入特征每一幀的輸出相互獨立。這意味著模型無法直接利用已經(jīng)識別出的詞句來修正下一個字的判斷只能靠聲學(xué)特征本身。所以在識別“我去公園玩”這類句子時純CTC容易在“公園”和“公元”之間犯錯后續(xù)語言模型可以糾正但訓(xùn)練階段沒有這個能力。工程上大家通常會再接一個語言模型做重打分或者把CTC和其他序列模型結(jié)合來補(bǔ)上下文。其次是延遲問題。CTC在流式場景里常用但有一個老毛病為了讓輸出路徑盡量保證單調(diào)模型傾向于先輸出大量blank等積累足夠信息后再吐標(biāo)簽這就造成標(biāo)簽輸出相對真實語音滯后。常見緩解辦法是在流式識別里加延遲懲罰或者設(shè)計尖峰約束讓標(biāo)簽盡量集中在語音能量強(qiáng)的位置。如果你拿一個純CTC模型做實時識別會發(fā)現(xiàn)識別結(jié)果沒錯但出字時間比說話內(nèi)容慢了幾百毫秒這個在交互場景里體驗很差。4. RNN-T的對齊逐幀決策里塞進(jìn)序列記憶4.1 三張網(wǎng)絡(luò)各管一段編碼器、預(yù)測器、聯(lián)合器RNN-T也就是RNN Transducer核心是三網(wǎng)絡(luò)架構(gòu)。編碼器負(fù)責(zé)讀入當(dāng)前幀以及周圍聲學(xué)上下文輸出聲學(xué)表征預(yù)測網(wǎng)絡(luò)接收之前已經(jīng)識別出來的標(biāo)簽比如上一個字或詞片輸出“接下來該說什么”的表征聯(lián)合網(wǎng)絡(luò)把兩者融合產(chǎn)生在輸出標(biāo)簽集合上加空標(biāo)簽的一個概率分布。關(guān)鍵區(qū)別在于RNN-T每一步預(yù)測“要不要輸出一個標(biāo)簽”不是只靠當(dāng)前幀而是同時依賴前面已經(jīng)輸出的標(biāo)簽。相當(dāng)于每個時刻模型都會結(jié)合“我剛才說到哪了”來決定現(xiàn)在該不該往外蹦詞。這就不存在CTC那種輸出條件獨立問題。這個特性讓RNN-T自帶語言建模能力看起來像是“CTC加了一個條件語言模型”但它和外部語言模型不一樣外部語言模型是識別后再插進(jìn)去的RNN-T直接在學(xué)習(xí)目標(biāo)里就帶著對歷史輸出的依賴。4.2 空標(biāo)簽與循環(huán)RNN-T的路徑是怎么走出來的直觀上RNN-T到底是一幀對應(yīng)一個標(biāo)簽還是多幀對應(yīng)一個標(biāo)簽答案是都有可能靠同一個時刻內(nèi)的循環(huán)實現(xiàn)。標(biāo)準(zhǔn)流程是模型在當(dāng)前幀和當(dāng)前輸出位置聯(lián)合網(wǎng)絡(luò)給出一個概率分布。如果選擇空標(biāo)簽就消耗這一幀推進(jìn)到下一幀如果選擇非空標(biāo)簽就輸出這個標(biāo)簽同時把輸出位置推進(jìn)到下一個位置但當(dāng)前幀還保留。同一個幀內(nèi)可以連續(xù)預(yù)測多個標(biāo)簽直到選擇空標(biāo)簽才進(jìn)到下一幀。這個邏輯既能處理慢速發(fā)音很多幀才一個音也能處理快速連續(xù)輸出一個幀內(nèi)要吐好幾個字符。訓(xùn)練時損失函數(shù)也是對所有合法對齊路徑求和。這個和可以用一個二維格子上的前向-后向遞歸來算橫軸是幀縱軸是輸出標(biāo)簽位置每個狀態(tài)有兩個轉(zhuǎn)移方向一個由空標(biāo)簽驅(qū)動一個由真實標(biāo)簽驅(qū)動。雖然比CTC多一維因為多了一個預(yù)測網(wǎng)絡(luò)的狀態(tài)但核心思想仍然是“把所有可能對齊路徑的概率加起來”。4.3 和HMM、CTC相比的實質(zhì)變化從對齊視角看RNN-T和HMM、CTC的差別很清晰。和HMM比RNN-T沒有顯式的子詞狀態(tài)序列也不需要字典和決策樹共享狀態(tài)時長信息通過空標(biāo)簽和循環(huán)來吸收訓(xùn)練目標(biāo)是判別式的序列概率而不是生成式模型。和CTC比RNN-T的輸出不是每幀一個而是通過循環(huán)來決定預(yù)測網(wǎng)絡(luò)讓每一步輸出的概率都依賴已經(jīng)輸出的序列這一點是CTC做不到的。正因為結(jié)構(gòu)天然適合流式處理RNN-T在實時語音識別領(lǐng)域很流行。它可以隨音頻幀增量計算不需要看一眼完整句子再輸出同時語言信息直接在模型內(nèi)部建模一般比同等規(guī)模的CTC在相同測試集上表現(xiàn)更好。不過訓(xùn)練和推理成本也更高聯(lián)合網(wǎng)絡(luò)要融合兩路信息解碼器每步都要跑預(yù)測網(wǎng)絡(luò)beam search的復(fù)雜度比CTC大不少。5. 從對齊到上線三種方案的實際取舍和我踩過的坑5.1 場景選型離線、流式、資源受限怎么選不少人一上來就想用RNN-T但實際落地要看你手頭的資源和產(chǎn)品形態(tài)。如果只是處理一批離線錄音不要求實時出字用CTC加語言模型重打分往往又快又穩(wěn)如果是手機(jī)端實時語音助手RNN-T確實是主流但對算子融合、量化、內(nèi)存占用要求都很高否則延遲控制不住如果你面對的是極小規(guī)模的嵌入式芯片傳統(tǒng)混合系統(tǒng)或經(jīng)過剪枝的CTC可能更現(xiàn)實。維度HMM/GMM混合系統(tǒng)CTCRNN-T對齊形態(tài)隱狀態(tài)序列子詞狀態(tài)幀級標(biāo)簽序列含blank幀與標(biāo)簽間的單調(diào)遞進(jìn)決策是否需要外部詞典通常需要不需要也可以不需要輸出依賴由狀態(tài)轉(zhuǎn)移限制條件獨立依賴歷史輸出流式支持可以但延遲較大可以用注意標(biāo)簽滯后天然適合流式訓(xùn)練成本有復(fù)雜對齊管道中高資源受限設(shè)備成熟但系統(tǒng)復(fù)雜輕量高效較重需裁剪HMM本身也不是沒有價值。它的強(qiáng)制對齊能力在很多數(shù)據(jù)產(chǎn)線里仍然被用來打音素級標(biāo)簽發(fā)音詞典校驗、口語評測、語音切分都還需要精確的音素邊界。所以別急著把HMM掃進(jìn)歷史垃圾堆它更像是“對齊基礎(chǔ)設(shè)施”。不同方案之間不是簡單的替代關(guān)系而是各自解決不同層次的需求。5.2 對齊結(jié)果本身也是一種數(shù)據(jù)資產(chǎn)不管用HMM強(qiáng)制對齊、CTC的blank后驗還是RNN-T解碼時的標(biāo)簽觸發(fā)時間對齊的產(chǎn)出都可以沉淀下來重復(fù)使用。HMM強(qiáng)制對齊得到幀級音素邊界能輔助發(fā)音詞典校驗和發(fā)音評測CTC的blank概率曲線可以判斷一段音頻里是否有過長靜音、多說話人切換或者文本錯位RNN-T解碼時每個非空標(biāo)簽的觸發(fā)時間本質(zhì)上就是系統(tǒng)認(rèn)為“現(xiàn)在該出這個字了”的時刻可以用來做實時字幕、數(shù)字人口型同步。我在實際項目中做過這樣一件事拿一個已經(jīng)收斂的CTC模型把所有訓(xùn)練音頻跑一遍輸出每幀的標(biāo)簽概率再統(tǒng)計每段音頻的對齊路徑和標(biāo)簽文本的一致性。很多錯誤樣本比如文本和實際發(fā)音不一致往往會在錯誤位置出現(xiàn)一個“高概率真實標(biāo)簽但和文本完全不同”的峰。把這個峰的置信度當(dāng)成信號就能批量篩出臟數(shù)據(jù)。對齊不只是訓(xùn)練階段的副產(chǎn)品更是數(shù)據(jù)質(zhì)量檢測、音頻切分、標(biāo)注校驗的重要工具。5.3 實操中翻車的三件事第一件事用Viterbi直接從CTC模型里取一條對齊路徑當(dāng)強(qiáng)制標(biāo)注。CTC的目標(biāo)是最大化所有合法路徑的概率之和不是某一條最優(yōu)路徑。所以兩條在概率上相差不大的路徑邊界可能完全錯位。我最早做音素邊界時直接拿CTC路徑切分結(jié)果發(fā)現(xiàn)同一句話跑兩次或者稍微改一下隨機(jī)種子邊界能抖好幾幀。后來我改成“多候選路徑一致性檢查”對每條音頻解碼出多條高概率對齊路徑如果它們對應(yīng)同一個文本但邊界差異過大就把樣本標(biāo)記為不確定。如果只是想拿穩(wěn)定的音素邊界用帶語言約束的傳統(tǒng)強(qiáng)制對齊更可靠。第二件事訓(xùn)練RNN-T時loss卡在很平的位置。最常見原因是空標(biāo)簽的概率被模型估得太高學(xué)到了一招“什么都不輸出”。大多數(shù)幀本來確實不該輸出真實標(biāo)簽這個先驗在數(shù)據(jù)里太強(qiáng)模型一開始很容易陷進(jìn)去。我后來發(fā)現(xiàn)初始化時給預(yù)測網(wǎng)絡(luò)一個較小的輸出幅度或者控制一下空標(biāo)簽logit的初始偏置訓(xùn)練前期更容易蹦出第一批真實標(biāo)簽。這個幅度要根據(jù)實際數(shù)據(jù)去試調(diào)太大模型會亂輸出太小又會在原地停滯很久。第三件事流式部署RNN-T時只盯著識別率而忽略對齊觸達(dá)時間。識別率相同的情況下不同延遲懲罰配置下標(biāo)簽出現(xiàn)早晚差別很大。特別是做實時字幕一個字遲到太久體驗會非常差。我現(xiàn)在每次測流式模型都會在評測集上專門算“標(biāo)簽相對真實短語的觸發(fā)時間分布”而不只看字錯誤率。這個指標(biāo)對交互體驗的反映比單純準(zhǔn)確率要敏銳得多。最后再分享一個經(jīng)驗對齊機(jī)制在語音識別里的角色遠(yuǎn)不只是訓(xùn)練損失的一部分。把HMM、CTC、RNN-T放在一起看其實對應(yīng)著“結(jié)構(gòu)約束”“路徑松弛”“自回歸決策”三種生成對齊的思路。很多新模型都還在這些方案之間做取舍比如有人在RNN-T里加入中間音素級預(yù)測讓對齊可以被外部監(jiān)督也有人用CTC輸出的對齊路徑去做知識蒸餾把對齊信息傳遞給更小的學(xué)生模型。核心問題始終是如何利用好幀與標(biāo)簽之間那層看不見的對應(yīng)關(guān)系。如果你也在折騰對齊建議先把三種對齊路徑分別畫出來用空標(biāo)簽概率和觸發(fā)時間去看模型到底在做什么決策?？吹枚嗔撕芏嘤?xùn)練問題自己就有答案。