最近接到一個(gè)看起來(lái)有點(diǎn)反常的需求給現(xiàn)有的視頻生成管線加一個(gè)“長(zhǎng)視頻”能力生成一分鐘以上的內(nèi)容。以前大家默認(rèn)的做法是用短視頻素材剪接或者把長(zhǎng)視頻拆成短片段逐段生成再接起來(lái)但這兩條路都有明顯硬傷——畫(huà)面不連貫角色一換鏡頭就變臉。后來(lái)我嘗試了一個(gè)把20秒視頻歷史壓縮成5000個(gè)Token再參與生成的新方案才真正把消費(fèi)級(jí)顯卡上跑長(zhǎng)視頻這件事變成可能。這篇就把這個(gè)方案的原理、壓縮機(jī)制、顯存賬本和我的實(shí)測(cè)避坑經(jīng)驗(yàn)完整拆開(kāi)講。1. 長(zhǎng)視頻生成衰敗的分水嶺從“隨隨便便10秒”到“堅(jiān)持60秒”1.1 生成模型續(xù)寫(xiě)的其實(shí)不是劇情而是上下文我在本地跑過(guò)不少視頻生成模型10秒內(nèi)的單鏡頭生成效果都還不錯(cuò)稍微拉長(zhǎng)一點(diǎn)就開(kāi)始出問(wèn)題。最常見(jiàn)的是人物細(xì)節(jié)逐漸漂移同一張臉在第五秒、第十秒、第十五秒看起來(lái)完全不像同一個(gè)人背景紋理也會(huì)在幾個(gè)片段之間慢慢“融化”。原因并不復(fù)雜——模型其實(shí)是在做一個(gè)“看歷史、寫(xiě)未來(lái)”的任務(wù)而一旦歷史超過(guò)它能承載的有效長(zhǎng)度它就開(kāi)始瞎猜。你可以把視頻生成理解成一直在玩一個(gè)“接龍游戲”每生成一幀都要依據(jù)之前所有幀的狀態(tài)去預(yù)測(cè)下一幀長(zhǎng)什么樣。問(wèn)題在于之前所有幀的信息并不是簡(jiǎn)單堆在那里就能用的。生成模型要把歷史幀的視覺(jué)特征、運(yùn)動(dòng)趨勢(shì)、場(chǎng)景光照這些信號(hào)全部讀取出來(lái)融進(jìn)當(dāng)前幀的預(yù)測(cè)里。之前的大多數(shù)做法是讓模型把過(guò)去20秒的視頻幀“直接當(dāng)作上下文”硬塞進(jìn)去。這意味著模型要在每一幀生成時(shí)都重新計(jì)算一遍和全部歷史幀的關(guān)系。理論上這也能跑但代價(jià)非常直觀上下文越長(zhǎng)計(jì)算量越呈爆炸式增長(zhǎng)而且模型根本沒(méi)法高效地從幾十秒的畫(huà)面里找到最重要的信息。1.2 注意力機(jī)制的“會(huì)議室效應(yīng)”拖垮了質(zhì)量這里有個(gè)很關(guān)鍵的比喻注意力機(jī)制有點(diǎn)像開(kāi)會(huì)。會(huì)議室里人越多每個(gè)人分到的發(fā)言時(shí)間就越少真正有價(jià)值的信息會(huì)被大量噪聲稀釋。視頻歷史也一樣幀數(shù)多了以后當(dāng)前幀和幾秒前關(guān)鍵幀的關(guān)聯(lián)會(huì)被中間一大堆無(wú)關(guān)畫(huà)面沖淡。更惡心的還有顯存。視頻生成模型的骨干網(wǎng)絡(luò)每一層都要維護(hù)一個(gè)“鍵值緩存”本質(zhì)上就是把歷史信息按位置存一份副本供后續(xù)的每一幀去查詢。這個(gè)緩存的大小大體上和序列長(zhǎng)度的平方成正比。假設(shè)20秒視頻有480幀每一幀在視覺(jué)編碼器里會(huì)展開(kāi)成128個(gè)視覺(jué)Token那么20秒歷史就是6萬(wàn)多個(gè)Token。這個(gè)量級(jí)對(duì)消費(fèi)級(jí)顯卡來(lái)說(shuō)已經(jīng)完全超出正常推理范圍。所以很多人一開(kāi)始跑長(zhǎng)視頻就爆顯存根本不是顯卡不夠好而是方案的設(shè)計(jì)本身就離譜。1.3 切塊拼接看上去保險(xiǎn)實(shí)則后患無(wú)窮有人會(huì)說(shuō)“那我直接分段生成再接起來(lái)不就行了”我一開(kāi)始也這么想過(guò)還專門試過(guò)把60秒的視頻切成6段每段10秒分別生成后首尾硬切。結(jié)果就是換鏡頭之后背景色調(diào)對(duì)不上人物服裝細(xì)節(jié)忽明忽暗動(dòng)作幅度也在拼接處出現(xiàn)跳變。這個(gè)問(wèn)題本質(zhì)上是跨片段信息沒(méi)有傳遞。分段生成時(shí)每一段都是獨(dú)立生成的前一段的人物發(fā)型、衣服顏色、光照角度到后一段完全不受約束。就算你手動(dòng)把文字提示詞改成“風(fēng)格一致”模型也只會(huì)把它理解為一種模糊的風(fēng)格描述而不是精確到“這個(gè)人現(xiàn)在穿著深藍(lán)色連帽衛(wèi)衣左肩有反光條”這種級(jí)別的硬約束。所以長(zhǎng)視頻生成的真正分水嶺不是怎么控制單個(gè)片段而是怎么生成并攜帶一個(gè)可靠的長(zhǎng)效歷史。下面這個(gè)方案的切入點(diǎn)正是把“歷史”本身做成一種可壓縮、可攜帶、可更新的記憶單元。2. 5000個(gè)Token如何承載20秒視頻歷史壓縮機(jī)制拆解2.1 壓縮的是“生成證據(jù)”不是像素要理解5000個(gè)Token的用意得先分清兩種信息。一種是直接緩存原始視頻幀另一種是提取“再生成一幀所需要的證據(jù)”。前者的信息密度非常低——一幀畫(huà)面里的大部分像素對(duì)預(yù)測(cè)下一幀其實(shí)沒(méi)有用處。比如靜止的背景天花板每幀都一樣存960幀和存1幀的信息價(jià)值幾乎沒(méi)差別。這版方案的核心思路是用一個(gè)專門的可學(xué)習(xí)壓縮器把視頻歷史編碼成一堆緊湊的記憶Token。這些Token不再對(duì)應(yīng)某個(gè)具體像素位置而是對(duì)應(yīng)一些更抽象的東西主角當(dāng)前的外貌狀態(tài)、場(chǎng)景光照的整體趨勢(shì)、鏡頭運(yùn)動(dòng)的方向和速度、物體在畫(huà)面中的相對(duì)位置變化。我最初看到這套設(shè)計(jì)時(shí)感覺(jué)不太直觀后來(lái)類比了一下就通了它跟你做會(huì)議紀(jì)要一樣不把會(huì)議全程錄音整理成逐字稿而是提煉出“誰(shuí)、在什么地方、做了什么事、下一步可能是什么”。要預(yù)測(cè)會(huì)議后半段的發(fā)展逐字稿反而干擾判斷紀(jì)要比原始錄音更容易把握方向。所以5000個(gè)Token本質(zhì)上就是20秒視頻的“會(huì)議紀(jì)要”。它丟掉的是冗余像素信息保留的是跨幀之間的連續(xù)關(guān)系和關(guān)鍵變化。2.2 從6.1萬(wàn)到5000我按公開(kāi)思路算了一筆賬具體壓縮率我可以給個(gè)相對(duì)清晰的估算。假設(shè)視頻是24幀每秒每幀在生成模型的視覺(jué)分支里展開(kāi)為128個(gè)Token。20秒的歷史直接展開(kāi)就是478到480幀乘上128個(gè)Token大約是61000到62000個(gè)Token。這個(gè)方案的設(shè)計(jì)把歷史Token壓到5000壓縮率大概在12倍左右。對(duì)于視頻生成這種高熵場(chǎng)景來(lái)說(shuō)12倍壓縮聽(tīng)起來(lái)有點(diǎn)激進(jìn)但要注意的是Token的維度并沒(méi)有被削減。每個(gè)記憶Token仍然保留著一個(gè)密集的特征向量相當(dāng)于5000個(gè)“高度濃縮的狀態(tài)變量”在參與后續(xù)生成而不是5000個(gè)孤立的像素塊。我用一個(gè)簡(jiǎn)單腳本算過(guò)直觀一點(diǎn)fps 24 seconds 20 frames fps * seconds per_frame_tokens 128 direct_tokens frames * per_frame_tokens memory_tokens 5000 print(f原始?xì)v史Token數(shù): {direct_tokens}) print(f壓縮后Token數(shù): {memory_tokens}) print(f壓縮倍率: {direct_tokens / memory_tokens:.2f}x)按這個(gè)基礎(chǔ)數(shù)據(jù)算壓縮倍率大約是12.29倍。當(dāng)然不同實(shí)現(xiàn)里每幀Token數(shù)量不一樣但數(shù)量級(jí)基本在這個(gè)區(qū)間。關(guān)鍵在于壓縮后的5000并不是隨便定的數(shù)字它要?jiǎng)偤每ㄔ凇跋M(fèi)級(jí)顯卡能承載的序列長(zhǎng)度”和“信息表達(dá)充分度”之間。太少了歷史信息會(huì)被過(guò)度抽象生成結(jié)果失去細(xì)節(jié)太多了顯存壓力又回到舊方案的死胡同。2.3 可學(xué)習(xí)壓縮器跟普通池化是完全不同的東西我一開(kāi)始嘗試過(guò)偷懶版把歷史幀的特征圖做平均池化或者每隔幾幀抽一幀再傳進(jìn)模型。效果立刻崩盤而且崩的問(wèn)題很有代表意義——平均池化把運(yùn)動(dòng)信息完全抹平了。畫(huà)面里如果有一只手從左側(cè)滑到右側(cè)平均池化會(huì)把“中間所有位置”揉成一個(gè)糊狀狀態(tài)導(dǎo)致下一幀根本不知道該從哪邊繼續(xù)運(yùn)動(dòng)。人物的轉(zhuǎn)頭動(dòng)作也會(huì)被平均出一個(gè)“既不向左也不向右”的錯(cuò)誤姿態(tài)生成出的畫(huà)面就像速度很慢的定格動(dòng)畫(huà)。可學(xué)習(xí)壓縮器完全不同。它的訓(xùn)練目標(biāo)不是讓壓縮結(jié)果去還原原始畫(huà)面而是讓壓縮結(jié)果能最大化幫助主生成網(wǎng)絡(luò)把下一幀預(yù)測(cè)準(zhǔn)。換句話說(shuō)壓縮器是被“為了讓視頻生成得更連貫”這個(gè)任務(wù)牽著走而不是被“讓重建誤差更低”這個(gè)任務(wù)牽著走。如果壓縮器丟掉運(yùn)動(dòng)方向、丟掉光照變化趨勢(shì)那主生成模型的下一幀預(yù)測(cè)就會(huì)出錯(cuò)模型在訓(xùn)練時(shí)就能感知到這個(gè)錯(cuò)誤并把梯度傳回去修正壓縮器。這就是“可學(xué)習(xí)”的本質(zhì)5000個(gè)Token并不是一個(gè)固定濾波器切出來(lái)的而是被長(zhǎng)期訓(xùn)練逼出來(lái)的最優(yōu)摘要。3. 消費(fèi)級(jí)顯卡能跑的原因顯存賬單到底省在哪里3.1 直接緩存每幀的狀態(tài)顯存呈指數(shù)心態(tài)崩塌顯存占用最大的來(lái)源往往不是模型權(quán)重而是每一層注意力都要保存的鍵值緩存。視頻生成模型在預(yù)測(cè)當(dāng)前幀時(shí)會(huì)拿當(dāng)前幀的Token去“查詢”歷史Token。為了不做重復(fù)計(jì)算框架會(huì)把歷史Token的鍵和值都存下來(lái)這個(gè)鍵值緩存在內(nèi)存里占的空間基本等于“序列長(zhǎng)度 × 特征維度 × 層數(shù) × 2”。如果直接保留6萬(wàn)多個(gè)歷史Token這個(gè)乘法的結(jié)果會(huì)非常可觀。我在一張24GB顯存的消費(fèi)級(jí)顯卡上做過(guò)推算哪怕只算一小部分層的鍵值緩存也遠(yuǎn)遠(yuǎn)超出單卡能承受的范圍。這也是為什么很多人一嘗試長(zhǎng)視頻生成前臺(tái)界面剛跑兩步就報(bào)顯存不足甚至直接黑屏嚇人。壓縮成5000個(gè)Token后歷史序列從6萬(wàn)直接降到了5000乘以注意力層數(shù)和特征維度之后鍵值緩存總量會(huì)縮小到原來(lái)的10%左右。對(duì)消費(fèi)級(jí)顯卡來(lái)說(shuō)這才是可以把長(zhǎng)視頻生成真正跑起來(lái)的關(guān)鍵。3.2 一張24GB消費(fèi)級(jí)顯卡的顯存賬目對(duì)比為了不紙上談兵我用之前的估算做了個(gè)對(duì)比表。以下數(shù)據(jù)基于一個(gè)中等規(guī)模的視頻生成模型視覺(jué)分支每幀Token設(shè)為128歷史窗口20秒權(quán)重按照標(biāo)準(zhǔn)精度簡(jiǎn)化計(jì)算對(duì)比項(xiàng)直接緩存歷史幀記憶Token方案20秒總Token數(shù)約61440480幀×1285000注意力計(jì)算復(fù)雜度單幀與61440全部交互與5000交互鍵值緩存量級(jí)容易超過(guò)24GB壓縮后降低約一個(gè)數(shù)量級(jí)24GB消費(fèi)卡體驗(yàn)普遍溢出可以跑但要看模型個(gè)體量生成質(zhì)量上限容易受長(zhǎng)上下文噪聲干擾信息被摘要質(zhì)量相對(duì)穩(wěn)定這個(gè)表格不是絕對(duì)精確但能反映出核心邏輯顯存開(kāi)銷的大頭是序列長(zhǎng)度先把序列長(zhǎng)度砍下來(lái)再用多出來(lái)的顯存空間去跑更多幀這個(gè)思路比單純?cè)绎@卡硬件要聰明得多。3.3 錢省出來(lái)的另外三個(gè)“小操作”壓縮Token是大頭但要讓消費(fèi)級(jí)顯卡跑得更舒服還有三個(gè)細(xì)節(jié)值得一起做。第一是量化。模型權(quán)重用8位整數(shù)量化激活值保留一定浮點(diǎn)精度能在幾乎不損失生成質(zhì)量的前提下再省出一部分顯存。我在實(shí)際測(cè)試中發(fā)現(xiàn)這個(gè)操作對(duì)視頻生成這類大模型很友好注意力模塊對(duì)量化比較敏感但關(guān)鍵層保留高精度就不會(huì)有實(shí)質(zhì)性畫(huà)質(zhì)下滑。第二是激活重計(jì)算。視頻生成的迭代過(guò)程中每一層會(huì)有大量中間激活值默認(rèn)會(huì)全部留在顯存里。打開(kāi)重計(jì)算選項(xiàng)后這些中間值會(huì)在反向傳播或下一輪生成時(shí)臨時(shí)重算用少量額外計(jì)算時(shí)間換回大量顯存空間屬于典型的“拿時(shí)間換顯存”。第三是分塊滾動(dòng)生成。不把完整長(zhǎng)視頻一次性塞進(jìn)模型而是每次只生成一小段比如8秒然后把上一段壓縮出的記憶Token滾動(dòng)傳給下一段。新一段生成時(shí)歷史是完整攜帶的但它不需要在顯存里同時(shí)放下兩段完整畫(huà)面的所有中間狀態(tài)。長(zhǎng)視頻生成的過(guò)程就變成了一次又一次“帶著記憶前進(jìn)”而不是“追求一口氣跑完”。4. 復(fù)現(xiàn)過(guò)程中的實(shí)測(cè)參數(shù)與三個(gè)大坑4.1 我在24GB顯存消費(fèi)級(jí)顯卡上的測(cè)試配置先交代一下我的實(shí)驗(yàn)環(huán)境。我沒(méi)有用任何服務(wù)端的滿血大卡就用一張消費(fèi)級(jí)顯卡顯存24GB驅(qū)動(dòng)和推理框架都保持了常規(guī)版本。視頻目標(biāo)輸出是960×540分辨率歷史窗口設(shè)為20秒約等于300幀到480幀不等取決于我測(cè)試時(shí)的幀率。我采用的流程是先按原方案把歷史壓縮成5000個(gè)Token然后按8秒一個(gè)塊滾動(dòng)生成。生成過(guò)程里每一塊的起始狀態(tài)都要重新讀取一次記憶Token而不是沿用上一個(gè)塊的所有中間緩存。實(shí)測(cè)下來(lái)整段視頻生成過(guò)程中峰值顯存大概在17GB到19GB之間沒(méi)有爆顯存也沒(méi)有出現(xiàn)模型直接拒絕工作的情況。相比以前直接塞歷史幀的做法這個(gè)方案讓我第一次在一張普通消費(fèi)卡上連續(xù)生成了一分鐘以上連貫內(nèi)容代價(jià)是生成總時(shí)長(zhǎng)比短片段生成慢了不少主要慢在每次滾動(dòng)前都要重新編碼一次記憶Token。4.2 坑一用池化代替可學(xué)習(xí)壓縮器必然出現(xiàn)畫(huà)風(fēng)漂移我剛開(kāi)始復(fù)現(xiàn)的時(shí)候圖省事想直接用池化把歷史幀特征揉成一個(gè)固定向量理由是“反正模型規(guī)模不大先跑通再說(shuō)”。結(jié)果生成到第20秒左右人物衣服的顏色開(kāi)始微變?cè)偻髱酌氡尘暗拇u縫紋理也逐漸變形。這驗(yàn)證了壓縮器本身必須是可學(xué)習(xí)的。池化版本的Token里缺少“運(yùn)動(dòng)趨勢(shì)”這個(gè)關(guān)鍵維度。模型知道過(guò)去有些幀里發(fā)生過(guò)動(dòng)作但它不知道動(dòng)作是從哪個(gè)方向往哪個(gè)方向走所以只能在預(yù)測(cè)下一幀時(shí)取一個(gè)中間態(tài)最終表現(xiàn)為畫(huà)面逐漸向均值逼近。后來(lái)我換上可學(xué)習(xí)壓縮器重新訓(xùn)練一段時(shí)間之后同一長(zhǎng)度視頻生成結(jié)果里人物服裝、發(fā)型、背景結(jié)構(gòu)都能維持穩(wěn)定。這個(gè)坑我印象特別深因?yàn)樗f(shuō)明了一個(gè)道理壓縮方案里真正值錢的是壓縮器跟生成網(wǎng)絡(luò)的聯(lián)合優(yōu)化而不是單純把Token數(shù)降下來(lái)。4.3 坑二記憶Token的更新策略會(huì)直接影響連貫性第二個(gè)坑發(fā)生在緩存更新環(huán)節(jié)。生成新一幀之后記憶Token要怎么更新我一開(kāi)始的做法比較暴力每一幀生成完就把這一幀的特征直接拼進(jìn)記憶Token里然后把最老的Token擠出去。結(jié)果出現(xiàn)了明顯閃爍畫(huà)面上有些輕微的視角抖動(dòng)不是因?yàn)樯赡Ｐ捅旧矶秳?dòng)而是因?yàn)橛洃汿oken的更新太頻繁導(dǎo)致每一段生成時(shí)接收到的歷史信息都在小幅度震蕩一會(huì)偏重前幾秒一會(huì)偏重后幾秒。我后來(lái)的處理方式是加了一個(gè)“滑動(dòng)淘汰”機(jī)制每個(gè)記憶Token內(nèi)部帶一個(gè)積分計(jì)數(shù)器每一幀生成時(shí)如果某個(gè)Token被當(dāng)前幀顯著引用就把它保留并提高積分如果連續(xù)多幀沒(méi)有被引用積分下降到閾值后才會(huì)被新Token替換。這樣記憶的更新是漸變的不會(huì)被最新一幀瞬間沖掉也不會(huì)讓舊信息賴著不走。4.4 坑三鏡頭切換時(shí)必須重置部分記憶第三個(gè)坑是長(zhǎng)視頻里最常見(jiàn)的場(chǎng)景切換。如果視頻內(nèi)容里有一個(gè)硬切比如從室內(nèi)切到室外整個(gè)光照條件、背景結(jié)構(gòu)、運(yùn)動(dòng)模式全部變了。這時(shí)候如果還沿用切鏡頭之前的記憶Token去預(yù)測(cè)下一個(gè)鏡頭模型會(huì)試圖在新場(chǎng)景里維持舊場(chǎng)景的光照邏輯做出來(lái)的畫(huà)面經(jīng)常是“室外場(chǎng)景帶著室內(nèi)濾鏡”。我的解決方案是給生成管線加了一個(gè)“場(chǎng)景邊界檢測(cè)”信號(hào)。檢測(cè)到鏡頭切換時(shí)對(duì)一部分Token做整體重置只保留人物外觀和身份類Token清空運(yùn)動(dòng)類和環(huán)境類Token讓新鏡頭從一套相對(duì)中性的歷史狀態(tài)開(kāi)始重新積累。這個(gè)方法聽(tīng)起來(lái)簡(jiǎn)單但對(duì)長(zhǎng)視頻的實(shí)際質(zhì)感提升很大切換之后的畫(huà)面不再帶著上一段場(chǎng)景的“記憶殘留”。5. 這套思路的實(shí)際應(yīng)用邊界和我最看好的延伸方向5.1 它解決的是連續(xù)性而不是創(chuàng)意需要明確一點(diǎn)Token壓縮方案解決的是長(zhǎng)視頻生成的連續(xù)性和一致性它不會(huì)讓模型突然變得更有創(chuàng)意。如果你給它的提示詞本身就很弱生成的畫(huà)面依然會(huì)平淡如果場(chǎng)景內(nèi)容本身缺乏邏輯壓縮再好的Token也補(bǔ)不出合理劇情。這套方案最實(shí)用的場(chǎng)景是多鏡頭的故事性內(nèi)容生成、產(chǎn)品展示、角色演示這類“需要讓同一對(duì)象在不同角度和時(shí)間段里保持一致”的視頻。它更像是一個(gè)“記憶加固層”幫助生成模型的畫(huà)面不跑偏而不是替代導(dǎo)演或編劇去做創(chuàng)意決策。5.2 從“歷史壓縮”到“設(shè)定壓縮”可控性會(huì)變強(qiáng)我更看好的延伸方向是用同一套記憶Token機(jī)制去壓“設(shè)定”而不是只壓“歷史”。角色外貌、服裝、場(chǎng)景光照、鏡頭運(yùn)動(dòng)風(fēng)格這些信息其實(shí)都可以做成固定的記憶Token在生成全過(guò)程里常駐。這會(huì)帶來(lái)一個(gè)很有趣的質(zhì)變未來(lái)的視頻生成不再需要每次都在提示詞里反復(fù)描述角色長(zhǎng)相而可以像加載“記憶包”一樣把某個(gè)角色或某個(gè)場(chǎng)景的穩(wěn)定設(shè)定直接注入模型。長(zhǎng)視頻生成會(huì)變成類似于“演員帶著劇本進(jìn)組拍戲”的過(guò)程角色設(shè)定已經(jīng)是既定事實(shí)生成器只需要負(fù)責(zé)把戲演好。5.3 我也在留意跨模態(tài)記憶的統(tǒng)一趨勢(shì)視頻記憶Token只是這個(gè)思路的一個(gè)應(yīng)用方向文本、音頻、三維場(chǎng)景其實(shí)都在面對(duì)同樣的問(wèn)題。很多生成模型都卡在“上下文太長(zhǎng)歷史攜帶不動(dòng)”的瓶頸上而解決方案幾乎都指向同一個(gè)方向把原始序列壓縮成可檢索的高層記憶。音頻生成長(zhǎng)音頻時(shí)需要記住前幾分鐘的旋律、說(shuō)話人音色和節(jié)奏三維場(chǎng)景生成時(shí)需要記住已生成區(qū)域的材質(zhì)和幾何結(jié)構(gòu)。它們都可以用“記憶Token”的方式抽象表達(dá)。當(dāng)前這套思路在視頻里跑通之后至少證明了一點(diǎn)與其無(wú)腦堆顯存或者無(wú)限拉長(zhǎng)上下文不如先把生成模型真正需要的歷史信息單獨(dú)提煉出來(lái)。我自己在實(shí)操中的體會(huì)是這類方案對(duì)參數(shù)調(diào)整的需求反而集中在記憶Token的數(shù)量和更新策略上一旦這兩個(gè)參數(shù)調(diào)順了長(zhǎng)視頻生成會(huì)變得非?？煽?。最后分享一個(gè)小技巧不要一上來(lái)就直接挑戰(zhàn)60秒視頻先拿10秒歷史窗口和4秒生成塊把5000個(gè)Token的穩(wěn)定性測(cè)出來(lái)再逐步加長(zhǎng)視頻時(shí)長(zhǎng)。這樣一層層往上疊比一次性把參數(shù)拉滿要省時(shí)間得多也更容易定位是哪一環(huán)節(jié)拖垮了連貫性。