擴(kuò)散模型這兩年的存在感強(qiáng)到幾乎成了“生成式AI”的代名詞。從2022年Stable Diffusion開源那天起文生圖、圖生視頻、新視角合成、3D生成一股腦涌進(jìn)大眾視野但很多人并不清楚擴(kuò)散模型并不是2022年才冒出來的。它從最初一個(gè)略帶物理味道的想法到今天變成整個(gè)AIGC領(lǐng)域的地基經(jīng)歷了將近十年的演化。這篇博文我打算按自己的理解把這條路完整捋一遍從2015年那篇奠基論文講起講score-based模型、DDPM、SDE統(tǒng)一視角、引導(dǎo)機(jī)制、潛在擴(kuò)散模型再延伸到新視角合成和3D內(nèi)容生成最后附上我在實(shí)際訓(xùn)練和部署中踩過的坑。如果你正在學(xué)擴(kuò)散模型、想在項(xiàng)目里用它生成圖像或者只是好奇為什么AI繪圖這么好用這篇內(nèi)容應(yīng)該能幫你建立一條很清晰的技術(shù)時(shí)間線。讀完你會(huì)明白為什么加噪會(huì)被叫做“擴(kuò)散”為什么現(xiàn)在的生成模型都跑到“潛空間”里干活以及你在各類Demo里看到的新視角合成、3D生成效果到底是怎么從擴(kuò)散模型里長(zhǎng)出來的。1. 一切從一個(gè)熱力學(xué)比喻開始擴(kuò)散模型的思想原點(diǎn)1.1 “擴(kuò)散”兩個(gè)字到底在說什么不用公式解釋擴(kuò)散模型的話我通常會(huì)打一個(gè)比方你有一杯滴進(jìn)墨水的清水墨水會(huì)慢慢暈開最后整杯水變成均勻的灰色這個(gè)過程就是物理擴(kuò)散。它的逆過程是把灰色水重新變回“墨水分明”的狀態(tài)幾乎不可能自然發(fā)生。但如果有一個(gè)“神之手”每一步都能預(yù)判顆粒往哪走理論上也能把水復(fù)原。2015年之前生成模型界的主流思路并不是這個(gè)。GAN當(dāng)時(shí)已經(jīng)火了好幾年VAE也有一批擁躉。擴(kuò)散模型的起點(diǎn)是2015年Sohl-Dickstein等人發(fā)表的那篇標(biāo)題很長(zhǎng)的論文《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》。這篇論文最核心的貢獻(xiàn)是把熱力學(xué)里的“擴(kuò)散”翻譯成了機(jī)器學(xué)習(xí)語言定義一條前向路徑把數(shù)據(jù)逐步加噪直到變成純?cè)肼曉儆?xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)這條路徑的逆向過程。訓(xùn)練完成之后你只要從純?cè)肼暢霭l(fā)順著逆向過程一步一步走就能得到一張新圖。這個(gè)思想今天看很自然但在當(dāng)時(shí)相當(dāng)超前。它不是去“直接生成數(shù)據(jù)”而是去“學(xué)一個(gè)破壞的反過程”。這等于換了一個(gè)提問方式不要問模型怎么憑空畫出一只貓而是問它怎么把一堆噪聲一步步“擦”成一只貓。1.2 前向過程和反向過程的數(shù)學(xué)骨架具體到數(shù)學(xué)上前向過程定義一個(gè)馬爾可夫鏈。給定一張干凈圖像x0每一步按一個(gè)預(yù)先設(shè)計(jì)好的方差往里面加一點(diǎn)高斯噪聲經(jīng)過T步之后得到xT。當(dāng)步數(shù)T足夠大xT基本就是標(biāo)準(zhǔn)高斯噪聲原始信息徹底被淹沒。反向過程是訓(xùn)練一個(gè)帶參數(shù)的神經(jīng)網(wǎng)絡(luò)每一步根據(jù)當(dāng)前帶噪圖像和時(shí)間步t預(yù)測(cè)這一步該“去掉”多少噪聲逐步把圖像還原。2015年這篇論文里訓(xùn)練目標(biāo)寫得非常復(fù)雜用了變分下界的框架形式上類似VAE。作者推導(dǎo)了ELBO并設(shè)計(jì)了一系列近似。但問題在于當(dāng)時(shí)大家發(fā)現(xiàn)直接優(yōu)化這個(gè)目標(biāo)很困難需要非常大的采樣步數(shù)和算力生成質(zhì)量和同時(shí)期的GAN比有明顯差距。所以這篇論文雖然把整個(gè)框架搭起來了但它在圖像生成上展現(xiàn)出統(tǒng)治力還要再等五年。1.3 為什么它“起了個(gè)大早趕了個(gè)晚集”我2019年回頭看這篇2015年的論文時(shí)心里最大的疑問就是為什么這么漂亮的想法沒有立刻引爆原因其實(shí)很現(xiàn)實(shí)。第一是算力2015年大規(guī)模訓(xùn)練圖像生成模型還很吃力。第二是優(yōu)化目標(biāo)太復(fù)雜當(dāng)時(shí)的實(shí)現(xiàn)包含一連串近似訓(xùn)練不穩(wěn)定。第三是高分辨率生成效果差在ImageNet和LSUN這種大規(guī)模數(shù)據(jù)集上它的表現(xiàn)遠(yuǎn)不如GAN那種眼花繚亂的結(jié)果。公平地說沒有2015年這篇奠基之作就不會(huì)有后面一系列“做減法”式的改進(jìn)。后來的工作幾乎都在干同一件事把復(fù)雜的訓(xùn)練目標(biāo)簡(jiǎn)化把采樣過程加速把控制條件加進(jìn)來。DDPM之所以能成功本質(zhì)上就是因?yàn)樗?015年那套復(fù)雜目標(biāo)化簡(jiǎn)成了“預(yù)測(cè)噪聲”四個(gè)字。2. 現(xiàn)代擴(kuò)散模型的三個(gè)坐標(biāo)NCSN、DDPM與SDE統(tǒng)一2.1 NCSN用score matching估計(jì)“數(shù)據(jù)分布的梯度”2019年Yang Song和Stefano Ermon發(fā)表了NCSNNoise Conditional Score Network。他們的思路和DDPM那條線不同不直接建模數(shù)據(jù)分布p(x)而是估計(jì)數(shù)據(jù)分布的“分?jǐn)?shù)”——也就是對(duì)數(shù)似然關(guān)于輸入的梯度?x log p(x)。這相當(dāng)于告訴模型從當(dāng)前樣本出發(fā)往哪個(gè)方向調(diào)整能更快走到真實(shí)數(shù)據(jù)的高密度區(qū)域。有了這個(gè)分?jǐn)?shù)就可以用郎之萬采樣Langevin dynamics從隨機(jī)噪聲開始沿著梯度方向一步步“爬”到真實(shí)樣本附近。這里面有個(gè)關(guān)鍵工程細(xì)節(jié)直接估計(jì)高維空間里的分?jǐn)?shù)非常困難因?yàn)榈兔芏葏^(qū)域幾乎沒有數(shù)據(jù)估計(jì)方差會(huì)爆炸。他們的解法是引入多重噪聲擾動(dòng)。用一系列不同幅度的噪聲把數(shù)據(jù)“抹糊”在每個(gè)噪聲級(jí)別下分別估計(jì)分?jǐn)?shù)訓(xùn)練時(shí)隨機(jī)抽一個(gè)級(jí)別。這樣做的效果是模型先在“糊掉”的數(shù)據(jù)分布上找到大致方向再逐步收緊到真實(shí)分布這就是annealed Langevin dynamics的思路也是“噪聲條件得分網(wǎng)絡(luò)”這個(gè)名字的來源。NCSN與DDPM看起來是兩套完全不同的理論但后來證明它們其實(shí)是同一個(gè)硬幣的兩面。這個(gè)“統(tǒng)一”是2021年才完成的但對(duì)理解擴(kuò)散模型至關(guān)重要。2.2 DDPM把一切簡(jiǎn)化到“預(yù)測(cè)噪聲”2020年Jonathan Ho等人的DDPMDenoising Diffusion Probabilistic Models是整個(gè)擴(kuò)散模型蛻變的分水嶺。我到現(xiàn)在還記得第一次跑通DDPM訓(xùn)練腳本時(shí)的感受訓(xùn)練邏輯簡(jiǎn)單到難以置信。從數(shù)據(jù)里抽一張圖隨機(jī)抽一個(gè)時(shí)間步t隨機(jī)抽一個(gè)高斯噪聲把它加到圖上然后讓U-Net把這個(gè)噪聲預(yù)測(cè)出來算L2損失。E_t || ε - ε_(tái)θ(x_t, t)||2意思就是給定t時(shí)刻的噪聲圖x_t讓網(wǎng)絡(luò)去預(yù)測(cè)“剛剛加進(jìn)去的那個(gè)噪聲”本身而不是預(yù)測(cè)均值、方差。整個(gè)訓(xùn)練目標(biāo)不再需要復(fù)雜的ELBO近似一句話就能說清楚。網(wǎng)絡(luò)結(jié)構(gòu)用了U-Net時(shí)間步t通過正弦位置編碼輸入配合EMA和混合精度訓(xùn)練。結(jié)果是在CIFAR-10和LSUN數(shù)據(jù)集上FID追平甚至反超同時(shí)期的GAN。這件事的意義非常大。它意味著擴(kuò)散模型不再是一個(gè)“看起來很理論”的存在而是一個(gè)任何有PyTorch基礎(chǔ)的人都能在幾天內(nèi)復(fù)現(xiàn)的算法。我記得當(dāng)時(shí)社區(qū)里很快出現(xiàn)了各種基于DDPM的改進(jìn)工作訓(xùn)練腳本也從一行行難懂的推導(dǎo)變成了一套標(biāo)準(zhǔn)流水線。從這時(shí)起擴(kuò)散模型正式進(jìn)入了主流實(shí)踐。2.3 SDE統(tǒng)一一轉(zhuǎn)眼兩個(gè)門派被收進(jìn)同一個(gè)框架2021年Song等人的《Score-Based Generative Modeling through Stochastic Differential Equations》把NCSN和DDPM統(tǒng)一到了一個(gè)連續(xù)時(shí)間視角下。這篇論文我反復(fù)讀過很多遍它的核心洞見是前向加噪過程可以看作一個(gè)從數(shù)據(jù)分布漂移到先驗(yàn)分布的隨機(jī)微分方程而逆向過程是另一個(gè)“時(shí)間反轉(zhuǎn)”的SDE只依賴于每個(gè)時(shí)刻的分?jǐn)?shù)。從這個(gè)視角看NCSN對(duì)應(yīng)的是一類方差爆發(fā)的SDEVE-SDEvariance explodingDDPM對(duì)應(yīng)的則是方差保持的SDEVP-SDEvariance preserving。換句話說兩個(gè)看起來理論淵源不同的模型只是同一個(gè)連續(xù)過程的兩種不同離散化方式。這個(gè)統(tǒng)一帶來的實(shí)際價(jià)值有兩層。一是理論工具更強(qiáng)了可以用SDE求解器和概率流ODE來加速采樣DDIM采樣器可以看作概率流ODE的一種確定性離散化。二是后續(xù)很多改進(jìn)都建立在這個(gè)框架上“擴(kuò)散模型”從此不再特指某一篇論文而是一整個(gè)研究范式的名字。2.1、2.2和2.3這三條線合在一起構(gòu)成了現(xiàn)代擴(kuò)散模型的三個(gè)坐標(biāo)。理解它們之間的異同再看后面的LDM和Stable Diffusion會(huì)輕松很多。3. 從“能生成”到“生成得好”引導(dǎo)機(jī)制與工程技巧3.1 classifier guidance讓擴(kuò)散模型學(xué)會(huì)“指哪打哪”DDPM雖然能生成高質(zhì)量圖像但有一個(gè)致命短板不好控制內(nèi)容。你告訴它“我要一只貓”它不會(huì)聽你的。2021年Dhariwal和Nichol那篇《Diffusion Models Beat GANs on Image Synthesis》戳中了這個(gè)痛點(diǎn)。他們?cè)诓蓸訒r(shí)引入一個(gè)分類器的梯度每一步除了按去噪網(wǎng)絡(luò)給出的方向走還額外疊加分類器關(guān)于輸入的梯度把樣本往“屬于目標(biāo)類別”的方向推一步。這個(gè)操作等價(jià)于在采樣過程中注入目標(biāo)類別的對(duì)數(shù)似然梯度。超參數(shù)guidance scale通常取1到10之間越大類別越一致但太大的話圖像會(huì)出現(xiàn)過飽和、不自然的偽影。這篇論文的另一個(gè)貢獻(xiàn)是證明只要把模型規(guī)模和訓(xùn)練策略做到位擴(kuò)散模型在FID這類指標(biāo)上能全面超過GAN。那年之后很多做生成的研究團(tuán)隊(duì)都開始扭頭看擴(kuò)散方向。不過classifier guidance有個(gè)煩惱需要額外訓(xùn)練一個(gè)能在噪聲圖上工作的分類器訓(xùn)練成本不小。我當(dāng)時(shí)試過在ImageNet上訓(xùn)這個(gè)分類器前處理要處理不同噪聲級(jí)別的輸入工程上相當(dāng)啰嗦。所以沒過多久無分類器引導(dǎo)就把它取代了。3.2 classifier-free guidance把分類器扔掉條件反而更靈活Ho和Salimans提出的classifier-free guidance是擴(kuò)散模型歷史上最優(yōu)雅的一個(gè)小技巧。它的做法簡(jiǎn)單得令人吃驚訓(xùn)練條件擴(kuò)散模型時(shí)以一定概率比如10%把條件置空讓同一個(gè)模型既學(xué)會(huì)“看著條件去噪”又學(xué)會(huì)“不看條件去噪”。采樣時(shí)對(duì)兩種預(yù)測(cè)做外推ε? (1 w) * ε_(tái)cond ? w * ε_(tái)uncond其中ε_(tái)cond是有條件時(shí)的預(yù)測(cè)ε_(tái)uncond是條件置空時(shí)的預(yù)測(cè)w是引導(dǎo)強(qiáng)度。這個(gè)式子用起來極其靈活可以和文本、類別、布局、深度圖等任意條件組合而且不需要訓(xùn)練額外的分類器。后來幾乎所有文生圖模型——DALL-E 2、Imagen、Stable Diffusion——的默認(rèn)方案都是它。我自己的體會(huì)是classifier-free guidance讓“條件控制”這件事從“專門訓(xùn)練一個(gè)判別模型”變成了“同一個(gè)模型里摳出一部分參數(shù)”。工程上省了一大截效果還更好。唯一要注意的是訓(xùn)練時(shí)條件dropout的比例不能太大否則模型會(huì)過度忽略條件太小則無條件的預(yù)測(cè)不靠譜外推會(huì)失效。10%是一個(gè)普遍好用的默認(rèn)值。3.3 采樣提速與訓(xùn)練穩(wěn)定性從“1000步”到“幾十步”我最早用DDPM生成一張512x512圖像要跑滿1000步采樣一張圖要幾十秒放到服務(wù)里完全不可用。后來換用DDIM在50步以內(nèi)就能得到幾乎不損失質(zhì)量的結(jié)果推理速度提升了一個(gè)量級(jí)。原理上DDIM對(duì)應(yīng)概率流ODE的確定性離散化去掉了朗之萬采樣中的隨機(jī)項(xiàng)因此同樣步數(shù)下更穩(wěn)。再往后DPM-Solver和DPM這類基于ODE的采樣器進(jìn)一步把步數(shù)壓到10到20步?，F(xiàn)在你打開diffusers庫(kù)scheduler列表里有一堆選項(xiàng)最常用的就是PNDM、DDIM、DPM-Solver和Euler。如果你在部署文生圖服務(wù)我的建議是優(yōu)先用DPM-Solver配10到20步質(zhì)量、速度、穩(wěn)定性綜合最優(yōu)。訓(xùn)練穩(wěn)定方面EMA幾乎必須開。EMA相當(dāng)于把歷史權(quán)重做了平滑會(huì)讓訓(xùn)練過程中的樣本質(zhì)量震蕩明顯下降。我自己在訓(xùn)練UNet時(shí)見過太多次“上一輪loss在降這一輪突然崩了”的情況開EMA之后這種現(xiàn)象少很多。混合精度fp16也是標(biāo)配但要注意梯度縮放和某些層在fp16下的數(shù)值穩(wěn)定性后面第6節(jié)我會(huì)把坑寫細(xì)。4. 壓縮進(jìn)潛空間LDM與Stable Diffusion的“破圈”之路4.1 像素域擴(kuò)散為什么撐不起大規(guī)模應(yīng)用DDPM在64x64、128x128上很驚艷但要上512x512甚至1024x1024就非常吃力。原因很直接擴(kuò)散模型每一步都在處理“整個(gè)圖像張量”像素域維度高U-Net每一層的計(jì)算極其沉重顯存和算力都吃不消。而且文本條件要注入到每一層到了高分辨率計(jì)算量更是雪上加霜。一個(gè)自然的想法是不要直接在圖像空間做擴(kuò)散先拿一個(gè)自編碼器把圖像壓縮到低維潛空間只在潛空間里做去噪。這就是Latent Diffusion ModelsLDM潛在擴(kuò)散模型的核心思想。它來自Rombach等人2021年底提交的論文2022年在CVPR發(fā)表。這條路線直接促成了Stable Diffusion的出現(xiàn)。4.2 LDM三個(gè)組件與那個(gè)容易忽視的縮放系數(shù)LDM由三塊組成第一塊是感知壓縮自編碼器把512x512x3的圖像編碼成64x64x4的潛變量第二塊是一個(gè)U-Net擴(kuò)散模型在潛空間里完成加噪去噪第三塊是條件注入機(jī)制文本或其他模態(tài)通過交叉注意力cross-attention與U-Net的中間特征交互。訓(xùn)練分兩個(gè)階段先訓(xùn)自編碼器再固定編碼器訓(xùn)潛空間擴(kuò)散模型。因?yàn)闈摽臻g維度只有原來的差不多1/48擴(kuò)散模型跑起來輕松非常多也更容易擴(kuò)展到高分辨率。但我必須提醒一個(gè)很容易踩的坑潛空間的scale。訓(xùn)練LDM時(shí)一定要讓潛變量的標(biāo)準(zhǔn)差保持在一個(gè)合適范圍否則擴(kuò)散訓(xùn)練會(huì)不穩(wěn)定。官方實(shí)現(xiàn)里會(huì)對(duì)編碼器輸出乘一個(gè)縮放系數(shù)例如Stable Diffusion v1.x里大約是0.18215目的就是讓潛空間分布接近標(biāo)準(zhǔn)正態(tài)。很多復(fù)現(xiàn)LDM的人忘了這一層loss雖然能降但生成的圖總是發(fā)糊。4.3 從LDM到Stable Diffusion再到整個(gè)AIGC生態(tài)Stable Diffusion其實(shí)就是LDM在文本生成圖像場(chǎng)景下的開放版本。2022年8月開源之后擴(kuò)散模型的能力被釋放到了整個(gè)社區(qū)后面長(zhǎng)出來一整棵技術(shù)樹LoRA用少量數(shù)據(jù)微調(diào)風(fēng)格ControlNet用深度圖、邊緣圖做結(jié)構(gòu)控制DreamBooth做個(gè)性化定制以及各種基于SD的插件式工作流?？梢哉f沒有LDM把擴(kuò)散模型從像素域搬到潛空間以當(dāng)時(shí)的GPU算力全球用戶“人人能跑文生圖”根本不可能。印象最深的是SD剛開源那陣一臺(tái)消費(fèi)級(jí)顯卡用fp16就能出圖這在一年前根本不敢想。這背后是潛空間壓縮、U-Net降采樣、classifier-free guidance三者合力的結(jié)果。你要理解現(xiàn)在的擴(kuò)散模型生態(tài)LDM這條線索是必須吃透的。5. 擴(kuò)散模型的新戰(zhàn)場(chǎng)新視角合成與3D內(nèi)容生成5.1 新視角合成是什么任務(wù)為什么需要擴(kuò)散模型新視角合成粗淺來說就是“給你一張或幾張同一個(gè)物體的照片你幫我畫出從另一個(gè)角度看它是什么樣子”。傳統(tǒng)做法依賴多視圖幾何和NeRF這類神經(jīng)渲染需要采集大量多視角照片再用體渲染顯式重建3D場(chǎng)景。但如果只給你一張圖怎么猜出背面長(zhǎng)什么樣這是一個(gè)極度不適定的問題必須依靠先驗(yàn)知識(shí)。擴(kuò)散模型的價(jià)值正在于它是一個(gè)極其強(qiáng)大的圖像先驗(yàn)。2022年底的Zero-1-to-3做了一件非常直觀的事把輸入圖像和一個(gè)相對(duì)相機(jī)位姿變化旋轉(zhuǎn)矩陣加平移向量一起作為條件訓(xùn)練擴(kuò)散模型去生成新視角下的畫面。推理時(shí)給定一張圖和一個(gè)目標(biāo)姿態(tài)模型直接輸出對(duì)應(yīng)視角圖像不需要測(cè)試時(shí)的任何優(yōu)化也不需要場(chǎng)景重建。擴(kuò)展到廣義場(chǎng)景時(shí)同一個(gè)物體只要見過足夠多角度的訓(xùn)練數(shù)據(jù)它就能生硬地“腦補(bǔ)”出背后的樣子。我把這個(gè)例子放在這里是因?yàn)樗抢斫狻皵U(kuò)散模型不只是文生圖”的最好入口。它的條件不是文本而是“相機(jī)變換”它的輸出不是“符合文本的圖”而是“符合視角變化的圖”。同一個(gè)生成底座換一個(gè)條件編碼方式就變成另一個(gè)任務(wù)。5.2 從2D擴(kuò)散到3D生成SDS loss與可微渲染結(jié)合比新視角合成更進(jìn)一步的是直接從文本或單張圖生成完整3D模型。2022年的DreamFusion提出了Score Distillation SamplingSDS。它的思路是用一個(gè)預(yù)訓(xùn)練2D擴(kuò)散模型當(dāng)“視覺先驗(yàn)”監(jiān)督一個(gè)可微渲染的3D表示通常是NeRF一類。每次迭代從當(dāng)前3D表示渲染一幅圖把圖加噪后丟給擴(kuò)散模型估計(jì)分?jǐn)?shù)得到“渲染圖和目標(biāo)語義之間差異”的梯度再反向傳播去優(yōu)化3D參數(shù)。本質(zhì)上擴(kuò)散模型被當(dāng)成一個(gè)無所不知的圖像先驗(yàn)用它把2D生成能力“蒸餾”進(jìn)3D表達(dá)。后來很多工作都沿著這條路走用SD做先驗(yàn)、用LoRA控制風(fēng)格、用SDS加各種正則約束幾分鐘就能從文本生成一個(gè)可以環(huán)繞查看的3D模型。雖然它在幾何精度上不如傳統(tǒng)三維重建但那種“從無到有創(chuàng)造3D資產(chǎn)”的能力對(duì)游戲、影視、電商行業(yè)的影響是實(shí)打?qū)嵉摹?.3 視角合成與3D生成其實(shí)是同一套零件值得玩味的是這兩個(gè)方向底層用的是同一套零件預(yù)訓(xùn)練擴(kuò)散模型、相機(jī)姿態(tài)表示以及把擴(kuò)散先驗(yàn)和可微渲染結(jié)合的數(shù)學(xué)框架。區(qū)別只在于任務(wù)是“預(yù)測(cè)圖像”還是“優(yōu)化三維表示”。這種“換任務(wù)不換框架”的特性讓擴(kuò)散模型成為通用生成底座。如果你已經(jīng)會(huì)用diffusers、理解了U-Net和cross-attention那再往新視角合成、SDS訓(xùn)練走并沒有想象中那么高的門檻。6. 動(dòng)手實(shí)踐把擴(kuò)散模型跑起來以及我踩過的那些坑6.1 環(huán)境準(zhǔn)備diffusers一行安裝理論聊完落地才是硬道理。Hugging Face的diffusers是目前最省事的起點(diǎn)。建議環(huán)境是Python 3.10、PyTorch 2.x、CUDA 11.8以上。安裝就一行pip install diffusers transformers accelerate想直接體驗(yàn)Stable Diffusion的話官方代碼少得感人from diffusers import StableDiffusionPipeline import torch pipe StableDiffusionPipeline.from_pretrained( runwayml/stable-diffusion-v1-5, torch_dtypetorch.float16 ).to(cuda) image pipe(a cat sitting on a windowsill, golden hour).images[0] image.save(cat.png)第一次運(yùn)行會(huì)下載權(quán)重建議保留好本地緩存。需要注意的是fp16推理會(huì)比fp32快不少顯存占用也少一大截但某些顯卡上輸出會(huì)偶發(fā)黑色圖片多半是精度或緩存問題。6.2 自己訓(xùn)練一個(gè)最小DDPM如果不想只當(dāng)使用者可以跑一個(gè)極小的DDPM訓(xùn)練。diffusers官方示例腳本train_unconditional.py就是干這個(gè)的accelerate launch train_unconditional.py \ --dataset_name hf-internal-testing/demo_image_dataset \ --output_dir ddpm-demo \ --train_batch_size 16 \ --num_epochs 50 \ --mixed_precision fp16 \ --learning_rate 1e-4腳本會(huì)自動(dòng)把圖片縮放并歸一化到[-1,1]。默認(rèn)用的線性beta schedule是從0.0001到0.02共1000步。這個(gè)區(qū)間為什么這么選太小的話前向加噪不夠反向?qū)W不到東西太大則一步噪聲就把信號(hào)蓋掉網(wǎng)絡(luò)難以還原。這組數(shù)值是DDPM論文里反復(fù)試出來的后來模型喜歡用cosine schedule曲線更平緩實(shí)測(cè)更穩(wěn)。如果你想加classifier-free guidance需要在訓(xùn)練腳本里做兩件事第一把條件用一個(gè)embedding層編碼第二在喂條件時(shí)按照10%的概率隨機(jī)置零。采樣時(shí)再按那個(gè)外推公式算最終預(yù)測(cè)。我自己踩過一次坑條件dropout概率設(shè)了30%模型學(xué)出來的無條件分支過于強(qiáng)勢(shì)導(dǎo)致帶條件分支被壓制生成圖像和文本對(duì)不上。這個(gè)比例不是越大越好。6.3 常見問題排查速查表我把訓(xùn)練和部署擴(kuò)散模型時(shí)最常見的幾個(gè)問題整理成了一張表癥狀可能原因解決辦法loss發(fā)散或出現(xiàn)NaN學(xué)習(xí)率過大或fp16未正確使用梯度縮放把學(xué)習(xí)率降到1e-4以下開啟默認(rèn)的GradScaler生成圖像全灰或全是噪聲未開EMA或訓(xùn)練步數(shù)太少開啟EMA拉長(zhǎng)訓(xùn)練時(shí)間樣本質(zhì)量高但多樣性差guidance scale過高或采樣步數(shù)太少把w降到7.5附近用DDIM或DPM-Solver跑20步圖像出現(xiàn)紫綠噪點(diǎn)偽影fp16下U-Net的GroupNorm精度不穩(wěn)關(guān)鍵層回退fp32或直接使用bf16512x512訓(xùn)練顯存溢出batch size過大減小batchsize用梯度累積或改用LDM潛空間路線還有一個(gè)非常實(shí)用的經(jīng)驗(yàn)訓(xùn)練的時(shí)候最好每次驗(yàn)證采樣都使用EMA權(quán)重。帶EMA的權(quán)重通常比當(dāng)前step的權(quán)重穩(wěn)定得多很多官方checkpoint其實(shí)都是EMA版本。我自己跑實(shí)驗(yàn)時(shí)會(huì)在每個(gè)epoch末尾用同一組隨機(jī)種子對(duì)比“當(dāng)前權(quán)重”和“EMA權(quán)重”的輸出效果差距肉眼可見。6.4 一點(diǎn)實(shí)操心得我在剛接觸擴(kuò)散模型時(shí)最痛苦的不是看不懂公式而是“理論框架”和“訓(xùn)練手感”之間總是對(duì)不上。后來發(fā)現(xiàn)最好的學(xué)習(xí)路徑是倒著來的先跑通一個(gè)最小demo再一步步把加噪、去噪、引導(dǎo)、潛空間這些概念對(duì)應(yīng)到代碼里。等你把DDPM訓(xùn)練腳本從外到內(nèi)改過一遍再回頭看LDM、SDS這些進(jìn)階方向基本就是順?biāo)浦邸Ｈ绻阒皇亲鲂Ч菔疚覄衲銊e一上來就復(fù)刻完整LDM訓(xùn)練——那需要多階段訓(xùn)練和大算力。合適的路徑是先在小數(shù)據(jù)集上把DDPM訓(xùn)通再用diffusers里的SD做微調(diào)。擴(kuò)散模型這十年走過的路其實(shí)就是在反復(fù)證明一件事把一個(gè)簡(jiǎn)單的想法做到極致比一開始就追求復(fù)雜更管用。