去年幫朋友調(diào)一個(gè)素描風(fēng)格的LoRA他前后下了三個(gè)版本權(quán)重一路拉到1.2出圖還是那張熟悉的臉一點(diǎn)素描味都沒有。我讓他把提示詞里的觸發(fā)詞刪掉再試一次畫面立刻變成了炭筆素描的質(zhì)感——問題從頭到尾都不在模型文件而在于他把觸發(fā)詞當(dāng)成了可有可無的裝飾。類似的事情我見過太多次有人以為LoRA是外掛模型裝上就該生效有人訓(xùn)練跑了一整晚結(jié)果發(fā)現(xiàn)數(shù)據(jù)集配置里的路徑寫錯(cuò)了一個(gè)字母還有人被評估階段莫名其妙吃滿的顯存卡到懷疑人生。這篇東西想把這些散落的點(diǎn)串起來講一遍LoRA在原理層面到底動(dòng)了模型的哪塊肉、文件下載之后該放哪里、提示詞里的權(quán)重語法怎么用、從零訓(xùn)練一個(gè)要準(zhǔn)備什么、參數(shù)面板背后那筆顯存賬怎么算、跳出圖形界面用代碼怎么加載和合并。不管你是剛接觸Stable Diffusion沒多久的新手還是已經(jīng)能穩(wěn)定出圖、想自己動(dòng)手訓(xùn)一個(gè)專屬風(fēng)格的玩家都能在下面找到對應(yīng)的段落?；A(chǔ)概念我會(huì)用類比講透實(shí)操部分會(huì)給可直接抄的配置和參數(shù)盡量做到看完就能動(dòng)手。1. LoRA改的到底是什么一次低秩分解的減法很多人第一次接觸LoRA是被訓(xùn)練成本低這四個(gè)字吸引過來的但不太清楚它為什么低。要理解這一點(diǎn)得先知道一個(gè)擴(kuò)散模型在微調(diào)時(shí)麻煩到底出在哪里。底模里那些注意力層和前饋層的權(quán)重矩陣動(dòng)輒幾百上千維全量微調(diào)意味著這些矩陣的每一個(gè)元素都要參與梯度更新還要額外保存一份梯度、一份優(yōu)化器狀態(tài)。這些狀態(tài)往往比模型本身還大顯存和時(shí)間的開銷就是這樣堆起來的。LoRA的思路換了個(gè)方向既然改全量代價(jià)太大那就別動(dòng)原來的權(quán)重只在其旁邊掛一個(gè)小補(bǔ)丁讓這個(gè)補(bǔ)丁去承擔(dān)微調(diào)帶來的變化。底模權(quán)重完全凍結(jié)訓(xùn)練只更新補(bǔ)丁里的少量參數(shù)。這個(gè)補(bǔ)丁就是低秩矩陣對也是整個(gè)技術(shù)名字里低秩適應(yīng)的來源。1.1 全量微調(diào)那筆賬為什么勸退拿一個(gè)不算大的矩陣舉例假設(shè)某一層權(quán)重是 1024×1024也就是一百多萬個(gè)參數(shù)。全量微調(diào)時(shí)這一層需要保存權(quán)重本身fp16 下約 2MB、梯度2MB、如果用 Adam 類優(yōu)化器還要保存一階和二階動(dòng)量各 2MBfp32 下更大。一層就是這么多一個(gè)完整的UNet有幾百層光優(yōu)化器狀態(tài)就能輕松吃掉十幾GB顯存。這還沒算前向傳播過程中那些中間激活值。對個(gè)人玩家來說這意味著需要專業(yè)級顯卡、需要長時(shí)間訓(xùn)練、需要為每一個(gè)想做的風(fēng)格單獨(dú)存一份完整的模型副本一份就是好幾個(gè)GB。想同時(shí)保留三五個(gè)風(fēng)格硬盤和顯存都會(huì)很吃力。LoRA把這個(gè)問題變得輕量一個(gè)風(fēng)格適配器通常只有幾十到一百多MB一個(gè)9B參數(shù)的大語言模型上用LoRA微調(diào)產(chǎn)出的文件甚至只有幾十MB。1.2 兩個(gè)小矩陣夾住大矩陣具體的數(shù)學(xué)形式其實(shí)很直觀。假設(shè)原來的權(quán)重是矩陣 W尺寸是 d×k在訓(xùn)練中它被凍結(jié)不接收梯度。旁邊新增兩個(gè)矩陣 A 和 BA 的尺寸是 r×kB 的尺寸是 d×r其中 r 是一個(gè)遠(yuǎn)小于 d 和 k 的數(shù)我們叫它秩rank。前向計(jì)算變成輸出 W·x (alpha / r) · B·A·x訓(xùn)練時(shí)只更新 A 和 B。參數(shù)量從原來的 d×k 變成了 r×(dk)。還是用 1024×1024、rank 取 8 來算原來是 1048576 個(gè)參數(shù)現(xiàn)在變成 8×(10241024)16384 個(gè)只有原來的約 1.6%。這就是為什么同樣一塊顯卡全量微調(diào)跑不動(dòng)LoRA卻能跑起來。這里有幾個(gè)細(xì)節(jié)值得記住。A 的初始化通常是隨機(jī)高斯分布B 初始化為全零這樣訓(xùn)練剛開始時(shí) B·A 等于零模型輸出和原始底模完全一致不會(huì)因?yàn)橥蝗徊迦胍粋€(gè)隨機(jī)擾動(dòng)把已有能力帶偏。alpha 是一個(gè)縮放系數(shù)它和 r 的比值決定了這個(gè)補(bǔ)丁最終對輸出的影響強(qiáng)度這也是后面調(diào)參時(shí)會(huì)反復(fù)提到的那個(gè)關(guān)鍵比例。推理階段還有個(gè)便利由于加法具有可結(jié)合性訓(xùn)練完成后可以把 B·A 乘出來直接加到 W 上得到一個(gè)合并后的權(quán)重。合并之后推理時(shí)沒有任何額外的計(jì)算開銷也不需要特殊的推理框架支持。這個(gè)特性讓LoRA在部署側(cè)幾乎沒有門檻也是它比某些適配方案更受歡迎的原因之一。1.3 LoRA、Embedding、超網(wǎng)絡(luò)到底誰管什么初學(xué)階段最容易混淆的就是這三類東西很多人分不清什么時(shí)候該用哪個(gè)。我把它們放在一張表里對照理解的成本會(huì)低很多。類型作用的部位主要能做什么文件大小量級LoRA注意力層等權(quán)重矩陣畫風(fēng)、人物、構(gòu)圖、特定物體幾十到幾百M(fèi)BEmbedding文本編碼器的詞向量新增概念詞、負(fù)面詞打包幾KB到幾MB超網(wǎng)絡(luò)插入網(wǎng)絡(luò)中的小網(wǎng)絡(luò)畫風(fēng)微調(diào)幾十到幾百M(fèi)BEmbedding的思路是往詞表里塞一個(gè)新詞讓模型理解一個(gè)原本不存在的概念。它最適合做的事情是打包一組描述詞比如把一堆負(fù)面提示詞濃縮成一個(gè)詞。它不能改變模型對畫面結(jié)構(gòu)的理解方式所以你想讓它學(xué)一個(gè)畫風(fēng)效果通常比LoRA差不少。LoRA改的是模型內(nèi)部的權(quán)重因此它能學(xué)到更結(jié)構(gòu)性的東西——筆觸走向、人物五官比例、鏡頭的構(gòu)圖習(xí)慣。這也是為什么人物和畫風(fēng)這兩類需求絕大多數(shù)人會(huì)選擇LoRA。超網(wǎng)絡(luò)是更早期的方案在LoRA流行之前有不少人在用如今新出的作品已經(jīng)少很多了。理解它的存在就夠了實(shí)戰(zhàn)中優(yōu)先考慮LoRA。2. 拿到一個(gè)LoRA文件之后路徑、加載與提示詞寫法文件下載下來只是第一步真正讓人卡住的往往是后面這幾步放在哪個(gè)文件夾、提示詞里怎么寫、為什么寫對了還是沒反應(yīng)。我見過太多人把文件丟進(jìn)模型根目錄然后納悶為什么列表里找不到它。這部分把流程拆開講清楚。2.1 不同前端下的目錄位置差異Stable Diffusion的前端有好幾種各自的目錄約定并不完全一樣。這是最容易出錯(cuò)的地方因?yàn)榇蠹以诰W(wǎng)上看到的教程可能用的是不同前端照搬路徑就會(huì)出問題。使用方式LoRA 常見存放目錄WebUI 標(biāo)準(zhǔn)版models/Lora常見整合包整合包根目錄/models/LoraComfyUImodels/loras部分新版前端models/Lora 或 models/lycoris有幾個(gè)小經(jīng)驗(yàn)值得說。放進(jìn)去之后需要刷新模型列表大部分界面右上角或設(shè)置里有刷新按鈕實(shí)在不行重啟一次前端最保險(xiǎn)。文件名建議用英文或拼音盡量避免中文和特殊符號(hào)因?yàn)樘崾驹~里要引用這個(gè)文件名中文名在某些版本下會(huì)識(shí)別失敗。放好之后在提示詞輸入框旁邊通常能找到LoRA面板點(diǎn)一下就會(huì)把對應(yīng)的語法插進(jìn)提示詞里這是最不容易出錯(cuò)的方式。提示如果列表里找不到剛放進(jìn)去的文件先確認(rèn)擴(kuò)展名是不是 .safetensors 或 .ckpt再確認(rèn)路徑層級有沒有多套一層文件夾。這兩個(gè)原因占了九成以上。2.2 權(quán)重語法的細(xì)節(jié)與疊加順序LoRA在提示詞里的寫法是固定的lora:文件名:權(quán)重文件名不帶擴(kuò)展名。權(quán)重是一個(gè)浮點(diǎn)數(shù)常見的取值范圍是 0.6 到 1.0超過 1.0 就要小心畫面崩壞。數(shù)值越大這個(gè)LoRA對畫面的影響越強(qiáng)但代價(jià)是可能把底模原有的能力覆蓋掉。再來說是多個(gè)LoRA疊加的情況。語法上可以直接并列寫一個(gè)女孩站在窗邊lora:style_sketch:0.7 lora:character_face:0.6這里有兩條實(shí)戰(zhàn)經(jīng)驗(yàn)。第一是多LoRA疊加時(shí)它們會(huì)互相爭搶對文本編碼和注意力層的影響權(quán)總效果往往不是簡單相加所以建議一次只開一個(gè)去調(diào)調(diào)穩(wěn)了再加第二個(gè)。第二是數(shù)量別貪多同時(shí)掛三四個(gè)LoRA畫面容易出現(xiàn)混亂的結(jié)構(gòu)尤其人物類LoRA和畫風(fēng)類LoRA混用時(shí)更明顯。我個(gè)人的習(xí)慣是總數(shù)不超過兩個(gè)并且把權(quán)重壓到 0.5 到 0.8 之間畫面會(huì)更干凈。2.3 觸發(fā)詞到底分不分中英文這個(gè)問題問的人特別多答案要分兩層看。觸發(fā)詞本身沒有任何神秘之處它就是在訓(xùn)練時(shí)被反復(fù)寫進(jìn)標(biāo)簽里的某個(gè)詞。模型在訓(xùn)練過程中把看到這個(gè)詞和生成對應(yīng)特征建立了關(guān)聯(lián)。所以觸發(fā)詞能不能生效取決于兩件事訓(xùn)練時(shí)用的是什么詞以及底模的文本編碼器認(rèn)不認(rèn)這個(gè)詞。Stable Diffusion的文本編碼器主要是在英文語料上訓(xùn)練的對英文詞匯的切分和語義理解都比較穩(wěn)定。中文詞進(jìn)入分詞器后往往會(huì)被拆成幾個(gè)語義不明確的片段這些片段在訓(xùn)練中沒怎么見過模型的反應(yīng)就會(huì)變得飄忽。所以會(huì)出現(xiàn)這樣的情況同一個(gè)LoRA用英文觸發(fā)詞效果明顯換成中文對應(yīng)的詞畫面幾乎沒變化或者變化非常弱。那是不是中文觸發(fā)詞就完全沒用也不是。如果訓(xùn)練者在打標(biāo)階段就大量使用中文標(biāo)簽且用的底模對中文支持較好中文觸發(fā)詞是有可能工作起來的。但這屬于少數(shù)情況需要訓(xùn)練者和使用者約定一致。最穩(wěn)妥的判斷方法是直接去看這個(gè)LoRA的發(fā)布說明作者寫的是什么觸發(fā)詞你就用什么不要自己翻譯。如果作者沒寫觸發(fā)詞那就把LoRA名字本身當(dāng)成觸發(fā)詞試一下很多作者會(huì)把觸發(fā)詞直接命名為文件名。3. 訓(xùn)練前的準(zhǔn)備素材篩選與打標(biāo)這一步別偷懶自己訓(xùn)一個(gè)LoRA真正的功夫不在參數(shù)面板而在數(shù)據(jù)準(zhǔn)備。我見過有人花一整晚調(diào)參數(shù)效果就是不對最后發(fā)現(xiàn)數(shù)據(jù)集里混進(jìn)了幾張構(gòu)圖完全不同的圖模型自然學(xué)不出穩(wěn)定的特征。這部分講的是動(dòng)手訓(xùn)練之前該做的功課做好了后面的參數(shù)調(diào)整會(huì)輕松很多。3.1 素材數(shù)量、分辨率與畫面構(gòu)成數(shù)量上沒有一個(gè)放之四海皆準(zhǔn)的數(shù)字但可以按目標(biāo)類型給個(gè)參考區(qū)間。訓(xùn)練目標(biāo)建議素材數(shù)量說明特定人物臉15 到 30 張多角度、多表情、多光照特定畫風(fēng)30 到 100 張風(fēng)格統(tǒng)一題材可以多樣特定物體20 到 50 張多背景、多角度特定構(gòu)圖20 到 40 張構(gòu)圖一致內(nèi)容可有變化分辨率要和底模對齊。用SD1.5系列訓(xùn)練素材裁到 512×512 附近用SDXL系列建議 1024×1024 附近。把差異太大的尺寸硬塞進(jìn)去模型會(huì)學(xué)到一些奇怪的邊緣偽影。畫面構(gòu)成上有一點(diǎn)很關(guān)鍵讓素材本身有變化但變化要集中在你想讓模型學(xué)會(huì)的維度上。比如訓(xùn)練一個(gè)素描畫風(fēng)那就讓題材多樣、構(gòu)圖多樣但所有圖都保持同樣的鉛筆質(zhì)感和線條粗細(xì)反過來如果目標(biāo)是某個(gè)特定人物那人物特征要保持一致而背景和姿勢要盡量多樣。素材高度雷同模型會(huì)過擬合素材差異太大模型會(huì)學(xué)不到東西。這個(gè)平衡點(diǎn)需要靠后面的測試出圖來驗(yàn)證。另外要提前做一遍篩圖把模糊的、有水印的、有明顯壓縮偽影的、構(gòu)圖畸形的刪掉。圖集里混進(jìn)幾張壞圖對最終效果的影響比多訓(xùn)十輪還大。3.2 打標(biāo)顆粒度決定模型的聽話程度打標(biāo)是整個(gè)流程里最需要?jiǎng)幽X子的環(huán)節(jié)。核心原則一句話概括你想讓模型學(xué)到的共性特征不要寫進(jìn)標(biāo)簽?zāi)阆ＭＰ湍軈^(qū)分和變化的屬性要寫進(jìn)標(biāo)簽。舉一個(gè)具體例子。訓(xùn)練一個(gè)特定人物的LoRA如果每張圖的標(biāo)簽里都把短發(fā)、藍(lán)眼睛寫得明明白白模型會(huì)認(rèn)為這些是可以通過標(biāo)簽控制的屬性于是當(dāng)你換一個(gè)觸發(fā)詞場景時(shí)它可能不會(huì)自動(dòng)帶上這些特征。正確的做法是把恒定特征交給觸發(fā)詞去承載標(biāo)簽里只寫那些會(huì)變化的部分比如微笑、側(cè)臉、室內(nèi)、逆光。這樣模型會(huì)把恒定特征和觸發(fā)詞綁定把變化屬性留給提示詞調(diào)節(jié)。觸發(fā)詞的選擇也有講究。要挑一個(gè)在常規(guī)語料里不常見的詞避免和已有概念沖突。很多人會(huì)用一個(gè)無意義組合比如一個(gè)不常見的人名拼寫這樣能最大程度減少干擾。如果觸發(fā)詞是girl這種高頻詞模型很難把新特征和它干凈地綁定在一起。自動(dòng)打標(biāo)工具能幫你省下大量時(shí)間但一定要人工過一遍。自動(dòng)工具經(jīng)常會(huì)漏掉畫面里的關(guān)鍵元素或者給一些不準(zhǔn)確的描述。花半小時(shí)修一遍標(biāo)簽比多訓(xùn)三個(gè)小時(shí)劃算得多。3.3 訓(xùn)練集配置里的json在說什么很多人看到配置文件就跳過結(jié)果訓(xùn)練出來效果詭異還找不到原因。這幾個(gè)字段其實(shí)不難懂我挑最常打交道的幾個(gè)解釋。{ image_dir: ./train_data/character, num_repeats: 10, caption_extension: .txt, keep_tokens: 1, shuffle_caption: true }image_dir 指向素材文件夾路徑寫錯(cuò)是最常見的低級錯(cuò)誤多打一個(gè)斜杠都可能導(dǎo)致讀取失敗。num_repeats 表示這批圖每輪重復(fù)幾次它和總訓(xùn)練步數(shù)直接相關(guān)調(diào)大了相當(dāng)于變相增加訓(xùn)練輪次。caption_extension 指定標(biāo)簽文件的擴(kuò)展名標(biāo)簽文件要和圖片同名同目錄只改擴(kuò)展名。keep_tokens 這個(gè)字段容易被忽略。它表示標(biāo)簽的前幾個(gè)詞保持固定順序不參與打亂。如果你把觸發(fā)詞放在標(biāo)簽最前面那 keep_tokens 設(shè)成 1就能保證觸發(fā)詞始終在最前面模型更容易把它和特征綁定。shuffle_caption 控制其余標(biāo)簽是否隨機(jī)打亂打開它能減輕模型對標(biāo)簽順序的依賴一般建議開啟。注意如果你用了多個(gè)素材文件夾每個(gè)文件夾都需要獨(dú)立的配置塊num_repeats 可以分別設(shè)置用來給不同質(zhì)量的素材分配不同的訓(xùn)練比重。4. 參數(shù)面板背后的顯存賬本與超參配比走到這一步很多人會(huì)對著一堆滑塊發(fā)懵不知道該動(dòng)哪個(gè)。其實(shí)理解顯存被誰吃掉了以及幾個(gè)關(guān)鍵超參之間的關(guān)系選參數(shù)就不再是玄學(xué)。這部分也順帶解釋一個(gè)高頻問題訓(xùn)練本身能跑為什么一到評估階段顯存就爆了。4.1 顯存到底被誰吃掉了訓(xùn)練時(shí)的顯存開銷大致分成幾塊理解它們各自的量級就知道該從哪里省。占用來源大致影響因素能否優(yōu)化底模權(quán)重常駐模型規(guī)模、精度量化可顯著降低LoRA 參數(shù)與優(yōu)化器狀態(tài)秩、目標(biāo)層數(shù)量降低秩可減小中間激活值分辨率、批量、序列長度梯度檢查點(diǎn)可大幅降低梯度與臨時(shí)緩沖批量、目標(biāo)層減小批量框架與上下文開銷運(yùn)行時(shí)環(huán)境基本固定激活值這一塊通常是波動(dòng)最大、也最容易失控的。分辨率翻倍激活值大約翻四倍這是為什么把訓(xùn)練分辨率從 512 提到 768 之后顯存會(huì)緊張很多。梯度檢查點(diǎn)技術(shù)用計(jì)算換顯存代價(jià)是訓(xùn)練速度下降大約兩三成但對顯存緊張的情況幾乎是必選項(xiàng)。4.2 網(wǎng)絡(luò)維度、alpha與學(xué)習(xí)率怎么配秩這個(gè)參數(shù)決定了適配器的容量。秩太小模型學(xué)不下復(fù)雜特征表現(xiàn)是訓(xùn)練很久也沒效果秩太大參數(shù)量上去了容易過擬合而且文件會(huì)變大。我的經(jīng)驗(yàn)區(qū)間是人物臉和物體秩取 8 到 16 就夠畫風(fēng)比較復(fù)雜、細(xì)節(jié)要求高的可以到 32 甚至 64。alpha 通常設(shè)成和秩相等或者秩的一半這個(gè)比值控制適配器的初始影響強(qiáng)度比值越大同等學(xué)習(xí)率下參數(shù)更新對輸出的影響越強(qiáng)。學(xué)習(xí)率方面UNet 部分常用 1e-4 到 2e-4文本編碼器部分建議設(shè)得更低比如 5e-5 或更低因?yàn)槲谋揪幋a器本身已經(jīng)承載了大量語義動(dòng)得太猛容易把原有理解能力破壞掉。訓(xùn)練輪次上小數(shù)據(jù)集通常十幾到二十輪就能看到明顯效果具體要看輸出的測試圖而不是盯著loss數(shù)字——loss降得很低但出圖一塌糊涂基本就是過擬合了。4.3 評估階段顯存暴漲的處理思路這個(gè)問題描述得很典型訓(xùn)練進(jìn)程本身跑得好好的一到評估就卡死甚至中斷。有人會(huì)疑惑評估階段不需要反向傳播和優(yōu)化器顯存需求應(yīng)該更低才對怎么會(huì)爆原因往往出在幾個(gè)地方。評估階段的中間激活值照樣要保留而且如果評估數(shù)據(jù)集的批量設(shè)置得比訓(xùn)練批量還大峰值顯存反而會(huì)超過訓(xùn)練時(shí)。另一個(gè)常見原因是梯度檢查點(diǎn)在評估模式下可能沒有按預(yù)期生效導(dǎo)致激活值不省。還有一種情況是訓(xùn)練框架在評估前后沒有及時(shí)釋放緩存顯存碎片累積加上數(shù)據(jù)加載進(jìn)程各自占用一份資源最終把上限頂破。處理起來有幾個(gè)立竿見影的做法。把評估批量調(diào)到 1同時(shí)設(shè)置評估累積步數(shù)讓多次前向的結(jié)果累積起來再統(tǒng)一計(jì)算指標(biāo)這樣單次顯存壓力會(huì)小很多。把評估樣本數(shù)量砍掉只留少量代表性樣本。如果框架允許直接關(guān)掉訓(xùn)練中自動(dòng)評估改成每隔固定步數(shù)手動(dòng)出一批測試圖出圖既直觀又不需要占用大量顯存。從代碼層面評估邏輯盡量包在推理模式上下文里避免框架自動(dòng)構(gòu)建計(jì)算圖。評估前后手動(dòng)清理一次緩存也能緩解碎片問題。自定義評估循環(huán)時(shí)記得顯式把模型切到評估狀態(tài)并確保不參與梯度計(jì)算。4.4 大模型上的顯存估算順帶回答一個(gè)和文件夾密切相關(guān)的估算問題一個(gè)9B規(guī)模的模型用LoRA微調(diào)大概需要多少顯存。粗略拆一下權(quán)重如果用半精度加載9B乘以2字節(jié)約18GB如果做4比特量化加載能壓到 5 到 7GB。LoRA本身參數(shù)量很小秩16時(shí)通常是千萬級以下配套的優(yōu)化器狀態(tài)也就幾百M(fèi)B。激活值則高度依賴序列長度和批量長序列場景下這一塊可能是大頭。加載精度權(quán)重占用加上激活與優(yōu)化器后的粗略區(qū)間fp16 / bf16約 18GB24GB 以上更穩(wěn)妥8 比特量化約 9GB14 到 18GB4 比特量化約 5 到 7GB10 到 16GB取決于序列長度這些數(shù)字是量級參考實(shí)際會(huì)因框架實(shí)現(xiàn)、序列長度、批量大小產(chǎn)生明顯浮動(dòng)。序列長度從 512 提到 2048激活值可能翻好幾倍這也是為什么長文本任務(wù)對顯存要求格外高。5. 跳出圖形界面代碼里加載、合并與保存LoRA圖形界面適合出圖和調(diào)參但要做批量處理、在線服務(wù)或者集成到自己的流程里就得用代碼。這部分給幾段能直接用的示例覆蓋加載、合并和參數(shù)統(tǒng)計(jì)。5.1 用適配器庫加載下面這段是典型的加載流程思路是先把底模讀進(jìn)來再把適配器掛上去。from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel base_path your-base-model adapter_path your-lora-adapter tokenizer AutoTokenizer.from_pretrained(base_path) model AutoModelForCausalLM.from_pretrained( base_path, device_mapauto, ) model PeftModel.from_pretrained(model, adapter_path) model.eval() inputs tokenizer(你的提示文本, return_tensorspt).to(model.device) with model.disable_adapter(): # 這段上下文里走的是原始底模方便做效果對比 pass適配器庫提供了切換適配器的能力可以同時(shí)掛多個(gè)適配器運(yùn)行時(shí)決定用哪一個(gè)。這個(gè)能力在多任務(wù)場景下很有用底模只加載一份靠切換適配器應(yīng)對不同任務(wù)顯存占用基本不變。訓(xùn)練完成后建議先打印一下可訓(xùn)練參數(shù)占總參數(shù)的比例確認(rèn)適配器確實(shí)只用了很小一部分參數(shù)這個(gè)數(shù)字能幫你驗(yàn)證配置是否正確。model.print_trainable_parameters()5.2 合并權(quán)重與多適配器切換如果確定不再需要單獨(dú)保留適配器可以把它合并進(jìn)底模得到一個(gè)獨(dú)立的完整模型。合并后的模型推理速度和不加適配器時(shí)完全一樣。merged model.merge_and_unload() merged.save_pretrained(merged-model)合并是不可逆的適配器一旦融進(jìn)權(quán)重就取不出來了。所以我的習(xí)慣是保留原始適配器文件合并版本只作為部署產(chǎn)物。如果以后想微調(diào)權(quán)重比例或者想換一個(gè)底模重新掛載原始適配器還能繼續(xù)用。多適配器切換的寫法也很直接加載時(shí)給每個(gè)適配器起個(gè)名字運(yùn)行時(shí)指定名字即可。這里有個(gè)小坑不同適配器的目標(biāo)層結(jié)構(gòu)要一致如果有的適配器只作用于注意力層有的還作用于前饋層切換時(shí)可能會(huì)報(bào)結(jié)構(gòu)不匹配。訓(xùn)練前統(tǒng)一規(guī)劃好作用范圍能省掉很多麻煩。5.3 關(guān)鍵詞搜索的一個(gè)小坑搜索資料的時(shí)候有個(gè)特別容易走彎路的地方得專門提一下。這個(gè)技術(shù)名字縮寫和另一種遠(yuǎn)距離無線通信技術(shù)的名字幾乎一模一樣只差字母大小寫。你在搜索引擎里搜相關(guān)代碼或者教程時(shí)很容易搜到一堆完全不相干的內(nèi)容白白浪費(fèi)半天。解決方法是把關(guān)鍵詞組合得更具體比如帶上模型微調(diào)、適配器、低秩這些限定詞或者在搜索時(shí)配合具體框架名。這個(gè)坑我自己踩過當(dāng)時(shí)翻了十幾頁找不到想要的東西換關(guān)鍵詞之后第一頁就命中了。關(guān)鍵詞選得準(zhǔn)比找資料本身更省時(shí)間。6. 出圖不對勁時(shí)的排查順序調(diào)好一個(gè)LoRA最花時(shí)間的往往不是訓(xùn)練而是效果不對時(shí)的排查。下面按我實(shí)際處理的順序整理從最容易驗(yàn)證的開始。6.1 先看權(quán)重和提示詞有沒有打架畫面崩壞、結(jié)構(gòu)錯(cuò)亂、顏色發(fā)灰第一個(gè)要懷疑的就是權(quán)重給高了。把權(quán)重從 1.0 降到 0.7 再看很多時(shí)候問題立刻消失。原理也簡單權(quán)重越高適配器對輸出的影響越強(qiáng)一旦蓋過底模原有的結(jié)構(gòu)先驗(yàn)畫面就會(huì)變形。人物類LoRA對權(quán)重尤其敏感超過 0.9 之后臉部開始出現(xiàn)不自然的拉伸。第二個(gè)要檢查的是提示詞本身有沒有和LoRA的目標(biāo)沖突。比如掛了一個(gè)素描畫風(fēng)的LoRA提示詞里又寫了油畫質(zhì)感、厚涂兩者會(huì)互相拉扯結(jié)果往往是兩邊都不像。掛上LoRA之后提示詞盡量只描述內(nèi)容風(fēng)格詞交給LoRA去負(fù)責(zé)。還要確認(rèn)觸發(fā)詞寫沒寫、拼寫對不對、有沒有被前面的詞截?cái)?。觸發(fā)詞缺失是最常見的模型沒效果原因尤其是在復(fù)制別人提示詞時(shí)容易漏掉。6.2 過擬合與欠擬合長什么樣判斷這兩種狀態(tài)靠看出圖比看loss準(zhǔn)得多。欠擬合的表現(xiàn)是換任何提示詞畫面都帶一點(diǎn)LoRA特征的影子但很淡怎么調(diào)權(quán)重都提不上去或者只有極少數(shù)場景能觸發(fā)。這通常意味著訓(xùn)練步數(shù)不夠、學(xué)習(xí)率太低或者數(shù)據(jù)集太小。過擬合的表現(xiàn)更有辨識(shí)度不管提示詞寫什么畫面都會(huì)往某個(gè)固定構(gòu)圖、固定姿勢上靠背景開始出現(xiàn)訓(xùn)練集里的元素人物動(dòng)作變得僵硬重復(fù)。這時(shí)候需要減少訓(xùn)練步數(shù)、降低重復(fù)次數(shù)或者干脆補(bǔ)充多樣性更好的素材重新訓(xùn)。一個(gè)很實(shí)用的判斷方法用完全沒出現(xiàn)在訓(xùn)練集里的場景描述去測試。如果模型能自然地把學(xué)到的風(fēng)格套用到陌生場景上說明泛化沒問題如果一換場景就崩那就是過擬合了。6.3 多個(gè)LoRA疊加時(shí)的影響同時(shí)掛兩個(gè)以上LoRA時(shí)效果往往會(huì)互相稀釋。原因在于它們都在爭奪注意力層的表達(dá)空間權(quán)重加在一起超過了模型能承載的范圍結(jié)果每個(gè)特征都被削弱。遇到這種情況把每個(gè)LoRA的權(quán)重都往下調(diào)一點(diǎn)總權(quán)重控制在合理范圍內(nèi)效果通常比各自單獨(dú)拉滿更好。如果兩個(gè)LoRA的作用目標(biāo)正好重疊比如都是人物臉沖突會(huì)更嚴(yán)重畫面容易出現(xiàn)五官錯(cuò)位。這種時(shí)候最好做取舍或者用分層作用范圍錯(cuò)開兩者的作用區(qū)域。層數(shù)范圍的調(diào)整屬于進(jìn)階操作新手先用單LoRA把效果調(diào)穩(wěn)再考慮疊加會(huì)少走很多彎路。素材準(zhǔn)備階段多花的那點(diǎn)時(shí)間最后都會(huì)在調(diào)試階段省回來。我自己訓(xùn)第一個(gè)LoRA的時(shí)候圖省事直接拿二十張構(gòu)圖幾乎一樣的圖就開始跑結(jié)果出圖永遠(yuǎn)只有那一個(gè)角度換姿勢就崩得厲害重新收素材重訓(xùn)花的時(shí)間比一開始好好篩圖多出好幾倍。后來固定下來的流程是先把圖集按角度和光照分成幾組每組都要有標(biāo)簽認(rèn)真修一遍訓(xùn)練輪次寧少勿多出圖不滿意再往上加。這套做法沒什么技巧但確實(shí)穩(wěn)。另外提醒一句訓(xùn)練過程中養(yǎng)成保存中間檢查點(diǎn)的習(xí)慣。很多人訓(xùn)完最后一輪才發(fā)現(xiàn)過擬合了前面那些效果剛好的檢查點(diǎn)沒留下只能重訓(xùn)。每隔幾輪存一次回頭看的時(shí)候會(huì)感謝自己。