ComfyUI：從入門到精通，榨干顯卡性能的AI繪畫指南)
1. 項(xiàng)目概述從入門到放棄再到真香如果你和我一樣是個(gè)對(duì)AI繪畫、視頻生成這些酷炫玩意兒充滿好奇的普通玩家手里攥著一塊RTX 5060 Ti既想體驗(yàn)前沿技術(shù)又不想被復(fù)雜的部署和玄學(xué)的報(bào)錯(cuò)勸退那咱們的經(jīng)歷可能高度重合。ComfyUI這個(gè)在Stable Diffusion圈子里以“節(jié)點(diǎn)式”、“靈活”、“高效”著稱的工具我前前后后差點(diǎn)被它勸退了三次。第一次是看著滿屏連線的界面頭皮發(fā)麻第二次是跟著教程一步步操作結(jié)果卡在某個(gè)莫名其妙的節(jié)點(diǎn)報(bào)錯(cuò)上幾個(gè)小時(shí)第三次是好不容易跑出一張圖卻發(fā)現(xiàn)效果和預(yù)期相差甚遠(yuǎn)調(diào)參調(diào)到懷疑人生。但當(dāng)我真正咬牙挺過(guò)這“三劫”把ComfyUI這套邏輯摸透之后才發(fā)現(xiàn)它簡(jiǎn)直是個(gè)人電腦尤其是像5060 Ti這樣甜品級(jí)顯卡的“榨汁機(jī)”。它不像WebUI那樣把所有功能都封裝在按鈕后面而是把圖像生成的每一個(gè)步驟——從加載模型、輸入提示詞、到采樣器選擇、后期處理——都拆解成一個(gè)個(gè)可視化的“節(jié)點(diǎn)”。這種看似復(fù)雜的背后是極高的自由度和對(duì)硬件資源的精準(zhǔn)把控。你可以精確地控制顯存用在哪兒可以搭建出千變?nèi)f化的專屬工作流并且因?yàn)槠浞菍?shí)時(shí)渲染前端的特性在同等硬件下ComfyUI的生成速度往往比WebUI更快、更穩(wěn)定。說(shuō)白了它讓你從“用戶”變成了“導(dǎo)演”兼“工程師”雖然上手門檻高但一旦掌握你的5060 Ti就不再是“亮機(jī)卡”而是一個(gè)真正能為你高效、創(chuàng)造性“打工”的AI算力核心。這篇文章就是把我這幾次“勸退”又“爬回來(lái)”的血淚史和最終總結(jié)出的實(shí)戰(zhàn)經(jīng)驗(yàn)毫無(wú)保留地分享給你。2. 核心需求解析我們到底需要ComfyUI做什么在決定投入時(shí)間攻克ComfyUI之前我們必須先想清楚我為什么要用它對(duì)于絕大多數(shù)個(gè)人用戶尤其是顯卡在RTX 4060 Ti到5070這個(gè)區(qū)間的玩家核心需求無(wú)外乎以下幾點(diǎn)。2.1 榨干每一分顯卡性能這是最實(shí)在的需求。WebUIAutomatic1111功能強(qiáng)大且易用但它是一個(gè)完整的Web應(yīng)用前端交互、實(shí)時(shí)預(yù)覽都會(huì)占用一定的系統(tǒng)資源。對(duì)于顯存只有8GB或12GB的5060 Ti來(lái)說(shuō)在WebUI里進(jìn)行高分辨率生成或復(fù)雜LoRA低秩適應(yīng)模型疊加時(shí)很容易遭遇“CUDA out of memory”的顯存溢出錯(cuò)誤。ComfyUI采用節(jié)點(diǎn)式工作流執(zhí)行過(guò)程更像是一個(gè)“腳本”它只做你連線好的事情沒(méi)有多余的UI開(kāi)銷。這意味著在生成復(fù)雜圖像時(shí)ComfyUI能將更多的顯存留給模型和圖像數(shù)據(jù)本身從而允許你在同等硬件下挑戰(zhàn)更高分辨率、使用更多控制網(wǎng)絡(luò)如ControlNet或者同時(shí)運(yùn)行多個(gè)生成任務(wù)。我的實(shí)測(cè)是在5060 Ti 16GB版本上一個(gè)在WebUI里會(huì)爆顯存的、疊加了三個(gè)ControlNet的768x1152分辨率工作流在ComfyUI里可以穩(wěn)定運(yùn)行。2.2 實(shí)現(xiàn)可復(fù)用、可分享的自動(dòng)化流程你是否經(jīng)常需要固定做某類風(fēng)格的圖比如先用人像模型生成臉部再用另一個(gè)模型重繪服飾背景最后統(tǒng)一進(jìn)行高清修復(fù)和放大。在WebUI里這需要你在不同標(biāo)簽頁(yè)間來(lái)回切換手動(dòng)操作多個(gè)步驟。而在ComfyUI里你可以把這一整套流程搭建成一個(gè)完整的工作流保存為一個(gè).json或.png文件。下次需要時(shí)一鍵加載所有參數(shù)、模型選擇、節(jié)點(diǎn)連接都原封不動(dòng)直接點(diǎn)擊“執(zhí)行隊(duì)列”即可。這種“工作流”思維極大地提升了批量處理或系列創(chuàng)作的效率。你甚至可以從Civitai等社區(qū)直接下載大神分享的工作流文件導(dǎo)入后稍作修改就能為己所用這是“開(kāi)箱即用”的進(jìn)階體驗(yàn)。2.3 深入理解AI圖像生成的“黑箱”對(duì)于想要進(jìn)階學(xué)習(xí)的用戶來(lái)說(shuō)ComfyUI是一個(gè)絕佳的教學(xué)工具。它將Stable Diffusion的生成過(guò)程完全可視化、模塊化。你能清晰地看到你的正面提示詞Positive Prompt和負(fù)面提示詞Negative Prompt是如何被編碼CLIP Text Encode成模型能理解的向量的潛空間Latent Space的噪聲圖像是如何通過(guò)采樣器K-Sampler一步步去噪變成清晰圖像的高清修復(fù)HiRes Fix具體是在哪個(gè)環(huán)節(jié)進(jìn)行了放大和重繪。這種透明化讓你不再是參數(shù)的盲目調(diào)節(jié)者而是流程的構(gòu)建者。你能更精準(zhǔn)地定位問(wèn)題是提示詞編碼不對(duì)還是采樣步數(shù)不足抑或是VAE模型不匹配注意不要被“深入理解”嚇到。即使你暫時(shí)不想研究原理ComfyUI的模塊化也能幫你快速排查問(wèn)題。比如圖像模糊你可以單獨(dú)檢查“VAE解碼”節(jié)點(diǎn)用的模型是否正確或者“采樣器”節(jié)點(diǎn)的降噪強(qiáng)度是否合適這種定位問(wèn)題的效率遠(yuǎn)高于在WebUI里盲目嘗試。3. 環(huán)境部署與首次啟動(dòng)避坑指南萬(wàn)事開(kāi)頭難ComfyUI的安裝就是第一個(gè)坎。官方提供了幾種方式但對(duì)于Windows個(gè)人用戶我強(qiáng)烈推薦以下兩種之一它們能避開(kāi)至少80%的初學(xué)者的環(huán)境問(wèn)題。3.1 方案選擇便攜版 vs 源碼部署方案A使用便攜版推薦新手這是最省心的方式。在ComfyUI的GitHub Releases頁(yè)面或一些國(guó)內(nèi)鏡像站可以找到打包好的“便攜版”Portable Version。它通常是一個(gè)壓縮包里面已經(jīng)包含了Python環(huán)境、必要的依賴庫(kù)以及ComfyUI本體。你只需要下載壓縮包解壓到任意英文路徑例如D:\AI_Tools\ComfyUI。路徑絕對(duì)不能有中文或特殊字符雙擊運(yùn)行目錄下的run_nvidia_gpu.batN卡用戶文件。等待命令行窗口自動(dòng)安裝剩余依賴并啟動(dòng)服務(wù)。完成后它會(huì)提示一個(gè)本地地址通常是http://127.0.0.1:8188。打開(kāi)瀏覽器訪問(wèn)這個(gè)地址就能看到ComfyUI的界面。優(yōu)點(diǎn)幾乎零配置開(kāi)箱即用環(huán)境隔離好不會(huì)影響系統(tǒng)已有的Python環(huán)境。缺點(diǎn)體積較大更新需要重新下載整個(gè)包。方案B通過(guò)Git克隆源碼部署適合有一定經(jīng)驗(yàn)的用戶如果你習(xí)慣自己管理環(huán)境或者想緊跟最新開(kāi)發(fā)版可以選擇此方案。# 1. 克隆倉(cāng)庫(kù) git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 2. 創(chuàng)建并激活虛擬環(huán)境可選但推薦 python -m venv venv .\venv\Scripts\activate # Windows # 3. 安裝PyTorch務(wù)必去官網(wǎng)根據(jù)你的CUDA版本選擇命令 # 例如CUDA 12.1的5060 Ti可能用這個(gè)命令 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 4. 安裝ComfyUI依賴 pip install -r requirements.txt之后運(yùn)行python main.py來(lái)啟動(dòng)。你可以創(chuàng)建一個(gè)run.bat文件內(nèi)容就是python main.py方便下次啟動(dòng)。3.2 首次啟動(dòng)的三大“勸退點(diǎn)”及解決方案即使安裝順利第一次打開(kāi)那個(gè)空蕩蕩的節(jié)點(diǎn)界面很多人還是會(huì)懵。別急按順序解決這三個(gè)問(wèn)題。勸退點(diǎn)一界面空空如也無(wú)從下手?，F(xiàn)象打開(kāi)后只有一個(gè)灰色畫布右鍵菜單里節(jié)點(diǎn)很少。原因沒(méi)有加載任何基礎(chǔ)工作流。ComfyUI本身只是一個(gè)“引擎”需要你提供“圖紙”工作流和“材料”模型。解決下載基礎(chǔ)模型將你的Stable Diffusion基礎(chǔ)模型如sd_xl_base_1.0.safetensors、VAE模型等放入ComfyUI\models\checkpoints目錄。加載示例工作流在界面上方點(diǎn)擊 “Load” 按鈕選擇ComfyUI\examples文件夾下的任何一個(gè).json或.png工作流文件。例如加載basic.json。這時(shí)畫布上就會(huì)出現(xiàn)一組已經(jīng)連接好的基礎(chǔ)節(jié)點(diǎn)。勸退點(diǎn)二節(jié)點(diǎn)密密麻麻連線眼花繚亂?，F(xiàn)象加載示例后看到一堆方框和彩色線條不知道每個(gè)是干嘛的。原因?qū)诵墓?jié)點(diǎn)功能不熟悉。解決先聚焦最簡(jiǎn)流程理解五個(gè)核心節(jié)點(diǎn)Checkpoint Loader模型加載器紫色節(jié)點(diǎn)負(fù)責(zé)加載你的大模型。CLIP Text Encode提示詞編碼器綠色節(jié)點(diǎn)有兩個(gè)分別連接Checkpoint Loader的clip輸出。一個(gè)輸入正面提示詞一個(gè)輸入負(fù)面提示詞。Empty Latent Image空潛空間圖像黃色節(jié)點(diǎn)定義生成圖像的寬度、高度和批次大小。KSampler采樣器紅色大節(jié)點(diǎn)是生成的核心。它接收模型、提示詞編碼、潛空間圖像并設(shè)置采樣器類型、步數(shù)、CFG值等關(guān)鍵參數(shù)。VAE DecodeVAE解碼器橙色節(jié)點(diǎn)接收KSampler輸出的潛空間數(shù)據(jù)將其解碼成我們能看到的RGB圖像。 理解這五個(gè)節(jié)點(diǎn)的連接順序就理解了文生圖txt2img的基本管線。其他所有復(fù)雜節(jié)點(diǎn)都是在這個(gè)基礎(chǔ)上的增強(qiáng)和擴(kuò)展。勸退點(diǎn)三點(diǎn)擊生成后報(bào)錯(cuò)看不懂。現(xiàn)象Queue Prompt 后下方命令行窗口彈出紅色錯(cuò)誤信息。原因最常見(jiàn)的是節(jié)點(diǎn)連接不兼容或模型文件缺失/損壞。解決檢查連線確保每個(gè)節(jié)點(diǎn)的輸出端口小圓點(diǎn)類型和輸入端口類型匹配。例如CLIP Text Encode輸出的CONDITIONING應(yīng)該連接到KSampler的positive和negative輸入。鼠標(biāo)懸停在端口上會(huì)顯示類型。檢查模型路徑確認(rèn)Checkpoint Loader節(jié)點(diǎn)里選擇的模型名稱確實(shí)存在于models\checkpoints文件夾下且文件完整。查看命令行報(bào)錯(cuò)錯(cuò)誤信息通常會(huì)明確指出問(wèn)題所在例如 “No module named ‘xformers’”那就需要安裝xformers庫(kù)來(lái)加速。在便攜版中通常已集成源碼部署則需要手動(dòng)pip install xformers。4. 為RTX 5060 Ti量身定制的高效工作流搭建跨過(guò)入門坎我們來(lái)搭建一個(gè)真正能發(fā)揮5060 Ti效能兼顧速度與質(zhì)量的工作流。我們的目標(biāo)是實(shí)現(xiàn)一個(gè)包含“文生圖 - 高清修復(fù)放大”的自動(dòng)化流程。4.1 基礎(chǔ)文生圖管線搭建首先我們手動(dòng)搭建一個(gè)最基礎(chǔ)的流程理解數(shù)據(jù)流向。在畫布右鍵選擇 “Add Node” - “l(fā)oaders” -Checkpoint Loader。再次右鍵“Add Node” - “conditioning” -CLIP Text Encode。需要添加兩個(gè)一個(gè)作為正面提示詞positive一個(gè)作為負(fù)面提示詞negative。右鍵“Add Node” - “l(fā)atent” -Empty Latent Image。右鍵“Add Node” - “sampling” -KSampler。右鍵“Add Node” - “l(fā)atent” -VAE Decode。右鍵“Add Node” - “image” -Save Image為了保存結(jié)果或Preview Image僅預(yù)覽?，F(xiàn)在開(kāi)始連線將Checkpoint Loader的MODEL輸出連接到KSampler的model輸入。將Checkpoint Loader的CLIP輸出分別連接到兩個(gè)CLIP Text Encode節(jié)點(diǎn)的clip輸入。將兩個(gè)CLIP Text Encode的輸出CONDITIONING分別連接到KSampler的positive和negative輸入。將Empty Latent Image的LATENT輸出連接到KSampler的latent_image輸入。將KSampler的LATENT輸出連接到VAE Decode的samples輸入。將Checkpoint Loader的VAE輸出連接到VAE Decode的vae輸入。注意有些大模型內(nèi)置了VAE這個(gè)連接可選如果使用外部VAE如vae-ft-mse-840000-ema-pruned.ckpt則需要用專門的VAE Loader節(jié)點(diǎn)加載并連接到這里將VAE Decode的IMAGE輸出連接到Save Image的images輸入。至此一個(gè)最基礎(chǔ)的流程搭建完成。在CLIP Text Encode節(jié)點(diǎn)中輸入提示詞設(shè)置好Empty Latent Image的尺寸和KSampler的參數(shù)采樣器推薦dpmpp_2m或euler步數(shù)20-30CFG 7-8點(diǎn)擊 “Queue Prompt” 就能生成你的第一張ComfyUI圖片了。4.2 集成高清修復(fù)與放大策略直接生成高分辨率圖如1024x1024以上對(duì)5060 Ti的顯存壓力很大且容易產(chǎn)生多頭多手等畸形。標(biāo)準(zhǔn)做法是先以較低分辨率如512x768生成構(gòu)圖和內(nèi)容滿意的圖像再進(jìn)行高清修復(fù)放大。這里我們使用“潛在空間放大法”它在顯存占用和細(xì)節(jié)保留上比較平衡。添加高清修復(fù)節(jié)點(diǎn)我們需要另一個(gè)KSampler來(lái)負(fù)責(zé)重繪。右鍵“Add Node” - “sampling” -KSampler我們稱之為KSampler (hires)。添加潛空間放大節(jié)點(diǎn)右鍵“Add Node” - “l(fā)atent” -Latent Upscale。這個(gè)節(jié)點(diǎn)負(fù)責(zé)將第一個(gè)KSampler輸出的低分辨率潛空間圖像放大。修改連線斷開(kāi)第一個(gè)KSampler我們稱之為KSampler (base)到VAE Decode的連線。將KSampler (base)的LATENT輸出連接到Latent Upscale的samples輸入。在Latent Upscale節(jié)點(diǎn)上設(shè)置放大方法upscale_method推薦nearest-exact或bilinear并設(shè)置目標(biāo)尺寸width, height例如放大兩倍。將Latent Upscale的LATENT輸出連接到KSampler (hires)的latent_image輸入。KSampler (hires)的model,positive,negative輸入可以與KSampler (base)共用直接從上游節(jié)點(diǎn)連接過(guò)來(lái)。關(guān)鍵區(qū)別KSampler (hires)的denoise降噪強(qiáng)度參數(shù)需要設(shè)置為一個(gè)小于1的值例如0.3-0.5。這表示在已放大的潛空間圖像基礎(chǔ)上只進(jìn)行輕度重繪以修復(fù)和增強(qiáng)細(xì)節(jié)而不是完全重新生成。降噪強(qiáng)度越高變化越大細(xì)節(jié)可能更豐富但也可能偏離原圖。最后將KSampler (hires)的LATENT輸出連接到VAE Decode的samples輸入。這個(gè)工作流的好處是大部分計(jì)算量集中在低分辨率的第一階段對(duì)顯存友好。第二階段雖然分辨率高但降噪強(qiáng)度低采樣步數(shù)可以設(shè)置得少一些如10-15步整體效率很高非常適合5060 Ti。4.3 關(guān)鍵參數(shù)調(diào)優(yōu)與資源監(jiān)控為了讓5060 Ti“打工”更高效這幾個(gè)參數(shù)需要特別關(guān)注KSampler中的steps步數(shù)并非越高越好。對(duì)于大多數(shù)采樣器20-30步已經(jīng)能產(chǎn)生不錯(cuò)的效果繼續(xù)增加步數(shù)收益遞減但耗時(shí)線性增長(zhǎng)。對(duì)于高清修復(fù)階段的KSampler (hires)由于降噪強(qiáng)度低10-15步足矣。cfg分類器自由引導(dǎo)尺度控制生成結(jié)果與提示詞的貼合度。通常7-8是甜點(diǎn)值。過(guò)高15可能導(dǎo)致圖像色彩飽和、線條生硬過(guò)低5則可能忽略提示詞。Empty Latent Image中的batch_size批次大小一次性生成多張圖。雖然能提高GPU利用率但會(huì)顯著增加單次生成的顯存占用。對(duì)于5060 Ti 12GB在512x768分辨率下batch_size4可能就會(huì)接近極限。建議根據(jù)生成分辨率和模型大小動(dòng)態(tài)調(diào)整優(yōu)先保證單張圖能成功生成。可以通過(guò)ComfyUI管理器安裝ComfyUI-Impact-Pack等插件里面帶有顯存預(yù)估節(jié)點(diǎn)。使用VAE緩存在KSampler節(jié)點(diǎn)上勾選return_with_leftover_noise選項(xiàng)不這里有個(gè)更重要的技巧使用專門的VAE Loader節(jié)點(diǎn)加載一個(gè)輕量化的VAE模型如上面提到的vae-ft-mse并確保工作流中所有需要VAE的地方都使用它而不是從Checkpoint中讀取。這可以避免VAE被重復(fù)加載節(jié)省顯存和加載時(shí)間。實(shí)操心得在Windows下可以同時(shí)打開(kāi)任務(wù)管理器切換到“性能”標(biāo)簽頁(yè)觀察GPU的“專用GPU內(nèi)存”使用情況。在點(diǎn)擊“Queue Prompt”前后觀察顯存占用的峰值。這能幫你直觀了解當(dāng)前工作流對(duì)顯存的壓力并成為你調(diào)整batch_size和分辨率的重要依據(jù)。如果峰值接近顯卡總顯存下次就適當(dāng)調(diào)低參數(shù)。5. 擴(kuò)展能力集成ControlNet與LoRA實(shí)現(xiàn)精準(zhǔn)控制基礎(chǔ)和高清修復(fù)工作流能解決“畫得好”的問(wèn)題但要想“畫得準(zhǔn)”比如指定姿勢(shì)、構(gòu)圖、風(fēng)格就必須請(qǐng)出ControlNet和LoRA這兩位大神。在ComfyUI中集成它們比在WebUI中更靈活但也更考驗(yàn)連線的邏輯。5.1 集成ControlNet進(jìn)行姿勢(shì)/輪廓控制假設(shè)我們想用一張線稿Canny邊緣圖來(lái)控制生成人物的姿勢(shì)。準(zhǔn)備節(jié)點(diǎn)你需要一個(gè)ControlNetLoader節(jié)點(diǎn)來(lái)加載Canny模型一個(gè)Canny節(jié)點(diǎn)或在其他預(yù)處理節(jié)點(diǎn)中來(lái)從你的參考圖提取邊緣一個(gè)ControlNetApply節(jié)點(diǎn)來(lái)將控制信息注入生成過(guò)程。搭建流程在Checkpoint Loader和KSampler之間數(shù)據(jù)流是MODEL。ControlNet需要被“應(yīng)用”到這個(gè)模型上。添加ControlNetLoader節(jié)點(diǎn)加載control_v11p_sd15_canny.pth這類模型。添加Canny節(jié)點(diǎn)導(dǎo)入你的參考圖調(diào)整閾值得到清晰的線稿。添加ControlNetApply節(jié)點(diǎn)。它的conditioning輸入連接的是原本要輸入KSampler的positiveconditioning。也就是說(shuō)我們需要“改造”正向提示詞的conditioning。將CLIP Text Encode (positive)的輸出連接到ControlNetApply的conditioning輸入。將ControlNetLoader的輸出CONTROL_NET連接到ControlNetApply的control_net輸入。將Canny節(jié)點(diǎn)輸出的圖像連接到ControlNetApply的image輸入。最后將ControlNetApply輸出的CONDITIONING連接到KSampler的positive輸入。重要ControlNetApply有一個(gè)strength強(qiáng)度參數(shù)通常設(shè)置在0.6-1.0之間控制線稿對(duì)生成結(jié)果的約束力。這個(gè)過(guò)程相當(dāng)于在正向提示詞的引導(dǎo)信息上疊加了一層輪廓約束。你可以串聯(lián)多個(gè)不同的ControlNetApply節(jié)點(diǎn)如Canny控制輪廓OpenPose控制骨骼實(shí)現(xiàn)多重控制這在WebUI中需要復(fù)雜設(shè)置在ComfyUI里就是多連幾個(gè)節(jié)點(diǎn)的事。5.2 集成LoRA實(shí)現(xiàn)風(fēng)格/角色微調(diào)LoRA的集成相對(duì)簡(jiǎn)單它通過(guò)修改模型權(quán)重來(lái)起作用。使用LoraLoader節(jié)點(diǎn)右鍵“Add Node” - “l(fā)oaders” -LoraLoader。連接LoraLoader節(jié)點(diǎn)有兩個(gè)關(guān)鍵輸入model和clip。它們分別連接到Checkpoint Loader輸出的MODEL和CLIP上。輸出LoraLoader節(jié)點(diǎn)會(huì)輸出新的、被LoRA修改過(guò)的MODEL和CLIP。將這兩個(gè)輸出分別連接到后續(xù)需要模型和CLIP的地方如KSampler的model輸入以及CLIP Text Encode的clip輸入。參數(shù)strength_model和strength_clip通常設(shè)置為相同的值范圍在0-1之間代表LoRA的權(quán)重強(qiáng)度。對(duì)于風(fēng)格LoRA0.6-0.8效果不錯(cuò)對(duì)于角色LoRA可能需要0.8-1.0。你可以添加多個(gè)LoraLoader節(jié)點(diǎn)將它們首尾串聯(lián)來(lái)實(shí)現(xiàn)多個(gè)LoRA的疊加效果。連接順序會(huì)影響最終效果通常越靠后的LoRA影響越大。5.3 工作流管理與優(yōu)化技巧當(dāng)節(jié)點(diǎn)越來(lái)越多工作流會(huì)變得雜亂。以下技巧能極大提升效率使用“節(jié)點(diǎn)組”Group框選一組功能相關(guān)的節(jié)點(diǎn)如整個(gè)ControlNet處理鏈右鍵選擇 “Create Group”。可以為這個(gè)組命名、著色。雙擊組可以折疊/展開(kāi)讓畫布更清爽。利用“斷點(diǎn)”進(jìn)行調(diào)試如果生成結(jié)果不對(duì)可以右鍵某個(gè)節(jié)點(diǎn)的輸出端口選擇 “Convert to Output Node”。這會(huì)在該節(jié)點(diǎn)處創(chuàng)建一個(gè)輸出接口并暫停后續(xù)流程。你可以先運(yùn)行到斷點(diǎn)查看中間結(jié)果如預(yù)處理后的Canny圖、編碼后的提示詞向量等快速定位問(wèn)題階段。保存與加載模板將調(diào)試好的、常用的工作流如“基礎(chǔ)文生圖高清修復(fù)ControlNet”保存為.json文件。以后新建一個(gè)標(biāo)簽頁(yè)直接加載這個(gè)模板稍作修改換模型、改提示詞就能用省去重復(fù)搭建的麻煩。安裝管理器Manager通過(guò)ComfyUI的“管理器”通常便攜版已內(nèi)置或可通過(guò)自定義腳本安裝你可以方便地瀏覽、安裝、更新社區(qū)節(jié)點(diǎn)Custom Nodes。這能解鎖海量高級(jí)功能如面部修復(fù)Face Restoration、分區(qū)提示詞Regional Prompter、通配符Wildcards等讓你的工作流能力呈指數(shù)級(jí)增長(zhǎng)。6. 性能調(diào)優(yōu)與故障排查實(shí)錄即使工作流搭建正確在實(shí)際使用中尤其是用5060 Ti這類中端卡跑復(fù)雜流程時(shí)還是會(huì)遇到各種性能問(wèn)題和報(bào)錯(cuò)。下面是我踩過(guò)坑后總結(jié)出的實(shí)戰(zhàn)經(jīng)驗(yàn)。6.1 針對(duì)5060 Ti的顯存與速度優(yōu)化啟用xformers如果支持xformers是一個(gè)Transformer加速庫(kù)能顯著減少顯存占用并提升速度。在啟動(dòng)ComfyUI的命令行中可以添加參數(shù)--force-fp16和--use-split-cross-attention或--use-pytorch-cross-attention。更直接的方法是在ComfyUI\extra_model_paths.yaml配置文件如果沒(méi)有就創(chuàng)建中可以嘗試設(shè)置啟用xformers。最可靠的方式是安裝ComfyUI-Manager并通過(guò)其安裝ComfyUI-Impact-Pack里面包含的ImpactXformers節(jié)點(diǎn)可以方便地啟用。使用--lowvram模式謹(jǐn)慎在啟動(dòng)命令后添加--lowvram參數(shù)會(huì)啟用低顯存模式通過(guò)更激進(jìn)地在CPU和GPU間交換數(shù)據(jù)來(lái)嘗試運(yùn)行超出顯存的工作流。但這會(huì)極大降低生成速度僅作為最后手段。對(duì)于5060 Ti 12GB/16GB通常不需要。優(yōu)化VAE解碼VAE解碼是生成最后一步有時(shí)也會(huì)成為瓶頸?？梢試L試在VAE Decode節(jié)點(diǎn)前添加一個(gè)VAE Decode (Tiled)節(jié)點(diǎn)需安裝相關(guān)自定義節(jié)點(diǎn)。它采用分塊解碼的方式能減少大圖解碼時(shí)的峰值顯存但對(duì)速度可能有輕微影響。清理緩存ComfyUI會(huì)緩存加載過(guò)的模型。如果頻繁切換不同的大模型顯存可能會(huì)被舊模型占用?？梢园惭bComfyUI-Easy-Use等工具包里面提供“卸載模型”的節(jié)點(diǎn)或在設(shè)置中調(diào)整模型保持駐留的選項(xiàng)。6.2 常見(jiàn)報(bào)錯(cuò)與解決方案速查表報(bào)錯(cuò)信息/現(xiàn)象可能原因解決方案CUDA out of memory顯存不足。工作流太復(fù)雜或分辨率/batch_size太高。1. 降低Empty Latent Image的分辨率或batch_size。2. 檢查是否同時(shí)加載了多個(gè)大模型未釋放。3. 嘗試啟用--medvram或分塊解碼?！甆oneType’ object has no attribute ‘blahblah’節(jié)點(diǎn)連線錯(cuò)誤或缺失。某個(gè)必需的輸入端口沒(méi)有接收到數(shù)據(jù)。1. 仔細(xì)檢查報(bào)錯(cuò)節(jié)點(diǎn)及其上游節(jié)點(diǎn)的連線確保所有必需的輸入端口通常顏色較深都已連接。2. 右鍵點(diǎn)擊節(jié)點(diǎn)選擇 “Convert to Output Node” 在上游設(shè)置斷點(diǎn)逐步執(zhí)行排查。生成結(jié)果純黑/純灰VAE未正確連接或模型不匹配。1. 檢查VAE Decode節(jié)點(diǎn)的vae輸入是否連接了有效的VAE來(lái)自Checkpoint Loader或VAE Loader。2. 嘗試換一個(gè)VAE模型有些模型需要特定的VAE。生成速度異常緩慢使用了未優(yōu)化的采樣器或步數(shù)過(guò)高CPU模式運(yùn)行。1. 檢查KSampler的采樣器優(yōu)先選擇dpmpp_2m,euler等速度較快的。2. 降低采樣步數(shù)steps。3. 確認(rèn)命令行輸出中顯示的是否是CUDA即GPU在運(yùn)行而非CPU。加載工作流圖片后節(jié)點(diǎn)缺失/報(bào)錯(cuò)工作流中使用了自定義節(jié)點(diǎn)而你的環(huán)境沒(méi)有安裝。1. 查看缺失的節(jié)點(diǎn)名稱。2. 通過(guò)ComfyUI Manager搜索并安裝對(duì)應(yīng)的自定義節(jié)點(diǎn)包。3. 重啟ComfyUI。ControlNet/LoRA效果不明顯或完全沒(méi)作用連接邏輯錯(cuò)誤或強(qiáng)度參數(shù)設(shè)置不當(dāng)。1. 對(duì)于ControlNet確認(rèn)ControlNetApply節(jié)點(diǎn)是否正確連接在positive conditioning的通路上并且預(yù)處理圖像已正確生成。2. 調(diào)整strength參數(shù)嘗試調(diào)高。3. 對(duì)于LoRA確認(rèn)LoraLoader的model/clip輸出是否正確替換了原有的連接。6.3 高級(jí)技巧使用“隊(duì)列”實(shí)現(xiàn)批量生成與工作流編排ComfyUI的“隊(duì)列”Queue系統(tǒng)非常強(qiáng)大。你不僅可以點(diǎn)擊一次“Queue Prompt”生成一張圖還可以通過(guò)API或腳本的方式連續(xù)提交多個(gè)帶有不同參數(shù)的工作流。前端隊(duì)列在界面中你可以復(fù)制Duplicate當(dāng)前的工作流在新復(fù)制的標(biāo)簽頁(yè)里修改提示詞或種子然后分別點(diǎn)擊“Queue Prompt”。它們會(huì)按順序在后臺(tái)執(zhí)行而你可以繼續(xù)在界面上搭建其他工作流互不干擾。這對(duì)于需要生成多個(gè)變體時(shí)非常方便。API調(diào)用ComfyUI提供了完整的HTTP API。你可以用Python腳本編寫一個(gè)循環(huán)不斷改變提示詞或隨機(jī)種子然后將工作流數(shù)據(jù)就是那個(gè)巨大的JSON通過(guò)API提交給ComfyUI服務(wù)器。這樣就能實(shí)現(xiàn)全自動(dòng)的、大規(guī)模的圖庫(kù)生成。這對(duì)于需要生成數(shù)百?gòu)堄?xùn)練素材圖的任務(wù)來(lái)說(shuō)是解放雙手的神器。網(wǎng)上有很多調(diào)用ComfyUI API的Python腳本示例核心就是使用requests庫(kù)向http://127.0.0.1:8188/prompt發(fā)送POST請(qǐng)求?；仡欉@三次“勸退”到最終熟練使用的過(guò)程ComfyUI給我的最大啟示是它把控制的代價(jià)和收益都交給了用戶。前期的學(xué)習(xí)成本換來(lái)的是后期無(wú)與倫比的效率、靈活性和可復(fù)現(xiàn)性。對(duì)于RTX 5060 Ti這樣的顯卡它不再是一個(gè)只能運(yùn)行“傻瓜模式”的硬件而是一個(gè)可以通過(guò)精細(xì)調(diào)度發(fā)揮出120%潛力的創(chuàng)作伙伴。別再被它最初的界面嚇退從加載一個(gè)簡(jiǎn)單示例開(kāi)始跟著連線理解數(shù)據(jù)流動(dòng)然后嘗試修改一個(gè)參數(shù)再搭建一個(gè)屬于自己的小流程。每一步突破都會(huì)讓你對(duì)AI圖像生成的理解更深一層也讓你的5060 Ti真正開(kāi)始為你高效、智能地“打工”。 RTX 5060 Ti玩轉(zhuǎn)ComfyUI：從入門到精通，榨干顯卡性能的AI繪畫指南
1. 項(xiàng)目概述從入門到放棄再到真香如果你和我一樣是個(gè)對(duì)AI繪畫、視頻生成這些酷炫玩意兒充滿好奇的普通玩家手里攥著一塊RTX 5060 Ti既想體驗(yàn)前沿技術(shù)又不想被復(fù)雜的部署和玄學(xué)的報(bào)錯(cuò)勸退那咱們的經(jīng)歷可能高度重合。ComfyUI這個(gè)在Stable Diffusion圈子里以“節(jié)點(diǎn)式”、“靈活”、“高效”著稱的工具我前前后后差點(diǎn)被它勸退了三次。第一次是看著滿屏連線的界面頭皮發(fā)麻第二次是跟著教程一步步操作結(jié)果卡在某個(gè)莫名其妙的節(jié)點(diǎn)報(bào)錯(cuò)上幾個(gè)小時(shí)第三次是好不容易跑出一張圖卻發(fā)現(xiàn)效果和預(yù)期相差甚遠(yuǎn)調(diào)參調(diào)到懷疑人生。但當(dāng)我真正咬牙挺過(guò)這“三劫”把ComfyUI這套邏輯摸透之后才發(fā)現(xiàn)它簡(jiǎn)直是個(gè)人電腦尤其是像5060 Ti這樣甜品級(jí)顯卡的“榨汁機(jī)”。它不像WebUI那樣把所有功能都封裝在按鈕后面而是把圖像生成的每一個(gè)步驟——從加載模型、輸入提示詞、到采樣器選擇、后期處理——都拆解成一個(gè)個(gè)可視化的“節(jié)點(diǎn)”。這種看似復(fù)雜的背后是極高的自由度和對(duì)硬件資源的精準(zhǔn)把控。你可以精確地控制顯存用在哪兒可以搭建出千變?nèi)f化的專屬工作流并且因?yàn)槠浞菍?shí)時(shí)渲染前端的特性在同等硬件下ComfyUI的生成速度往往比WebUI更快、更穩(wěn)定。說(shuō)白了它讓你從“用戶”變成了“導(dǎo)演”兼“工程師”雖然上手門檻高但一旦掌握你的5060 Ti就不再是“亮機(jī)卡”而是一個(gè)真正能為你高效、創(chuàng)造性“打工”的AI算力核心。這篇文章就是把我這幾次“勸退”又“爬回來(lái)”的血淚史和最終總結(jié)出的實(shí)戰(zhàn)經(jīng)驗(yàn)毫無(wú)保留地分享給你。2. 核心需求解析我們到底需要ComfyUI做什么在決定投入時(shí)間攻克ComfyUI之前我們必須先想清楚我為什么要用它對(duì)于絕大多數(shù)個(gè)人用戶尤其是顯卡在RTX 4060 Ti到5070這個(gè)區(qū)間的玩家核心需求無(wú)外乎以下幾點(diǎn)。2.1 榨干每一分顯卡性能這是最實(shí)在的需求。WebUIAutomatic1111功能強(qiáng)大且易用但它是一個(gè)完整的Web應(yīng)用前端交互、實(shí)時(shí)預(yù)覽都會(huì)占用一定的系統(tǒng)資源。對(duì)于顯存只有8GB或12GB的5060 Ti來(lái)說(shuō)在WebUI里進(jìn)行高分辨率生成或復(fù)雜LoRA低秩適應(yīng)模型疊加時(shí)很容易遭遇“CUDA out of memory”的顯存溢出錯(cuò)誤。ComfyUI采用節(jié)點(diǎn)式工作流執(zhí)行過(guò)程更像是一個(gè)“腳本”它只做你連線好的事情沒(méi)有多余的UI開(kāi)銷。這意味著在生成復(fù)雜圖像時(shí)ComfyUI能將更多的顯存留給模型和圖像數(shù)據(jù)本身從而允許你在同等硬件下挑戰(zhàn)更高分辨率、使用更多控制網(wǎng)絡(luò)如ControlNet或者同時(shí)運(yùn)行多個(gè)生成任務(wù)。我的實(shí)測(cè)是在5060 Ti 16GB版本上一個(gè)在WebUI里會(huì)爆顯存的、疊加了三個(gè)ControlNet的768x1152分辨率工作流在ComfyUI里可以穩(wěn)定運(yùn)行。2.2 實(shí)現(xiàn)可復(fù)用、可分享的自動(dòng)化流程你是否經(jīng)常需要固定做某類風(fēng)格的圖比如先用人像模型生成臉部再用另一個(gè)模型重繪服飾背景最后統(tǒng)一進(jìn)行高清修復(fù)和放大。在WebUI里這需要你在不同標(biāo)簽頁(yè)間來(lái)回切換手動(dòng)操作多個(gè)步驟。而在ComfyUI里你可以把這一整套流程搭建成一個(gè)完整的工作流保存為一個(gè).json或.png文件。下次需要時(shí)一鍵加載所有參數(shù)、模型選擇、節(jié)點(diǎn)連接都原封不動(dòng)直接點(diǎn)擊“執(zhí)行隊(duì)列”即可。這種“工作流”思維極大地提升了批量處理或系列創(chuàng)作的效率。你甚至可以從Civitai等社區(qū)直接下載大神分享的工作流文件導(dǎo)入后稍作修改就能為己所用這是“開(kāi)箱即用”的進(jìn)階體驗(yàn)。2.3 深入理解AI圖像生成的“黑箱”對(duì)于想要進(jìn)階學(xué)習(xí)的用戶來(lái)說(shuō)ComfyUI是一個(gè)絕佳的教學(xué)工具。它將Stable Diffusion的生成過(guò)程完全可視化、模塊化。你能清晰地看到你的正面提示詞Positive Prompt和負(fù)面提示詞Negative Prompt是如何被編碼CLIP Text Encode成模型能理解的向量的潛空間Latent Space的噪聲圖像是如何通過(guò)采樣器K-Sampler一步步去噪變成清晰圖像的高清修復(fù)HiRes Fix具體是在哪個(gè)環(huán)節(jié)進(jìn)行了放大和重繪。這種透明化讓你不再是參數(shù)的盲目調(diào)節(jié)者而是流程的構(gòu)建者。你能更精準(zhǔn)地定位問(wèn)題是提示詞編碼不對(duì)還是采樣步數(shù)不足抑或是VAE模型不匹配注意不要被“深入理解”嚇到。即使你暫時(shí)不想研究原理ComfyUI的模塊化也能幫你快速排查問(wèn)題。比如圖像模糊你可以單獨(dú)檢查“VAE解碼”節(jié)點(diǎn)用的模型是否正確或者“采樣器”節(jié)點(diǎn)的降噪強(qiáng)度是否合適這種定位問(wèn)題的效率遠(yuǎn)高于在WebUI里盲目嘗試。3. 環(huán)境部署與首次啟動(dòng)避坑指南萬(wàn)事開(kāi)頭難ComfyUI的安裝就是第一個(gè)坎。官方提供了幾種方式但對(duì)于Windows個(gè)人用戶我強(qiáng)烈推薦以下兩種之一它們能避開(kāi)至少80%的初學(xué)者的環(huán)境問(wèn)題。3.1 方案選擇便攜版 vs 源碼部署方案A使用便攜版推薦新手這是最省心的方式。在ComfyUI的GitHub Releases頁(yè)面或一些國(guó)內(nèi)鏡像站可以找到打包好的“便攜版”Portable Version。它通常是一個(gè)壓縮包里面已經(jīng)包含了Python環(huán)境、必要的依賴庫(kù)以及ComfyUI本體。你只需要下載壓縮包解壓到任意英文路徑例如D:\AI_Tools\ComfyUI。路徑絕對(duì)不能有中文或特殊字符雙擊運(yùn)行目錄下的run_nvidia_gpu.batN卡用戶文件。等待命令行窗口自動(dòng)安裝剩余依賴并啟動(dòng)服務(wù)。完成后它會(huì)提示一個(gè)本地地址通常是http://127.0.0.1:8188。打開(kāi)瀏覽器訪問(wèn)這個(gè)地址就能看到ComfyUI的界面。優(yōu)點(diǎn)幾乎零配置開(kāi)箱即用環(huán)境隔離好不會(huì)影響系統(tǒng)已有的Python環(huán)境。缺點(diǎn)體積較大更新需要重新下載整個(gè)包。方案B通過(guò)Git克隆源碼部署適合有一定經(jīng)驗(yàn)的用戶如果你習(xí)慣自己管理環(huán)境或者想緊跟最新開(kāi)發(fā)版可以選擇此方案。# 1. 克隆倉(cāng)庫(kù) git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 2. 創(chuàng)建并激活虛擬環(huán)境可選但推薦 python -m venv venv .\venv\Scripts\activate # Windows # 3. 安裝PyTorch務(wù)必去官網(wǎng)根據(jù)你的CUDA版本選擇命令 # 例如CUDA 12.1的5060 Ti可能用這個(gè)命令 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 4. 安裝ComfyUI依賴 pip install -r requirements.txt之后運(yùn)行python main.py來(lái)啟動(dòng)。你可以創(chuàng)建一個(gè)run.bat文件內(nèi)容就是python main.py方便下次啟動(dòng)。3.2 首次啟動(dòng)的三大“勸退點(diǎn)”及解決方案即使安裝順利第一次打開(kāi)那個(gè)空蕩蕩的節(jié)點(diǎn)界面很多人還是會(huì)懵。別急按順序解決這三個(gè)問(wèn)題。勸退點(diǎn)一界面空空如也無(wú)從下手?，F(xiàn)象打開(kāi)后只有一個(gè)灰色畫布右鍵菜單里節(jié)點(diǎn)很少。原因沒(méi)有加載任何基礎(chǔ)工作流。ComfyUI本身只是一個(gè)“引擎”需要你提供“圖紙”工作流和“材料”模型。解決下載基礎(chǔ)模型將你的Stable Diffusion基礎(chǔ)模型如sd_xl_base_1.0.safetensors、VAE模型等放入ComfyUI\models\checkpoints目錄。加載示例工作流在界面上方點(diǎn)擊 “Load” 按鈕選擇ComfyUI\examples文件夾下的任何一個(gè).json或.png工作流文件。例如加載basic.json。這時(shí)畫布上就會(huì)出現(xiàn)一組已經(jīng)連接好的基礎(chǔ)節(jié)點(diǎn)。勸退點(diǎn)二節(jié)點(diǎn)密密麻麻連線眼花繚亂?，F(xiàn)象加載示例后看到一堆方框和彩色線條不知道每個(gè)是干嘛的。原因?qū)诵墓?jié)點(diǎn)功能不熟悉。解決先聚焦最簡(jiǎn)流程理解五個(gè)核心節(jié)點(diǎn)Checkpoint Loader模型加載器紫色節(jié)點(diǎn)負(fù)責(zé)加載你的大模型。CLIP Text Encode提示詞編碼器綠色節(jié)點(diǎn)有兩個(gè)分別連接Checkpoint Loader的clip輸出。一個(gè)輸入正面提示詞一個(gè)輸入負(fù)面提示詞。Empty Latent Image空潛空間圖像黃色節(jié)點(diǎn)定義生成圖像的寬度、高度和批次大小。KSampler采樣器紅色大節(jié)點(diǎn)是生成的核心。它接收模型、提示詞編碼、潛空間圖像并設(shè)置采樣器類型、步數(shù)、CFG值等關(guān)鍵參數(shù)。VAE DecodeVAE解碼器橙色節(jié)點(diǎn)接收KSampler輸出的潛空間數(shù)據(jù)將其解碼成我們能看到的RGB圖像。 理解這五個(gè)節(jié)點(diǎn)的連接順序就理解了文生圖txt2img的基本管線。其他所有復(fù)雜節(jié)點(diǎn)都是在這個(gè)基礎(chǔ)上的增強(qiáng)和擴(kuò)展。勸退點(diǎn)三點(diǎn)擊生成后報(bào)錯(cuò)看不懂。現(xiàn)象Queue Prompt 后下方命令行窗口彈出紅色錯(cuò)誤信息。原因最常見(jiàn)的是節(jié)點(diǎn)連接不兼容或模型文件缺失/損壞。解決檢查連線確保每個(gè)節(jié)點(diǎn)的輸出端口小圓點(diǎn)類型和輸入端口類型匹配。例如CLIP Text Encode輸出的CONDITIONING應(yīng)該連接到KSampler的positive和negative輸入。鼠標(biāo)懸停在端口上會(huì)顯示類型。檢查模型路徑確認(rèn)Checkpoint Loader節(jié)點(diǎn)里選擇的模型名稱確實(shí)存在于models\checkpoints文件夾下且文件完整。查看命令行報(bào)錯(cuò)錯(cuò)誤信息通常會(huì)明確指出問(wèn)題所在例如 “No module named ‘xformers’”那就需要安裝xformers庫(kù)來(lái)加速。在便攜版中通常已集成源碼部署則需要手動(dòng)pip install xformers。4. 為RTX 5060 Ti量身定制的高效工作流搭建跨過(guò)入門坎我們來(lái)搭建一個(gè)真正能發(fā)揮5060 Ti效能兼顧速度與質(zhì)量的工作流。我們的目標(biāo)是實(shí)現(xiàn)一個(gè)包含“文生圖 - 高清修復(fù)放大”的自動(dòng)化流程。4.1 基礎(chǔ)文生圖管線搭建首先我們手動(dòng)搭建一個(gè)最基礎(chǔ)的流程理解數(shù)據(jù)流向。在畫布右鍵選擇 “Add Node” - “l(fā)oaders” -Checkpoint Loader。再次右鍵“Add Node” - “conditioning” -CLIP Text Encode。需要添加兩個(gè)一個(gè)作為正面提示詞positive一個(gè)作為負(fù)面提示詞negative。右鍵“Add Node” - “l(fā)atent” -Empty Latent Image。右鍵“Add Node” - “sampling” -KSampler。右鍵“Add Node” - “l(fā)atent” -VAE Decode。右鍵“Add Node” - “image” -Save Image為了保存結(jié)果或Preview Image僅預(yù)覽?，F(xiàn)在開(kāi)始連線將Checkpoint Loader的MODEL輸出連接到KSampler的model輸入。將Checkpoint Loader的CLIP輸出分別連接到兩個(gè)CLIP Text Encode節(jié)點(diǎn)的clip輸入。將兩個(gè)CLIP Text Encode的輸出CONDITIONING分別連接到KSampler的positive和negative輸入。將Empty Latent Image的LATENT輸出連接到KSampler的latent_image輸入。將KSampler的LATENT輸出連接到VAE Decode的samples輸入。將Checkpoint Loader的VAE輸出連接到VAE Decode的vae輸入。注意有些大模型內(nèi)置了VAE這個(gè)連接可選如果使用外部VAE如vae-ft-mse-840000-ema-pruned.ckpt則需要用專門的VAE Loader節(jié)點(diǎn)加載并連接到這里將VAE Decode的IMAGE輸出連接到Save Image的images輸入。至此一個(gè)最基礎(chǔ)的流程搭建完成。在CLIP Text Encode節(jié)點(diǎn)中輸入提示詞設(shè)置好Empty Latent Image的尺寸和KSampler的參數(shù)采樣器推薦dpmpp_2m或euler步數(shù)20-30CFG 7-8點(diǎn)擊 “Queue Prompt” 就能生成你的第一張ComfyUI圖片了。4.2 集成高清修復(fù)與放大策略直接生成高分辨率圖如1024x1024以上對(duì)5060 Ti的顯存壓力很大且容易產(chǎn)生多頭多手等畸形。標(biāo)準(zhǔn)做法是先以較低分辨率如512x768生成構(gòu)圖和內(nèi)容滿意的圖像再進(jìn)行高清修復(fù)放大。這里我們使用“潛在空間放大法”它在顯存占用和細(xì)節(jié)保留上比較平衡。添加高清修復(fù)節(jié)點(diǎn)我們需要另一個(gè)KSampler來(lái)負(fù)責(zé)重繪。右鍵“Add Node” - “sampling” -KSampler我們稱之為KSampler (hires)。添加潛空間放大節(jié)點(diǎn)右鍵“Add Node” - “l(fā)atent” -Latent Upscale。這個(gè)節(jié)點(diǎn)負(fù)責(zé)將第一個(gè)KSampler輸出的低分辨率潛空間圖像放大。修改連線斷開(kāi)第一個(gè)KSampler我們稱之為KSampler (base)到VAE Decode的連線。將KSampler (base)的LATENT輸出連接到Latent Upscale的samples輸入。在Latent Upscale節(jié)點(diǎn)上設(shè)置放大方法upscale_method推薦nearest-exact或bilinear并設(shè)置目標(biāo)尺寸width, height例如放大兩倍。將Latent Upscale的LATENT輸出連接到KSampler (hires)的latent_image輸入。KSampler (hires)的model,positive,negative輸入可以與KSampler (base)共用直接從上游節(jié)點(diǎn)連接過(guò)來(lái)。關(guān)鍵區(qū)別KSampler (hires)的denoise降噪強(qiáng)度參數(shù)需要設(shè)置為一個(gè)小于1的值例如0.3-0.5。這表示在已放大的潛空間圖像基礎(chǔ)上只進(jìn)行輕度重繪以修復(fù)和增強(qiáng)細(xì)節(jié)而不是完全重新生成。降噪強(qiáng)度越高變化越大細(xì)節(jié)可能更豐富但也可能偏離原圖。最后將KSampler (hires)的LATENT輸出連接到VAE Decode的samples輸入。這個(gè)工作流的好處是大部分計(jì)算量集中在低分辨率的第一階段對(duì)顯存友好。第二階段雖然分辨率高但降噪強(qiáng)度低采樣步數(shù)可以設(shè)置得少一些如10-15步整體效率很高非常適合5060 Ti。4.3 關(guān)鍵參數(shù)調(diào)優(yōu)與資源監(jiān)控為了讓5060 Ti“打工”更高效這幾個(gè)參數(shù)需要特別關(guān)注KSampler中的steps步數(shù)并非越高越好。對(duì)于大多數(shù)采樣器20-30步已經(jīng)能產(chǎn)生不錯(cuò)的效果繼續(xù)增加步數(shù)收益遞減但耗時(shí)線性增長(zhǎng)。對(duì)于高清修復(fù)階段的KSampler (hires)由于降噪強(qiáng)度低10-15步足矣。cfg分類器自由引導(dǎo)尺度控制生成結(jié)果與提示詞的貼合度。通常7-8是甜點(diǎn)值。過(guò)高15可能導(dǎo)致圖像色彩飽和、線條生硬過(guò)低5則可能忽略提示詞。Empty Latent Image中的batch_size批次大小一次性生成多張圖。雖然能提高GPU利用率但會(huì)顯著增加單次生成的顯存占用。對(duì)于5060 Ti 12GB在512x768分辨率下batch_size4可能就會(huì)接近極限。建議根據(jù)生成分辨率和模型大小動(dòng)態(tài)調(diào)整優(yōu)先保證單張圖能成功生成。可以通過(guò)ComfyUI管理器安裝ComfyUI-Impact-Pack等插件里面帶有顯存預(yù)估節(jié)點(diǎn)。使用VAE緩存在KSampler節(jié)點(diǎn)上勾選return_with_leftover_noise選項(xiàng)不這里有個(gè)更重要的技巧使用專門的VAE Loader節(jié)點(diǎn)加載一個(gè)輕量化的VAE模型如上面提到的vae-ft-mse并確保工作流中所有需要VAE的地方都使用它而不是從Checkpoint中讀取。這可以避免VAE被重復(fù)加載節(jié)省顯存和加載時(shí)間。實(shí)操心得在Windows下可以同時(shí)打開(kāi)任務(wù)管理器切換到“性能”標(biāo)簽頁(yè)觀察GPU的“專用GPU內(nèi)存”使用情況。在點(diǎn)擊“Queue Prompt”前后觀察顯存占用的峰值。這能幫你直觀了解當(dāng)前工作流對(duì)顯存的壓力并成為你調(diào)整batch_size和分辨率的重要依據(jù)。如果峰值接近顯卡總顯存下次就適當(dāng)調(diào)低參數(shù)。5. 擴(kuò)展能力集成ControlNet與LoRA實(shí)現(xiàn)精準(zhǔn)控制基礎(chǔ)和高清修復(fù)工作流能解決“畫得好”的問(wèn)題但要想“畫得準(zhǔn)”比如指定姿勢(shì)、構(gòu)圖、風(fēng)格就必須請(qǐng)出ControlNet和LoRA這兩位大神。在ComfyUI中集成它們比在WebUI中更靈活但也更考驗(yàn)連線的邏輯。5.1 集成ControlNet進(jìn)行姿勢(shì)/輪廓控制假設(shè)我們想用一張線稿Canny邊緣圖來(lái)控制生成人物的姿勢(shì)。準(zhǔn)備節(jié)點(diǎn)你需要一個(gè)ControlNetLoader節(jié)點(diǎn)來(lái)加載Canny模型一個(gè)Canny節(jié)點(diǎn)或在其他預(yù)處理節(jié)點(diǎn)中來(lái)從你的參考圖提取邊緣一個(gè)ControlNetApply節(jié)點(diǎn)來(lái)將控制信息注入生成過(guò)程。搭建流程在Checkpoint Loader和KSampler之間數(shù)據(jù)流是MODEL。ControlNet需要被“應(yīng)用”到這個(gè)模型上。添加ControlNetLoader節(jié)點(diǎn)加載control_v11p_sd15_canny.pth這類模型。添加Canny節(jié)點(diǎn)導(dǎo)入你的參考圖調(diào)整閾值得到清晰的線稿。添加ControlNetApply節(jié)點(diǎn)。它的conditioning輸入連接的是原本要輸入KSampler的positiveconditioning。也就是說(shuō)我們需要“改造”正向提示詞的conditioning。將CLIP Text Encode (positive)的輸出連接到ControlNetApply的conditioning輸入。將ControlNetLoader的輸出CONTROL_NET連接到ControlNetApply的control_net輸入。將Canny節(jié)點(diǎn)輸出的圖像連接到ControlNetApply的image輸入。最后將ControlNetApply輸出的CONDITIONING連接到KSampler的positive輸入。重要ControlNetApply有一個(gè)strength強(qiáng)度參數(shù)通常設(shè)置在0.6-1.0之間控制線稿對(duì)生成結(jié)果的約束力。這個(gè)過(guò)程相當(dāng)于在正向提示詞的引導(dǎo)信息上疊加了一層輪廓約束。你可以串聯(lián)多個(gè)不同的ControlNetApply節(jié)點(diǎn)如Canny控制輪廓OpenPose控制骨骼實(shí)現(xiàn)多重控制這在WebUI中需要復(fù)雜設(shè)置在ComfyUI里就是多連幾個(gè)節(jié)點(diǎn)的事。5.2 集成LoRA實(shí)現(xiàn)風(fēng)格/角色微調(diào)LoRA的集成相對(duì)簡(jiǎn)單它通過(guò)修改模型權(quán)重來(lái)起作用。使用LoraLoader節(jié)點(diǎn)右鍵“Add Node” - “l(fā)oaders” -LoraLoader。連接LoraLoader節(jié)點(diǎn)有兩個(gè)關(guān)鍵輸入model和clip。它們分別連接到Checkpoint Loader輸出的MODEL和CLIP上。輸出LoraLoader節(jié)點(diǎn)會(huì)輸出新的、被LoRA修改過(guò)的MODEL和CLIP。將這兩個(gè)輸出分別連接到后續(xù)需要模型和CLIP的地方如KSampler的model輸入以及CLIP Text Encode的clip輸入。參數(shù)strength_model和strength_clip通常設(shè)置為相同的值范圍在0-1之間代表LoRA的權(quán)重強(qiáng)度。對(duì)于風(fēng)格LoRA0.6-0.8效果不錯(cuò)對(duì)于角色LoRA可能需要0.8-1.0。你可以添加多個(gè)LoraLoader節(jié)點(diǎn)將它們首尾串聯(lián)來(lái)實(shí)現(xiàn)多個(gè)LoRA的疊加效果。連接順序會(huì)影響最終效果通常越靠后的LoRA影響越大。5.3 工作流管理與優(yōu)化技巧當(dāng)節(jié)點(diǎn)越來(lái)越多工作流會(huì)變得雜亂。以下技巧能極大提升效率使用“節(jié)點(diǎn)組”Group框選一組功能相關(guān)的節(jié)點(diǎn)如整個(gè)ControlNet處理鏈右鍵選擇 “Create Group”。可以為這個(gè)組命名、著色。雙擊組可以折疊/展開(kāi)讓畫布更清爽。利用“斷點(diǎn)”進(jìn)行調(diào)試如果生成結(jié)果不對(duì)可以右鍵某個(gè)節(jié)點(diǎn)的輸出端口選擇 “Convert to Output Node”。這會(huì)在該節(jié)點(diǎn)處創(chuàng)建一個(gè)輸出接口并暫停后續(xù)流程。你可以先運(yùn)行到斷點(diǎn)查看中間結(jié)果如預(yù)處理后的Canny圖、編碼后的提示詞向量等快速定位問(wèn)題階段。保存與加載模板將調(diào)試好的、常用的工作流如“基礎(chǔ)文生圖高清修復(fù)ControlNet”保存為.json文件。以后新建一個(gè)標(biāo)簽頁(yè)直接加載這個(gè)模板稍作修改換模型、改提示詞就能用省去重復(fù)搭建的麻煩。安裝管理器Manager通過(guò)ComfyUI的“管理器”通常便攜版已內(nèi)置或可通過(guò)自定義腳本安裝你可以方便地瀏覽、安裝、更新社區(qū)節(jié)點(diǎn)Custom Nodes。這能解鎖海量高級(jí)功能如面部修復(fù)Face Restoration、分區(qū)提示詞Regional Prompter、通配符Wildcards等讓你的工作流能力呈指數(shù)級(jí)增長(zhǎng)。6. 性能調(diào)優(yōu)與故障排查實(shí)錄即使工作流搭建正確在實(shí)際使用中尤其是用5060 Ti這類中端卡跑復(fù)雜流程時(shí)還是會(huì)遇到各種性能問(wèn)題和報(bào)錯(cuò)。下面是我踩過(guò)坑后總結(jié)出的實(shí)戰(zhàn)經(jīng)驗(yàn)。6.1 針對(duì)5060 Ti的顯存與速度優(yōu)化啟用xformers如果支持xformers是一個(gè)Transformer加速庫(kù)能顯著減少顯存占用并提升速度。在啟動(dòng)ComfyUI的命令行中可以添加參數(shù)--force-fp16和--use-split-cross-attention或--use-pytorch-cross-attention。更直接的方法是在ComfyUI\extra_model_paths.yaml配置文件如果沒(méi)有就創(chuàng)建中可以嘗試設(shè)置啟用xformers。最可靠的方式是安裝ComfyUI-Manager并通過(guò)其安裝ComfyUI-Impact-Pack里面包含的ImpactXformers節(jié)點(diǎn)可以方便地啟用。使用--lowvram模式謹(jǐn)慎在啟動(dòng)命令后添加--lowvram參數(shù)會(huì)啟用低顯存模式通過(guò)更激進(jìn)地在CPU和GPU間交換數(shù)據(jù)來(lái)嘗試運(yùn)行超出顯存的工作流。但這會(huì)極大降低生成速度僅作為最后手段。對(duì)于5060 Ti 12GB/16GB通常不需要。優(yōu)化VAE解碼VAE解碼是生成最后一步有時(shí)也會(huì)成為瓶頸?？梢試L試在VAE Decode節(jié)點(diǎn)前添加一個(gè)VAE Decode (Tiled)節(jié)點(diǎn)需安裝相關(guān)自定義節(jié)點(diǎn)。它采用分塊解碼的方式能減少大圖解碼時(shí)的峰值顯存但對(duì)速度可能有輕微影響。清理緩存ComfyUI會(huì)緩存加載過(guò)的模型。如果頻繁切換不同的大模型顯存可能會(huì)被舊模型占用?？梢园惭bComfyUI-Easy-Use等工具包里面提供“卸載模型”的節(jié)點(diǎn)或在設(shè)置中調(diào)整模型保持駐留的選項(xiàng)。6.2 常見(jiàn)報(bào)錯(cuò)與解決方案速查表報(bào)錯(cuò)信息/現(xiàn)象可能原因解決方案CUDA out of memory顯存不足。工作流太復(fù)雜或分辨率/batch_size太高。1. 降低Empty Latent Image的分辨率或batch_size。2. 檢查是否同時(shí)加載了多個(gè)大模型未釋放。3. 嘗試啟用--medvram或分塊解碼?！甆oneType’ object has no attribute ‘blahblah’節(jié)點(diǎn)連線錯(cuò)誤或缺失。某個(gè)必需的輸入端口沒(méi)有接收到數(shù)據(jù)。1. 仔細(xì)檢查報(bào)錯(cuò)節(jié)點(diǎn)及其上游節(jié)點(diǎn)的連線確保所有必需的輸入端口通常顏色較深都已連接。2. 右鍵點(diǎn)擊節(jié)點(diǎn)選擇 “Convert to Output Node” 在上游設(shè)置斷點(diǎn)逐步執(zhí)行排查。生成結(jié)果純黑/純灰VAE未正確連接或模型不匹配。1. 檢查VAE Decode節(jié)點(diǎn)的vae輸入是否連接了有效的VAE來(lái)自Checkpoint Loader或VAE Loader。2. 嘗試換一個(gè)VAE模型有些模型需要特定的VAE。生成速度異常緩慢使用了未優(yōu)化的采樣器或步數(shù)過(guò)高CPU模式運(yùn)行。1. 檢查KSampler的采樣器優(yōu)先選擇dpmpp_2m,euler等速度較快的。2. 降低采樣步數(shù)steps。3. 確認(rèn)命令行輸出中顯示的是否是CUDA即GPU在運(yùn)行而非CPU。加載工作流圖片后節(jié)點(diǎn)缺失/報(bào)錯(cuò)工作流中使用了自定義節(jié)點(diǎn)而你的環(huán)境沒(méi)有安裝。1. 查看缺失的節(jié)點(diǎn)名稱。2. 通過(guò)ComfyUI Manager搜索并安裝對(duì)應(yīng)的自定義節(jié)點(diǎn)包。3. 重啟ComfyUI。ControlNet/LoRA效果不明顯或完全沒(méi)作用連接邏輯錯(cuò)誤或強(qiáng)度參數(shù)設(shè)置不當(dāng)。1. 對(duì)于ControlNet確認(rèn)ControlNetApply節(jié)點(diǎn)是否正確連接在positive conditioning的通路上并且預(yù)處理圖像已正確生成。2. 調(diào)整strength參數(shù)嘗試調(diào)高。3. 對(duì)于LoRA確認(rèn)LoraLoader的model/clip輸出是否正確替換了原有的連接。6.3 高級(jí)技巧使用“隊(duì)列”實(shí)現(xiàn)批量生成與工作流編排ComfyUI的“隊(duì)列”Queue系統(tǒng)非常強(qiáng)大。你不僅可以點(diǎn)擊一次“Queue Prompt”生成一張圖還可以通過(guò)API或腳本的方式連續(xù)提交多個(gè)帶有不同參數(shù)的工作流。前端隊(duì)列在界面中你可以復(fù)制Duplicate當(dāng)前的工作流在新復(fù)制的標(biāo)簽頁(yè)里修改提示詞或種子然后分別點(diǎn)擊“Queue Prompt”。它們會(huì)按順序在后臺(tái)執(zhí)行而你可以繼續(xù)在界面上搭建其他工作流互不干擾。這對(duì)于需要生成多個(gè)變體時(shí)非常方便。API調(diào)用ComfyUI提供了完整的HTTP API。你可以用Python腳本編寫一個(gè)循環(huán)不斷改變提示詞或隨機(jī)種子然后將工作流數(shù)據(jù)就是那個(gè)巨大的JSON通過(guò)API提交給ComfyUI服務(wù)器。這樣就能實(shí)現(xiàn)全自動(dòng)的、大規(guī)模的圖庫(kù)生成。這對(duì)于需要生成數(shù)百?gòu)堄?xùn)練素材圖的任務(wù)來(lái)說(shuō)是解放雙手的神器。網(wǎng)上有很多調(diào)用ComfyUI API的Python腳本示例核心就是使用requests庫(kù)向http://127.0.0.1:8188/prompt發(fā)送POST請(qǐng)求?；仡欉@三次“勸退”到最終熟練使用的過(guò)程ComfyUI給我的最大啟示是它把控制的代價(jià)和收益都交給了用戶。前期的學(xué)習(xí)成本換來(lái)的是后期無(wú)與倫比的效率、靈活性和可復(fù)現(xiàn)性。對(duì)于RTX 5060 Ti這樣的顯卡它不再是一個(gè)只能運(yùn)行“傻瓜模式”的硬件而是一個(gè)可以通過(guò)精細(xì)調(diào)度發(fā)揮出120%潛力的創(chuàng)作伙伴。別再被它最初的界面嚇退從加載一個(gè)簡(jiǎn)單示例開(kāi)始跟著連線理解數(shù)據(jù)流動(dòng)然后嘗試修改一個(gè)參數(shù)再搭建一個(gè)屬于自己的小流程。每一步突破都會(huì)讓你對(duì)AI圖像生成的理解更深一層也讓你的5060 Ti真正開(kāi)始為你高效、智能地“打工”。