:10 分鐘用命令行把白天照片變成日落與夜景)
HiDT 快速入門(mén)10 分鐘用命令行把白天照片變成日落與夜景【免費(fèi)下載鏈接】HiDTOfficial repository for the paper High-Resolution Daytime Translation Without Domain Labels (CVPR2020, Oral)項(xiàng)目地址: https://gitcode.com/gh_mirrors/hi/HiDT想不想把一張普普通通的白天照片一鍵變成橙紅夕陽(yáng)、深邃夜景甚至璀璨星空HiDTHigh-Resolution Daytime Translation正是為此而生的開(kāi)源 AI 圖像轉(zhuǎn)換工具——它在不需要任何領(lǐng)域標(biāo)簽的前提下就能把白天照片轉(zhuǎn)成日落與夜景等風(fēng)格并輸出高分辨率成品。本文是一份 HiDT 快速入門(mén)教程手把手帶你 10 分鐘完成環(huán)境安裝與命令行推理把白天照片轉(zhuǎn)夜景變成一行命令的事。HiDT 是什么為什么它能做出自然夜景HiDT 是 CVPR 2020 Oral 論文《High-Resolution Daytime Translation Without Domain Labels》的官方 PyTorch 實(shí)現(xiàn)。它的核心思路是把圖像解耦為“內(nèi)容”與“風(fēng)格”兩部分內(nèi)容編碼器提取場(chǎng)景結(jié)構(gòu)風(fēng)格編碼器提取光線與色調(diào)解碼器通過(guò) AdaIN 把日落、夜晚的風(fēng)格注入白天照片再配合一個(gè)輕量增強(qiáng)網(wǎng)絡(luò)G_enh把 256px 結(jié)果升級(jí)到 1024×1024 高清畫(huà)質(zhì)。正因?yàn)閮?nèi)容與風(fēng)格分離HiDT 才能做到“一張白天圖 任意風(fēng)格參考圖 自然逼真的新照片”而不是生硬的調(diào)色濾鏡。推理核心類(lèi)見(jiàn) hidt/style_transformer.py增強(qiáng)網(wǎng)絡(luò)見(jiàn) hidt/networks/enhancement/RRDBNet_arch.py。第一步環(huán)境安裝約 3 分鐘HiDT 需要 Python 3.7 及以上推薦使用 conda 創(chuàng)建獨(dú)立環(huán)境避免依賴(lài)沖突。復(fù)制下面這 4 條命令即可完成“克隆 安裝”conda create -n hidt python3.7 conda activate hidt git clone https://gitcode.com/gh_mirrors/hi/HiDT cd HiDT pip install -r requirements.txt依賴(lài)非常精簡(jiǎn)完整清單見(jiàn) requirements.txt核心只有 PyTorch、torchvision、numpy、PyYAML、Pillow 與 tqdm??寺∠聛?lái)的倉(cāng)庫(kù)已自帶示例圖片和全部預(yù)訓(xùn)練權(quán)重?zé)o需再下載任何模型。第二步一行命令把白天照片轉(zhuǎn)成日落夜景倉(cāng)庫(kù)自帶處理腳本infer_on_folders.py只需指定“內(nèi)容圖文件夾”“風(fēng)格圖文件夾”和配置文件即可批量轉(zhuǎn)換。直接復(fù)制下面的命令運(yùn)行CUDA_VISIBLE_DEVICES0 PYTHONPATH$(pwd):${PYTHONPATH} \ python ./bin/infer_on_folders.py \ --content-dir ./images/daytime/content/ \ --style-dir ./images/daytime/styles/ \ --cfg-path ./configs/daytime.yaml \ --chk-path ./trained_models/generator/daytime.pt \ --enh-path ./trained_models/enhancer/enhancer.pth \ --enhancement generator幾個(gè)關(guān)鍵參數(shù)的含義如下參數(shù)作用--content-dir白天照片所在文件夾示例見(jiàn) images/daytime/content/--style-dir日落/夜景風(fēng)格參考圖文件夾示例見(jiàn) images/daytime/styles/--cfg-path模型配置文件 configs/daytime.yaml--chk-path生成器權(quán)重 trained_models/generator/daytime.pt--enh-path高清增強(qiáng)權(quán)重 trained_models/enhancer/enhancer.pth--enhancementgenerator啟用高清增強(qiáng)fullconv為純卷積快速模式運(yùn)行結(jié)束后輸出目錄里就是一張張從白天變身日落與夜景的高清照片。下面的對(duì)比圖可以直觀感受不同場(chǎng)景的轉(zhuǎn)換效果第三步風(fēng)格插值玩出日落→夜景的絲滑過(guò)渡HiDT 最炫的功能之一就是風(fēng)格插值把兩個(gè)風(fēng)格向量比如“日落”與“夜晚”按不同比例混合就能生成從黃昏一路漸變到深夜的連續(xù)畫(huà)面非常適合做延時(shí)攝影、短視頻素材。同樣地它還可以在“陰天”與“晴天”之間做光線插值一鍵把灰蒙蒙的照片變得通透明亮想手動(dòng)控制插值比例可以用官方 Colab 版 Notebook 直接改參數(shù)試玩入口見(jiàn) notebooks/HighResolutionDaytimeTranslation.ipynb無(wú)需配置本地環(huán)境。第四步換種玩法——把照片變成世界名畫(huà)風(fēng)格除了日落夜景HiDT 還附帶了一個(gè)用 WikiArt 畫(huà)作訓(xùn)練的模型能讓你的照片擁有油畫(huà)、印象派等藝術(shù)風(fēng)格。只需把命令中的配置與權(quán)重?fù)Q成 wikiart 版本CUDA_VISIBLE_DEVICES0 PYTHONPATH$(pwd):${PYTHONPATH} \ python ./bin/infer_on_folders.py \ --content-dir ./images/wikiart/content/ \ --style-dir ./images/wikiart/styles/ \ --cfg-path ./configs/wikiart.yaml \ --chk-path ./trained_models/generator/wikiart.pt \ --enh-path ./trained_models/enhancer/enhancer.pth \ --enhancement generator對(duì)應(yīng)的配置見(jiàn) configs/wikiart.yaml風(fēng)格參考圖見(jiàn) images/wikiart/styles/。對(duì)比兩個(gè)配置文件可以發(fā)現(xiàn)wikiart 模型的風(fēng)格編碼維度更高output_dim: 12能承載更豐富的藝術(shù)風(fēng)格信息。進(jìn)階高分辨率增強(qiáng)管線是怎么工作的為什么 HiDT 能輸出高清夜景而不糊秘密在于它的分塊增強(qiáng)管線先把低分辨率結(jié)果切成若干重疊小塊逐塊送入增強(qiáng)網(wǎng)絡(luò)G_enh做超分再由合并網(wǎng)絡(luò)無(wú)縫拼回整圖。示意圖如下這也解釋了為什么 trained_models/enhancer/enhancer.pth 是獨(dú)立的一個(gè)權(quán)重文件——它是 HiDT 高清輸出的關(guān)鍵一環(huán)。常見(jiàn)問(wèn)題速查Q沒(méi)有 GPU 能跑嗎可以但推理會(huì)很慢且 1024×1024 高清增強(qiáng)建議至少 6GB 顯存。Q自己的照片怎么用把照片放進(jìn)--content-dir指向的文件夾即可風(fēng)格圖同理格式支持常見(jiàn)的 jpg/png。Q輸出效果有偽影怎么辦生成器訓(xùn)練時(shí)按 256px 推理建議保持inference_size256更高分辨率反而可能出現(xiàn)偽影??偨Y(jié)從安裝到出圖HiDT 的全流程不到 10 分鐘克隆倉(cāng)庫(kù) → 裝依賴(lài) → 跑一條命令。無(wú)論是白天照片轉(zhuǎn)日落夜景、風(fēng)格插值還是藝術(shù)風(fēng)格遷移它都能給出高分辨率、觀感自然的結(jié)果。趕緊動(dòng)手試試用命令行把你的白天照片變成夜幕下的美景吧【免費(fèi)下載鏈接】HiDTOfficial repository for the paper High-Resolution Daytime Translation Without Domain Labels (CVPR2020, Oral)項(xiàng)目地址: https://gitcode.com/gh_mirrors/hi/HiDT創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考