人像照片如何變成會轉(zhuǎn)頭會說話的動態(tài)肖像)
LivePortrait 上手靜態(tài)人像照片如何變成會轉(zhuǎn)頭會說話的動態(tài)肖像【免費下載鏈接】LivePortraitBring portraits to life!項目地址: https://gitcode.com/GitHub_Trending/li/LivePortrait你拍了一張很滿意的人像很想讓照片里的人轉(zhuǎn)頭、眨眼、甚至笑一下。LivePortrait 是一個開源的人像動畫工具給它一張靜態(tài)人像照片和一段驅(qū)動素材它就能生成這張人臉跟隨動作動的動態(tài)肖像。下面按我實際跑通的順序帶你從裝環(huán)境到出片再把效果調(diào)到位。效果先看看人、寵物、圖片驅(qū)動都能做同一個流水線下面幾種效果都支持人類肖像動畫人像 驅(qū)動視頻輸出動態(tài)肖像源也可以給視頻就變成 v2v 的視頻編輯——原視頻里的人做出驅(qū)動動作背景和人物保持一致。寵物模式單獨訓(xùn)練的貓狗權(quán)重寵物照片也能眨眼、轉(zhuǎn)頭。圖片驅(qū)動與區(qū)域控制用一張圖當驅(qū)動信號還能把驅(qū)動限制在表情、姿態(tài)、嘴、眼睛里的某一個區(qū)域比如只動嘴、頭保持不動。安裝運行四步出第一張動態(tài)肖像第 1 步拿代碼建環(huán)境前提裝好 git、conda、FFmpeg缺 FFmpeg 按倉庫里的說明裝一下git clone https://gitcode.com/GitHub_Trending/li/LivePortrait cd LivePortrait conda create -n liveportrait python3.10 conda activate liveportrait第 2 步裝依賴pip install -r requirements.txtApple Silicon 的 Mac 改用pip install -r requirements_macOS.txt啟動前記得設(shè)置PYTORCH_ENABLE_MPS_FALLBACK1。動物模式還要額外編譯 X-Pose 的 CUDA 算子進入src/utils/dependencies/XPose/models/UniPose/ops目錄執(zhí)行一次python setup.py build install否則跑不起來。第 3 步下載預(yù)訓(xùn)練權(quán)重放到pretrained_weights/下pip install -U huggingface_hub[cli] huggingface-cli download KlingTeam/LivePortrait \ --local-dir pretrained_weights --exclude *.git* README.md docs連不上 HuggingFace 的話先設(shè)置一個HF_ENDPOINT鏡像環(huán)境變量再執(zhí)行同一條命令即可。第 4 步出片python inference.py # 用內(nèi)置示例素材直接跑不帶參數(shù) python app.py # 啟動 Gradio 可視化界面 python app_animals.py # 動物模式界面第一條命令跑完animations/目錄會多出類似s6--d0_concat.mp4的文件里面把驅(qū)動視頻、原圖、生成結(jié)果拼在一起方便你直接對照。三種最常用的玩法做動態(tài)頭像源圖一張正面人像就夠。驅(qū)動端可以直接用 assets/examples/driving/ 里現(xiàn)成的.pkl動作模板比如wink.pkl、talking.pkl。模板是預(yù)先抽好的動作、不含人臉畫面拿來驅(qū)動自己的照片沒有隱私顧慮python inference.py -s 你的照片.jpg -d assets/examples/driving/wink.pkl在 Gradio 界面里則是拖文件、點Animate不確定效果時可以先從 Examples 里挑一張示例試跑。給寵物照片加動畫 先確認第 2 步里的 X-Pose 算子編譯過了然后運行python inference_animals.py或python app_animals.py。第一張可以照抄官方示例python inference_animals.py -s assets/examples/source/s39.jpg -d assets/examples/driving/wink.pkl --driving_multiplier 1.75 --no_flag_stitching兩個細節(jié)寵物的驅(qū)動幅度通常要調(diào)大官方示例是 1.75 倍driving_multiplier只在你選了expression-friendly驅(qū)動模式時生效另外動物源圖建議關(guān)掉 stitching--no_flag_stitching。Mac 上裝不了 X-Pose寵物模式只能在 NVIDIA GPU 的機器上跑。用一張照片驅(qū)動另一張照片驅(qū)動端-d不只能是視頻傳一張圖進去輸出的也是一張圖python inference.py -s assets/examples/source/s5.jpg -d assets/examples/driving/d30.jpg默認走相對運動只把驅(qū)動圖相對其中性形態(tài)的差值作用到源圖上身份保持得比較好想要更強的表情可以加--no_flag_relative_motion但源圖特征可能會被串味。用--animation_region可以限制作用區(qū)域取exp、pose、lip、eyes、all比如只驅(qū)動嘴部就加--animation_region lip。把效果調(diào)順的幾個旋鈕源圖正面、清晰、無遮擋分辨率 512×512 以上檢測框位置不理想時調(diào)--scale越大臉在裁剪框里越小和--vy_ratio微調(diào)。驅(qū)動素材1:1 最好如 512×512第一幀要是中性表情的正臉肩部動作盡量少。素材不是正方形時加--flag_crop_driving_video自動裁剪或自己裁好再傳。幅度driving_multiplier是驅(qū)動動作的倍數(shù)默認 1.0人類 0.8–1.2 之間比較穩(wěn)調(diào)大了夸張調(diào)小了僵硬。拼接--flag_stitching默認開啟負責(zé)把臉和背景的交界修干凈頭部運動小的時候效果最好頭部大角度轉(zhuǎn)動或動物源圖時建議關(guān)掉。速度與顯存Linux 上反復(fù)生成的話加--flag_do_torch_compile首次會多花約一分鐘做編譯之后快 20–30%Windows 和 macOS 不支持。顯存不夠就先降--source_max_dim默認 1280設(shè)到 640–960同時保持 fp16 半精度開啟、關(guān)掉其他占 GPU 的程序。所有參數(shù)的默認值都能在 src/config/ 里找到配合python inference.py -h看參數(shù)說明。容易踩的幾個坑輸出出現(xiàn)黑塊→ 多半是 GPU 對 fp16 半精度不兼容 → 加--no_flag_use_half_precision重新生成代價是速度變慢一點。生成動作不跟驅(qū)動、頭部位置偏移→ 源圖檢測框沒對或驅(qū)動視頻第一幀不是中性正臉 → 換一段第一幀干凈的驅(qū)動視頻源圖側(cè)把--det_thresh調(diào)低重新檢測。動物模式報導(dǎo)入或編譯錯誤→ X-Pose 的 CUDA 算子沒裝或 torch 版本和本機 CUDA 不匹配 → 用nvcc -V看 CUDA 版本裝對應(yīng)版本的 torch再回到 XPose 的 ops 目錄重新編譯。驅(qū)動視頻自動裁剪沒對準人臉→ 自動裁剪只是粗裁 → 用--scale_crop_driving_video、--vy_ratio_crop_driving_video微調(diào)或干脆手動裁成 1:1 再傳入。macOS 想用動物模式→ X-Pose 不支持 macOS → Mac 上走人類模式requirements_macOS.txt動物模式留給帶 NVIDIA GPU 的機器。到這里主流程就走完了裝環(huán)境、跑通、調(diào)參數(shù)。后續(xù)版本的新功能說明可以看 assets/docs/ 里的文檔每次迭代的更新記錄在 assets/docs/changelog/想深入某個行為src/config/ 里每個參數(shù)都有默認值和注釋?！久赓M下載鏈接】LivePortraitBring portraits to life!項目地址: https://gitcode.com/GitHub_Trending/li/LivePortrait創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 LivePortrait 上手：靜態(tài)人像照片如何變成會轉(zhuǎn)頭會說話的動態(tài)肖像
LivePortrait 上手靜態(tài)人像照片如何變成會轉(zhuǎn)頭會說話的動態(tài)肖像【免費下載鏈接】LivePortraitBring portraits to life!項目地址: https://gitcode.com/GitHub_Trending/li/LivePortrait你拍了一張很滿意的人像很想讓照片里的人轉(zhuǎn)頭、眨眼、甚至笑一下。LivePortrait 是一個開源的人像動畫工具給它一張靜態(tài)人像照片和一段驅(qū)動素材它就能生成這張人臉跟隨動作動的動態(tài)肖像。下面按我實際跑通的順序帶你從裝環(huán)境到出片再把效果調(diào)到位。效果先看看人、寵物、圖片驅(qū)動都能做同一個流水線下面幾種效果都支持人類肖像動畫人像 驅(qū)動視頻輸出動態(tài)肖像源也可以給視頻就變成 v2v 的視頻編輯——原視頻里的人做出驅(qū)動動作背景和人物保持一致。寵物模式單獨訓(xùn)練的貓狗權(quán)重寵物照片也能眨眼、轉(zhuǎn)頭。圖片驅(qū)動與區(qū)域控制用一張圖當驅(qū)動信號還能把驅(qū)動限制在表情、姿態(tài)、嘴、眼睛里的某一個區(qū)域比如只動嘴、頭保持不動。安裝運行四步出第一張動態(tài)肖像第 1 步拿代碼建環(huán)境前提裝好 git、conda、FFmpeg缺 FFmpeg 按倉庫里的說明裝一下git clone https://gitcode.com/GitHub_Trending/li/LivePortrait cd LivePortrait conda create -n liveportrait python3.10 conda activate liveportrait第 2 步裝依賴pip install -r requirements.txtApple Silicon 的 Mac 改用pip install -r requirements_macOS.txt啟動前記得設(shè)置PYTORCH_ENABLE_MPS_FALLBACK1。動物模式還要額外編譯 X-Pose 的 CUDA 算子進入src/utils/dependencies/XPose/models/UniPose/ops目錄執(zhí)行一次python setup.py build install否則跑不起來。第 3 步下載預(yù)訓(xùn)練權(quán)重放到pretrained_weights/下pip install -U huggingface_hub[cli] huggingface-cli download KlingTeam/LivePortrait \ --local-dir pretrained_weights --exclude *.git* README.md docs連不上 HuggingFace 的話先設(shè)置一個HF_ENDPOINT鏡像環(huán)境變量再執(zhí)行同一條命令即可。第 4 步出片python inference.py # 用內(nèi)置示例素材直接跑不帶參數(shù) python app.py # 啟動 Gradio 可視化界面 python app_animals.py # 動物模式界面第一條命令跑完animations/目錄會多出類似s6--d0_concat.mp4的文件里面把驅(qū)動視頻、原圖、生成結(jié)果拼在一起方便你直接對照。三種最常用的玩法做動態(tài)頭像源圖一張正面人像就夠。驅(qū)動端可以直接用 assets/examples/driving/ 里現(xiàn)成的.pkl動作模板比如wink.pkl、talking.pkl。模板是預(yù)先抽好的動作、不含人臉畫面拿來驅(qū)動自己的照片沒有隱私顧慮python inference.py -s 你的照片.jpg -d assets/examples/driving/wink.pkl在 Gradio 界面里則是拖文件、點Animate不確定效果時可以先從 Examples 里挑一張示例試跑。給寵物照片加動畫 先確認第 2 步里的 X-Pose 算子編譯過了然后運行python inference_animals.py或python app_animals.py。第一張可以照抄官方示例python inference_animals.py -s assets/examples/source/s39.jpg -d assets/examples/driving/wink.pkl --driving_multiplier 1.75 --no_flag_stitching兩個細節(jié)寵物的驅(qū)動幅度通常要調(diào)大官方示例是 1.75 倍driving_multiplier只在你選了expression-friendly驅(qū)動模式時生效另外動物源圖建議關(guān)掉 stitching--no_flag_stitching。Mac 上裝不了 X-Pose寵物模式只能在 NVIDIA GPU 的機器上跑。用一張照片驅(qū)動另一張照片驅(qū)動端-d不只能是視頻傳一張圖進去輸出的也是一張圖python inference.py -s assets/examples/source/s5.jpg -d assets/examples/driving/d30.jpg默認走相對運動只把驅(qū)動圖相對其中性形態(tài)的差值作用到源圖上身份保持得比較好想要更強的表情可以加--no_flag_relative_motion但源圖特征可能會被串味。用--animation_region可以限制作用區(qū)域取exp、pose、lip、eyes、all比如只驅(qū)動嘴部就加--animation_region lip。把效果調(diào)順的幾個旋鈕源圖正面、清晰、無遮擋分辨率 512×512 以上檢測框位置不理想時調(diào)--scale越大臉在裁剪框里越小和--vy_ratio微調(diào)。驅(qū)動素材1:1 最好如 512×512第一幀要是中性表情的正臉肩部動作盡量少。素材不是正方形時加--flag_crop_driving_video自動裁剪或自己裁好再傳。幅度driving_multiplier是驅(qū)動動作的倍數(shù)默認 1.0人類 0.8–1.2 之間比較穩(wěn)調(diào)大了夸張調(diào)小了僵硬。拼接--flag_stitching默認開啟負責(zé)把臉和背景的交界修干凈頭部運動小的時候效果最好頭部大角度轉(zhuǎn)動或動物源圖時建議關(guān)掉。速度與顯存Linux 上反復(fù)生成的話加--flag_do_torch_compile首次會多花約一分鐘做編譯之后快 20–30%Windows 和 macOS 不支持。顯存不夠就先降--source_max_dim默認 1280設(shè)到 640–960同時保持 fp16 半精度開啟、關(guān)掉其他占 GPU 的程序。所有參數(shù)的默認值都能在 src/config/ 里找到配合python inference.py -h看參數(shù)說明。容易踩的幾個坑輸出出現(xiàn)黑塊→ 多半是 GPU 對 fp16 半精度不兼容 → 加--no_flag_use_half_precision重新生成代價是速度變慢一點。生成動作不跟驅(qū)動、頭部位置偏移→ 源圖檢測框沒對或驅(qū)動視頻第一幀不是中性正臉 → 換一段第一幀干凈的驅(qū)動視頻源圖側(cè)把--det_thresh調(diào)低重新檢測。動物模式報導(dǎo)入或編譯錯誤→ X-Pose 的 CUDA 算子沒裝或 torch 版本和本機 CUDA 不匹配 → 用nvcc -V看 CUDA 版本裝對應(yīng)版本的 torch再回到 XPose 的 ops 目錄重新編譯。驅(qū)動視頻自動裁剪沒對準人臉→ 自動裁剪只是粗裁 → 用--scale_crop_driving_video、--vy_ratio_crop_driving_video微調(diào)或干脆手動裁成 1:1 再傳入。macOS 想用動物模式→ X-Pose 不支持 macOS → Mac 上走人類模式requirements_macOS.txt動物模式留給帶 NVIDIA GPU 的機器。到這里主流程就走完了裝環(huán)境、跑通、調(diào)參數(shù)。后續(xù)版本的新功能說明可以看 assets/docs/ 里的文檔每次迭代的更新記錄在 assets/docs/changelog/想深入某個行為src/config/ 里每個參數(shù)都有默認值和注釋?！久赓M下載鏈接】LivePortraitBring portraits to life!項目地址: https://gitcode.com/GitHub_Trending/li/LivePortrait創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考