練實戰(zhàn))
10分鐘語音跑通RVCRetrieval-based-Voice-Conversion-WebUI變聲模型從零訓(xùn)練實戰(zhàn)【免費下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI下稱 RVC是一個基于 VITS 的變聲框架你只需要準(zhǔn)備 10 分鐘以上的低底噪語音就能訓(xùn)練出一個 RVC 變聲模型訓(xùn)練完成后用自己的聲音文件即可推理出目標(biāo)音色。本教程帶你從零走到模型能出聲并順手排掉新手最常踩的幾個坑。動手前你需要什么先說適用人群和最終效果你有一臺帶顯卡的電腦N 卡、A 卡、I 卡均可倉庫提供了對應(yīng)依賴或者一臺租用來的 GPU 服務(wù)器。你有一段 10 分鐘左右、音質(zhì)較高、底噪較低的說話錄音人聲不用帶伴奏。跑通后你會得到兩樣?xùn)|西weights文件夾下約 60MB 以上的.pth模型文件和logs/實驗名下added_開頭的.index索引文件。前者負責(zé)音色后者負責(zé)檢索時防止音色泄漏——RVC 用 top1 檢索把輸入源特征替換成訓(xùn)練集特征就是靠它實現(xiàn)的。準(zhǔn)備清單Python 版本大于 3.8README 環(huán)境配置的第一條要求一份 10~50 分鐘的訓(xùn)練集錄音推薦時長 10 分鐘起步文件放在路徑不含空格、不含括號、不含中文的目錄里顯卡顯存FAQ 里提到 4GB 顯存還有救2~3GB 的顯卡建議直接放棄訓(xùn)練只做推理已安裝 ffmpeg 和 ffprobe或準(zhǔn)備安裝見下文約 1 小時的整塊時間其中訓(xùn)練本身通常只用幾分鐘到幾十分鐘大頭在環(huán)境安裝。最短路徑先跑起來如果你用的是 Windows最短路徑是下載官方整合包RVC-beta.7z解壓后雙擊go-web.bat瀏覽器里 WebUI 會直接打開。如果你是 Linux / macOS 用戶或者想自己裝環(huán)境本教程后續(xù)都基于這條路按下面 4 步走5 分鐘內(nèi)應(yīng)該能看到 WebUI 頁面獲取代碼git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI安裝依賴以 N 卡為例pip install torch torchvision torchaudio pip install -r requirements.txt下載預(yù)訓(xùn)練資產(chǎn)hubert、rmvpe、pretrained、uvr5 等腳本會自動放到assets/對應(yīng)目錄python tools/download_models.py啟動 WebUIpython infer-web.py啟動成功后瀏覽器會自動打開 Gradio 頁面。你能看到「模型推理」「伴奏人聲分離去混響去回聲」「訓(xùn)練」「ckpt處理」幾個選項卡就算跑起來了。此時還沒有自己的模型先用倉庫自帶示例音頻走一遍「單次推理」確認推理鏈路正常再進入訓(xùn)練。逐步配置詳解安裝步驟基礎(chǔ)環(huán)境按顯卡分流所有平臺通用的第一步是裝 PyTorchpip install torch torchvision torchaudioWindows 系統(tǒng) Nvidia Ampere 架構(gòu)RTX 30 系的機器經(jīng)驗上需要指定 CUDA 版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117然后按顯卡選依賴文件四個文件倉庫里都有裝錯一般表現(xiàn)為推理時報設(shè)備相關(guān)錯誤pip install -r requirements.txt # N卡 pip install -r requirements-dml.txt # A卡/I卡A 卡 Linux ROCm 用requirements-amd.txtI 卡 Linux IPEX 用requirements-ipex.txtROCm 驅(qū)動和環(huán)境變量如HSA_OVERRIDE_GFX_VERSION的配置細節(jié)見 README 的 AMD 章節(jié)這里不展開。macOS 用戶可以直接執(zhí)行sh ./run.sh裝依賴。不習(xí)慣 pip 的話也可以用 Poetry 裝注意 Python 建議 3.7~3.10其他版本在llvmlite0.39.0上會沖突。資產(chǎn)與模型文件ffmpeg 和 assetsffmpeg 是繞不開的依賴RVC 靠它讀音頻和寫 filelist。Ubuntu/Debian 執(zhí)行sudo apt install ffmpegmacOS 執(zhí)行brew install ffmpegWindows 用戶把ffmpeg.exe和ffprobe.exe放到項目根目錄即可。模型資產(chǎn)部分核心是運行python tools/download_models.py上一步已執(zhí)行過它會下載assets/hubert/hubert_base.pt——特征提取用assets/rmvpe/rmvpe.pt——RMVPE 音高提取模型參數(shù)用于解決啞音問題assets/pretrained下的 G/D 系列底模32k/40k/48kassets/uvr5_weights下的 UVR5 人聲分離權(quán)重。想訓(xùn) v2 模型還需要額外下載assets/pretrained_v2目錄。另外可以順手確認一下assets/里有沒有Synthesizer_inputs.pth這類文件缺失會導(dǎo)致啟動或推理階段報錯。啟動驗證WebUI 打開了算不算成功算但只算一半。真正的驗證標(biāo)準(zhǔn)是瀏覽器能打開 WebUI五個選項卡含「Onnx導(dǎo)出」「FAQ」都渲染正常沒有紅色報錯控制臺沒有 Traceback 滾過去在「模型推理」→「單次推理」里選一個自帶示例 pth、一條示例音頻點開始推理后幾秒內(nèi)能在待推理音頻位置看到合成波形。三者都滿足說明設(shè)備、ffmpeg、預(yù)訓(xùn)練資產(chǎn)全部就位可以放心進「訓(xùn)練」選項卡。跑起來之后驗證效果與常見坑訓(xùn)練流程一句話版在「訓(xùn)練」選項卡里填訓(xùn)練集目錄、實驗名點一鍵訓(xùn)練等它完成數(shù)據(jù)集處理、F0 提取、特征提取、訓(xùn)練、訓(xùn)練索引。成功后weights/實驗名.pth和logs/實驗名/added_*.index會出現(xiàn)回到「模型推理」刷新音色選這兩個文件推理你自己的音頻。訓(xùn)練集時長怎么定官方 FAQ 推薦 10~50 分鐘音質(zhì)高、底噪低、音色有個人特色時5~10 分鐘也能出效果低于 1 分鐘不建議嘗試。total_epoch方面音質(zhì)差的訓(xùn)練集 20~30 輪足夠高音質(zhì)長數(shù)據(jù)可以調(diào)到 200。新手最常遇到的 5 個問題統(tǒng)一按現(xiàn)象 → 原因 → 解法整理完整版可對照 docs/cn/faq.md現(xiàn)象原因解法ffmpeg error / utf8 error大概率不是 ffmpeg 本身的問題而是音頻路徑帶空格、() 等符號或中文路徑在寫 filelist.txt 時編碼出錯訓(xùn)練集目錄改成純英文、無空格路徑訓(xùn)練結(jié)束沒有added_索引文件訓(xùn)練集太大內(nèi)存版 add 索引卡住用批處理 add 索引或臨時再點一次訓(xùn)練索引按鈕一鍵訓(xùn)練后緊跟著的報錯顯示 Training is done. The program is closed. 即模型已訓(xùn)成后面的報錯是假的忽略即可別誤刪產(chǎn)物分享/推理模型報 f0、tgt_sr 等 key 不存在把logs下幾百 MB 的實驗狀態(tài) pth 直接拿去推理了分享用weights下 60MB 的 pth added_*.index必要時在「ckpt處理」做小模型提取Cuda error / out of memory顯存不夠4GB 以下顯存基本放棄訓(xùn)練訓(xùn)練縮小 batch size推理縮小configs/config.py末尾的x_pad、x_query、x_center、x_max另外兩個小坑瀏覽器顯示 Connection Error 通常是控制臺窗口被你關(guān)了Expecting value: line 1 column 1 (char 0) 一般是系統(tǒng)代理干擾關(guān)掉全局代理包括服務(wù)端的 http_proxy再試。結(jié)尾下一步做什么跑通單次推理后建議先做兩件事挑一段 30 秒左右的干凈人聲做測試音頻在「模型推理」里把index_rate和音高偏移都調(diào)到中間值聽一遍效果建立基線滿意后試試「批量推理」處理一整首歌或者進「ckpt處理」用 ckpt-merge 把兩個模型融合出新音色這是 RVC 玩法里成本最低的一條進階路徑。數(shù)據(jù)量夠、模型穩(wěn)定之后再去折騰實時變聲go-realtime-gui.bat也不遲?！久赓M下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 10分鐘語音跑通RVC：Retrieval-based-Voice-Conversion-WebUI變聲模型從零訓(xùn)練實戰(zhàn)
10分鐘語音跑通RVCRetrieval-based-Voice-Conversion-WebUI變聲模型從零訓(xùn)練實戰(zhàn)【免費下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI下稱 RVC是一個基于 VITS 的變聲框架你只需要準(zhǔn)備 10 分鐘以上的低底噪語音就能訓(xùn)練出一個 RVC 變聲模型訓(xùn)練完成后用自己的聲音文件即可推理出目標(biāo)音色。本教程帶你從零走到模型能出聲并順手排掉新手最常踩的幾個坑。動手前你需要什么先說適用人群和最終效果你有一臺帶顯卡的電腦N 卡、A 卡、I 卡均可倉庫提供了對應(yīng)依賴或者一臺租用來的 GPU 服務(wù)器。你有一段 10 分鐘左右、音質(zhì)較高、底噪較低的說話錄音人聲不用帶伴奏。跑通后你會得到兩樣?xùn)|西weights文件夾下約 60MB 以上的.pth模型文件和logs/實驗名下added_開頭的.index索引文件。前者負責(zé)音色后者負責(zé)檢索時防止音色泄漏——RVC 用 top1 檢索把輸入源特征替換成訓(xùn)練集特征就是靠它實現(xiàn)的。準(zhǔn)備清單Python 版本大于 3.8README 環(huán)境配置的第一條要求一份 10~50 分鐘的訓(xùn)練集錄音推薦時長 10 分鐘起步文件放在路徑不含空格、不含括號、不含中文的目錄里顯卡顯存FAQ 里提到 4GB 顯存還有救2~3GB 的顯卡建議直接放棄訓(xùn)練只做推理已安裝 ffmpeg 和 ffprobe或準(zhǔn)備安裝見下文約 1 小時的整塊時間其中訓(xùn)練本身通常只用幾分鐘到幾十分鐘大頭在環(huán)境安裝。最短路徑先跑起來如果你用的是 Windows最短路徑是下載官方整合包RVC-beta.7z解壓后雙擊go-web.bat瀏覽器里 WebUI 會直接打開。如果你是 Linux / macOS 用戶或者想自己裝環(huán)境本教程后續(xù)都基于這條路按下面 4 步走5 分鐘內(nèi)應(yīng)該能看到 WebUI 頁面獲取代碼git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI安裝依賴以 N 卡為例pip install torch torchvision torchaudio pip install -r requirements.txt下載預(yù)訓(xùn)練資產(chǎn)hubert、rmvpe、pretrained、uvr5 等腳本會自動放到assets/對應(yīng)目錄python tools/download_models.py啟動 WebUIpython infer-web.py啟動成功后瀏覽器會自動打開 Gradio 頁面。你能看到「模型推理」「伴奏人聲分離去混響去回聲」「訓(xùn)練」「ckpt處理」幾個選項卡就算跑起來了。此時還沒有自己的模型先用倉庫自帶示例音頻走一遍「單次推理」確認推理鏈路正常再進入訓(xùn)練。逐步配置詳解安裝步驟基礎(chǔ)環(huán)境按顯卡分流所有平臺通用的第一步是裝 PyTorchpip install torch torchvision torchaudioWindows 系統(tǒng) Nvidia Ampere 架構(gòu)RTX 30 系的機器經(jīng)驗上需要指定 CUDA 版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117然后按顯卡選依賴文件四個文件倉庫里都有裝錯一般表現(xiàn)為推理時報設(shè)備相關(guān)錯誤pip install -r requirements.txt # N卡 pip install -r requirements-dml.txt # A卡/I卡A 卡 Linux ROCm 用requirements-amd.txtI 卡 Linux IPEX 用requirements-ipex.txtROCm 驅(qū)動和環(huán)境變量如HSA_OVERRIDE_GFX_VERSION的配置細節(jié)見 README 的 AMD 章節(jié)這里不展開。macOS 用戶可以直接執(zhí)行sh ./run.sh裝依賴。不習(xí)慣 pip 的話也可以用 Poetry 裝注意 Python 建議 3.7~3.10其他版本在llvmlite0.39.0上會沖突。資產(chǎn)與模型文件ffmpeg 和 assetsffmpeg 是繞不開的依賴RVC 靠它讀音頻和寫 filelist。Ubuntu/Debian 執(zhí)行sudo apt install ffmpegmacOS 執(zhí)行brew install ffmpegWindows 用戶把ffmpeg.exe和ffprobe.exe放到項目根目錄即可。模型資產(chǎn)部分核心是運行python tools/download_models.py上一步已執(zhí)行過它會下載assets/hubert/hubert_base.pt——特征提取用assets/rmvpe/rmvpe.pt——RMVPE 音高提取模型參數(shù)用于解決啞音問題assets/pretrained下的 G/D 系列底模32k/40k/48kassets/uvr5_weights下的 UVR5 人聲分離權(quán)重。想訓(xùn) v2 模型還需要額外下載assets/pretrained_v2目錄。另外可以順手確認一下assets/里有沒有Synthesizer_inputs.pth這類文件缺失會導(dǎo)致啟動或推理階段報錯。啟動驗證WebUI 打開了算不算成功算但只算一半。真正的驗證標(biāo)準(zhǔn)是瀏覽器能打開 WebUI五個選項卡含「Onnx導(dǎo)出」「FAQ」都渲染正常沒有紅色報錯控制臺沒有 Traceback 滾過去在「模型推理」→「單次推理」里選一個自帶示例 pth、一條示例音頻點開始推理后幾秒內(nèi)能在待推理音頻位置看到合成波形。三者都滿足說明設(shè)備、ffmpeg、預(yù)訓(xùn)練資產(chǎn)全部就位可以放心進「訓(xùn)練」選項卡。跑起來之后驗證效果與常見坑訓(xùn)練流程一句話版在「訓(xùn)練」選項卡里填訓(xùn)練集目錄、實驗名點一鍵訓(xùn)練等它完成數(shù)據(jù)集處理、F0 提取、特征提取、訓(xùn)練、訓(xùn)練索引。成功后weights/實驗名.pth和logs/實驗名/added_*.index會出現(xiàn)回到「模型推理」刷新音色選這兩個文件推理你自己的音頻。訓(xùn)練集時長怎么定官方 FAQ 推薦 10~50 分鐘音質(zhì)高、底噪低、音色有個人特色時5~10 分鐘也能出效果低于 1 分鐘不建議嘗試。total_epoch方面音質(zhì)差的訓(xùn)練集 20~30 輪足夠高音質(zhì)長數(shù)據(jù)可以調(diào)到 200。新手最常遇到的 5 個問題統(tǒng)一按現(xiàn)象 → 原因 → 解法整理完整版可對照 docs/cn/faq.md現(xiàn)象原因解法ffmpeg error / utf8 error大概率不是 ffmpeg 本身的問題而是音頻路徑帶空格、() 等符號或中文路徑在寫 filelist.txt 時編碼出錯訓(xùn)練集目錄改成純英文、無空格路徑訓(xùn)練結(jié)束沒有added_索引文件訓(xùn)練集太大內(nèi)存版 add 索引卡住用批處理 add 索引或臨時再點一次訓(xùn)練索引按鈕一鍵訓(xùn)練后緊跟著的報錯顯示 Training is done. The program is closed. 即模型已訓(xùn)成后面的報錯是假的忽略即可別誤刪產(chǎn)物分享/推理模型報 f0、tgt_sr 等 key 不存在把logs下幾百 MB 的實驗狀態(tài) pth 直接拿去推理了分享用weights下 60MB 的 pth added_*.index必要時在「ckpt處理」做小模型提取Cuda error / out of memory顯存不夠4GB 以下顯存基本放棄訓(xùn)練訓(xùn)練縮小 batch size推理縮小configs/config.py末尾的x_pad、x_query、x_center、x_max另外兩個小坑瀏覽器顯示 Connection Error 通常是控制臺窗口被你關(guān)了Expecting value: line 1 column 1 (char 0) 一般是系統(tǒng)代理干擾關(guān)掉全局代理包括服務(wù)端的 http_proxy再試。結(jié)尾下一步做什么跑通單次推理后建議先做兩件事挑一段 30 秒左右的干凈人聲做測試音頻在「模型推理」里把index_rate和音高偏移都調(diào)到中間值聽一遍效果建立基線滿意后試試「批量推理」處理一整首歌或者進「ckpt處理」用 ckpt-merge 把兩個模型融合出新音色這是 RVC 玩法里成本最低的一條進階路徑。數(shù)據(jù)量夠、模型穩(wěn)定之后再去折騰實時變聲go-realtime-gui.bat也不遲?！久赓M下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考