VoxCPM2 上手指南3 步生成第一句語音還能克隆任意聲音【免費下載鏈接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning項目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM想不想在本地跑一個 VoxCPM TTS 引擎把一句中文直接變成 48kHz 的多語言自然語音裝好之后你還能只靠幾秒鐘的錄音克隆一個人的音色或者用一句自然語言描述年輕女聲溫柔甜美來憑空設(shè)計一個全新聲音。整個流程不需要任何 API Key模型權(quán)重基于 Apache-2.0 協(xié)議可以免費商用。動手前的環(huán)境自檢先花 10 秒確認下面的前置條件。GPU 推薦而非必須——沒有顯卡也能在 CPU 上跑只是會慢一些Apple 芯片 Mac 會自動走 MPS。項目要求操作系統(tǒng)Linux / macOS / WindowsPython≥ 3.10且 3.13PyTorch≥ 2.5.0隨 pip 依賴自動安裝CUDA≥ 12.0NVIDIA GPU 才需要顯存VoxCPM2 約 8 GB舊版 0.5B 約 5 GB網(wǎng)絡(luò)首次運行需聯(lián)網(wǎng)下載模型權(quán)重約幾個 GB最快路徑一條 pip 命令裝完 VoxCPM推薦直接走 PyPI這是最短的一條路pip install voxcpm驗證安裝是否成功python -c import voxcpm; print(ok) voxcpm --help看到ok和命令幫助信息就可以繼續(xù)了。如果你需要跟蹤最新開發(fā)版也可以從源碼安裝git clone https://gitcode.com/GitHub_Trending/vo/VoxCPM后進入目錄執(zhí)行pip install .。第一次產(chǎn)出6 行代碼生成第一個 WAV下面的片段是最小可運行示例加載最新的 VoxCPM2 模型合成一句話保存成文件。首次運行會自動下載權(quán)重耐心等進度條走完。from voxcpm import VoxCPM import soundfile as sf model VoxCPM.from_pretrained(openbmb/VoxCPM2, load_denoiserFalse) wav model.generate( textVoxCPM2 是目前推薦使用的多語言語音合成版本。, cfg_value2.0, inference_timesteps10, seed42, ) sf.write(demo.wav, wav, model.tts_model.sample_rate)運行完去聽demo.wav——恭喜你已經(jīng)擁有第一個 VoxCPM 語音文件了。幾個注意點文本直接輸入原始內(nèi)容即可不需要語言標簽中英日韓等 30 種語言都支持還覆蓋粵語、四川話、東北話等 9 種中文方言如果from_pretrained拉取權(quán)重失敗多半是網(wǎng)絡(luò)問題?？梢栽诿钚邢扰躳ip install modelscope然后用snapshot_download把權(quán)重預下載到本地目錄再把本地路徑傳給from_pretrained寫法見 README_zh.md。用過之后再看原理VoxCPM 為什么聽起來不機械先說結(jié)論它沒有把音頻切成一個個離散音素塊再拼回去。傳統(tǒng) TTS 常見做法是先用分詞器tokenizer把音頻編碼成離散 token讓語言模型像寫文章一樣寫出一串 token再解碼回波形。量化這一步會不可避免地丟細節(jié)——這也是機械感的來源之一。VoxCPM 的路線叫Tokenizer-Free全程在連續(xù)隱空間里建模從文本一路走到連續(xù)語音表征中間不做離散化。從這張架構(gòu)圖可以讀出它的分工像一條接力生產(chǎn)線Text-Semantic LM文本語義語言模型負責理解根據(jù)文本內(nèi)容和上下文決定該怎么讀、什么節(jié)奏、什么情緒并通過 FSQ 約束隱式解耦語義信息Residual Acoustic LM殘差聲學語言模型負責發(fā)聲在語義規(guī)劃之上補齊音色、氣息、強弱這些聲學細節(jié)LocDiT 模塊用流匹配從噪聲中還原出自然波形由 AudioVAE 解碼輸出VoxCPM2 原生輸出 48kHz 音頻。VoxCPM2 基于 MiniCPM-4 骨干約 2B 參數(shù)在 200 萬小時多語種音頻上訓練。RTX 4090 上實時率RTF約 0.3即 1 秒音頻約 0.3 秒就能生成完配合推理引擎加速還能壓到 0.13 左右。調(diào)參實戰(zhàn)按癥狀對癥下藥VoxCPM 合成時最常用的兩個參數(shù)是cfg_value默認 2.0和inference_timesteps默認 10。不用死記含義直接對照你的癥狀調(diào)你遇到的問題怎么調(diào)聲音發(fā)緊、發(fā)僵聽著不放松cfg_value從 2.0 降到 1.0–1.5漏讀、節(jié)奏不對、不聽提示cfg_value提到 3.0 左右讓模型更嚴格遵循輸入想快速出稿試效果inference_timesteps降到 4–6換種子多試幾次交付級音質(zhì)inference_timesteps提到 15–20需要可復現(xiàn)的結(jié)果對比實驗、回歸測試固定seed例如seed42兩個經(jīng)驗值官方推薦區(qū)間是cfg_value0.1–10.01.0–3.0 最常見、inference_timesteps1–1004–30 常用命令行參數(shù)校驗里就寫明了。另外音色設(shè)計和可控克隆這類任務(wù)對隨機性比較敏感同一段描述生成 1–3 次、挑最好的一條是官方自己也在用的做法。進階玩法命令行、Web 界面與聲音克隆命令行。安裝后自帶voxcpm子命令適合寫腳本和批處理# 音色設(shè)計括號里用自然語言描述音色 voxcpm design --text VoxCPM2帶來全新語音合成體驗。 \ --control 年輕女聲溫暖溫柔略帶微笑 \ --output out.wav # 聲音克隆上傳參考音頻 voxcpm clone --text 這是一個聲音克隆的演示。 \ --reference-audio path/to/voice.wav --output clone.wav # 批處理逐行讀取文本文件 voxcpm batch --input examples/input.txt --output-dir outs需要詞級/字級時間戳做字幕、發(fā)音標注時裝pip install voxcpm[timestamps]后在命令上加--timestamps即可。Web 界面。不寫代碼就是一條命令的事python app.py --port 8808瀏覽器打開http://localhost:8808在界面上粘貼文本、上傳參考音頻即可試聽。沒有顯卡或想在 Mac 上用 MPS加--device auto會自動選擇設(shè)備。LoRA 微調(diào)。如果你有 5–10 分鐘某位說話人的錄音可以訓一個 LoRA 適配器讓模型更貼合該說話人的音色配置見 conf/voxcpm_v2/訓練腳本入口在 scripts/train_voxcpm_finetune.py還有配套的網(wǎng)頁版訓練界面 lora_ft_webui.py。延伸閱讀README_zh.md完整功能、性能評測與部署方案src/voxcpm/核心推理代碼core.py是VoxCPM類入口src/voxcpm/cli.py命令行參數(shù)定義examples/train_data_example.jsonl微調(diào)數(shù)據(jù)格式示例examples/reference_speaker.wav官方示例參考音頻可直接用于克隆測試下一步給自己做個小挑戰(zhàn)錄一段 10 秒左右的自己的語音安靜環(huán)境、正常語速用上面的voxcpm clone或 Python API 克隆它換 3 個不同的seed各生成一次盲聽挑出最像的一條。如果能穩(wěn)定挑出像自己的結(jié)果就可以繼續(xù)用 lora_ft_webui.py 拿 5–10 分鐘錄音訓一個專屬 LoRA——那時候克隆的相似度會再上一個臺階?！久赓M下載鏈接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning項目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 VoxCPM2 上手指南：3 步生成第一句語音，還能克隆任意聲音
VoxCPM2 上手指南3 步生成第一句語音還能克隆任意聲音【免費下載鏈接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning項目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM想不想在本地跑一個 VoxCPM TTS 引擎把一句中文直接變成 48kHz 的多語言自然語音裝好之后你還能只靠幾秒鐘的錄音克隆一個人的音色或者用一句自然語言描述年輕女聲溫柔甜美來憑空設(shè)計一個全新聲音。整個流程不需要任何 API Key模型權(quán)重基于 Apache-2.0 協(xié)議可以免費商用。動手前的環(huán)境自檢先花 10 秒確認下面的前置條件。GPU 推薦而非必須——沒有顯卡也能在 CPU 上跑只是會慢一些Apple 芯片 Mac 會自動走 MPS。項目要求操作系統(tǒng)Linux / macOS / WindowsPython≥ 3.10且 3.13PyTorch≥ 2.5.0隨 pip 依賴自動安裝CUDA≥ 12.0NVIDIA GPU 才需要顯存VoxCPM2 約 8 GB舊版 0.5B 約 5 GB網(wǎng)絡(luò)首次運行需聯(lián)網(wǎng)下載模型權(quán)重約幾個 GB最快路徑一條 pip 命令裝完 VoxCPM推薦直接走 PyPI這是最短的一條路pip install voxcpm驗證安裝是否成功python -c import voxcpm; print(ok) voxcpm --help看到ok和命令幫助信息就可以繼續(xù)了。如果你需要跟蹤最新開發(fā)版也可以從源碼安裝git clone https://gitcode.com/GitHub_Trending/vo/VoxCPM后進入目錄執(zhí)行pip install .。第一次產(chǎn)出6 行代碼生成第一個 WAV下面的片段是最小可運行示例加載最新的 VoxCPM2 模型合成一句話保存成文件。首次運行會自動下載權(quán)重耐心等進度條走完。from voxcpm import VoxCPM import soundfile as sf model VoxCPM.from_pretrained(openbmb/VoxCPM2, load_denoiserFalse) wav model.generate( textVoxCPM2 是目前推薦使用的多語言語音合成版本。, cfg_value2.0, inference_timesteps10, seed42, ) sf.write(demo.wav, wav, model.tts_model.sample_rate)運行完去聽demo.wav——恭喜你已經(jīng)擁有第一個 VoxCPM 語音文件了。幾個注意點文本直接輸入原始內(nèi)容即可不需要語言標簽中英日韓等 30 種語言都支持還覆蓋粵語、四川話、東北話等 9 種中文方言如果from_pretrained拉取權(quán)重失敗多半是網(wǎng)絡(luò)問題?？梢栽诿钚邢扰躳ip install modelscope然后用snapshot_download把權(quán)重預下載到本地目錄再把本地路徑傳給from_pretrained寫法見 README_zh.md。用過之后再看原理VoxCPM 為什么聽起來不機械先說結(jié)論它沒有把音頻切成一個個離散音素塊再拼回去。傳統(tǒng) TTS 常見做法是先用分詞器tokenizer把音頻編碼成離散 token讓語言模型像寫文章一樣寫出一串 token再解碼回波形。量化這一步會不可避免地丟細節(jié)——這也是機械感的來源之一。VoxCPM 的路線叫Tokenizer-Free全程在連續(xù)隱空間里建模從文本一路走到連續(xù)語音表征中間不做離散化。從這張架構(gòu)圖可以讀出它的分工像一條接力生產(chǎn)線Text-Semantic LM文本語義語言模型負責理解根據(jù)文本內(nèi)容和上下文決定該怎么讀、什么節(jié)奏、什么情緒并通過 FSQ 約束隱式解耦語義信息Residual Acoustic LM殘差聲學語言模型負責發(fā)聲在語義規(guī)劃之上補齊音色、氣息、強弱這些聲學細節(jié)LocDiT 模塊用流匹配從噪聲中還原出自然波形由 AudioVAE 解碼輸出VoxCPM2 原生輸出 48kHz 音頻。VoxCPM2 基于 MiniCPM-4 骨干約 2B 參數(shù)在 200 萬小時多語種音頻上訓練。RTX 4090 上實時率RTF約 0.3即 1 秒音頻約 0.3 秒就能生成完配合推理引擎加速還能壓到 0.13 左右。調(diào)參實戰(zhàn)按癥狀對癥下藥VoxCPM 合成時最常用的兩個參數(shù)是cfg_value默認 2.0和inference_timesteps默認 10。不用死記含義直接對照你的癥狀調(diào)你遇到的問題怎么調(diào)聲音發(fā)緊、發(fā)僵聽著不放松cfg_value從 2.0 降到 1.0–1.5漏讀、節(jié)奏不對、不聽提示cfg_value提到 3.0 左右讓模型更嚴格遵循輸入想快速出稿試效果inference_timesteps降到 4–6換種子多試幾次交付級音質(zhì)inference_timesteps提到 15–20需要可復現(xiàn)的結(jié)果對比實驗、回歸測試固定seed例如seed42兩個經(jīng)驗值官方推薦區(qū)間是cfg_value0.1–10.01.0–3.0 最常見、inference_timesteps1–1004–30 常用命令行參數(shù)校驗里就寫明了。另外音色設(shè)計和可控克隆這類任務(wù)對隨機性比較敏感同一段描述生成 1–3 次、挑最好的一條是官方自己也在用的做法。進階玩法命令行、Web 界面與聲音克隆命令行。安裝后自帶voxcpm子命令適合寫腳本和批處理# 音色設(shè)計括號里用自然語言描述音色 voxcpm design --text VoxCPM2帶來全新語音合成體驗。 \ --control 年輕女聲溫暖溫柔略帶微笑 \ --output out.wav # 聲音克隆上傳參考音頻 voxcpm clone --text 這是一個聲音克隆的演示。 \ --reference-audio path/to/voice.wav --output clone.wav # 批處理逐行讀取文本文件 voxcpm batch --input examples/input.txt --output-dir outs需要詞級/字級時間戳做字幕、發(fā)音標注時裝pip install voxcpm[timestamps]后在命令上加--timestamps即可。Web 界面。不寫代碼就是一條命令的事python app.py --port 8808瀏覽器打開http://localhost:8808在界面上粘貼文本、上傳參考音頻即可試聽。沒有顯卡或想在 Mac 上用 MPS加--device auto會自動選擇設(shè)備。LoRA 微調(diào)。如果你有 5–10 分鐘某位說話人的錄音可以訓一個 LoRA 適配器讓模型更貼合該說話人的音色配置見 conf/voxcpm_v2/訓練腳本入口在 scripts/train_voxcpm_finetune.py還有配套的網(wǎng)頁版訓練界面 lora_ft_webui.py。延伸閱讀README_zh.md完整功能、性能評測與部署方案src/voxcpm/核心推理代碼core.py是VoxCPM類入口src/voxcpm/cli.py命令行參數(shù)定義examples/train_data_example.jsonl微調(diào)數(shù)據(jù)格式示例examples/reference_speaker.wav官方示例參考音頻可直接用于克隆測試下一步給自己做個小挑戰(zhàn)錄一段 10 秒左右的自己的語音安靜環(huán)境、正常語速用上面的voxcpm clone或 Python API 克隆它換 3 個不同的seed各生成一次盲聽挑出最像的一條。如果能穩(wěn)定挑出像自己的結(jié)果就可以繼續(xù)用 lora_ft_webui.py 拿 5–10 分鐘錄音訓一個專屬 LoRA——那時候克隆的相似度會再上一個臺階?！久赓M下載鏈接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning項目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考