音轉(zhuǎn)寫(xiě)提速完整指南：比原版 Whisper 快 4 倍，還更省內(nèi)存)
faster-whisper 語(yǔ)音轉(zhuǎn)寫(xiě)提速完整指南比原版 Whisper 快 4 倍還更省內(nèi)存【免費(fèi)下載鏈接】faster-whisperFaster Whisper transcription with CTranslate2項(xiàng)目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisperfaster-whisper 是一款語(yǔ)音轉(zhuǎn)寫(xiě)工具它用 CTranslate2 推理引擎重寫(xiě)了 OpenAI 的 Whisper 模型在同等識(shí)別質(zhì)量下比原版實(shí)現(xiàn)最高快 4 倍內(nèi)存占用也更低。如果你經(jīng)常要處理會(huì)議錄音、播客素材或成批的電話音頻這套方案能直接把轉(zhuǎn)寫(xiě)等待時(shí)間砍掉一大截。下面按裝好它 → 調(diào)對(duì)參數(shù) → 落到具體場(chǎng)景的順序把常用操作一次講清。裝好 faster-whisper環(huán)境要求與安裝命令環(huán)境門檻不高Python 3.9 或更高版本即可。一個(gè)容易忽略的好處是——不用在系統(tǒng)里單獨(dú)裝 FFmpeg音頻解碼由 PyAV 這個(gè) Python 庫(kù)包辦它已內(nèi)置 FFmpeg 解碼庫(kù)。pip install faster-whisper如果需要讀源碼跑測(cè)試可以拉取倉(cāng)庫(kù)tests/ 目錄自帶幾段測(cè)試音頻可作驗(yàn)證樣例git clone https://gitcode.com/GitHub_Trending/fa/faster-whisperGPU 加速需要 NVIDIA 的兩個(gè)運(yùn)行時(shí)庫(kù)cuBLASCUDA 12與 cuDNN 9CUDA 12。三種裝法任選Linux 下用 pippip install nvidia-cublas-cu12 nvidia-cudnn-cu129.*啟動(dòng) Python 前先設(shè)置LD_LIBRARY_PATH指向這兩個(gè)庫(kù)用 NVIDIA 官方 CUDA 容器如nvidia/cuda:12.3.2-cudnn9-runtime-ubuntu22.04從 Purfview 的 whisper-standalone-win 歸檔里取庫(kù)文件放進(jìn)PATH。?? 如果你的環(huán)境只有 CUDA 11 或 cuDNN 8最新版 ctranslate2 只支持 CUDA 12 cuDNN 9需先降級(jí)ctranslate2到3.24.0CUDA 11或4.4.0cuDNN 8再裝。三行代碼完成首次轉(zhuǎn)寫(xiě)model 與 transcribe 兩個(gè)入口faster-whisper 的調(diào)用面非常小WhisperModel負(fù)責(zé)加載模型transcribe負(fù)責(zé)干活。from faster_whisper import WhisperModel model WhisperModel(small, devicecpu, compute_typeint8) segments, info model.transcribe(audio.mp3, beam_size5) for segment in segments: print([%.2fs - %.2fs] %s % (segment.start, segment.end, segment.text))三個(gè)關(guān)鍵參數(shù)決定了你的速度和內(nèi)存底線參數(shù)含義建議device計(jì)算設(shè)備cpu或cuda有 NVIDIA 卡就選 cudacompute_type計(jì)算精度即量化等級(jí)int8用 8 位整數(shù)近似運(yùn)算最省內(nèi)存float16在 GPU 上最快int8_float16介于兩者之間CPU 選int8GPU 選float16beam_sizebeam search束搜索同時(shí)保留的候選解碼路徑數(shù)越大結(jié)果越穩(wěn)、越慢默認(rèn) 5 兩個(gè)容易踩的坑其一segments是生成器調(diào)用transcribe時(shí)并不會(huì)真正開(kāi)始轉(zhuǎn)寫(xiě)必須迭代它for循環(huán)或list(segments)才觸發(fā)計(jì)算其二對(duì)比其他 Whisper 實(shí)現(xiàn)時(shí)注意默認(rèn)值差異——這里 beam search 默認(rèn) 5原版 openai/whisper 默認(rèn) 1橫向比較前先對(duì)齊參數(shù)。場(chǎng)景一 會(huì)議記錄詞級(jí)時(shí)間戳與 VAD 靜音過(guò)濾會(huì)議錄音要落進(jìn)紀(jì)要光有整段文字不夠還需要精確到詞的時(shí)間軸和自動(dòng)剔除靜音的能力。segments, _ model.transcribe(meeting.mp3, word_timestampsTrue, vad_filterTrue) for segment in segments: for word in segment.words: print([%.2fs - %.2fs] %s % (word.start, word.end, word.word))word_timestampsTrue會(huì)給每個(gè)詞標(biāo)出起止時(shí)間做字幕對(duì)齊、關(guān)鍵詞定位檢索都靠它。VADVoice Activity Detection語(yǔ)音活動(dòng)檢測(cè)則是先掃描音頻、把沒(méi)有說(shuō)話聲的區(qū)段圈出來(lái)不轉(zhuǎn)寫(xiě)省時(shí)也避免模型在靜音里編造內(nèi)容——庫(kù)內(nèi)已集成 Silero VAD 模型默認(rèn)只剔除超過(guò) 2 秒的靜音。常用可調(diào)項(xiàng)參數(shù)默認(rèn)值作用threshold0.5判定這里是人聲的概率閾值越高越嚴(yán)格min_silence_duration_ms2000多長(zhǎng)的靜音才會(huì)被切掉speech_pad_ms400每段語(yǔ)音前后額外保留的緩沖時(shí)長(zhǎng)傳法model.transcribe(audio.mp3, vad_filterTrue, vad_parametersdict(min_silence_duration_ms500))。完整參數(shù)定義見(jiàn) faster_whisper/vad.py。場(chǎng)景二 批量整理整庫(kù)音頻的高吞吐轉(zhuǎn)寫(xiě)要轉(zhuǎn)寫(xiě)幾百個(gè)文件時(shí)換引擎還不夠要用批量解碼多個(gè) 30 秒窗口拼成一批一起送進(jìn)模型GPU 利用率會(huì)明顯上去。倉(cāng)庫(kù)的基準(zhǔn)數(shù)據(jù)13 分鐘音頻上GPU 跑 large-v2batch_size8 時(shí) fp16 從 1 分 03 秒降到 17 秒int8 從 59 秒降到 16 秒。from faster_whisper import WhisperModel, BatchedInferencePipeline model WhisperModel(turbo, devicecuda, compute_typefloat16) batched_model BatchedInferencePipeline(model) segments, info batched_model.transcribe(audio.mp3, batch_size16)批量管道默認(rèn)開(kāi)啟 VAD 過(guò)濾。落到遍歷一個(gè)目錄轉(zhuǎn)寫(xiě)成文本的活上做法就是模型只實(shí)例化一次權(quán)重加載是主要開(kāi)銷循環(huán)里對(duì)每個(gè)文件調(diào)用batched_model.transcribe把segment.start、segment.end、segment.text寫(xiě)入對(duì)應(yīng).txt即可。超長(zhǎng)音頻可再用chunk_length調(diào)整默認(rèn) 30 秒的分塊長(zhǎng)度。場(chǎng)景三 低配設(shè)備內(nèi)存不夠怎么降配內(nèi)存吃緊時(shí)的降配順序從代價(jià)最小到最大換小一檔的模型 int8 量化。倉(cāng)庫(kù)基準(zhǔn)13 分鐘音頻在 CPU 上跑 small 模型原版 fp32 要 6 分 58 秒、占 2335MBfaster-whisper int8 只要 1 分 42 秒、1477MBbatch8 后進(jìn)一步到 51 秒3608MB內(nèi)存換速度。限制batch_size批量越大峰值顯存越高。純 CPU 場(chǎng)景用線程數(shù)控制資源爭(zhēng)搶OMP_NUM_THREADS4 python3 my_script.py。?? 報(bào)音頻解碼錯(cuò)誤PyAV 相關(guān)時(shí)PyAV 與系統(tǒng)環(huán)境不兼容是常見(jiàn)原因先pip uninstall pyav再重裝Windows 下建議裝官方預(yù)編譯 wheel避免源碼編譯失敗。場(chǎng)景四 準(zhǔn)實(shí)時(shí)轉(zhuǎn)寫(xiě)麥克風(fēng)音頻分塊循環(huán)先說(shuō)清邊界faster-whisper 是離線轉(zhuǎn)寫(xiě)模型一次transcribe處理一段完整音頻并不自帶流式接口。準(zhǔn)實(shí)時(shí)方案是把麥克風(fēng)輸入按固定長(zhǎng)度切片、每片到來(lái)就轉(zhuǎn)寫(xiě)一遍import sounddevice as sd import numpy as np from faster_whisper import WhisperModel model WhisperModel(base, devicecpu, compute_typeint8) def callback(indata, frames, time_info, status): audio indata[:, 0].copy() for segment, _ in zip(model.transcribe(audio, languagezh), []): pass segments, _ model.transcribe(audio, languagezh) for segment in segments: print(segment.text, end, flushTrue) with sd.InputStream(samplerate16000, channels1, dtypeint16, callbackcallback): sd.sleep(np.inf)上面是最小示意延遲和重復(fù)識(shí)別的調(diào)優(yōu)是流式場(chǎng)景的主要工作量社區(qū)已有成熟做法如基于 faster-whisper 后端的 WhisperLive近實(shí)時(shí)與 Whisper-Streaming自適應(yīng)延遲可直接參考其策略。癥狀對(duì)照表出錯(cuò)時(shí)先查這里癥狀可能原因處理CUDA OOM / 內(nèi)存溢出模型太大或 batch 過(guò)高降一檔模型compute_type用 int8減小batch_size識(shí)別大量錯(cuò)誤、或靜音處編出句子解碼策略與音頻不匹配顯式指定languagetemperature0.0降低隨機(jī)性initial_prompt給出領(lǐng)域上下文hotwords填入專有名詞頑固的重復(fù)循環(huán)可設(shè)condition_on_previous_textFalse音頻解碼失敗PyAV 與系統(tǒng)不兼容卸載后重裝 PyAV見(jiàn)上節(jié)報(bào) CUDA/cuDNN 版本錯(cuò)誤ctranslate2 版本與環(huán)境不匹配按 CUDA 11 / cuDNN 8 降級(jí)ctranslate2見(jiàn)安裝一節(jié)橫向?qū)Ρ人俣茸兟齾?shù)不對(duì)齊核對(duì)beam_size、線程數(shù)OMP_NUM_THREADS與其他實(shí)現(xiàn)一致模型與版本怎么選一張選型對(duì)照表訴求推薦配置精度優(yōu)先英語(yǔ)為主large-v3GPU 上float16速度與精度折中distil-large-v3或turbo建議languageen并設(shè)condition_on_previous_textFalse日常通用smallint8低配設(shè)備 / 草稿速覽tinyint8必要時(shí)batch_size1有微調(diào)過(guò)的 Whisper 權(quán)重用ct2-transformers-converter轉(zhuǎn)成 CTranslate2 格式再加載 寫(xiě)死語(yǔ)言時(shí)注意Whisper 家族本身覆蓋 100 種語(yǔ)言language不傳時(shí)模型會(huì)在音頻前 30 秒內(nèi)自動(dòng)檢測(cè)info.language和info.language_probability給出檢測(cè)結(jié)果。延伸閱讀倉(cāng)庫(kù)里的資料入口VAD 參數(shù)與默認(rèn)值faster_whisper/vad.py全部轉(zhuǎn)寫(xiě)參數(shù)定義faster_whisper/transcribe.py批量推理管道BatchedInferencePipeline同文件導(dǎo)出見(jiàn) faster_whisper/init.pyDocker 部署示例含 cuBLAS/cuDNN 鏡像與推理腳本docker/Dockerfile、docker/infer.py各實(shí)現(xiàn)橫向基準(zhǔn)測(cè)試腳本benchmark/speed_benchmark.py、benchmark/wer_benchmark.py測(cè)試音頻樣例tests/data/【免費(fèi)下載鏈接】faster-whisperFaster Whisper transcription with CTranslate2項(xiàng)目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 faster-whisper 語(yǔ)音轉(zhuǎn)寫(xiě)提速完整指南：比原版 Whisper 快 4 倍，還更省內(nèi)存
faster-whisper 語(yǔ)音轉(zhuǎn)寫(xiě)提速完整指南比原版 Whisper 快 4 倍還更省內(nèi)存【免費(fèi)下載鏈接】faster-whisperFaster Whisper transcription with CTranslate2項(xiàng)目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisperfaster-whisper 是一款語(yǔ)音轉(zhuǎn)寫(xiě)工具它用 CTranslate2 推理引擎重寫(xiě)了 OpenAI 的 Whisper 模型在同等識(shí)別質(zhì)量下比原版實(shí)現(xiàn)最高快 4 倍內(nèi)存占用也更低。如果你經(jīng)常要處理會(huì)議錄音、播客素材或成批的電話音頻這套方案能直接把轉(zhuǎn)寫(xiě)等待時(shí)間砍掉一大截。下面按裝好它 → 調(diào)對(duì)參數(shù) → 落到具體場(chǎng)景的順序把常用操作一次講清。裝好 faster-whisper環(huán)境要求與安裝命令環(huán)境門檻不高Python 3.9 或更高版本即可。一個(gè)容易忽略的好處是——不用在系統(tǒng)里單獨(dú)裝 FFmpeg音頻解碼由 PyAV 這個(gè) Python 庫(kù)包辦它已內(nèi)置 FFmpeg 解碼庫(kù)。pip install faster-whisper如果需要讀源碼跑測(cè)試可以拉取倉(cāng)庫(kù)tests/ 目錄自帶幾段測(cè)試音頻可作驗(yàn)證樣例git clone https://gitcode.com/GitHub_Trending/fa/faster-whisperGPU 加速需要 NVIDIA 的兩個(gè)運(yùn)行時(shí)庫(kù)cuBLASCUDA 12與 cuDNN 9CUDA 12。三種裝法任選Linux 下用 pippip install nvidia-cublas-cu12 nvidia-cudnn-cu129.*啟動(dòng) Python 前先設(shè)置LD_LIBRARY_PATH指向這兩個(gè)庫(kù)用 NVIDIA 官方 CUDA 容器如nvidia/cuda:12.3.2-cudnn9-runtime-ubuntu22.04從 Purfview 的 whisper-standalone-win 歸檔里取庫(kù)文件放進(jìn)PATH。?? 如果你的環(huán)境只有 CUDA 11 或 cuDNN 8最新版 ctranslate2 只支持 CUDA 12 cuDNN 9需先降級(jí)ctranslate2到3.24.0CUDA 11或4.4.0cuDNN 8再裝。三行代碼完成首次轉(zhuǎn)寫(xiě)model 與 transcribe 兩個(gè)入口faster-whisper 的調(diào)用面非常小WhisperModel負(fù)責(zé)加載模型transcribe負(fù)責(zé)干活。from faster_whisper import WhisperModel model WhisperModel(small, devicecpu, compute_typeint8) segments, info model.transcribe(audio.mp3, beam_size5) for segment in segments: print([%.2fs - %.2fs] %s % (segment.start, segment.end, segment.text))三個(gè)關(guān)鍵參數(shù)決定了你的速度和內(nèi)存底線參數(shù)含義建議device計(jì)算設(shè)備cpu或cuda有 NVIDIA 卡就選 cudacompute_type計(jì)算精度即量化等級(jí)int8用 8 位整數(shù)近似運(yùn)算最省內(nèi)存float16在 GPU 上最快int8_float16介于兩者之間CPU 選int8GPU 選float16beam_sizebeam search束搜索同時(shí)保留的候選解碼路徑數(shù)越大結(jié)果越穩(wěn)、越慢默認(rèn) 5 兩個(gè)容易踩的坑其一segments是生成器調(diào)用transcribe時(shí)并不會(huì)真正開(kāi)始轉(zhuǎn)寫(xiě)必須迭代它for循環(huán)或list(segments)才觸發(fā)計(jì)算其二對(duì)比其他 Whisper 實(shí)現(xiàn)時(shí)注意默認(rèn)值差異——這里 beam search 默認(rèn) 5原版 openai/whisper 默認(rèn) 1橫向比較前先對(duì)齊參數(shù)。場(chǎng)景一 會(huì)議記錄詞級(jí)時(shí)間戳與 VAD 靜音過(guò)濾會(huì)議錄音要落進(jìn)紀(jì)要光有整段文字不夠還需要精確到詞的時(shí)間軸和自動(dòng)剔除靜音的能力。segments, _ model.transcribe(meeting.mp3, word_timestampsTrue, vad_filterTrue) for segment in segments: for word in segment.words: print([%.2fs - %.2fs] %s % (word.start, word.end, word.word))word_timestampsTrue會(huì)給每個(gè)詞標(biāo)出起止時(shí)間做字幕對(duì)齊、關(guān)鍵詞定位檢索都靠它。VADVoice Activity Detection語(yǔ)音活動(dòng)檢測(cè)則是先掃描音頻、把沒(méi)有說(shuō)話聲的區(qū)段圈出來(lái)不轉(zhuǎn)寫(xiě)省時(shí)也避免模型在靜音里編造內(nèi)容——庫(kù)內(nèi)已集成 Silero VAD 模型默認(rèn)只剔除超過(guò) 2 秒的靜音。常用可調(diào)項(xiàng)參數(shù)默認(rèn)值作用threshold0.5判定這里是人聲的概率閾值越高越嚴(yán)格min_silence_duration_ms2000多長(zhǎng)的靜音才會(huì)被切掉speech_pad_ms400每段語(yǔ)音前后額外保留的緩沖時(shí)長(zhǎng)傳法model.transcribe(audio.mp3, vad_filterTrue, vad_parametersdict(min_silence_duration_ms500))。完整參數(shù)定義見(jiàn) faster_whisper/vad.py。場(chǎng)景二 批量整理整庫(kù)音頻的高吞吐轉(zhuǎn)寫(xiě)要轉(zhuǎn)寫(xiě)幾百個(gè)文件時(shí)換引擎還不夠要用批量解碼多個(gè) 30 秒窗口拼成一批一起送進(jìn)模型GPU 利用率會(huì)明顯上去。倉(cāng)庫(kù)的基準(zhǔn)數(shù)據(jù)13 分鐘音頻上GPU 跑 large-v2batch_size8 時(shí) fp16 從 1 分 03 秒降到 17 秒int8 從 59 秒降到 16 秒。from faster_whisper import WhisperModel, BatchedInferencePipeline model WhisperModel(turbo, devicecuda, compute_typefloat16) batched_model BatchedInferencePipeline(model) segments, info batched_model.transcribe(audio.mp3, batch_size16)批量管道默認(rèn)開(kāi)啟 VAD 過(guò)濾。落到遍歷一個(gè)目錄轉(zhuǎn)寫(xiě)成文本的活上做法就是模型只實(shí)例化一次權(quán)重加載是主要開(kāi)銷循環(huán)里對(duì)每個(gè)文件調(diào)用batched_model.transcribe把segment.start、segment.end、segment.text寫(xiě)入對(duì)應(yīng).txt即可。超長(zhǎng)音頻可再用chunk_length調(diào)整默認(rèn) 30 秒的分塊長(zhǎng)度。場(chǎng)景三 低配設(shè)備內(nèi)存不夠怎么降配內(nèi)存吃緊時(shí)的降配順序從代價(jià)最小到最大換小一檔的模型 int8 量化。倉(cāng)庫(kù)基準(zhǔn)13 分鐘音頻在 CPU 上跑 small 模型原版 fp32 要 6 分 58 秒、占 2335MBfaster-whisper int8 只要 1 分 42 秒、1477MBbatch8 后進(jìn)一步到 51 秒3608MB內(nèi)存換速度。限制batch_size批量越大峰值顯存越高。純 CPU 場(chǎng)景用線程數(shù)控制資源爭(zhēng)搶OMP_NUM_THREADS4 python3 my_script.py。?? 報(bào)音頻解碼錯(cuò)誤PyAV 相關(guān)時(shí)PyAV 與系統(tǒng)環(huán)境不兼容是常見(jiàn)原因先pip uninstall pyav再重裝Windows 下建議裝官方預(yù)編譯 wheel避免源碼編譯失敗。場(chǎng)景四 準(zhǔn)實(shí)時(shí)轉(zhuǎn)寫(xiě)麥克風(fēng)音頻分塊循環(huán)先說(shuō)清邊界faster-whisper 是離線轉(zhuǎn)寫(xiě)模型一次transcribe處理一段完整音頻并不自帶流式接口。準(zhǔn)實(shí)時(shí)方案是把麥克風(fēng)輸入按固定長(zhǎng)度切片、每片到來(lái)就轉(zhuǎn)寫(xiě)一遍import sounddevice as sd import numpy as np from faster_whisper import WhisperModel model WhisperModel(base, devicecpu, compute_typeint8) def callback(indata, frames, time_info, status): audio indata[:, 0].copy() for segment, _ in zip(model.transcribe(audio, languagezh), []): pass segments, _ model.transcribe(audio, languagezh) for segment in segments: print(segment.text, end, flushTrue) with sd.InputStream(samplerate16000, channels1, dtypeint16, callbackcallback): sd.sleep(np.inf)上面是最小示意延遲和重復(fù)識(shí)別的調(diào)優(yōu)是流式場(chǎng)景的主要工作量社區(qū)已有成熟做法如基于 faster-whisper 后端的 WhisperLive近實(shí)時(shí)與 Whisper-Streaming自適應(yīng)延遲可直接參考其策略。癥狀對(duì)照表出錯(cuò)時(shí)先查這里癥狀可能原因處理CUDA OOM / 內(nèi)存溢出模型太大或 batch 過(guò)高降一檔模型compute_type用 int8減小batch_size識(shí)別大量錯(cuò)誤、或靜音處編出句子解碼策略與音頻不匹配顯式指定languagetemperature0.0降低隨機(jī)性initial_prompt給出領(lǐng)域上下文hotwords填入專有名詞頑固的重復(fù)循環(huán)可設(shè)condition_on_previous_textFalse音頻解碼失敗PyAV 與系統(tǒng)不兼容卸載后重裝 PyAV見(jiàn)上節(jié)報(bào) CUDA/cuDNN 版本錯(cuò)誤ctranslate2 版本與環(huán)境不匹配按 CUDA 11 / cuDNN 8 降級(jí)ctranslate2見(jiàn)安裝一節(jié)橫向?qū)Ρ人俣茸兟齾?shù)不對(duì)齊核對(duì)beam_size、線程數(shù)OMP_NUM_THREADS與其他實(shí)現(xiàn)一致模型與版本怎么選一張選型對(duì)照表訴求推薦配置精度優(yōu)先英語(yǔ)為主large-v3GPU 上float16速度與精度折中distil-large-v3或turbo建議languageen并設(shè)condition_on_previous_textFalse日常通用smallint8低配設(shè)備 / 草稿速覽tinyint8必要時(shí)batch_size1有微調(diào)過(guò)的 Whisper 權(quán)重用ct2-transformers-converter轉(zhuǎn)成 CTranslate2 格式再加載 寫(xiě)死語(yǔ)言時(shí)注意Whisper 家族本身覆蓋 100 種語(yǔ)言language不傳時(shí)模型會(huì)在音頻前 30 秒內(nèi)自動(dòng)檢測(cè)info.language和info.language_probability給出檢測(cè)結(jié)果。延伸閱讀倉(cāng)庫(kù)里的資料入口VAD 參數(shù)與默認(rèn)值faster_whisper/vad.py全部轉(zhuǎn)寫(xiě)參數(shù)定義faster_whisper/transcribe.py批量推理管道BatchedInferencePipeline同文件導(dǎo)出見(jiàn) faster_whisper/init.pyDocker 部署示例含 cuBLAS/cuDNN 鏡像與推理腳本docker/Dockerfile、docker/infer.py各實(shí)現(xiàn)橫向基準(zhǔn)測(cè)試腳本benchmark/speed_benchmark.py、benchmark/wer_benchmark.py測(cè)試音頻樣例tests/data/【免費(fèi)下載鏈接】faster-whisperFaster Whisper transcription with CTranslate2項(xiàng)目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考