Whisper.cpp 離線語(yǔ)音識(shí)別實(shí)戰(zhàn)3 條命令出結(jié)果最小模型僅 75MB【免費(fèi)下載鏈接】whisper.cppPort of OpenAIs Whisper model in C/C項(xiàng)目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cpp把倉(cāng)庫(kù)自帶的 34 秒肯尼迪演講錄音samples/jfk.wav344KB交給本地機(jī)器模型文件就在硬盤上文字直接打印出來(lái)全程沒(méi)有一次網(wǎng)絡(luò)請(qǐng)求。這就是 whisper.cpp——OpenAI Whisper 的 C/C 移植版核心功能一句話離線語(yǔ)音識(shí)別音頻進(jìn)去文字出來(lái)。它替你解決了什么獨(dú)立開(kāi)發(fā)者不需要任何云端 SDK 和 API Keywhisper-cli一個(gè)二進(jìn)制加一個(gè)模型文件就是完整鏈路隱私敏感團(tuán)隊(duì)錄音不出內(nèi)網(wǎng)轉(zhuǎn)寫(xiě)在誰(shuí)的機(jī)器上跑就是誰(shuí)的云端零接觸嵌入式/移動(dòng)開(kāi)發(fā)者C 語(yǔ)言核心 成熟綁定交叉編譯后直接鏈進(jìn)產(chǎn)品Web 團(tuán)隊(duì)能編成 WebAssembly在瀏覽器里跑同一個(gè)推理內(nèi)核bindings/javascript/Android / iOS 應(yīng)用倉(cāng)庫(kù)里有完整可運(yùn)行的示例工程examples/whisper.android.java/、examples/whisper.swiftui/從零到出結(jié)果最小可行路徑第一步拿到代碼git clone https://gitcode.com/GitHub_Trending/wh/whisper.cpp cd whisper.cpp克隆而不是下載源碼包是因?yàn)楹髢刹揭苯诱{(diào)用倉(cāng)庫(kù)里的構(gòu)建腳本。第二步構(gòu)建并下載模型make bash models/download-ggml-model.sh base.enmake實(shí)際執(zhí)行 cmake 配置和 Release 編譯產(chǎn)物落在build/bin/腳本把base.en模型約 142MB拉進(jìn)models/目錄英文場(chǎng)景選.en版本體積比多語(yǔ)言版小、速度更快。第三步跑通第一個(gè)示例./build/bin/whisper-cli -m models/ggml-base.en.bin -f samples/jfk.wav輸出即肯尼迪那段經(jīng)典臺(tái)詞的文字稿帶逐段時(shí)間戳。注意新版本二進(jìn)制叫whisper-cli不是早期資料里的main。為什么它跑得快底層 3 句話底層張量運(yùn)算全部走內(nèi)置的 ggml 庫(kù)不依賴 PyTorch 等重型框架編譯產(chǎn)物是純 C 二進(jìn)制分發(fā)和交叉編譯都簡(jiǎn)單。推理內(nèi)存按最大規(guī)模一次性預(yù)分配前向計(jì)算過(guò)程中不再向系統(tǒng)要內(nèi)存內(nèi)存占用可預(yù)期。運(yùn)行時(shí)按硬件自動(dòng)切換加速路徑x86 上啟用 AVX 系列指令A(yù)RM 上走 NEON有 GPU 時(shí)還可以掛 Metal、CUDA、Vulkan 等后端。另外模型支持 4 位量化同樣權(quán)重的內(nèi)存占用砍半精度損失是個(gè)位數(shù)百分比級(jí)別。選哪個(gè)模型一張表講清模型體積適合場(chǎng)景一句話點(diǎn)評(píng)tiny.en~75MB設(shè)備端、實(shí)時(shí)響應(yīng)30 秒音頻幾秒出結(jié)果中文內(nèi)容會(huì)漏字base.en~142MB通用桌面場(chǎng)景速度和準(zhǔn)確率的默認(rèn)平衡點(diǎn)medium~1.5GB離線服務(wù)器、高精度轉(zhuǎn)寫(xiě)準(zhǔn)確率明顯上一個(gè)臺(tái)階內(nèi)存要 4GB 起large-v3~3.1GB追求極限精度的離線場(chǎng)景本地跑 Whisper 的天花板移動(dòng)設(shè)備別碰拿不準(zhǔn)就先跑base.en跑完覺(jué)得不夠準(zhǔn)再升級(jí)medium。三個(gè)你大概率會(huì)遇到的場(chǎng)景會(huì)議速記輸入ffmpeg -i 會(huì)議.mp3 -ar 16000 -ac 1 -c:a pcm_s16le 會(huì)議.wav轉(zhuǎn)出來(lái)的 WAV → 得到帶時(shí)間戳的逐段文字 → 注意源音頻必須是 16kHz 單聲道格式不對(duì)識(shí)別會(huì)整體跑偏。視頻字幕輸入./build/bin/whisper-cli -m models/ggml-base.en.bin -f 視頻音頻.wav -of 字幕 -ot srt→ 得到.srt字幕文件 → 注意多語(yǔ)言視頻用多語(yǔ)言模型并加--language zh指定語(yǔ)種。設(shè)備語(yǔ)音控制輸入喚醒后采樣的 5 秒語(yǔ)音 → 得到一句文本命令詞 → 注意把whisper編譯成靜態(tài)庫(kù)鏈進(jìn)固件語(yǔ)音識(shí)別全程離線運(yùn)行斷網(wǎng)也不受影響。調(diào)優(yōu)與排坑內(nèi)存和速度問(wèn)題先砍哪里現(xiàn)象ARM 板子上跑同一模型比 x86 慢好幾倍線程越多反而越慢。最小動(dòng)作-t 1把線程數(shù)壓到 1省掉線程同步開(kāi)銷?，F(xiàn)象大模型加載后內(nèi)存爆掉進(jìn)程直接被系統(tǒng)殺掉。最小動(dòng)作換量化模型——./build/bin/quantize models/ggml-base.en.bin models/ggml-base.en-q5_0.bin q5_0之后用新文件跑?，F(xiàn)象同一段音頻換了文件就識(shí)別出亂碼。最小動(dòng)作先用ffmpeg -i 文件確認(rèn)是 16kHz 單聲道 16bit WAV不是就轉(zhuǎn)碼再喂進(jìn)去?，F(xiàn)象非英語(yǔ)內(nèi)容被當(dāng)成英語(yǔ)轉(zhuǎn)漏句嚴(yán)重。最小動(dòng)作加--language zh顯式指定語(yǔ)種別依賴自動(dòng)檢測(cè)。接進(jìn)你的項(xiàng)目C / Cinclude/whisper.h —— 初始化、whisper_full()喂數(shù)據(jù)、按段取文字三步調(diào)用Gobindings/go/ —— 帶完整示例go build即可用Pythonexamples/python/ —— 參考腳本演示如何封裝調(diào)用Java / Kotlinbindings/java/ —— 含 Android 工程Gradle 直接構(gòu)建WebAssemblybindings/javascript/ —— 瀏覽器內(nèi)跑離線語(yǔ)音識(shí)別核心就兩個(gè)文件include/whisper.h 定義接口src/whisper.cpp 全部實(shí)現(xiàn)。三條命令加一個(gè) 75MB 起步的模型今天就能在自己機(jī)器上轉(zhuǎn)完第一段語(yǔ)音。【免費(fèi)下載鏈接】whisper.cppPort of OpenAIs Whisper model in C/C項(xiàng)目地址: https://gitcode.com/GitHub_Trending/wh/whisper.cpp創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考