AuK 一鍵去噪、分人聲、拆伴奏語音增強(qiáng)與分離的后期工作流實(shí)測【免費(fèi)下載鏈接】AuK項(xiàng)目地址: https://ai.gitcode.com/tencent_hunyuan/AuK語音后期處理長期是一門工具拼裝學(xué)去噪要開 iZotope RX去混響要掛插件拆伴奏要單獨(dú)跑 UVR 或 Demucs修電話音質(zhì)、去口水音又得換一套專用模型——每換一個(gè)處理環(huán)節(jié)就換一次工具、對一次參數(shù)、導(dǎo)一次軌。騰訊混元開源的 AuK1.5B 參數(shù)、MIT 協(xié)議把這一切壓縮成一句自然語言指令同一套接口既能只保留歌聲、其余聲音都去掉也能保留所有說話人、去除噪聲和混響還能在拆出的干聲上繼續(xù)改歌詞、調(diào)音高。本文以增強(qiáng)與分離為主線拆解官方 Cookbook 中的指令模板與真實(shí)工程參數(shù)梳理一條從去噪 → 拆伴奏 → 改歌詞的可落地后期鏈路。從插件矩陣到一句話指令A(yù)uK 想統(tǒng)一的事AuK 是騰訊混元與上海交大聯(lián)合開源的基礎(chǔ)模型1.5B 參數(shù)、訓(xùn)練于數(shù)百萬小時(shí)音頻數(shù)據(jù)把零樣本 TTS、內(nèi)容/聲學(xué)/副語言編輯、語音增強(qiáng)與音源分離等 16 類任務(wù)統(tǒng)一到一個(gè)自然語言指令 音頻上下文的接口之下見 README.md 的任務(wù)總表。增強(qiáng)與分離是其中獨(dú)立的一大類含四項(xiàng)語音增強(qiáng)Speech Enhancement、說話人分離Speech Separation、音樂分離Music Separation、目標(biāo)說話人提取Target Speaker Extraction。支撐這套統(tǒng)一能力的架構(gòu)在倉庫 config.yaml 里有直接的工程證據(jù)語義編碼Qwen2.5-Omni-3B 多模態(tài)語言模型負(fù)責(zé)把指令翻譯成生成條件對應(yīng)配置text_encoder.text_encoder_path: ckpts/Qwen2.5-Omni-3B生成主干混合整流流 Transformer雙流 MMDiT 塊 單流 DiT 塊backbone: Flux2Edit配置arch.dim: 1536、heads: 24、num_layers: 10、num_single_layers: 20聲學(xué)編解碼BigVGANFlow VAEtarget_sample_rate: 24000輸出 24kHz 音頻、downsample_rate: 480、latent_dim: 64。按 arXiv 技術(shù)報(bào)告的數(shù)據(jù)訓(xùn)練階段構(gòu)建了約30.3 億條指令-音頻實(shí)例、195 萬小時(shí)有效監(jiān)督橫跨語音生成、內(nèi)容編輯、增強(qiáng)與分離、副語言編輯、聲學(xué)編輯五大任務(wù)族。后訓(xùn)練還疊加了人評偏好優(yōu)化編輯類與基于獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)生成類并以一致性初始化 任務(wù)路由的 Decoupled DMD 蒸餾出 4 步無 CFG 推理的 AuK-Flash。這條統(tǒng)一指令 統(tǒng)一主干的路線正是它能把增強(qiáng)、分離與編輯放進(jìn)同一條流水線的原因——它們共享同一套輸入輸出協(xié)議。增強(qiáng)與分離的指令寫法Cookbook 第 5 節(jié)拆解官方 Cookbookdocs/COOKBOOK.md把增強(qiáng)與分離歸為第 5 節(jié)所有任務(wù)都是等長輸出——保留源音頻時(shí)長因此調(diào)用時(shí)不需要顯式指定gen_seconds這是它和 TTS、內(nèi)容編輯最顯著的使用差異。四類任務(wù)的中文指令模板如下任務(wù)指令寫法中文作用去噪請只去除背景噪聲保留其他內(nèi)容輸出等長結(jié)果。僅清理底噪不動人聲細(xì)節(jié)去混響請只去除房間混響保留其他內(nèi)容輸出等長結(jié)果。針對環(huán)境反射聲語音增強(qiáng)請保留所有說話人去除噪聲和混響輸出等長的純凈語音。綜合降噪 去混響質(zhì)量修復(fù)請修復(fù)這段音頻的{電話感/悶聲/削波/丟包}恢復(fù)自然清晰的人聲。面向老錄音、電話音質(zhì)素材說話人分離只保留第{序號}個(gè)開始說話的人去掉其余說話人。按發(fā)言順序保留單聲道音樂分離請只保留歌聲其余聲音都去掉。拆出人聲干聲伴奏靜音音樂分離請保留所有人聲包括說話和歌唱其余聲音都去掉。保留全部人聲去掉器樂目標(biāo)說話人提取請只保留說{內(nèi)容}的人去掉其他說話人。按說了什么定位聲紋關(guān)鍵在指令粒度去噪與去混響是分離的兩個(gè)旋鈕可以單獨(dú)擰也可以合并成增強(qiáng)一步到位質(zhì)量修復(fù)甚至能針對電話感、悶聲、削波、丟包這類具體損傷分別下指令。CLI 與 Python 用法完全同構(gòu)例如拆伴奏auk-infer \ --audio assets/demo-input-audio/vocal-extraction/vocal-1-input.wav \ --instruction 請只保留歌聲其余聲音都去掉。 \ --output out_vocal.wavPython 側(cè)只是換一層封裝run_auk(instruction, output_path, audio_path...)核心是把指令與音頻組裝成 ChatML 風(fēng)格消息交給AukInfer.generate()。這種消息即任務(wù)的設(shè)計(jì)意味著在代碼層面去噪、分離、編輯沒有任何接口差異差異只在指令文本里。歌曲場景實(shí)測從拆伴奏到改歌詞的完整鏈路人聲/伴奏分離在歌曲場景的價(jià)值不止于得到一條干聲而是它解鎖了后續(xù)編輯。這一點(diǎn)官方文檔是明確閉環(huán)的Cookbook 的歌詞編輯Lyric Editing一節(jié)直接聲明輸入必須是純?nèi)寺昦 cappella錄音如果原曲帶伴奏請先用音樂分離提取人聲。也就是說官方推薦的標(biāo)準(zhǔn)歌曲后期鏈路是請只保留歌聲其余聲音都去掉?！?得到無伴奏干聲對干聲做增強(qiáng)或修復(fù)如有底噪/混響殘留請保留所有說話人去除噪聲和混響輸出等長的純凈語音。進(jìn)入編輯階段把這段歌詞中的{原歌詞}改成{新歌詞}。改詞、將音調(diào)升高{1/2/3}個(gè)半音。調(diào)性、將語速調(diào)整為{1.25}倍。時(shí)長干聲處理完再與伴奏在 DAW 里重新合軌。這條鏈路的工程價(jià)值在于全程不換工具、不重新對齊時(shí)間軸——分離和編輯都是同一模型對同一段音頻的等長或可控時(shí)長重渲染杜絕了傳統(tǒng)方案中UVR 拆出來 → 拖進(jìn)編輯器 → 音高修正器再處理的多次編解碼損耗。技術(shù)上分離任務(wù)依賴模型對歌聲 vs 伴奏的聲學(xué)分布建模而等長輸出保證了 24kHz 干聲與伴奏的逐幀對齊為后續(xù)合軌省去對齊步驟。需要客觀標(biāo)注的邊界是社區(qū)實(shí)測普遍反映模型存在約 30 秒的源/參考加目標(biāo)時(shí)長預(yù)算ComfyUI 集成會顯式校驗(yàn)這一約束長素材需要切片處理同時(shí)后訓(xùn)練基準(zhǔn)中情緒編輯成功率僅約 9.94%說明 AuK 的強(qiáng)項(xiàng)在信號級任務(wù)增強(qiáng)、分離、修復(fù)語義級生成情緒遷移、復(fù)雜改寫仍在爬坡。就增強(qiáng)與分離這一主題而言它處于技術(shù)報(bào)告的競爭力最強(qiáng)區(qū)間——官方表述是在信號級恢復(fù)任務(wù)上保持競爭力。與現(xiàn)有后期工具的協(xié)同三種部署形態(tài)與工程參數(shù)AuK 提供了 CLIauk-infer、Web UIauk-gradio、ComfyUI 節(jié)點(diǎn)AuK Model Loader AuK Generate/Edit內(nèi)置可復(fù)用工作流三種形態(tài)可以直接嵌進(jìn)現(xiàn)有后期管線批處理/腳本化CLI 適合對一批素材跑統(tǒng)一的去噪、拆伴奏任務(wù)輸出等長 wav 直接進(jìn)工程目錄可視化流水線ComfyUI 把分離 → 編輯 → 重合成串成節(jié)點(diǎn)圖適合邊看波形邊調(diào)整服務(wù)化SGLang-Omni、vLLM-Omni 已提供 AuK/AuK-Flash 的 Day-0 支持可把增強(qiáng)與分離作為 API 嵌入自動化的播客、直播后處理系統(tǒng)。工程資源占用是實(shí)際落地最關(guān)心的數(shù)字。官方 README 在 A800-SXM4-80GB、bf16 下實(shí)測AuK 處理 1.5 秒文本指令輸出峰值顯存 24.78 GiB開啟--cpu_offload后降到 16.75 GiB節(jié)省約 32%帶 5 秒?yún)⒖家纛l時(shí)為 25.00 → 16.98 GiB社區(qū) PR 還通過降低編碼器占用進(jìn)一步省下約 7.5 GiB消費(fèi)級 GPU 本地推理的門檻正在被持續(xù)壓低。追求速度則換 AuK-Flash固定 NFE4、CFG0官方口徑是同條件下比完整模型提速 4.5 倍。多平臺適配Apple Silicon MLX、audio.cpp GGUF 離線推理讓后期人員可以在自己手頭最順手的設(shè)備上跑。與現(xiàn)有工具協(xié)同的最后一環(huán)是定制AuK 微調(diào)采用統(tǒng)一的 JSONL 格式每行一條指令 源音頻 → 目標(biāo)音頻全部 16 類任務(wù)共用同一格式只是指令和音頻對不同。這意味著可以用一批帶底噪的播客錄音 → 干凈干聲數(shù)據(jù)微調(diào)出專門面向直播/播客/ASMR 場景的去噪模型也可以積累中文流行歌 → 干聲數(shù)據(jù)強(qiáng)化中文拆伴奏效果——這也是它作為 ICASSP 2027 Audio Editing Challenge 單模型賽道官方基線的底氣所在。模型與權(quán)重均以 MIT 協(xié)議開放見 LICENSE商用無授權(quán)障礙。后期工作流的對話化拐點(diǎn)把傳統(tǒng)鏈路和 AuK 鏈路并排看變化是結(jié)構(gòu)性的過去每個(gè)處理環(huán)節(jié)對應(yīng)一個(gè)專用模型、一套參數(shù)、一次導(dǎo)出流程越長工具鏈的摩擦越大現(xiàn)在增強(qiáng)、分離、修復(fù)、編輯共享一個(gè) 1.5B 模型和同一套消息接口后期人員的工作從調(diào)工具變成寫指令。這不是把幾個(gè)開源模型拼在一起而是讓我要什么結(jié)果直接成為模型輸入——拆伴奏、留人聲、修電話音質(zhì)本質(zhì)都是同一句請保留……去掉……的自然語言。對創(chuàng)作者和后期人員而言這意味著從素材到成品的最短路徑正在被壓縮成一條可復(fù)現(xiàn)、可批處理、可微調(diào)的指令流水線。當(dāng)然落地前值得把三個(gè)數(shù)字記在心頭24kHz 的輸出采樣率決定了它適合作為后期中間件而非最終母帶工具約 30 秒的時(shí)長預(yù)算要求長素材先切片情緒等語義級任務(wù)的成功率仍有限信號級任務(wù)才是它當(dāng)前最鋒利的刀。把這三點(diǎn)納入流程設(shè)計(jì)AuK 在語音后期工作流里的位置就會非常清晰所有清理與拆分的臟活交給它人類只負(fù)責(zé)寫指令、做審美判斷?！久赓M(fèi)下載鏈接】AuK項(xiàng)目地址: https://ai.gitcode.com/tencent_hunyuan/AuK創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考