昨天，kim發(fā)布了一款“萬能型”音頻大模型— Kimi-Audio，支持語音識別（ASR）、音頻問答（AQA）、音頻字幕（AAC）、語音情感識別（SER）、聲音事件/場景分類（SEC/ASC）、文本到語音（TTS）、語音轉(zhuǎn)換（VC）和端到端語音對話。

換句話說，它可以聽、可以說、可以理解、可以對話，支持實(shí)時(shí)語音會話，多輪交流。

圖片

一套架構(gòu)，橫掃音頻全場景，開源可用。

從學(xué)術(shù)和工業(yè)角度，我認(rèn)為有兩點(diǎn)貢獻(xiàn)：

• 模型架構(gòu)和預(yù)訓(xùn)練規(guī)模空前——13萬小時(shí)級別的音頻數(shù)據(jù)+大語言模型初始化，音頻和文本信號雙線處理，架構(gòu)極其“融合”。
• 全鏈路開放+評測工具包——所有代碼、模型參數(shù)、評測工具全部開源，直接對社區(qū)開放，標(biāo)準(zhǔn)化評測徹底解決“無法復(fù)現(xiàn)”的老大難問題。

1.模型架構(gòu)：語音世界的“大一統(tǒng)”

圖注：Kimi-Audio技術(shù)架構(gòu)

Kimi-Audio的核心架構(gòu)其實(shí)就三大塊：音頻分詞器（Tokenizer）、音頻大模型（Audio LLM）以及音頻反分詞器（Detokenizer）。就像把一句話切成一個個字，音頻分詞器把聲音變成一串“音頻詞”。Kimi用的是12.5Hz采樣率（就是每秒拆12.5個“詞”），既有“離散語義詞”（理解內(nèi)容），又有“連續(xù)聲學(xué)特征”（保留音色、情感等細(xì)節(jié)）。說白了，就是既能知道你說了啥，還能盡量還原你怎么說的。

音頻大模型的核心是一個“多模態(tài)大腦”，一邊能處理“音頻詞”，一邊能處理文本詞；底層結(jié)構(gòu)和流行的大模型（transformer那一套）一樣，但上面分兩頭：一頭專門“寫字”輸出文本，一頭專門“說話”輸出音頻。這個模型底子其實(shí)是個現(xiàn)成的文本大模型（Qwen2.5 7B），直接“嫁接”了音頻輸入輸出的能力，兼容性強(qiáng)，省了很多訓(xùn)練資源。

音頻反分詞器就是把模型輸出的“音頻詞”重新拼成聲音?！胺謮K+流式”方案，就是把長音頻切成一小塊一小塊，每塊單獨(dú)快速合成，然后拼起來，減少延遲，體驗(yàn)更絲滑。還做了“l(fā)ook-ahead”機(jī)制，就是每塊合成時(shí)偷偷看一點(diǎn)后面的內(nèi)容，讓拼接更自然，不斷句。

2.數(shù)據(jù)管線：1300萬+小時(shí)音頻，流水線級別的數(shù)據(jù)清洗

圖注：數(shù)據(jù)處理流程圖

Kimi-Audio這波，采用的預(yù)訓(xùn)練音頻數(shù)據(jù)高達(dá)1300萬+小時(shí)，涵蓋語音、音樂、環(huán)境聲，各種應(yīng)用場景全覆蓋。

那這么多音頻怎么處理？報(bào)告中說，Kimi團(tuán)隊(duì)搞了個自動化大流水線，從原始音頻到高質(zhì)量“帶標(biāo)注”的數(shù)據(jù)，大致分幾步：

• 語音增強(qiáng)：先用AI降噪，把環(huán)境雜音、回聲處理掉。但為了不丟失真實(shí)世界的多樣性，訓(xùn)練時(shí)一半用原聲，一半用降噪后的。
• 說話人分割（Diarization）：用PyAnnote工具給每段音頻“數(shù)人頭”，誰說了哪段切清楚。還專門寫了合并/細(xì)分/優(yōu)化的后處理流程，確保每個說話段準(zhǔn)確且長度合理。
• 轉(zhuǎn)寫+打標(biāo)：用Whisper大模型自動識別英文，用FunASR的Paraformer-Zh識別中文，還根據(jù)時(shí)間戳智能加標(biāo)點(diǎn)，保證后續(xù)訓(xùn)練能用。

據(jù)說，除了公開數(shù)據(jù)，還加了自家ASR數(shù)據(jù)，音頻理解/問答數(shù)據(jù)。

圖片

3.訓(xùn)練方式：任務(wù)多、策略細(xì)，兼容音頻和文本智能

Kimi-Audio的訓(xùn)練分兩步：萬能預(yù)訓(xùn)練→精細(xì)指令微調(diào)。

萬能預(yù)訓(xùn)練采用音頻+文本混合學(xué)，一邊學(xué)“純文本”（用MoonLight數(shù)據(jù)），一邊學(xué)“純音頻”，再加上“音頻對文本”“文本對音頻”的互轉(zhuǎn)任務(wù)，最后還有“音頻-文本交錯混合”的難度提升；

精細(xì)指令微調(diào)中任務(wù)全靠“自然語言指令”分流，不用人為切換，直接靠“你說什么任務(wù)，我就做什么”，且每種任務(wù)都生成多種隨機(jī)指令，訓(xùn)練時(shí)反復(fù)調(diào)換，模型抗干擾強(qiáng)。

4.各項(xiàng)指標(biāo)“遙遙領(lǐng)先”

Kimi-Audio與以往音頻語言模型在各類基準(zhǔn)測試上的表現(xiàn)對比

語音識別方面，LibriSpeech英文測試集，Kimi-Audio的錯誤率（WER）只有1.28%，比Qwen2.5-Omni的2.37%還低一截。AISHELL-1中文：WER 0.60%，比上一代模型低一半。此外多場景、多語種、多環(huán)境，Kimi-Audio基本都是榜首。

音頻理解方面，Kimi-Audio在MMAU、MELD、VocalSound、TUT2017等公開集上，分?jǐn)?shù)都是最高。比如MMAU的“聲音理解”類，Kimi-Audio得分73.27，超過其它競品。

音頻對話&音頻聊天方面，VoiceBench的多項(xiàng)任務(wù)，Kimi-Audio都是第一，平均得分76.93。

語音對話表達(dá)方面，采用人類主觀打分，在速度控制、情感表達(dá)、同理心等多個維度，Kimi-Audio都能做到接近GPT-4o的效果，平均得分3.9（滿分5分）。

Kimi-Audio中用于實(shí)時(shí)語音到語音對話的生產(chǎn)部署工作流程

5.one more thing

官方也坦誠地提到，當(dāng)前Kimi-Audio音頻大模型還存在三大挑戰(zhàn)：

• “轉(zhuǎn)錄”信息有限，描述性理解還需加強(qiáng)，現(xiàn)在模型對音頻的理解，大多還停留在“你說了什么”（轉(zhuǎn)寫），但很多聲音里“怎么說、什么情緒、什么場景”更重要。
• 音頻“語義+細(xì)節(jié)”融合的表示還不夠完美：純語義Token容易丟細(xì)節(jié)，純聲學(xué)Token又缺理解，如何把“內(nèi)容”和“感覺”都融在一套表達(dá)里，是下一個技術(shù)突破點(diǎn)。
• 無法擺脫ASR/TTS依賴：目前大部分音頻大模型，底層還是靠ASR（語音識別）和TTS（語音合成）撐著，實(shí)際上就是在拼裝已有的技術(shù)。

論文地址：github.com/MoonshotAI/Kimi-Audio/blob/master/assets/kimia_report.pdf

模型地址：huggingface.co/moonshotai/Kimi-Audio-7B-Instruct

repo地址：github.com/MoonshotAI/Kimi-Audio