01、概述

在當(dāng)今的AI語音合成領(lǐng)域中，多語言處理、自然語音輸出和實時響應(yīng)一直是語音生成系統(tǒng)的痛點。盡管已有如VALL-E和Fastspeech等語音合成系統(tǒng)的廣泛應(yīng)用，但這些傳統(tǒng)的文本到語音（TTS）模型仍面臨一些根本性挑戰(zhàn)：包括語言之間復(fù)雜的多音詞、多語言轉(zhuǎn)換，以及語音自然度的不足。尤其是在面對需要多語言處理和自然聲音克隆的應(yīng)用場景時，傳統(tǒng)的TTS模型難以滿足用戶的高要求。

為了解決這些長期困擾語音合成系統(tǒng)的難題，F(xiàn)ish Audio團隊推出了全新突破性產(chǎn)品——Fish Agent v0.1 3B。這款語音到語音模型（Voice-to-Voice Model）基于創(chuàng)新的Fish-Speech框架，采用**雙自回歸（Dual Autoregressive, Dual-AR）**架構(gòu)和Firefly-GAN（FF-GAN）技術(shù)，不僅在合成速度和多語言處理能力上取得重大進展，還成功克服了傳統(tǒng)系統(tǒng)在多語言與多音調(diào)處理方面的不足。Fish Agent的誕生，標(biāo)志著語音合成技術(shù)的里程碑式進步。

02、傳統(tǒng)語音合成系統(tǒng)的瓶頸

當(dāng)前的語音合成系統(tǒng)普遍采用G2P（字形到音素）轉(zhuǎn)換，通過將文本轉(zhuǎn)換為音素，再合成語音。然而這種方法在處理跨語言、多音字和自然語音生成時表現(xiàn)不佳，容易導(dǎo)致語音質(zhì)量不穩(wěn)定。尤其在多語言環(huán)境中，由于語言發(fā)音規(guī)則各異，傳統(tǒng)的G2P轉(zhuǎn)換難以全面解析和處理，從而限制了TTS系統(tǒng)在多語言環(huán)境下的表現(xiàn)。

此外，傳統(tǒng)TTS系統(tǒng)難以處理情境依賴的多音字和跨語言的語音生成，而這些問題在現(xiàn)實的AI應(yīng)用中極為普遍，例如在需要跨語言對話的智能助手或在多語言無障礙工具中應(yīng)用時，語音系統(tǒng)會面臨復(fù)雜的語言混合和上下文依賴，影響了用戶體驗和語音質(zhì)量。

03、Fish Agent v0.1 3B：重新定義語音合成的技術(shù)架構(gòu)

Fish Agent v0.1 3B突破了傳統(tǒng)G2P方法的限制。Fish Audio團隊通過搭建雙自回歸（Dual-AR）架構(gòu)，結(jié)合新型的**Firefly-GAN（FF-GAN）解碼器，重新設(shè)計了語音生成流程。這款模型采用了大語言模型（LLM）**直接提取文本的語言特征，而不依賴G2P轉(zhuǎn)換，從而簡化了合成流程并提升了多語言處理的效率。

(1) 雙自回歸架構(gòu)：Slow & Fast Transformer 協(xié)同工作

Fish Agent v0.1 3B的Dual-AR架構(gòu)包括一個慢速Transformer和一個快速Transformer：

• Slow Transformer：負(fù)責(zé)解析文本中的全局語言結(jié)構(gòu)，捕捉句子和語段中的復(fù)雜語言邏輯。
• Fast Transformer：專注于提取細(xì)節(jié)和語音的聲學(xué)特征，確保語音輸出更自然、清晰。

這種快慢結(jié)合的結(jié)構(gòu)使得Fish Agent能夠快速解析并合成語言中的細(xì)微變化，例如多音字、情境語氣等，有效地改善了跨語言場景下的語音質(zhì)量。

(2) Firefly-GAN解碼器：高效生成穩(wěn)定語音

Firefly-GAN（FF-GAN）是Fish Agent的核心解碼器，其運用了**向量量化（Vector Quantization）技術(shù)，極大地提高了語音生成的穩(wěn)定性和音質(zhì)。FF-GAN對輸入進行精確的量化編碼，確保生成語音在不同語言和音調(diào)之間的切換流暢自如。同時，結(jié)合分組有限標(biāo)量向量量化（Grouped Finite Scalar Vector Quantization, GFSQ）**技術(shù)，進一步優(yōu)化了代碼的壓縮效率和質(zhì)量，使得語音輸出不僅自然，還能夠在低延遲下完成。

04、性能數(shù)據(jù)與測試：Fish Agent v0.1 3B的優(yōu)異表現(xiàn)

Fish Agent v0.1 3B經(jīng)過大量數(shù)據(jù)集的訓(xùn)練，具備了強大的泛化能力。Fish Audio團隊為其提供了72萬小時的多語言音頻數(shù)據(jù)進行訓(xùn)練，使得模型在多語言背景下依然能夠保持穩(wěn)定的語音質(zhì)量。測試結(jié)果顯示，F(xiàn)ish Agent在語音合成的準(zhǔn)確性和響應(yīng)速度上均大幅領(lǐng)先于其他系統(tǒng)：

• 詞錯誤率（WER）：Fish Agent的WER為6.89%，遠(yuǎn)遠(yuǎn)低于CosyVoice的22.20%和F5-TTS的13.98%，顯示出在不同語言和情境下的出色表現(xiàn)。
• 延遲：Fish Agent的延遲僅為150毫秒，這在實時對話中具備明顯優(yōu)勢，適用于需要快速響應(yīng)的場景。

這些數(shù)據(jù)表明，F(xiàn)ish Agent不僅在語音合成精度上表現(xiàn)出色，還能實現(xiàn)流暢的實時應(yīng)用，進一步推動了語音AI的實際應(yīng)用價值。

05、Fish Agent v0.1 3B 的實際應(yīng)用前景

作為語音到語音合成技術(shù)的前沿產(chǎn)品，F(xiàn)ish Agent v0.1 3B的實際應(yīng)用場景非常廣泛：

• 多語言對話助手：Fish Agent能輕松應(yīng)對跨語言對話，為智能語音助手提供更自然的語音輸出，不論是英語、中文還是其他語言的切換都游刃有余。
• 無障礙應(yīng)用：對于需要聽覺輔助的用戶，F(xiàn)ish Agent能準(zhǔn)確捕捉并生成不同語言的語音信息，為多語言環(huán)境中的無障礙應(yīng)用提供支持。
• 語音克隆和語音合成：Fish Agent在語音克隆和語音合成方面表現(xiàn)優(yōu)異，能夠生成高度相似的用戶聲音，為個性化語音助手和語音導(dǎo)?航等應(yīng)用提供支持。

06、未來展望：語音合成的革新與挑戰(zhàn)

Fish Agent v0.1 3B的推出為語音合成技術(shù)帶來了顯著的進步，其在多語言處理和語音生成的自然度方面的突破，為語音合成的未來發(fā)展奠定了基礎(chǔ)。然而，隨著AI語音合成技術(shù)的快速發(fā)展，未來的挑戰(zhàn)也不容忽視。例如，為滿足更多語種和方言的處理需求，未來模型將需要更強的語義理解和更精細(xì)的語音合成能力。

Fish Audio團隊表示，未來將進一步優(yōu)化模型的架構(gòu)，使其更具擴展性，同時繼續(xù)加大在多語種訓(xùn)練數(shù)據(jù)上的投入，以期進一步提升Fish Agent的跨語言處理性能。

07、結(jié)語

Fish Agent v0.1 3B的發(fā)布，無疑為多語言語音合成開創(chuàng)了新天地。這款創(chuàng)新的語音到語音合成模型，通過Dual-AR架構(gòu)和Firefly-GAN解碼器的結(jié)合，成功解決了傳統(tǒng)TTS系統(tǒng)的多語言處理和語音自然度問題。其卓越的性能與廣闊的應(yīng)用前景，將推動AI驅(qū)動的語音技術(shù)邁向更高層次的發(fā)展。

參考：

1. ??https://github.com/fishaudio/fish-speech??

本文轉(zhuǎn)載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/KhyBowW5uS-w7Zjs_vBLUA??