9月18日，在2020云棲大會上，達摩院公布了語音AI技術的最新突破：端上語音識別和語音合成能力首次達到媲美云端的水平，這意味著未來個人用戶在移動終端即可輕松體驗逼近真人的語音技術。據(jù)介紹，達摩院最新的語音技術已在淘寶直播、釘釘會議、高德導航等場景大規(guī)模應用，正全面對外開放。

語音AI的核心是讓機器聽懂人話、并能開口說話，語音合成和語音識別技術是實現(xiàn)這些目標的基礎。但由于過去幾年業(yè)界在語音模型上未能有突破性創(chuàng)新，高精度的語音交互任務長期依賴云端算力，造成了語音指令處理不可避免的延時等問題。

此次達摩院率先在算法模型上實現(xiàn)創(chuàng)新，推出E2E-ASR端到端語音識別技術及全新的端上KAN-TTS語音合成技術，首次在移動終端上實現(xiàn)接近云端的語音識別與合成效果。

據(jù)介紹，在語音識別方面，達摩院提出SAN-M網(wǎng)絡結構及基于SCAMA的流式端到端語音識別框架，提升計算效率的同時，還將高難度場景中的語音識別錯誤率降低近三成。達摩院研發(fā)的語音識別系統(tǒng)，可純離線、低成本部署在手機端，原型系統(tǒng)不到40MB，識別效果媲美超過100GB的達摩院上一代DFSMN-CTC云端系統(tǒng)。

繼去年發(fā)布仿真率可達97%的自研KAN-TTS語音合成模型后，達摩院此次在移動端實現(xiàn)了對語音模型的“大瘦身”，相比云端，端上模型大小壓縮了101倍，計算量壓縮35倍，通過終端算力即可快速復現(xiàn)逼近真人的語音。例如，高德地圖近期發(fā)布了利用達摩院全新語音技術合成的李佳琦、林志玲、小團團等明星導航語音包，語音效果較之前更自然，斷網(wǎng)狀態(tài)下語音導航也不會中斷。

達摩院語音實驗室負責人鄢志杰表示，“在終端處理語音任務一直是學術界和工業(yè)界的難題，達摩院最新的語音技術有效釋放了終端設備的能力，讓終端也能輕松處理語音任務，我們相信，在終端算力和云端算力的協(xié)同支撐下，未來語音交互將無處不在。”

過去幾年，阿里語音AI取得了一系列突破。2019年，阿里語音AI入選《麻省理工評論》“全球十大突破性技術”，是唯一上榜的中國科技公司;今年7月IDC發(fā)布的《中國AI云服務市場半年度研究報告》顯示，阿里語音AI以44%的市場份額，在云上語音AI市場中位居第一。