網(wǎng)上找到一些例子，有一些成熟的模型，可以將語(yǔ)音轉(zhuǎn)成文字。例如Cloud Speech API，但是需要你使用google云平臺(tái)的前提。

speech recognition

對(duì)于python這一非常成熟的膠水語(yǔ)言，在網(wǎng)上找一些現(xiàn)成的工具包真的不是一個(gè)太難的問題。在GitHub上就發(fā)現(xiàn)了這樣一個(gè)神奇的包：speech recognition

它可以支持實(shí)時(shí)翻譯，當(dāng)然前提是需要在機(jī)器上安裝有關(guān)麥克風(fēng)的依賴包；還可以支持將語(yǔ)音文件中的文字直接提取出來。通過speech recognition可以調(diào)用多種平臺(tái)上的模型，比如google API，CMU sphinx，Microsoft Bing Speech，IBM Speech to Text，Wit.ai 等

離線轉(zhuǎn)換

對(duì)于國(guó)內(nèi)的網(wǎng)絡(luò)環(huán)境，無(wú)法用google API來將語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成文本文件，因?yàn)樵谡{(diào)用這個(gè)包的時(shí)候，需要連接到google。當(dāng)然，你可以租用一個(gè)國(guó)外的VPS來做這件事情。

這里講一下如何在不聯(lián)網(wǎng)的情況下，依然可以通過python來將語(yǔ)音文件轉(zhuǎn)換成文字。這里用到的包為sphinx，sphinx是由美國(guó)卡內(nèi)基梅隆大學(xué)開發(fā)的大詞匯量、非特定人、連續(xù)英語(yǔ)語(yǔ)音識(shí)別系統(tǒng)。

安裝 sphinx

我本人所用的環(huán)境為ubuntu。

imyin@develop:~/Downloads/phinx$ lsb_release -a 
No LSB modules are available. 
Distributor ID: Ubuntu 
Description: Ubuntu 16.04.3 LTS 
Release: 16.04 
Codename: xenial 

在安裝sphinx之前需要安裝一些軟件包

sudo apt-get install gcc automake autoconf libtool bison swig python-dev libpulse-dev 

之后可以在相關(guān)網(wǎng)站上下載sphinxbase安裝包，當(dāng)然也可以直接clone github上的包

下載完之后進(jìn)行解壓

tar zxpf sphinxbase-5prealpha.tar.gz 

修改文件名

mv sphinxbase-5prealpha sphinxbase 
ls sphinxbase 
 
AUTHORS doc indent.sh Makefile.am README.md src win32 
autogen.sh .git LICENSE NEWS sphinxbase.pc.in swig 
configure.ac include m4 README sphinxbase.sln test 

現(xiàn)在我們應(yīng)該運(yùn)行autogen.sh來生成Makefiles和其他一些腳本以備后續(xù)的編譯和安裝。

./autogen.sh 

下面開始源碼安裝

make && sudo make install 

執(zhí)行完以上命令之后，如果沒有出現(xiàn)什么報(bào)錯(cuò)信息，就說明已經(jīng)安裝成功了，但是此時(shí)你的命令并不可以生效，在運(yùn)行命令時(shí)會(huì)出現(xiàn)這樣的錯(cuò)誤。

imyin@develop:~/Downloads/phinx/sphinxbase$ sphinx_lm_convert  
sphinx_lm_convert: error while loading shared libraries: libsphinxbase.so.3: cannot open shared object file: No such file or directory 

還需要讓系統(tǒng)加載目錄/usr/local/lib，為了讓系統(tǒng)每次啟動(dòng)時(shí)都可以自動(dòng)加載，可以修改系統(tǒng)配置文件ld.so.conf

sudo echo "/usr/local/lib" >> /etc/ld.so.conf 
sudo ldconfig 

這時(shí)候，就可以通過sphinx_lm_convert命令將模型DMP文件轉(zhuǎn)成bin文件

sphinx_lm_convert -i zh_broadcastnews_64000_utf8.DMP -o zh_CN.lm.bin 

上面這行代碼是將中文的模型DMP文件轉(zhuǎn)成了bin文件。在安裝完sphinx后默認(rèn)只支持英文，在存放模型的路徑下只有一個(gè)文件名為en-US，所以這里需要添加一個(gè)處理中文的模型，相關(guān)文件可以在這個(gè)網(wǎng)址中下載。

在python中使用sphinx

想要在python中使用sphinx的話，需要安裝一些依賴包。

pip install pydub -U # 負(fù)責(zé)將MP3文件轉(zhuǎn)換為 wav 文件 
pip install SpeechRecognition -U # 負(fù)責(zé)將語(yǔ)音轉(zhuǎn)換成文字 
sudo apt -qq install build-essential swig libpulse-dev # 為后面安裝 pocketsphinx 做準(zhǔn)備 
pip install -U pocketsphinx # 為使用 sphinx  
sudo apt-get install libav-tools # 為解決在調(diào)用 pydub 時(shí)出現(xiàn)的 warning ：RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning) 

這時(shí)候，就可以啟動(dòng)ipython來試試效果了。

file_path = '/home/imyin/Downloads/phinx/test_data' 
r = sr.Recognizer() 
hello_zh = sr.AudioFile(os.path.join(file_path, 'test.wav')) 
with hello_zh as source: 
 audio = r.record(source) 
 
r.recognize_sphinx(audio, language='zh_CN') 
 
'今天 天氣 很' 

可以看出，這個(gè)語(yǔ)音識(shí)別器已經(jīng)生效了。但是我說的是“今天天氣好熱啊”。

看來sphinx中的模型并非很準(zhǔn)吶，而且這只是一個(gè)短句子。我們接下來看看長(zhǎng)句子的效果，我錄了村上春樹的《當(dāng)我談跑步時(shí)我談些什么》中的一段內(nèi)容。

那一年的七月里，我去了一趟希臘，要獨(dú)自從雅典跑到馬拉松，將那條原始的馬拉松路線——馬拉松至雅典——逆向跑上一趟。為什么要逆向跑呢?因?yàn)榍宄勘銖难诺涫兄行某霭l(fā)，在道路開始擁堵、空氣被污染之前跑出市區(qū)，一路直奔馬拉松的話，道路的交通量遠(yuǎn)遠(yuǎn)少得多，跑起來比較舒適。這不是正式的比賽，自己一個(gè)人隨意去跑，當(dāng)然不能指望有什么交通管制。

hello_zh = sr.AudioFile(os.path.join(file_path, 'test2.wav')) 
with hello_zh as source: 
 audio = r.record(source) 
 
r.recognize_sphinx(audio, language='zh_CN') 
 
'南 音 揚(yáng) 的 只有 領(lǐng) 過 球 的 立場(chǎng) 是 希望 讓 豬只 處理 垃圾 土木工程 上 打球 運(yùn)動(dòng) 充滿 溫情 能 成功 嗎 而 中止 了 對(duì) 印尼 商報(bào) 稱 他 不是 沒有 立場(chǎng) 談 那 一 枚 其中 春天 從 雅典 市中心 出發(fā) 寸 廠 都 可 成功 突破 尋求 對(duì) 於 能 提升 統(tǒng)籌 署 取締 一路 直奔 馬拉松 和 阿 惹 山 活動(dòng) 等 二十 個(gè) 隊(duì) 中 重申 這 不是 正常 的 比賽 自己 一個(gè)人 卻 一直到 當(dāng)然 不能 說明 什么 這種 共識(shí)' 

呃，看到結(jié)果，我覺得可以用一個(gè)來形容：差勁。兩個(gè)字來形容：太差勁！

當(dāng)然，這個(gè)模型只是我直接從網(wǎng)上下載下來的。訓(xùn)練它時(shí)所用到的語(yǔ)料不會(huì)那么齊全，所以在測(cè)試時(shí)難免會(huì)出現(xiàn)不準(zhǔn)確的情況。要想讓模型更加準(zhǔn)確，需要自己在利用sphnix繼續(xù)訓(xùn)練模型。

相關(guān)辦法在其官網(wǎng)上可以找到，也有相應(yīng)的教程。感興趣的朋友可以自行研究。

Q: Why my accuracy is poor  
Speech recognition accuracy is not always great. To test speech recognition you need to run recognition on prerecorded reference database to see what happens and optimize parameters.  
You do not need to play with unknown values, the first thing you should do is to collect a database of test samples and measure the recognition accuracy. You need to dump speech utterances into wav files, write the reference text file and use decoder to decode it. Then calculate WER using the word_align.pl tool from Sphinxtrain. Test database size depends on the accuracy but usually it’s enough to have 10 minutes of transcribed audio to test recognizer accuracy reliably. The process is described in tutorialtuning. 

文中提到的教程網(wǎng)址是https://cmusphinx.github.io/wiki/tutorialtuning/

Google API

利用google API來處理語(yǔ)音識(shí)別則相當(dāng)準(zhǔn)確，不過需要連接google，以下是我在VPS中執(zhí)行的一段代碼，可以看出，它將我的錄音精準(zhǔn)地翻譯成了文字。

但是如果錄音文件較大的話，會(huì)運(yùn)行時(shí)間很長(zhǎng)，并且會(huì)返回一個(gè)超時(shí)的錯(cuò)誤，這很是讓我苦惱。

不過幸運(yùn)的是，speech_recognition支持將語(yǔ)音文件進(jìn)行截取處理。例如，我可以只處理語(yǔ)音文件中的前15秒鐘的內(nèi)容。

with test as source: 
 audio = r.record(source, duration=15) 
r.recognize_google(audio, language='zh-CN') 
'那一年的7月里我去了一趟希臘有獨(dú)自從雅典跑到馬拉松江哪條原始的馬拉松路線馬拉松直雅典一想跑上一趟' 

從上面的結(jié)果看，簡(jiǎn)直比sphnix處理的效果好太多了。

通過看幫助文檔發(fā)現(xiàn)speech_recognition不僅可以截取前面的錄音，還可以截取中間的。

In [18]: r.record? 
Signature: r.record(source, duration=None, offset=None) 
Docstring: 
Records up to ``duration`` seconds of audio from ``source`` (an ``AudioSource`` instance) starting at ``offset`` (or at the beginning if not specified) into an ``AudioData`` instance, which it returns. 
 
If ``duration`` is not specified, then it will record until there is no more audio input. 

例如我想處理5秒至20秒之間的內(nèi)容。

with test as source: 
 audio = r.record(source, offset=5, duration=15) 
r.recognize_google(audio, language='zh-CN') 
 
'要獨(dú)自從雅典跑到馬拉松江哪條原始的馬拉松路線馬拉松直雅典一項(xiàng)跑上一趟為什么要一想到呢因?yàn)樾浅阶儚难诺涫兄行某霭l(fā)'