作者 | 小隱

來源 | 淘氣面包

原文 | 教你怎樣用python進(jìn)行語音識別

網(wǎng)上找到一些例子，有一些成熟的模型，可以將語音轉(zhuǎn)成文字。例如Cloud Speech API，但是需要你使用google云平臺的前提。

speech recognition

對于python這一非常成熟的膠水語言，在網(wǎng)上找一些現(xiàn)成的工具包真的不是一個太難的問題。在GitHub上就發(fā)現(xiàn)了這樣一個神奇的包：speech recognition

它可以支持實時翻譯，當(dāng)然前提是需要在機器上安裝有關(guān)麥克風(fēng)的依賴包；還可以支持將語音文件中的文字直接提取出來。通過speech recognition可以調(diào)用多種平臺上的模型，比如google API，CMU sphinx，Microsoft Bing Speech，IBM Speech to Text，Wit.ai 等

離線轉(zhuǎn)換

對于國內(nèi)的網(wǎng)絡(luò)環(huán)境，無法用google API來將語音數(shù)據(jù)轉(zhuǎn)換成文本文件，因為在調(diào)用這個包的時候，需要連接到google。當(dāng)然，你可以租用一個國外的VPS來做這件事情。

這里講一下如何在不聯(lián)網(wǎng)的情況下，依然可以通過python來將語音文件轉(zhuǎn)換成文字。這里用到的包為sphinx，sphinx是由美國卡內(nèi)基梅隆大學(xué)開發(fā)的大詞匯量、非特定人、連續(xù)英語語音識別系統(tǒng)。

安裝 sphinx

我本人所用的環(huán)境為ubuntu。

imyin@develop:~/Downloads/phinx$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 16.04.3 LTS
Release: 16.04
Codename: xenial

在安裝sphinx之前需要安裝一些軟件包

sudo apt-get install gcc automake autoconf libtool bison swig python-dev libpulse-dev

之后可以在相關(guān)網(wǎng)站上下載sphinxbase安裝包，當(dāng)然也可以直接clone github上的包

下載完之后進(jìn)行解壓

tar zxpf sphinxbase-5prealpha.tar.gz

修改文件名

mv sphinxbase-5prealpha sphinxbase
ls sphinxbase

AUTHORS doc indent.sh Makefile.am README.md src win32
autogen.sh .git LICENSE NEWS sphinxbase.pc.in swig
configure.ac include m4 README sphinxbase.sln test

現(xiàn)在我們應(yīng)該運行autogen.sh來生成Makefiles和其他一些腳本以備后續(xù)的編譯和安裝。

./autogen.sh

下面開始源碼安裝

make && sudo make install

執(zhí)行完以上命令之后，如果沒有出現(xiàn)什么報錯信息，就說明已經(jīng)安裝成功了，但是此時你的命令并不可以生效，在運行命令時會出現(xiàn)這樣的錯誤。

imyin@develop:~/Downloads/phinx/sphinxbase$ sphinx_lm_convert 
sphinx_lm_convert: error while loading shared libraries: libsphinxbase.so.3: cannot open shared object file: No such file or directory

還需要讓系統(tǒng)加載目錄/usr/local/lib，為了讓系統(tǒng)每次啟動時都可以自動加載，可以修改系統(tǒng)配置文件ld.so.conf

sudo echo "/usr/local/lib" >> /etc/ld.so.conf
sudo ldconfig

這時候，就可以通過sphinx_lm_convert命令將模型DMP文件轉(zhuǎn)成bin文件

sphinx_lm_convert -i zh_broadcastnews_64000_utf8.DMP -o zh_CN.lm.bin

上面這行代碼是將中文的模型DMP文件轉(zhuǎn)成了bin文件。在安裝完sphinx后默認(rèn)只支持英文，在存放模型的路徑下只有一個文件名為en-US，所以這里需要添加一個處理中文的模型，相關(guān)文件可以在這個網(wǎng)址中下載。

在python中使用sphinx

想要在python中使用sphinx的話，需要安裝一些依賴包。

pip install pydub -U # 負(fù)責(zé)將MP3文件轉(zhuǎn)換為 wav 文件
pip install SpeechRecognition -U # 負(fù)責(zé)將語音轉(zhuǎn)換成文字
sudo apt -qq install build-essential swig libpulse-dev # 為后面安裝 pocketsphinx 做準(zhǔn)備
pip install -U pocketsphinx # 為使用 sphinx 
sudo apt-get install libav-tools # 為解決在調(diào)用 pydub 時出現(xiàn)的 warning ：RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)

這時候，就可以啟動ipython來試試效果了。

file_path = '/home/imyin/Downloads/phinx/test_data'
r = sr.Recognizer()
hello_zh = sr.AudioFile(os.path.join(file_path, 'test.wav'))
with hello_zh as source:
 audio = r.record(source)

r.recognize_sphinx(audio, language='zh_CN')

'今天 天氣 很'

可以看出，這個語音識別器已經(jīng)生效了。但是我說的是“今天天氣好熱啊”。

看來sphinx中的模型并非很準(zhǔn)吶，而且這只是一個短句子。我們接下來看看長句子的效果，我錄了村上春樹的《當(dāng)我談跑步時我談些什么》中的一段內(nèi)容。

那一年的七月里，我去了一趟希臘，要獨自從雅典跑到馬拉松，將那條原始的馬拉松路線——馬拉松至雅典——逆向跑上一趟。為什么要逆向跑呢?因為清晨便從雅典市中心出發(fā)，在道路開始擁堵、空氣被污染之前跑出市區(qū)，一路直奔馬拉松的話，道路的交通量遠(yuǎn)遠(yuǎn)少得多，跑起來比較舒適。這不是正式的比賽，自己一個人隨意去跑，當(dāng)然不能指望有什么交通管制。

hello_zh = sr.AudioFile(os.path.join(file_path, 'test2.wav'))
with hello_zh as source:
 audio = r.record(source)

r.recognize_sphinx(audio, language='zh_CN')

'南 音 揚 的 只有 領(lǐng) 過 球 的 立場 是 希望 讓 豬只 處理 垃圾 土木工程 上 打球 運動 充滿 溫情 能 成功 嗎 而 中止 了 對 印尼 商報 稱 他 不是 沒有 立場 談 那 一 枚 其中 春天 從 雅典 市中心 出發(fā) 寸 廠 都 可 成功 突破 尋求 對 於 能 提升 統(tǒng)籌 署 取締 一路 直奔 馬拉松 和 阿 惹 山 活動 等 二十 個 隊 中 重申 這 不是 正常 的 比賽 自己 一個人 卻 一直到 當(dāng)然 不能 說明 什么 這種 共識'

呃，看到結(jié)果，我覺得可以用一個來形容：差勁。兩個字來形容：太差勁！

當(dāng)然，這個模型只是我直接從網(wǎng)上下載下來的。訓(xùn)練它時所用到的語料不會那么齊全，所以在測試時難免會出現(xiàn)不準(zhǔn)確的情況。要想讓模型更加準(zhǔn)確，需要自己在利用sphnix繼續(xù)訓(xùn)練模型。

相關(guān)辦法在其官網(wǎng)上可以找到，也有相應(yīng)的教程。感興趣的朋友可以自行研究。

Q: Why my accuracy is poor

Speech recognition accuracy is not always great. To test speech recognition you need to run recognition on prerecorded reference database to see what happens and optimize parameters.

You do not need to play with unknown values, the first thing you should do is to collect a database of test samples and measure the recognition accuracy. You need to dump speech utterances into wav files, write the reference text file and use decoder to decode it. Then calculate WER using the word_align.pl tool from Sphinxtrain. Test database size depends on the accuracy but usually it’s enough to have 10 minutes of transcribed audio to test recognizer accuracy reliably. The process is described in tutorialtuning.

文中提到的教程網(wǎng)址是https://cmusphinx.github.io/wiki/tutorialtuning/

Google API

利用google API來處理語音識別則相當(dāng)準(zhǔn)確，不過需要連接google，以下是我在VPS中執(zhí)行的一段代碼，可以看出，它將我的錄音精準(zhǔn)地翻譯成了文字。

但是如果錄音文件較大的話，會運行時間很長，并且會返回一個超時的錯誤，這很是讓我苦惱。

不過幸運的是，speech_recognition支持將語音文件進(jìn)行截取處理。例如，我可以只處理語音文件中的前15秒鐘的內(nèi)容。

with test as source:
 audio = r.record(source, duration=15)
r.recognize_google(audio, language='zh-CN')

'那一年的7月里我去了一趟希臘有獨自從雅典跑到馬拉松江哪條原始的馬拉松路線馬拉松直雅典一想跑上一趟'

從上面的結(jié)果看，簡直比sphnix處理的效果好太多了。

通過看幫助文檔發(fā)現(xiàn)speech_recognition不僅可以截取前面的錄音，還可以截取中間的。

In [18]: r.record?
Signature: r.record(source, duration=None, offset=None)
Docstring:
Records up to ``duration`` seconds of audio from ``source`` (an ``AudioSource`` instance) starting at ``offset`` (or at the beginning if not specified) into an ``AudioData`` instance, which it returns.

If ``duration`` is not specified, then it will record until there is no more audio input.

例如我想處理5秒至20秒之間的內(nèi)容。

with test as source:
 audio = r.record(source, offset=5, duration=15)
r.recognize_google(audio, language='zh-CN')

'要獨自從雅典跑到馬拉松江哪條原始的馬拉松路線馬拉松直雅典一項跑上一趟為什么要一想到呢因為星辰變從雅典市中心出發(fā)'

今天就講到這里。世界真奇妙，更多精彩，自己繼續(xù)去發(fā)現(xiàn)吧！