本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

吃飯的時(shí)候，想要和對(duì)面聊聊天，然而周遭嘈雜的聲音，讓你根本不知道ta在說什么？

又或者，想與聽障人士交流，然而對(duì)方聽不見你的聲音？

現(xiàn)在，檢測(cè)面部肌肉變化的AI來了，只要你動(dòng)了嘴，哪怕沒出聲，它也能知道你在說什么。

這是EMNLP 2020的最佳論文，來自UC伯克利的兩位作者，用AI和電極做了個(gè)“沉默語(yǔ)音”的檢測(cè)模型，可以檢測(cè)到你想說、但沒說出聲的話。

其中的原理究竟是什么，我們來一探究竟。

用電極收集你小聲嗶嗶的證據(jù)

“無(wú)聲語(yǔ)音”的本質(zhì)，是人在說話時(shí)面部、頸部肌肉的變化。

說白了，你在對(duì)口型時(shí)雖然沒有出聲，但你的臉和脖子“出賣”了你。

而能夠檢測(cè)“無(wú)聲語(yǔ)音”的AI，也正是這么被做出來的。

在收集數(shù)據(jù)時(shí)，研究者會(huì)先在實(shí)驗(yàn)者的臉上等部位貼8個(gè)貼片，每個(gè)貼片都是一個(gè)“監(jiān)視肌肉變化”的傳感器，像這樣：

在這之后，需要錄制一段實(shí)驗(yàn)者的有聲語(yǔ)音，并與肌電圖進(jìn)行對(duì)應(yīng)，如下圖（會(huì)錄制兩種語(yǔ)音數(shù)據(jù)，一種每句話4個(gè)詞左右，另一種每句話16個(gè)詞左右）：

這種方法能夠?qū)⒓∪獾淖兓闆r、和語(yǔ)音的類型對(duì)應(yīng)起來。

在記錄數(shù)據(jù)的過程中，還要再錄制一段“對(duì)口型”的肌電圖，但不需要發(fā)聲，也就是“沉默語(yǔ)音”。

之所以要收集兩份肌電圖，是因?yàn)槿嗽跓o(wú)聲說話時(shí)，肌肉的變化與發(fā)聲說話時(shí)的變化有些區(qū)別，例如部分發(fā)音部位的肌肉震顫幅度會(huì)變小，語(yǔ)速也有所變化。

但如果要在無(wú)聲環(huán)境下，根據(jù)肌肉變化識(shí)別出想說的語(yǔ)音，就只能用對(duì)口型時(shí)的無(wú)聲肌電圖。

顯然，這些原因使得AI的訓(xùn)練變得非常困難。

為了盡可能將識(shí)別準(zhǔn)確率放大，研究人員額外采用了一種結(jié)構(gòu)來降低模型損失。

不到20小時(shí)的語(yǔ)音集，效果還不錯(cuò)

那么，經(jīng)由這種方法訓(xùn)練出來的模型，效果怎么樣？

研究人員分別在封閉詞集 （Closed Vocabulary Condition）和開放詞集 （Open Vocabulary Condition）上，對(duì)這種模型進(jìn)行了測(cè)試。

其中，封閉詞集主要指介詞、限定詞、連詞等詞匯（如of、and），這種詞匯集合少，容易訓(xùn)練，AI也容易形成“肌肉記憶”。

而開放詞集的范圍，就要廣泛得多了，包含名詞、形容詞等等詞匯，目前的詞語(yǔ)可以說是不計(jì)其數(shù)，想要讓AI會(huì)認(rèn)這些詞匯，難度就要高得多。

判定的方式，是WER，具體的計(jì)算方式是這樣的（原理類似于計(jì)算原句的出錯(cuò)率）：

目前，這個(gè)AI在封閉詞集上的訓(xùn)練水平已經(jīng)達(dá)到了3.6%的WER（越小越好）：

至于開放詞集的檢測(cè)，AI經(jīng)過訓(xùn)練后，WER也從高達(dá)88%的水平下降到了68%。

雖然在開放詞集上的檢測(cè)，看起來效果并不完美，但別忘了，這個(gè)模型所用的數(shù)據(jù)集并不大。

封閉檢測(cè)數(shù)據(jù)集，一共只有不到1小時(shí)的語(yǔ)音數(shù)據(jù)；開放檢測(cè)數(shù)據(jù)集，也只有18.6個(gè)小時(shí)的語(yǔ)音集。

而且，這些語(yǔ)音集還是無(wú)聲、有聲數(shù)據(jù)的合集。

不到20個(gè)小時(shí)的語(yǔ)音數(shù)據(jù)，訓(xùn)練效果就已經(jīng)達(dá)到了這種水平。

如果能獲得更大的數(shù)據(jù)樣本，模型的效果還會(huì)進(jìn)一步提升。

作者介紹

一作David Gaddy，來自UC伯克利的NLP組。平時(shí)的研究方向是無(wú)監(jiān)督學(xué)習(xí)、語(yǔ)法分析和無(wú)聲演講。

Daniel Klein，一作的導(dǎo)師，研究方向主要是無(wú)監(jiān)督學(xué)習(xí)、語(yǔ)法分析、信息提取和機(jī)器翻譯。

One More Thing

這屆EMNLP的各種NLP研究，簡(jiǎn)直不留活路：

來自北京中科院、北京信息工程學(xué)院的研究者，還發(fā)明了一種諷刺檢測(cè)模型。

這種AI模型會(huì)通過同時(shí)檢測(cè)文本和圖像，進(jìn)行多模態(tài)語(yǔ)義理解，從而檢測(cè)出一個(gè)人在社交媒體上發(fā)出的動(dòng)態(tài)，是否有諷刺的意思。

就像這句話：“這可真是場(chǎng)座無(wú)虛席的比賽，而且我們居然還搶到了位置。”

表面上，這是句再正常不過的話，然而在配上圖片后，畫風(fēng)頓時(shí)變得詭異了起來：

又例如這句話：“看起來就好吃極了。”

然而當(dāng)看到散落在盒子邊緣的芝士和餡料時(shí)，顯然這又是一句充滿諷刺意味的語(yǔ)句。

現(xiàn)在，這些語(yǔ)義信息都已經(jīng)被拿來喂給了AI，并訓(xùn)練出了一個(gè)“懂得聽諷刺話”的模型。

目前這個(gè)模型，已經(jīng)在推特這樣的社交媒體上進(jìn)行了驗(yàn)證，取得了84.33%的好效果。

看了這個(gè)AI模型，你還敢偷偷說老板壞話嗎？

論文地址：
https://arxiv.org/abs/2010.02960