參與者說出50句話時會收集他們的神經(jīng)活動。機器學習算法可以預(yù)測所收集數(shù)據(jù)的含義。該系統(tǒng)的精度各不相同，但結(jié)果令人鼓舞。

這只是一個開始，但是卻非常令人興奮：將大腦活動轉(zhuǎn)化為文本的系統(tǒng)。對于那些無法說話的人，例如患有鎖定綜合征的人，這將改變生活。目前，這有點像看大霧，但是舊金山加利福尼亞大學Chang實驗室的研究人員已經(jīng)訓(xùn)練了一種機器學習算法，可以從神經(jīng)元數(shù)據(jù)中提取含義。該研究的合著者約瑟夫·馬金(Joseph Makin)告訴《衛(wèi)報》：“我們還沒有到那兒，但是我們認為這可能是言語假肢的基礎(chǔ)。”該研究發(fā)表在《自然神經(jīng)科學》雜志上。

為了訓(xùn)練他們的AI，Makin和合著者Edward F. Chang試聽了四名參與者的神經(jīng)活動。作為癲癇病患者，每個參與者都植入了腦電極以監(jiān)測癲癇發(fā)作。

向參與者提供了至少要朗讀三遍的50句話。正如他們所做的那樣，研究人員收集了神經(jīng)數(shù)據(jù)。(還進行了錄音。)

該研究列出了參與者列舉的少數(shù)句子，其中包括：

• “那些音樂家和諧地融為一體。”“她穿著溫暖的羊毛羊毛工作服。”“那些小偷偷走了三十顆珠寶。”“廚房里亂七八糟。”

該算法的任務(wù)是分析收集的神經(jīng)數(shù)據(jù)，并預(yù)測何時生成數(shù)據(jù)。(與參與者音頻記錄中捕獲的非語言聲音相關(guān)的數(shù)據(jù)首先被剔除。)

研究人員的算法很快就學會了預(yù)測與神經(jīng)數(shù)據(jù)塊相關(guān)的單詞。AI預(yù)測說出“一只小鳥在看著騷動”時生成的數(shù)據(jù)將意味著“那只小鳥在看著騷動”非常接近，而“用梯子救貓和那只男人”被預(yù)測例如，“將使用哪個梯子來營救貓和人。”

準確性因參與者而異。Makin和Chang發(fā)現(xiàn)，基于一個參與者的算法在訓(xùn)練另一個參與者方面具有先機，這表明隨著時間的推移和重復(fù)使用AI的訓(xùn)練會變得更加容易。

衛(wèi)報與專家克里斯蒂安·赫爾夫(Christian Herff)進行了交談，后者發(fā)現(xiàn)該系統(tǒng)令人印象深刻，因為它為每個參與者使用不到40分鐘的訓(xùn)練數(shù)據(jù)，而不是其他嘗試從神經(jīng)數(shù)據(jù)中提取文本所需的大量時間。他說：“通過這樣做，它們可以達到迄今為止尚未達到的精確度。”

先前從神經(jīng)活動中獲取語音的嘗試主要集中在構(gòu)建語音的音素上，而Makin和Chang則專注于整體單詞。該研究說，盡管肯定有比音素更多的單詞，因此這構(gòu)成了更大的挑戰(zhàn)，“連續(xù)語音中任何特定音素的產(chǎn)生都受到其前音素的強烈影響，從而降低了其可分辨性。” 為了最大程度地降低基于單詞的方法的難度，口頭句子總共使用了250個單詞。

顯然，還有改進的空間。AI還預(yù)言“那些音樂家很棒的和諧”是“菠菜是著名的歌手”。“她穿著溫暖的羊毛羊毛工作服”被誤認為“綠洲是海市rage樓”。“那些小偷偷走了三十顆珠寶”被誤解為“哪個劇院放映了鵝媽媽”，而算法預(yù)測的數(shù)據(jù)“廚房里亂了”表示“有幫助他偷了餅干”。

當然，這項研究涉及的詞匯是有限的，句子范例也是如此。Makin指出，“如果您嘗試使用的[50個句子]之外，解碼會變得更加糟糕。” 另一個明顯的警告來自這樣一個事實，即AI是根據(jù)每個參與者大聲說出的句子來訓(xùn)練的，這對于被鎖定的患者是不可能的。

Makin和Chang的研究仍然令人鼓舞。對于其中一位參與者的預(yù)測，只需進行3%的微小修正即可。這實際上比人類轉(zhuǎn)錄中發(fā)現(xiàn)的5%錯誤率要好。