我們?yōu)槭裁匆X?一個明顯的原因是恢復(fù)我們身體和四肢的力量。但是睡眠的另一個非常重要的作用是鞏固記憶并組織清醒時大腦攝入的所有信息。缺乏適當(dāng)睡眠的人會認知能力下降，記憶力下降。

[[324235]]

睡眠的奇觀和奧秘仍然是研究的活躍領(lǐng)域。除了醫(yī)學(xué)，心理學(xué)和神經(jīng)科學(xué)外，睡眠研究還可以用于其他科學(xué)領(lǐng)域。人工智能研究人員也在研究這一領(lǐng)域所做的工作，以開發(fā)在更長時間內(nèi)更有效地處理數(shù)據(jù)的人工智能模型。

DeepMind的人工智能研究人員最近的工作顯示，他們利用對大腦和睡眠機制的研究，來應(yīng)對自然語言處理(NLP)的一個基本挑戰(zhàn)：處理長期記憶。

人工智能苦苦掙扎的語言記憶

人腦具有非常有趣的組織記憶的方式。我們可以長期管理不同的思路。考慮這個假設(shè)的例子：你早上醒來，花45分鐘閱讀一本有關(guān)認知科學(xué)的書。一個小時后，你瀏覽了新聞并閱讀了幾則新聞文章。下午，你將繼續(xù)研究幾天前開始的AI研究論文，并為以后的文章做筆記。在日常的鍛煉中，您會收聽科學(xué)播客或有聲讀物。在晚上，入睡前，您打開一本幻想小說，然后找到前一天晚上讀到的地方。

你不需要成為一個天才就可以做到這一點。實際上，我們大多數(shù)人每天都在處理各種各樣的信息。有趣的是，我們的大腦能夠保存和管理這些信息，而且可以在很長時間，一天，幾周，幾個月甚至幾年內(nèi)做到這一點。

近年來，人工智能算法在保持較長數(shù)據(jù)流的一致性方面已逐漸變得更好，但是要與人腦的技能相匹配，它們還有很長的路要走。

用于處理語言的經(jīng)典機器學(xué)習(xí)構(gòu)造模型是遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，這是一種人工神經(jīng)網(wǎng)絡(luò)，旨在處理數(shù)據(jù)的時間一致性。經(jīng)過數(shù)據(jù)語料庫訓(xùn)練的RNN(例如，大量的Wikipedia文章數(shù)據(jù)集)可以執(zhí)行任務(wù)，例如預(yù)測序列中的下一個單詞或找到問題的答案。

早期版本的RNN的問題在于它們處理信息所需的內(nèi)存量。AI模型可以處理的數(shù)據(jù)序列越長，所需的內(nèi)存就越多。這個限制主要是因為，與人腦不同，神經(jīng)網(wǎng)絡(luò)不知道應(yīng)該保留哪些數(shù)據(jù)以及可以丟棄哪些數(shù)據(jù)。

提取重要信息

想想看：當(dāng)你讀一本小說，比如《指環(huán)王》，你的大腦并不會記住所有的單詞和句子。它被優(yōu)化以從故事中提取有意義的信息，包括人物(例如，佛羅多、甘道夫、索倫)、他們的關(guān)系(例如，博羅米爾幾乎是佛羅多的朋友)、地點(例如，里文德爾、莫爾多、羅漢)、對象(例如，一環(huán)和烏里爾)、關(guān)鍵事件(例如，佛羅多將一環(huán)扔到末日山的中心，甘道夫掉進了哈扎德·杜姆的深淵，赫爾姆之戰(zhàn)的深淵)，也許是故事中一些非常重要的對話(例如，不是所有閃光的都是金子，不是所有游蕩的人都迷路了)。

這一小部分信息對于能夠在所有四本書(霍比特人和指環(huán)王的所有三卷書)和576459個單詞中遵循故事的情節(jié)是非常關(guān)鍵的。

人工智能科學(xué)家和研究人員一直在試圖找到一種方法，將神經(jīng)網(wǎng)絡(luò)嵌入到同樣有效的信息處理中。這一領(lǐng)域的一個重大成就是發(fā)展了"注意"機制，使神經(jīng)網(wǎng)絡(luò)能夠發(fā)現(xiàn)和關(guān)注數(shù)據(jù)中更重要的部分。注意力使神經(jīng)網(wǎng)絡(luò)能夠以更有效的記憶方式處理更大量的信息。

Transformers是近年來越來越流行的一種神經(jīng)網(wǎng)絡(luò)，它有效地利用了意圖機制，使人工智能研究人員能夠創(chuàng)建越來越大的語言模型。例子包括OpenAI的GPT-2文本生成器，在40G的文本上訓(xùn)練，谷歌的Meena chatbot，在341GB的語料庫上訓(xùn)練，以及AI2的Aristo，一個在300G的數(shù)據(jù)上訓(xùn)練以回答科學(xué)問題的深度學(xué)習(xí)算法。

所有這些語言模型都比以前的人工智能算法在較長的文本序列上表現(xiàn)出顯著的一致性。GPT-2可以經(jīng)常(但并不總是)寫出跨越多個段落的相當(dāng)連貫的文本。Meena還沒有發(fā)布，但是Google提供的示例數(shù)據(jù)在對話中顯示了有趣的結(jié)果，而不僅僅是簡單的查詢。Aristo在回答科學(xué)問題方面勝過其他人工智能模型(盡管它只能回答多項選擇題)。

然而，顯而易見的是，語言處理人工智能還有很大的改進空間。目前，通過創(chuàng)建更大的神經(jīng)網(wǎng)絡(luò)并為它們提供越來越大的數(shù)據(jù)集，仍有一種改進該領(lǐng)域的動力。很明顯，我們的大腦不需要，甚至沒有足夠的能力來獲取數(shù)百千兆字節(jié)的數(shù)據(jù)來學(xué)習(xí)語言的基礎(chǔ)知識。

從睡眠中汲取靈感

當(dāng)記憶在我們的大腦中被創(chuàng)造出來時，它們開始是編碼在大腦不同部分的感官和認知活動的混亂。這是短期記憶。根據(jù)神經(jīng)科學(xué)的研究，海馬體從大腦不同部位的神經(jīng)元收集激活信息，并以一種可以進入記憶的方式記錄下來。它還存儲了將重新激活這些記憶的提示(名稱、氣味、聲音、視覺等)。記憶被激活得越多，它就變得越強大。

據(jù)《你的大腦》一書的作者馬克·丁曼(Marc Dingman)介紹說，"研究發(fā)現(xiàn)，在最初的經(jīng)歷中開啟的相同神經(jīng)元在深度睡眠時會被重新激活。這使得神經(jīng)科學(xué)家們假設(shè)，在睡眠期間，我們的大腦正在努力確保前一天的重要記憶被轉(zhuǎn)移到長期儲存中。"

DeepMind的AI研究人員從睡眠中汲取了靈感，創(chuàng)建了Compression Transformer，這是一種更適合遠程記憶的語言模型。"睡眠對記憶至關(guān)重要，人們認為睡眠有助于壓縮和鞏固記憶，從而提高記憶任務(wù)的推理能力。" 當(dāng)模型經(jīng)過一系列輸入時，將在線收集類似于情景存儲器的顆粒存儲器。隨著時間的流逝，它們最終會被壓縮。" 研究人員在Compression Transformer的博客文章中寫道。

與Transformer的其他變體一樣，Compression Transformer使用注意力機制來選擇序列中相關(guān)的數(shù)據(jù)位。但是，AI模型不是丟棄舊的內(nèi)存，而是刪除了不相關(guān)的部分，并通過保留顯著的部分并將其存儲在壓縮的內(nèi)存位置中來組合其余部分。

根據(jù)DeepMind的說法，Compressive Transformer在流行的自然語言AI基準測試中顯示了比較先進的性能。人工智能研究人員寫道："我們還證明，它可以有效地用于語音建模，特別好地處理稀有單詞，并且可以在強化學(xué)習(xí)代理中用以解決記憶任務(wù)。"

然而，重要的是，人工智能提高了長文本建模的性能。DeepMind的研究人員寫道："該模型的條件樣本可用于編寫類似書的摘錄。"

博客文章和論文包含了Compressive Transformer輸出的樣本，與該領(lǐng)域中正在做的其他工作相比，這是非常令人印象深刻的。

語言尚未解決

壓縮與歸檔是兩個不同的概念。讓我們回到《指環(huán)王》的例子，看看這意味著什么。例如，在閱讀了在埃爾隆德家舉行會議的那一章之后，你不一定記得與會者之間交流的每一個字。但你還記得一件重要的事情：當(dāng)每個人都在為如何決定這枚戒指的命運而爭吵時，佛羅多走上前，接受了把它扔進厄運山的責(zé)任。因此，為了壓縮信息，大腦在儲存記憶時似乎會改變它。隨著記憶的變老，這種轉(zhuǎn)變還在繼續(xù)。

顯然，存在某種模式識別，可以使Compressive Transformer找到應(yīng)該存儲在壓縮內(nèi)存段中的相關(guān)部分。但是，這些數(shù)據(jù)位是否等同于以上示例中提到的元素還有待觀察。

使用深度學(xué)習(xí)算法來處理人類語言的挑戰(zhàn)已經(jīng)有了很好的記錄。雖然統(tǒng)計方法可以在大量的數(shù)據(jù)中發(fā)現(xiàn)有趣的相關(guān)性和模式，但它們無法執(zhí)行一些需要了解文本以外內(nèi)容的微妙任務(wù)。 諸如抽象，常識，背景知識以及智能的其他方面之類的東西，使我們能夠填補空白并提取單詞背后的隱含含義，而當(dāng)前的AI方法仍無法解決這些問題。

正如計算機科學(xué)家梅拉妮·米切爾(Melanie Mitchell)在她的《人工智能：思考人類的指南》一書中所解釋的那樣，"在我看來，機器不可能完全通過在線學(xué)習(xí)來達到翻譯，閱讀理解等方面的人類水平。 數(shù)據(jù)，實際上對它們處理的語言沒有真正的了解。 語言依賴于對世界的常識和理解。"

添加這些元素將使人工智能模型能夠處理語言的不確定性。認知科學(xué)家加里·馬庫斯說"除了幾個小句子，你聽到的幾乎每一個句子都是原創(chuàng)的。你沒有直接的數(shù)據(jù)。這意味著你有一個關(guān)于推理和理解的問題。那些有助于對事物進行分類、將它們放入你已經(jīng)知道的容器中的技術(shù)，根本不適合這樣做。理解語言就是把你對這個世界已經(jīng)知道的東西和別人想用他們說的話、做的事情聯(lián)系起來。"

馬庫斯和他的合著者，紐約大學(xué)教授歐內(nèi)斯特·戴維斯(Ernest Davis)在" 重新啟動AI"一書中寫道："統(tǒng)計數(shù)據(jù)不能替代對現(xiàn)實世界的理解。問題不僅在于到處都是隨機誤差，還在于滿足翻譯要求的統(tǒng)計分析模型與系統(tǒng)真正理解它們所需要的認知模型構(gòu)建之間存在根本的不匹配。"

但是壓縮技術(shù)可能會幫助我們在人工智能和語言建模研究中找到新的方向。"能夠捕捉跨天、跨月或跨年經(jīng)驗相關(guān)關(guān)系的模型即將出現(xiàn)。"我們相信，隨著時間的推移，更強大的推理途徑將來自過去更好的選擇性關(guān)注，以及更有效的壓縮機制，"DeepMind的人工智能研究人員寫道。