眾所周知，自然語(yǔ)言處理(NLP)與計(jì)算機(jī)視覺(jué)(CV)是人工智能的兩大熱門(mén)領(lǐng)域。近年來(lái)，隨著深度學(xué)習(xí)等技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)展很快，越來(lái)越多的應(yīng)用開(kāi)始落地。與之相比，NLP 領(lǐng)域目前的進(jìn)展如何?昨天，有人在 Reddit 上發(fā)出了疑問(wèn)：是否我們和 NLP 的突破之間還有很長(zhǎng)一段距離?這個(gè)問(wèn)題引發(fā)了人們的熱烈討論。

[[210404]]

問(wèn)題

我現(xiàn)在對(duì)于自然語(yǔ)言處理(NLP)領(lǐng)域的進(jìn)展稍感失望

在 2014 年-2015 年期間，NLP 上有許多有趣的發(fā)展方向：外部存儲(chǔ)器(external memory)、推理、無(wú)監(jiān)督/半監(jiān)督學(xué)習(xí)、聊天機(jī)器人、問(wèn)答系統(tǒng)、為圖像生成文字描述……然而在今天，其中的很多似乎沒(méi)有多少進(jìn)展，而人們研究的熱點(diǎn)紛紛轉(zhuǎn)向了 GAN 和強(qiáng)化學(xué)習(xí)。

你覺(jué)得是這樣嗎?談?wù)?NLP 領(lǐng)域的突破是否為時(shí)尚早?

回答與討論

Jean-Porte：當(dāng)前最優(yōu)結(jié)果正穩(wěn)步增長(zhǎng)。一些結(jié)果令人印象深刻，比如在 SNLI 上表現(xiàn)超越人類的最佳方法，盡管我不認(rèn)為這是人類的真實(shí)水平。無(wú)監(jiān)督學(xué)習(xí)在 NLP 中獲得成功(有兩篇介紹無(wú)監(jiān)督機(jī)器學(xué)習(xí)的 ICLR 論文)，雖然機(jī)器學(xué)習(xí)會(huì)議(ICLR)中的 NLP 論文相當(dāng)少。很多高效方法也已在開(kāi)發(fā)之中(比如 fasttext)。我認(rèn)為 2014-2015 期間有很多新的有趣且艱難的問(wèn)題已解決，并取得了相當(dāng)好的結(jié)果。這一領(lǐng)域在這些問(wèn)題方面越發(fā)成熟，相比以往突破性不大，但肯定有進(jìn)步。

• https://arxiv.org/pdf/1711.00043.pdf
• https://arxiv.org/pdf/1710.11041.pdf

hapliniste：我認(rèn)為真正好的 NLP 要遠(yuǎn)比我們想的更艱難，也許等到我們實(shí)現(xiàn)了通用人工智能(AGI)才會(huì)到來(lái)(正如語(yǔ)言來(lái)自現(xiàn)實(shí)世界，不了解這個(gè)世界肯定行不通)。

adammathias：你是對(duì)的，NLP 非常難。不僅僅是任務(wù)難(當(dāng)然這樣也要看我們選擇的任務(wù))，分析和表征結(jié)果更難。很多圖像任務(wù)中間層的輸出的可視化可以獲得任何研究委員會(huì)、工程經(jīng)理甚至是紐約時(shí)報(bào)讀者的肯定，就像認(rèn)可一些計(jì)算機(jī)藝術(shù)一樣。

但是作為兩個(gè)句子的平均的一個(gè)句子呢?或者生成自向量空間的一個(gè)點(diǎn)?并且這假設(shè)訓(xùn)練數(shù)據(jù)是英文。結(jié)果就是一切難上加難。進(jìn)入門(mén)檻越高，即刻的獎(jiǎng)勵(lì)越低。因此很多研究者改變了研究領(lǐng)域，漸漸變的妥協(xié)。

作為一個(gè)具體實(shí)例，向世界頂級(jí)研究與工程組織的非常有才華、善意且做事高效的同僚解釋為什么Блацк Форест或者тхроугх是不可接受的輸出并且是徹底的失敗，是一場(chǎng)艱苦異常的戰(zhàn)斗。因此，五年之后，這依然存在。并且這是一個(gè)很簡(jiǎn)單的問(wèn)題，更像是一個(gè)數(shù)據(jù)通道 bug，實(shí)際上非常好解決。

hapliniste：沒(méi)錯(cuò)，我也認(rèn)為語(yǔ)言處理是一個(gè)大難題。假如可以制造一個(gè)「hyppocampus」控制網(wǎng)絡(luò)中的信息路由選擇，就能擁有一個(gè)開(kāi)發(fā)強(qiáng)大 NLP 的堅(jiān)實(shí)基礎(chǔ)，但目前看來(lái)還遠(yuǎn)遠(yuǎn)無(wú)法實(shí)現(xiàn)。

我目前對(duì)于如何實(shí)現(xiàn)「AGI」和 NLP 的觀點(diǎn)如下：

• 需要一種系統(tǒng)，其擁有兩種基本結(jié)構(gòu)：函數(shù)和表示(類型)。函數(shù)就是模型，表示是函數(shù)作用的對(duì)象(且只能使用一種表示)，然后盡可能分解函數(shù)，并在其它函數(shù)中復(fù)用;
• 需要一種系統(tǒng)，以找到函數(shù)的能給出基于輸入的正確的輸出的路由。它需要在初始表示(比如一張圖像)之間找到最好或最短的路由并發(fā)送到所要求的表示上(比如文本描述)。所用的表示或類型必須強(qiáng)制網(wǎng)絡(luò)只使用合理的路徑;
• 可以使用由「hyppocampus」生成的路徑，并將其轉(zhuǎn)換為文本描述。這樣就能實(shí)現(xiàn)一種強(qiáng)大的 NLP 了。

不過(guò)也請(qǐng)別太較真，這些都還是未被證明過(guò)的觀點(diǎn)。

請(qǐng)注意我談到了「AGI」，但似乎很多人都把 AGI 當(dāng)做一種進(jìn)化過(guò)程的結(jié)果，并且是有生命的。但用我的方法不太可能會(huì)實(shí)現(xiàn)這種 AGI。它可能更像一個(gè) app 商城，其中人類設(shè)計(jì)的模型以一種監(jiān)督方式解決任務(wù)(這就是為什么我會(huì)稱它為「AGI」，而不是 AGI)。

adammathias：至于 2017 年第 4 季度，我們甚至沒(méi)有嘗試。任何真實(shí)任務(wù)，比如 Nice truck attack、Pope’s Baby Steps on Gays、Loving PR 或者省略語(yǔ)言中的一半語(yǔ)句 (今天的實(shí)例)，沒(méi)有額外語(yǔ)境的幫助無(wú)法完成。但是絕大多數(shù)基準(zhǔn)不包含語(yǔ)境。即使我們有一些超級(jí)神經(jīng)網(wǎng)絡(luò)，并在訓(xùn)練和測(cè)試中輸入這般的字符串，我們也無(wú)法期望該網(wǎng)絡(luò)會(huì)工作。某種意義上在給定輸入的情況下，今天的機(jī)器學(xué)習(xí)的性能已幾近最優(yōu)。

為了兌現(xiàn)承諾，Google Now 及其他類似應(yīng)用確實(shí)使用了語(yǔ)境，并且 Manning 的斯坦福實(shí)驗(yàn)室已經(jīng)關(guān)注首語(yǔ)重復(fù)法研究。制作語(yǔ)境數(shù)據(jù)集也面臨挑戰(zhàn)，它們必須足夠大，但是遷移可能不太好。一旦有了這樣的數(shù)據(jù)集，會(huì)涌現(xiàn)出更多有關(guān)自然語(yǔ)言的 AGI 研究。

automated_reckoning：這些是絕佳的實(shí)例!如此容易地在你心中轉(zhuǎn)變意思非常有趣，這很好地證明了語(yǔ)境的重要性，以及自然語(yǔ)言是多么微妙。

adammathias：實(shí)例 The Pope’s Baby Steps 來(lái)自 Chris Manning：The Future of AI – June 23, 2016 – https://vimeo.com/173057086。

adammathias：

• 神經(jīng)圖片標(biāo)注

其實(shí)那個(gè)東西不是 NLP。

• 機(jī)器翻譯

我們現(xiàn)在只看到谷歌、IBM 微軟等公司展示的對(duì)話到對(duì)話 demo，而其中最引人關(guān)注的點(diǎn)是語(yǔ)音識(shí)別技術(shù)，這意味著它并不全是 NLP?，F(xiàn)在灣區(qū)的公司有多少真正需要機(jī)器翻譯的?NMT 真正的用戶群是那些不會(huì)說(shuō)英語(yǔ)，但卻在工作和生活上需要用到英語(yǔ)的人群。

mljoe：我認(rèn)為除了計(jì)算機(jī)視覺(jué)中存在的典型堆棧和池化方法以外，我們還需要其他一些東西。上述方法可以抓取物理世界結(jié)構(gòu)的本質(zhì)(引自 Henry W. Lin 等人的論文《Why does deep and cheap learning work so well?》)。但我認(rèn)為在自然語(yǔ)言中它們不起作用。我認(rèn)為 Geoffrey Hinton 的 Capsule 理念或許可以為 NLP 帶來(lái)新的希望。

Syphon8：讓我進(jìn)一步來(lái)說(shuō)說(shuō)自然語(yǔ)言處理的本質(zhì)吧，它和你如何看待一個(gè)人有關(guān)，這其實(shí)和通用人工智能是同一個(gè)問(wèn)題。

或許這只是 Sapir–Whorf 假說(shuō)的一次復(fù)現(xiàn)，但我認(rèn)為它的可能性很大(Sapir–Whorf 假說(shuō)：一個(gè)關(guān)于人類語(yǔ)言的假說(shuō)，由語(yǔ)言學(xué)家兼人類學(xué)家 Edward Sapir 及其學(xué)生 Benjamin Whorf 所提出，是一個(gè)心理學(xué)及語(yǔ)言學(xué)假說(shuō)。它認(rèn)為，人類的思考模式受到其使用語(yǔ)言的影響，因而面對(duì)同一事物時(shí)可能會(huì)有不同的看法)。

任何可以像人類一樣處理自然語(yǔ)言的機(jī)器都可以擁有相應(yīng)的觀點(diǎn)，同時(shí)可以完成其語(yǔ)言中所描述的任務(wù)。

同樣，任何真正的人工智能都需要有某種程度的處理語(yǔ)言的能力，這樣才能與其他智能體進(jìn)行交互。

torvoraptor：看看最近的論文吧，已經(jīng)出現(xiàn)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯了，我根本不認(rèn)為 NLP 領(lǐng)域停滯了(《Word Translation Without Parallel Data》：https://arxiv.org/abs/1710.04087)

-論文《Unsupervised Neural Machine Translation》(參見(jiàn)：無(wú)監(jiān)督神經(jīng)機(jī)器翻譯：僅需使用單語(yǔ)語(yǔ)料庫(kù))：https://arxiv.org/abs/1710.11041-

eMPiko：我不覺(jué)得這令人失望，更愿意當(dāng)作一種警醒?？倳?huì)有一些人一旦有什么有趣的新發(fā)現(xiàn)，就大肆宣揚(yáng)在什么 20 年內(nèi)獲得通用人工智能。深度 NLP 已經(jīng)取得很大進(jìn)步，它使用的是相當(dāng)通用的和可復(fù)用的架構(gòu)，可以在每一種虛擬的 NLP 任務(wù)中達(dá)到當(dāng)前最佳結(jié)果。我們?cè)诙潭處啄陜?nèi)就(在某些案例中)超越了過(guò)去幾十年的研究成果。例如，所有在 2015 年之前使用統(tǒng)計(jì)機(jī)器翻譯的研究進(jìn)展現(xiàn)在實(shí)際上都變得無(wú)關(guān)緊要了，因?yàn)槲覀円呀?jīng)開(kāi)始使用數(shù)據(jù)驅(qū)動(dòng)的編碼器—解碼器(encoder-decoder)。

Phylliida：我很喜歡那篇論文?？上У氖菗?jù)我所知，和常規(guī)的機(jī)器翻譯不一樣，它不能轉(zhuǎn)移到聊天機(jī)器人上。

evc123：NLP 將繼續(xù)保持頹勢(shì)，直到情境語(yǔ)言學(xué)習(xí)(Situated Language Learning)得到應(yīng)用：https://arxiv.org/abs/1610.03585。

disappointedwithnlp：我并不認(rèn)為這是當(dāng)前困境的解決辦法。

由于不可能學(xué)到比智能體知道的更多的東西，任何從其它智能體學(xué)習(xí)的智能體都有所局限。任何學(xué)習(xí)人類的智能體在學(xué)習(xí)其它東西的時(shí)候都必須非常高效地使用樣本(sample efficient)。因此，我們首先需要更好的無(wú)監(jiān)督學(xué)習(xí)獲得高效使用樣本的能力。

你對(duì) NLP 目前的發(fā)展有何看法?歡迎留言進(jìn)行討論。