[[252406]]

大數(shù)據(jù)文摘出品

作者：魏子敏、蔣寶尚

今年9月份，深度學(xué)習(xí)Indaba2018峰會(huì)在南非斯泰倫博斯舉辦，包括谷歌大腦Jeff Dean在內(nèi)的一眾研究者都到場(chǎng)進(jìn)行了分享。一位來(lái)自Insight數(shù)據(jù)分析研究中心的博士生Sebastian Ruder在準(zhǔn)備自己的分享期間，就四個(gè)問題咨詢了包括Yoshua Bengio在內(nèi)的20+位這個(gè)領(lǐng)域的前沿研究者。

近日，Sebastian Ruder在推特上公開了完整的20余份問答實(shí)錄，以及他對(duì)這些答案相關(guān)的分享總結(jié)。從中可以一窺自然語(yǔ)言處理這一領(lǐng)域近期的發(fā)展。

先來(lái)看看這四個(gè)引入深省的大問題：

1. 你認(rèn)為目前NLP面臨最大的三個(gè)問題是什么?

What do you think are the three biggest open problems in NLP at the moment?

2. 過去十年，你認(rèn)為對(duì)NLP領(lǐng)域影響最深遠(yuǎn)的研究是什么?

What would you say is the most influential work in NLP in the last decade, if you had to pick just one?

3. 如果有的話，是哪些因素讓這個(gè)領(lǐng)域走向了錯(cuò)誤的方向?

What, if anything, has led the field in the wrong direction?

4. 你有什么建議給NLP領(lǐng)域的碩士研究生?

What advice would you give a postgraduate student in NLP starting their project now?

共有20余位來(lái)自自然語(yǔ)言處理業(yè)界和學(xué)界的前沿研究者受邀回答了這些問題。大數(shù)據(jù)文摘選取了神經(jīng)網(wǎng)絡(luò)之父、“花書”作者Yoshua Bengio和芝加哥大學(xué)副教授Kevin Gimpel的回答作為代表進(jìn)行了編譯，完整問答實(shí)錄可在大數(shù)據(jù)文摘后臺(tái)留言“20181212”(今天的日期)獲取。

大咖列表如下👇

Hal Daumé III，Barbara Plank，Miguel Ballesteros，Anders Søgaard，Manaal Faruqui，Mikel Artetxe，Sebastian Riedel，Isabelle Augenstein，Bernardt Duvenhage，Lea Frermann，Brink van der Merwe，Karen Livescu，Jan Buys，Kevin Gimpel，Christine de Kock，Alta de Waal，Michael Roth，Maletěabisa Molapo，Annie Louise，Chris Dyer，Yoshua Bengio，F(xiàn)elix Hill，Kevin Knight，Richard Socher，George Dahl，Dirk Hovy，Kyunghyun Cho

Yoshua Bengio

1. 你認(rèn)為目前NLP面臨最大的三個(gè)問題是什么?

• 基礎(chǔ)語(yǔ)言學(xué)習(xí)，即共同學(xué)習(xí)世界模型以及如何用自然語(yǔ)言處理中引用模型;
• 在深度學(xué)習(xí)框架內(nèi)融合語(yǔ)言理解和推理;
• 常識(shí)的理解，只有解決了上述兩個(gè)問題，才能解決常識(shí)問題。

2. 哪些因素讓這個(gè)領(lǐng)域走向了錯(cuò)誤的方向?

是貪婪。

我們總是在意短期回報(bào)，我們總是想辦法利用一切我們可支配的數(shù)據(jù)訓(xùn)練模型，然后希望模型能夠智能的理解和生成語(yǔ)言。但是，如果我們不能建立世界模型，不能深層次的理解世界是如何運(yùn)作的，我們永遠(yuǎn)不會(huì)找到智能語(yǔ)言的秘密，即使我們?cè)O(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)模型有多么精巧。因此，我們必須要緊牙關(guān)，致力于用NLP解決AI，而不是孤立的理解自然語(yǔ)言處理。

4. 你對(duì)研究生開始他們的NLP項(xiàng)目有什么建議?

廣泛閱讀，不要局限于閱讀NLP論文。閱讀大量機(jī)器學(xué)習(xí)，深度學(xué)習(xí)，強(qiáng)化學(xué)習(xí)論文。博士學(xué)位是一個(gè)人一生中實(shí)現(xiàn)追求目標(biāo)的大好時(shí)機(jī)，即使是朝著這個(gè)目標(biāo)邁出一小步也是值得珍惜的。

Kevin Gimpel

1.你認(rèn)為NLP目前最大的三個(gè)問題是什么?

最大的問題與自然語(yǔ)言的理解有關(guān)，即使在生成任務(wù)中，所有的挑戰(zhàn)都可以這么理解：計(jì)算機(jī)不理解文字對(duì)人的作用是什么。

設(shè)計(jì)的模型應(yīng)該像人類那樣閱讀和理解文本，通過形成文本世界的表示法，包括對(duì)象、設(shè)置、目標(biāo)愿望、信念等要素。當(dāng)然，還要有人類理解文字背后所需的其他因素。

在設(shè)計(jì)出理想模型之前，所有的進(jìn)步都基于提高模型模式匹配的能力。模式匹配對(duì)于開發(fā)和改善產(chǎn)品是有效的。我不認(rèn)為僅僅需要模式匹配就能產(chǎn)生一臺(tái)“理性”機(jī)器。

2. 過去十年中，在NLP方面，最有影響力的一部作品是什么?

《自然語(yǔ)言處理幾乎從零開始(Natural Language Processing (Almost) from Scratch)》，這一論文由 Ronan Collobert、Jason Weston、Leon Bottou、Michael Karlen、Koray Kavukcuoglu和 Pavel Kuksa等人合力完成，并在2011年發(fā)表。簡(jiǎn)單來(lái)說(shuō)，它以Colobert和Weston在2008年的一篇論文為基礎(chǔ)，但對(duì)其進(jìn)行了擴(kuò)展與發(fā)揮。該論文介紹了當(dāng)前NLP設(shè)計(jì)常見的幾種方法，例如，使用神經(jīng)網(wǎng)絡(luò)進(jìn)行NLP多任務(wù)學(xué)習(xí)、使用未標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練詞嵌入等等。

3. 是什么原因?qū)е挛覀兲みM(jìn)了自然語(yǔ)言處理的“陷阱”

我認(rèn)為是當(dāng)前NLP傳統(tǒng)的處理方法，例如采用的傳統(tǒng)的監(jiān)督學(xué)習(xí)，其中有一條假設(shè)是，測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)服從相同的概率分布，這與現(xiàn)實(shí)實(shí)際完全不符合。至少，真實(shí)的測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)在時(shí)間上的分布是不同的，有時(shí)甚至是幾十年的差距!所以，我們應(yīng)該致力于域外學(xué)習(xí)，時(shí)間遷移等。

傳統(tǒng)的無(wú)監(jiān)督學(xué)習(xí)和傳統(tǒng)的監(jiān)督學(xué)習(xí)都是不現(xiàn)實(shí)的，所以很高興看到NLP研究人員最近關(guān)注混合使用，無(wú)論給它們起什么名字，半監(jiān)督也好，弱監(jiān)督也可，它們都是一種混合的設(shè)置。

4. 你對(duì)NLP的研究生現(xiàn)在開始他們的項(xiàng)目有什么建議?

不要害怕創(chuàng)新，要勇于嘗試新鮮事物。通常來(lái)說(shuō)，風(fēng)險(xiǎn)越大，收益也越大。如果失敗了，或者說(shuō)不符合預(yù)期，你也可能在過程中學(xué)到許多非常有趣的事情，非常有可能為你發(fā)表論文積累材料。

Sebastian Ruder也整理了20余位研究者的回應(yīng)，并在大會(huì)的報(bào)告中給出了以下總結(jié)。

自然語(yǔ)言處理領(lǐng)域發(fā)展的里程碑👇

問題一：NLP研究領(lǐng)域最大的問題

總結(jié)25位研究者的回答后，我們得出了這四大問題👇

自然語(yǔ)言理解

低資源情景下的NLP

大規(guī)?；蚨辔募评?/p>

數(shù)據(jù)集，問題及評(píng)估

問題二：哪些因素讓這個(gè)領(lǐng)域走向了錯(cuò)誤的方向?

問題三：你有什么建議給NLP領(lǐng)域的碩士研究生?

【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)文章，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文