自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

深度學(xué)習(xí)果實(shí)即將摘盡?11位大牛談AI的當(dāng)下(2018)與未來(2019)

開發(fā) 開發(fā)工具 深度學(xué)習(xí)
KDnuggets 向 11 位來自學(xué)界和業(yè)界不同領(lǐng)域的機(jī)器學(xué)習(xí)和 AI 專家咨詢,以期總結(jié)出今年的業(yè)內(nèi)進(jìn)展并預(yù)測(cè)明年的關(guān)鍵趨勢(shì)。

KDnuggets 向 11 位來自學(xué)界和業(yè)界不同領(lǐng)域的機(jī)器學(xué)習(xí)和 AI 專家咨詢,以期總結(jié)出今年的業(yè)內(nèi)進(jìn)展并預(yù)測(cè)明年的關(guān)鍵趨勢(shì)。

KDnuggets 分別獲得了來自 Anima Anandkumar、Andriy Burkov、Pedro Domingos、Ajit Jaokar、Nikita Johnson、Zachary Chase Lipton、Matthew Mayo、Brandon Rohrer、Elena Sharova、Rachel Thomas 和 Daniel Tunkelang 的回答。

這些專家挑選出的關(guān)鍵詞包括深度學(xué)習(xí)的進(jìn)步、遷移學(xué)習(xí)、機(jī)器學(xué)習(xí)的局限性、自然語言處理不斷變化的現(xiàn)狀等等。

1. Anima Anandkumar:英偉達(dá)的 ML 研究主任和加州理工學(xué)院的 Bren 講座教授。

(1) 2018 年機(jī)器學(xué)習(xí)和人工智能的主要進(jìn)展是什么?

「深度學(xué)習(xí)容易獲得的果實(shí)幾乎已經(jīng)摘盡」(Low hanging fruits of deep learning have been mostly plucked)。

深度學(xué)習(xí)的焦點(diǎn)開始從標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)轉(zhuǎn)向更具挑戰(zhàn)性的機(jī)器學(xué)習(xí)問題,如半監(jiān)督學(xué)習(xí)、域適應(yīng)、主動(dòng)學(xué)習(xí)和生成模型。GAN 繼續(xù)受到研究人員的歡迎,他們正在嘗試更加艱巨的任務(wù),如照片級(jí)圖像生成(BigGAN)和視頻到視頻合成。人們開發(fā)了替代的生成模型(例如,神經(jīng)渲染模型)以在單個(gè)網(wǎng)絡(luò)中組合生成和預(yù)測(cè)以幫助半監(jiān)督學(xué)習(xí)。研究人員將深度學(xué)習(xí)的應(yīng)用擴(kuò)展到許多科學(xué)領(lǐng)域,如地震預(yù)測(cè)、材料科學(xué)、蛋白質(zhì)工程、高能物理和控制系統(tǒng)。在這些情況下,領(lǐng)域知識(shí)和約束與學(xué)習(xí)相結(jié)合。例如,為了改善無人機(jī)的自主著陸,我們可以學(xué)習(xí)地面效應(yīng)模型以校正基礎(chǔ)控制器并保證學(xué)習(xí)穩(wěn)定,這在控制系統(tǒng)中很重要。

(2) 預(yù)測(cè):

「人工智能將把模擬和現(xiàn)實(shí)聯(lián)系起來,變得更安全,更具物理真實(shí)性。」

我們將看到人們開發(fā)新的域適應(yīng)技術(shù),以便將知識(shí)從模擬無縫遷移到現(xiàn)實(shí)世界。使用模擬將有助于我們克服數(shù)據(jù)稀缺性并加快新領(lǐng)域和新問題的學(xué)習(xí)。使 AI 從模擬到實(shí)際數(shù)據(jù)(Sim2real)將對(duì)機(jī)器人技術(shù)、自動(dòng)駕駛、醫(yī)學(xué)成像、地震預(yù)報(bào)等產(chǎn)生重大影響。模擬是解決自動(dòng)駕駛等安全關(guān)鍵應(yīng)用中所有可能情況的好方法。內(nèi)置于復(fù)雜模擬器中的知識(shí)將以新穎的方式使用,使 AI 更具物理意識(shí)、更強(qiáng)大,并能夠推廣到新的場(chǎng)景。

2. Andriy Burkov:Gartner 機(jī)器學(xué)習(xí)團(tuán)隊(duì)的負(fù)責(zé)人。

這是我作為一名從業(yè)者的看法,而不是 Gartner 基于研究的官方聲明。

(1) 2018 年機(jī)器學(xué)習(xí)和人工智能的主要發(fā)展是什么?

TensorFlow 在學(xué)術(shù)界輸給了 PyTorch。有時(shí)谷歌的巨大影響力和能力可能會(huì)使市場(chǎng)偏向次優(yōu)的方向,因?yàn)?MapReduce 和隨后的 hadoop 狂熱已經(jīng)導(dǎo)致了這種情況。

Deepfakes(以及相似的語音轉(zhuǎn)換模型)粉碎了最值得信賴的信息來源:視頻片段。幾十年前我們不再相信印刷文字,但直到最近,視頻的可信度還是不可動(dòng)搖。

強(qiáng)化學(xué)習(xí)以深度學(xué)習(xí)的形式回歸是非常意外和酷的!

Google 致電餐廳并(成功)假裝為真正人類的系統(tǒng)是一個(gè)里程碑。然而,它引發(fā)了許多關(guān)于道德和人工智能的問題。

個(gè)人助理和聊天機(jī)器人很快就達(dá)到了極限。他們比以往任何時(shí)候都好用,但又不如去年每個(gè)人所希望的那么好。

(2) 你認(rèn)為 2019 年的主要趨勢(shì)是什么?

  • 我估計(jì)每個(gè)人都會(huì)對(duì)今年的 AutoML 進(jìn)展感到興奮。但我也預(yù)計(jì)它會(huì)失敗(除了一些非常具體和明確定義的用例,如圖像識(shí)別、機(jī)器翻譯和文本分類,其中手工制作的特征不是必要或是標(biāo)準(zhǔn)的,原始數(shù)據(jù)接近于機(jī)器期望作為輸入,并且數(shù)據(jù)是豐富的)。
  • 營(yíng)銷自動(dòng)化:利用成熟的生成對(duì)抗網(wǎng)絡(luò)和變分自編碼器,可以生成數(shù)千張相同人物或圖像的圖片,這些圖像之間的面部表情或情緒差異很小。根據(jù)消費(fèi)者對(duì)這些圖片的反應(yīng),我們可以制作出***的廣告活動(dòng)。
  • 移動(dòng)設(shè)備上的實(shí)時(shí)語音生成與真實(shí)人類無法區(qū)分。
  • 自動(dòng)駕駛的出租車將保持在測(cè)試/ PoC 階段。

3. Pedro Domingos :華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程系的教授。

經(jīng)過多年的炒作,2018 年變成了對(duì)人工智能過度恐懼的一年。聽媒體甚至是一些研究人員的言論,你可能會(huì)認(rèn)為機(jī)器學(xué)習(xí)算法是偏見和歧視的垃圾桶,機(jī)器人正在接手我們的工作,然后是我們的生活... 不僅僅是談話:歐洲和加利福尼亞州已經(jīng)通過了嚴(yán)厲的隱私法,聯(lián)合國(guó)正在就智能武器禁令等進(jìn)行辯論。公眾對(duì)人工智能的看法越來越消極,這既危險(xiǎn)又不公平。希望 2019 年將看到理智回歸。

4. Ajit Jaokar:牛津大學(xué)物聯(lián)網(wǎng)數(shù)據(jù)科學(xué)的***數(shù)據(jù)科學(xué)家和創(chuàng)始人

2018 年,一些趨勢(shì)開始起飛。AutoML 是一個(gè),強(qiáng)化學(xué)習(xí)是一個(gè)。這兩個(gè)新生趨勢(shì)將在 2019 年大幅擴(kuò)展。作為我在牛津大學(xué)教學(xué)的一部分,我認(rèn)為物聯(lián)網(wǎng)越來越多地交織在自動(dòng)駕駛汽車、機(jī)器人和智能城市等大型生態(tài)系統(tǒng)中。通過與 Dobot 的合作,我見證了一種新的機(jī)器人技術(shù),即協(xié)作機(jī)器人(cobots),這是 2019 年的一個(gè)關(guān)鍵趨勢(shì)。與以前的裝配線機(jī)器人不同,新的機(jī)器人將能夠自主并理解情緒。***,有一個(gè)有爭(zhēng)議的觀點(diǎn):在 2019 年,我們所知道的數(shù)據(jù)科學(xué)家的角色將傾向于從研究轉(zhuǎn)向產(chǎn)品開發(fā)。我認(rèn)為人工智能與下一代數(shù)據(jù)產(chǎn)品的創(chuàng)建密切相關(guān)。數(shù)據(jù)科學(xué)家的角色將相應(yīng)改變。

5. Nikita Johnson:RE.WORK 的創(chuàng)始人。

我們?cè)?2018 年目睹的一個(gè)發(fā)展是開源工具數(shù)量的增加,這些工具降低了進(jìn)入門檻,使所有人都能更容易地應(yīng)用 AI,以加強(qiáng)組織之間的協(xié)作。這些社區(qū)對(duì)于確保人工智能在社會(huì)和企業(yè)各個(gè)領(lǐng)域的傳播至關(guān)重要。

同樣,在 2019 年,我們將看到關(guān)注「人工智能」的公司數(shù)量有所增加,這是基于谷歌最近宣布的 AI for Social Good 計(jì)劃,以及微軟的 AI for Good 計(jì)劃。隨著社會(huì)要求公司擁有更高的社會(huì)目標(biāo),這種向人工智能的積極轉(zhuǎn)變正獲得推動(dòng)力。

6. Zachary Chase Lipton:卡內(nèi)基梅隆大學(xué)機(jī)器學(xué)習(xí)助理教授,Approximately Correct Blog 創(chuàng)始人

讓我們從深度學(xué)習(xí)領(lǐng)域開始,這個(gè)領(lǐng)域占據(jù)機(jī)器學(xué)習(xí)和人工智能的公共話題的***份額。也許會(huì)惹惱一些人,但我認(rèn)為對(duì) 2018 年的一個(gè)合理解讀是:***的發(fā)展是沒有發(fā)展!當(dāng)然這太簡(jiǎn)單了,但請(qǐng)?jiān)试S我展開這個(gè)問題。***的發(fā)展很大一部分是「調(diào)參」與定性新思想的本質(zhì)區(qū)別。BigGAN 是一個(gè) GAN,但更大。GAN 的逐漸發(fā)展產(chǎn)生了真正有趣的結(jié)果,在某些意義上邁出了一大步,但從方法論上來說,它只是一個(gè)帶有課程學(xué)習(xí)技巧的 GAN。在 NLP 方面,今年最重要的進(jìn)展是 ELMO 和 BERT 的語境化嵌入。但是至少?gòu)?2015-16 開始,我們已經(jīng)預(yù)先訓(xùn)練了語言模型并對(duì)下游分類任務(wù)進(jìn)行了微調(diào),當(dāng)時(shí) Andrew Dai 和 Quoc Le 的實(shí)驗(yàn)規(guī)模較小。所以也許更憤世嫉俗的說法是,這不是由全新思想主宰的一年。另一方面,積極的說法可能是現(xiàn)有技術(shù)的全部功能尚未實(shí)現(xiàn),硬件、系統(tǒng)和工具的快速發(fā)展可能會(huì)從這里發(fā)揮作用,來擠出這些流行了三四年的思想的所有成果。

我認(rèn)為現(xiàn)在正在醞釀的很多新想法都出現(xiàn)在新興的深度學(xué)習(xí)理論中。有很多研究人員,包括 Sanjeev Arora、Tengyu Ma、Daniel Soudry、Nati Srebro 等等,他們正在做一些非常令人興奮的工作。我們?cè)缇鸵呀?jīng)有了***性原理理論,這些理論是嚴(yán)謹(jǐn)?shù)?,但?jīng)常忽略了實(shí)踐,然后是「實(shí)驗(yàn)性」ML,它真正在實(shí)踐科學(xué),但卻導(dǎo)致了排行榜追逐現(xiàn)象?,F(xiàn)在出現(xiàn)了一種新的探究模式,理論與實(shí)驗(yàn)的結(jié)合更緊密。你開始看到受實(shí)驗(yàn)啟發(fā)的理論論文,進(jìn)行實(shí)驗(yàn)的理論論文。

2019 年及以后。我認(rèn)為應(yīng)用機(jī)器學(xué)習(xí)領(lǐng)域會(huì)有一個(gè)清算。我們正急于進(jìn)入所有這些聲稱「解決」問題的實(shí)際領(lǐng)域,但到目前為止,我們工具箱中唯一可靠的錘子只有監(jiān)督學(xué)習(xí),而且我們只能通過模式匹配來做些約束。受監(jiān)督的模型可以找到關(guān)聯(lián),但它們不提供正當(dāng)理由。它們不知道哪些信息是安全的,或脆弱的(因?yàn)樗赡軙?huì)隨著時(shí)間的推移而發(fā)生變化)。這些模型沒有告訴我們干預(yù)措施的效果。當(dāng)我們?cè)谌祟惤换ハ到y(tǒng)中部署基于監(jiān)督學(xué)習(xí)的自動(dòng)化系統(tǒng)時(shí),我們并沒有預(yù)料到它們會(huì)扭曲激勵(lì)因素,從而改變它們的環(huán)境,打破它們所依賴的模式。我認(rèn)為在接下來的一年里,我們會(huì)看到更多 ML 項(xiàng)目的案例被廢棄,或者因?yàn)檫@些限制而陷入困境。我們會(huì)看到社區(qū)中更有創(chuàng)意成員的轉(zhuǎn)變,從關(guān)注函數(shù)擬合排行榜,到更多地關(guān)注與彌合表征學(xué)習(xí)和因果推理之間差距相關(guān)的問題。

7. Matthew Mayo:KDnuggets 的編輯

對(duì)我而言,2018 年的機(jī)器學(xué)習(xí)發(fā)展很好。例如,遷移學(xué)習(xí)有更廣泛的應(yīng)用,特別是在自然語言處理方面,這要?dú)w功于通用語言模型微調(diào)文本分類(ULMFiT)等技術(shù)和 Transformers 的雙向編碼器表征(BERT)。另外需要注意的是語言模型嵌入(ELMo),這是一個(gè)深層語境化的單詞表征模型,它對(duì)模型的每個(gè)任務(wù)都進(jìn)行了相當(dāng)大的改進(jìn)。今年的其它突破似乎集中在現(xiàn)有技術(shù)的改進(jìn)上,例如 BigGAN。此外,關(guān)于機(jī)器學(xué)習(xí)的包容性和多樣性的非技術(shù)性討論也成為主流。

我相信,在 2019 年,研究注意力將從監(jiān)督學(xué)習(xí)轉(zhuǎn)向強(qiáng)化學(xué)習(xí)和半監(jiān)督學(xué)習(xí)等領(lǐng)域,因?yàn)檫@些領(lǐng)域的潛在應(yīng)用越來越多地得到實(shí)現(xiàn)。例如,我們現(xiàn)在正處于圖像識(shí)別和生成問題已經(jīng)「解決」的階段,并且沿途學(xué)到的東西可以幫助研究人員追求更復(fù)雜的機(jī)器學(xué)習(xí)應(yīng)用。

作為業(yè)余的 AutoML(自動(dòng)化機(jī)器學(xué)習(xí))傳播者,我認(rèn)為我們將繼續(xù)看到 AutoML 的逐步進(jìn)步,以至于普通的監(jiān)督學(xué)習(xí)任務(wù)將能夠通過開發(fā)中的可行方法有效地進(jìn)行算法選擇和超參數(shù)優(yōu)化。我認(rèn)為人們對(duì) AutoML 的普遍看法將轉(zhuǎn)變。AutoML 將不再被視為機(jī)器學(xué)習(xí)工具箱的替代品,而是作為其中的另一種工具。我認(rèn)為,在日常情景中,從業(yè)者將經(jīng)常使用這些工具,這將成為定局。

8. Brandon Rohrer:Facebook 的數(shù)據(jù)科學(xué)家

2018 年的一個(gè)重要趨勢(shì)是數(shù)據(jù)科學(xué)教育機(jī)會(huì)的擴(kuò)散和成熟。在線課程是原始的數(shù)據(jù)科學(xué)教育場(chǎng)所。它們?cè)诟鱾€(gè)層面繼續(xù)受到歡迎,每年學(xué)生和主題都在增加,以及有更多教育形式的變體。

在學(xué)術(shù)界,新的數(shù)據(jù)科學(xué)碩士課程正以每年約十幾個(gè)的速度增長(zhǎng)。我們的高等院校正在響應(yīng)公司和學(xué)生的請(qǐng)求,為數(shù)據(jù)相關(guān)領(lǐng)域提供專門的計(jì)劃。

在非正式的層面,教程和博客文章無處不在。它們?yōu)樽x者和作者對(duì)數(shù)據(jù)科學(xué)的集體理解做出了巨大貢獻(xiàn)。

在 2019 年及以后,數(shù)據(jù)科學(xué)學(xué)術(shù)計(jì)劃將成為學(xué)習(xí)數(shù)據(jù)科學(xué)職位所需基本技能的更常見方式。這是件好事。受認(rèn)證的機(jī)構(gòu)將填補(bǔ)長(zhǎng)期的空白。到目前為止,數(shù)據(jù)科學(xué)資格主要通過以前的工作經(jīng)驗(yàn)來證明。新數(shù)據(jù)科學(xué)家無法展示自己的資歷,因?yàn)樗麄儚奈磸氖逻^數(shù)據(jù)科學(xué)工作;反過來,因?yàn)樗麄儫o法獲得數(shù)據(jù)科學(xué)工作,他們也無法展示自己的資格。教育機(jī)構(gòu)的證書是打破這一循環(huán)的一種方式。

但是,在線課程不是哪里都有。有許多人無法接受大學(xué)教育的時(shí)間和經(jīng)濟(jì)要求。通過對(duì)項(xiàng)目工作、相關(guān)經(jīng)驗(yàn)和在線培訓(xùn)的展示,即使沒有學(xué)位,新數(shù)據(jù)科學(xué)家也能夠展示他們的技能。在線課程和教程將繼續(xù)變得更加普遍、更復(fù)雜、對(duì)數(shù)據(jù)科學(xué)教育更為重要。事實(shí)上,一些著名的數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)計(jì)劃甚至將他們的課程放在網(wǎng)上,甚至為非預(yù)科學(xué)生提供入學(xué)選擇。我預(yù)計(jì)數(shù)據(jù)科學(xué)大學(xué)學(xué)位與在線培訓(xùn)課程之間的界限將繼續(xù)變得模糊。在我看來,這是「數(shù)據(jù)科學(xué)民主化」的最真實(shí)形式。

9. Elena Sharova:ITV 的高級(jí)數(shù)據(jù)科學(xué)家

(1) 2018 年機(jī)器學(xué)習(xí)和人工智能的主要發(fā)展是什么?

在我看來,2018 年 AI 和 ML 社區(qū)發(fā)生了以下三個(gè)值得注意的事件。

  • 首先,旨在提高公平性和個(gè)人數(shù)據(jù)使用透明度的歐盟全球數(shù)據(jù)保護(hù)條例(GDPR)的啟用。該規(guī)定明確了個(gè)人控制其個(gè)人數(shù)據(jù)和獲取其使用信息的權(quán)利,但也引起了對(duì)法律解釋的一些混淆。迄今為止的最終結(jié)果是,許多公司認(rèn)為自己是合規(guī)的,對(duì)數(shù)據(jù)處理做了一些表面上的改變,忽略了重新設(shè)計(jì)數(shù)據(jù)存儲(chǔ)和處理基礎(chǔ)設(shè)施的基本需求。
  • 其次,還有劍橋 Analytica 丑聞,它給整個(gè)數(shù)據(jù)科學(xué)社區(qū)蒙上陰影。如果之前的辯論主要是關(guān)于確保 AI 和 ML 產(chǎn)品的公平性,那么這個(gè)丑聞則會(huì)引發(fā)更深層次的倫理問題。對(duì) Facebook 參與的***調(diào)查意味著它不會(huì)很快消失。隨著數(shù)據(jù)科學(xué)領(lǐng)域的成熟,這些發(fā)展將在許多行業(yè)中發(fā)生。比如亞利桑那州的 Uber 自駕車案,這種事件之后會(huì)有強(qiáng)烈的公眾反應(yīng)。技術(shù)就是力量,力量就是責(zé)任。正如諾姆喬姆斯基所說:「只有在民間故事、童話故事中,權(quán)力才被用來摧毀邪惡。但現(xiàn)實(shí)世界教給我們的是截然不同的教訓(xùn)。除非故意或者太無知,否則我們無法忽視這些教訓(xùn)?!?/li>
  • ***,從一個(gè)更積極的角度來看,亞馬遜自己的服務(wù)器處理器芯片的***發(fā)展意味著,我們可能會(huì)越來越接近云計(jì)算的普及,到那時(shí),云計(jì)算的成本不再是問題。

(2) 你預(yù)計(jì) 2019 年的主要趨勢(shì)會(huì)是什么?

數(shù)據(jù)科學(xué)家的角色和責(zé)任已不再限于建立實(shí)現(xiàn)準(zhǔn)確預(yù)測(cè)的模型。2019 年,ML、AI 和 DS 從業(yè)者的主要趨勢(shì)將是越來越多地關(guān)注既定的軟件開發(fā)實(shí)踐,特別是測(cè)試和維護(hù)。數(shù)據(jù)科學(xué)的終端產(chǎn)品將必須與公司其它技術(shù)堆棧共存。高效運(yùn)行和維護(hù)專有軟件的要求將適用于我們構(gòu)建的模型和解決方案。這意味著,***的軟件開發(fā)實(shí)踐將鞏固我們需要遵循的機(jī)器學(xué)習(xí)規(guī)則。

10. Rachel Thomas:fast.ai 聯(lián)合創(chuàng)始人,舊金山大學(xué)助理教授。

2018 年人工智能的兩個(gè)主要發(fā)展是:

  • 遷移學(xué)習(xí)在 NLP 的成功應(yīng)用
  • 越來越多的人開始關(guān)注人工智能的反烏托邦濫用(包括仇恨團(tuán)體和獨(dú)裁者的監(jiān)控和操縱)

遷移學(xué)習(xí)是指將預(yù)訓(xùn)練的模型應(yīng)用到新的數(shù)據(jù)集。遷移學(xué)習(xí)是計(jì)算機(jī)視覺迅猛發(fā)展的一個(gè)關(guān)鍵因素。2018 年,遷移學(xué)習(xí)在 NLP 中的成功應(yīng)用包括:fast.ai 的 ULMFiT、艾倫研究所的 ELMo、OpenAI transformer 和谷歌的 BERT。

有些一直存在的問題在 2018 年也終于開始受到主流媒體的關(guān)注,如 Facebook 在「Genocide in Myanmar」事件中的決定性作用,YouTube 不當(dāng)?shù)赝扑]陰謀論(其中許多宣揚(yáng)白人至上),以及政府和執(zhí)法機(jī)構(gòu)使用人工智能進(jìn)行監(jiān)控等。雖然 AI 的這些濫用很嚴(yán)重也很可怕,但越來越多的人開始意識(shí)到這個(gè)問題并進(jìn)行抵制。

我估計(jì)隨著 NLP 的快速進(jìn)步(正如 Sebastian Ruder 今年夏天說的,NLP 的 ImageNet 時(shí)刻已經(jīng)到來),以及技術(shù)方面的反烏托邦發(fā)展,這個(gè)趨勢(shì)將在 2019 年繼續(xù)。

11. Daniel Tunkelang:專門從事搜索、發(fā)現(xiàn)和 ML/AI 的獨(dú)立顧問。

2018 年,自然語言處理和理解的詞嵌入方面有兩大進(jìn)展。

  • 首先是 3 月份,來自艾倫人工智能研究所和華盛頓大學(xué)的研究人員發(fā)表論文《Deep contextualized word representations》,引入了 ELMo (Embeddings from Language Models),一個(gè)開源的深度語境化詞表征,該表征改進(jìn)了 word2vec 或 GloVe 這樣的無語境嵌入。作者證明,通過簡(jiǎn)單地用來自 ELMo 預(yù)訓(xùn)練模型的向量進(jìn)行替換就可以在現(xiàn)有 NLP 系統(tǒng)上實(shí)現(xiàn)改進(jìn)。
  • 其次是 11 月的時(shí)候,谷歌開源了 BERT (Bidirectional Encoder Representations from Transformers)。它是一個(gè)在 Wikipedia 上預(yù)訓(xùn)練得到的雙向無監(jiān)督語言表征。作者在論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中證明,他們?cè)诙喾N不同的 NLP 基準(zhǔn)上實(shí)現(xiàn)了很大的改進(jìn),甚至是與 ELMo 相關(guān)的基準(zhǔn)。

從智能語音助手的快速普及(2018 年底達(dá)到 1 億用戶)到移動(dòng)手機(jī)上無處不在的數(shù)字助手,自然語言理解方面的進(jìn)展正迅速?gòu)膶?shí)驗(yàn)室轉(zhuǎn)移到產(chǎn)品。對(duì) NLP 的實(shí)踐和研究來說,這些成果都令人激動(dòng)。

但我們還有很長(zhǎng)的路要走。

同樣是今年,艾倫人工智能研究所的研究人員發(fā)表了《Swag: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference》,這是一個(gè)需要常識(shí)理解的句子補(bǔ)充任務(wù)數(shù)據(jù)集。他們的實(shí)驗(yàn)表明,當(dāng)前***進(jìn)的 NLP 模型仍然遠(yuǎn)不如人類表現(xiàn)。

但我們可能將在 2019 年看到更多 NLP 方面的突破。因?yàn)楹芏喾浅?yōu)秀的計(jì)算機(jī)科學(xué)人才都在為之努力,而業(yè)界也已整裝待發(fā)。

原文鏈接:https://www.kdnuggets.com/2018/12/predictions-machine-learning-ai-2019.html

【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文,微信公眾號(hào)“大數(shù)據(jù)文摘( id: BigDataDigest)”】

     大數(shù)據(jù)文摘二維碼

戳這里,看該作者更多好文

責(zé)任編輯:趙寧寧 來源: 51CTO專欄
相關(guān)推薦

2022-04-25 16:40:32

元宇宙

2016-07-20 16:58:44

SDN軟件定義網(wǎng)絡(luò)

2019-01-07 12:50:52

AIAutoMLGAN

2019-02-25 10:25:29

深度學(xué)習(xí)編程人工智能

2019-12-17 09:05:47

深度學(xué)習(xí)編程人工智能

2018-04-08 07:52:30

2014-10-29 19:48:17

2017-10-18 22:18:09

2025-04-02 03:55:00

MCPAI智能體

2017-03-07 13:14:04

深度學(xué)習(xí)

2018-01-26 10:17:26

深度學(xué)習(xí)芯片AI

2023-12-05 13:24:00

AI數(shù)據(jù)

2015-05-15 15:30:00

CAP一致性可用性

2019-09-26 05:16:24

深度學(xué)習(xí)數(shù)據(jù)科學(xué)神經(jīng)網(wǎng)絡(luò)

2021-01-06 13:34:17

AIAI未來

2020-01-30 10:30:32

AI 數(shù)據(jù)人工智能

2019-11-19 09:58:16

機(jī)器學(xué)習(xí)人工智能框架

2019-01-30 11:37:14

深度學(xué)習(xí)工具人工智能
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)