應(yīng)該通過復(fù)制我們的生物學(xué)來模仿人類的智慧嗎?或者是我們的精神病學(xué)性與AI不相關(guān)的方式與鳥類生物學(xué)與航空航天工程無關(guān)緊要?

這是一個人在概念的概念以來一直在思考。我們希望建立智能系統(tǒng)，人類可以說是唯一真正聰明的物種?？粗覀兊撵`感不是邏輯嗎?但是，由于AI的構(gòu)建塊與生物基本件如此不同，我們不應(yīng)該忘記人類，并跟隨我們的研究導(dǎo)致我們的道路?

[[416058]]

沒有人知道ai將未來持有什么。我們所知道的是，現(xiàn)在深入學(xué)習(xí)越來越靠近人類的認(rèn)知。也許人類在智能方面不那么特別，但進(jìn)化給了我們一些獨(dú)特的功能，我們在創(chuàng)建AI系統(tǒng)時更好地考慮。我們在這種環(huán)境中發(fā)展了幾千年，慢慢地調(diào)整到不變的自然法則。為什么不通過模擬拋光機(jī)制來繞過這個過程?

在本文中，我將討論目前是AI研究的最前沿的五個例子。每個都基于人類認(rèn)知功能的某些方面，至少是松散的。這些概念在接下來的幾年里將是中心的，因此讓我們留意他們。

Transformer - 人類注意力機(jī)制

不久前，當(dāng)基于復(fù)發(fā)的架構(gòu)主導(dǎo)自然語言處理(NLP)時。如果您面臨NLP問題 - 翻譯，語音到文本，生成任務(wù) - 您要么使用了Gated Recurrent單元(GRU)或長短短期內(nèi)存(LSTM)。這兩個架構(gòu)旨在處理順序輸入數(shù)據(jù)。例如，系統(tǒng)可以采用英語句子并在西班牙語翻譯中處理每個連續(xù)的單詞。

這些模型的主要缺點(diǎn)之一是消失的梯度問題。因?yàn)樾畔⒈豁樞蛱幚?，所以?dāng)系統(tǒng)即將輸出第一個法語單詞時，僅僅記住了第一個英文單詞。為了解決這一缺陷，研究人員在2014年介紹了關(guān)注機(jī)制。通過模仿認(rèn)知的關(guān)注，神經(jīng)網(wǎng)絡(luò)可以稱重背景的影響。沒有更多的信息損失。

2017年，谷歌的AI團(tuán)隊(duì)發(fā)表了最新的注意力機(jī)制。他說：注意機(jī)制足夠強(qiáng)大，可以解決語言任務(wù)。我們不需要再次發(fā)生，我們不需要順序處理。他們發(fā)明了著名的Transformer架構(gòu)。Transformer影響了深入學(xué)習(xí)景觀的方式，2012年亨廷的團(tuán)隊(duì)贏得了Imageenet挑戰(zhàn)時的計(jì)算機(jī)視覺(CV)中的比賽。

Transformer通過并行處理句子的所有單詞(令牌)并學(xué)習(xí)它們之間的上下文關(guān)系。與LSTM相比，Transformer不會順序處理數(shù)據(jù)。訓(xùn)練時間要短得多。Transformer是現(xiàn)在任何NLP任務(wù)的轉(zhuǎn)移架構(gòu)。甚至CV科學(xué)家們已經(jīng)開始將Transformer應(yīng)用于圖像和視頻問題。甚至卷積都會幸存下來。

從2017到2021年，研究人員進(jìn)一步開發(fā)了Transformer，旨在解決各種缺點(diǎn)和提高性能。變換器-XL更大，允許系統(tǒng)在較大的上下文中學(xué)習(xí)依賴性。GPT-3 - 建于原始Transformer架構(gòu) - 無法查看其上下文窗口，這使其無法記憶。改革者解決了訓(xùn)練成本的禁止成本。它提高了效率并降低了訓(xùn)練時間，同時實(shí)現(xiàn)最先進(jìn)的性能。

Transformer近年來的一些最值得注意的應(yīng)用是多任務(wù)的AIS，如谷歌的BERT，Openai的GPT家族 - 其中GPT-3是無可爭議的明星 - 或吳道2.0，其擁有最大的神經(jīng)網(wǎng)絡(luò)的記錄。Transformer也是新一代Chatbots - Meena，Blenderbot 2.0或Lamda后面的核心算法。它甚至在生物學(xué)世界中踏上了腳。幾天前，Deepmind宣布他們發(fā)布了alphafold的代碼和數(shù)據(jù)庫2.一個可能有助于更深入地了解蛋白質(zhì)折疊的工作的模型。

自監(jiān)督的訓(xùn)練 - 人類學(xué)習(xí)

自2012年以來，監(jiān)督深度學(xué)習(xí)系統(tǒng)主導(dǎo)了AI景觀。這些系統(tǒng)從標(biāo)記的數(shù)據(jù)中學(xué)習(xí)以將新實(shí)例對學(xué)習(xí)的類進(jìn)行分類。我們將大量資源分類為分類培訓(xùn)例子，以促進(jìn)學(xué)習(xí)。然而，這些模式匹配的系統(tǒng)只學(xué)會了我們的任何東西。

強(qiáng)化學(xué)習(xí)更好地類似于我們學(xué)習(xí)的方式。這些系統(tǒng)生活在受限制的虛擬世界中，他們可以實(shí)現(xiàn)有限的行動來實(shí)現(xiàn)獎勵。深度研究人員幾個月前發(fā)表了一篇論文，爭論“獎勵足夠”以實(shí)現(xiàn)一般人工智能。然而，不是人們所做的一切都意味著在同一感覺中優(yōu)化獎勵加強(qiáng)AI。這更不用說我們世界的復(fù)雜性，每個瞬間提供的可能行動的數(shù)量，或者我們想要或需要的復(fù)雜性和細(xì)微差別。

由于上述原因，研究人員最近對無人監(jiān)督或自監(jiān)督的范式更興趣，因?yàn)閅ann Lecun喜歡稱之為IT - 學(xué)習(xí)。他認(rèn)為我們與這些系統(tǒng)類似地學(xué)習(xí)(至少與其他范例相比)。人類通過觀察和感知世界來學(xué)習(xí)很多。這就是自監(jiān)督的學(xué)習(xí)。

“[自監(jiān)督的學(xué)習(xí)]是在學(xué)習(xí)任務(wù)之前學(xué)習(xí)代表世界的想法。這是嬰兒和動物所做的。[…]一旦我們有良好的世界代表，學(xué)習(xí)任務(wù)需要很少的試驗(yàn)和少數(shù)樣本。“

• 監(jiān)督學(xué)習(xí)系統(tǒng)學(xué)會在不關(guān)心世界的情況下找到數(shù)據(jù)的模式。
• 加強(qiáng)學(xué)習(xí)系統(tǒng)學(xué)會在不關(guān)心世界的情況下優(yōu)化獎勵。
• 自我監(jiān)督的學(xué)習(xí)系統(tǒng)需要代表世界，以了解彼此的事情。

這些系統(tǒng)可以從這些輸入的可見部分學(xué)習(xí)輸入的隱藏部分。例如，如果你要向一個自我監(jiān)督的系統(tǒng)獻(xiàn)給半句，那么它可以預(yù)測遺漏的詞語。為此，他們需要更深入地了解事物之間的關(guān)系(這并不是說他們在我們所做的同樣的感覺中理解世界，這不是這種情況)。

需要大量標(biāo)記數(shù)據(jù)(監(jiān)督學(xué)習(xí))和不可數(shù)模擬(強(qiáng)化學(xué)習(xí))是一種障礙。自我監(jiān)督的學(xué)習(xí)旨在解決這兩個問題。這些系統(tǒng)沒有明確地告訴他們他們必須學(xué)習(xí)的東西。沒有課程。沒有任務(wù)。

自我監(jiān)督學(xué)習(xí)的一些重要成功與變壓器建筑有關(guān)。例如，BERT或GPT-3已證明在語言生成任務(wù)中非常成功。在許多NLP域中，自我監(jiān)督系統(tǒng)現(xiàn)在是最先進(jìn)的。這些系統(tǒng)的值得注意的缺點(diǎn)是它們無法處理連續(xù)輸入，例如圖像或音頻。

及時編程 - 人類溝通

幾十年前，低碼和無代碼計(jì)劃出現(xiàn)了對編碼世界中越來越大的技能差距的反應(yīng)。創(chuàng)建良好代碼和知道如何處理設(shè)計(jì)生產(chǎn)管道中不同點(diǎn)的任務(wù)的技術(shù)能力昂貴。隨著軟件產(chǎn)品更復(fù)雜，編程語言也是如此。沒有代碼旨在解決非技術(shù)商界人士的這種差距。這是一種方法，繞過編碼，以使任何人可訪問的結(jié)果。

了解如何代表代表可以說是在幾年前說英語的重要性。你要么知道，要么你錯過了很多。工作機(jī)會，書籍和文章，論文和其他技術(shù)工作……將來，智能房屋的百分比將增加。技術(shù)軟件技能可能是重要的，然后現(xiàn)在就像如何修復(fù)管道或破碎的光線一樣重要。

在無代碼計(jì)劃和AI的未來，我們有提示編程。GPT-3是使用提示的最佳已知的AI系統(tǒng)。Openai去年發(fā)布了API，人們很快就會認(rèn)識到提示的獨(dú)特性。這是不同的;既不與人類也不是正式意義上的編程。提示編程，因?yàn)檎{(diào)用它，可以理解為一種新的編程形式。它不那么膚淺，因?yàn)槲覀兣c系統(tǒng)溝通 - 我們在自然語言中編程它。它與C或Python中的編程相比并不高明。

GPT-3引起了研究人員和開發(fā)人員的注意，許多人有動力尋找缺點(diǎn)。有些人發(fā)現(xiàn)GPT-3失敗了它應(yīng)該成功的地方。然而，GWERN證明他們錯了。他認(rèn)為我們應(yīng)該接近GPT-3，好像我們用英語編程它。我們必須做對，而不是一切都去了。他重復(fù)測試調(diào)整提示并成功地教授GPT-3正確地完成任務(wù)。他說：

“[提示]是一種使用DL [深度學(xué)習(xí)]模型的一種相當(dāng)不同的方式，最好將其作為一種新的編程，在那里提示現(xiàn)在是一個”程序“，程序GPT-3做新的事物。”

GPT-3引發(fā)了通過用英語寫作編程系統(tǒng)的可能性。系統(tǒng)可以理解我們的意圖并以其在沒有不確定性的情況下解釋它們的方式將它們轉(zhuǎn)換為計(jì)算機(jī)。

一個月前，微軟 - 去年與Openai合作 - 和Github發(fā)布了Github Copilot。由名為Codex的GPT-3后代推動的系統(tǒng)被創(chuàng)建為一個強(qiáng)大的代碼自動完成。微軟在創(chuàng)建代碼中看到了GPT-3的潛力以及它如何理解英語并將其轉(zhuǎn)換為寫成良好的功能計(jì)劃。副本可以讀取描述用英語，解釋它的函數(shù)的評論，并記下函數(shù)。

GPT-3和GitHub Copilot結(jié)合了無代碼的承諾，并提示編程到一個新的時代，允許非技術(shù)人員訪問編碼世界。

提示編程的主要優(yōu)勢以及它的成功原因是我們的人類已經(jīng)發(fā)展到了自然語言中的溝通，而不是正式的語言。英語有一系列直觀地知道的規(guī)則。我們學(xué)會在理解我們使用的規(guī)則之前正確地說話。我們沒有發(fā)明規(guī)則，然后堅(jiān)持他們。我們發(fā)現(xiàn)我們已經(jīng)遵循的規(guī)則。

寫python或c是不同的。我們稱他們?yōu)檎Z言，但它們以重要的方式與英語不同。計(jì)算機(jī)需要明確的，未解釋的命令來了解該做什么。編程語言具有嚴(yán)格的語法規(guī)則，無法損壞或程序無法運(yùn)行。這沒有捷徑。如果您想與計(jì)算機(jī)通信，則無需提示編程，您必須學(xué)習(xí)其語言。即使是Python等高級語言也需要大多數(shù)人沒有的高度技術(shù)專長。

提示編程是編碼的未來：我們將能夠在自然語言中編程大多數(shù)事情。將有中間系統(tǒng)解決我們不精確，細(xì)微統(tǒng)計(jì)和背景上的思想之間的翻譯，并且正式指示計(jì)算機(jī)需要工作。

多模 - 人類感知

直到最近，深入學(xué)習(xí)系統(tǒng)旨在解決單峰問題。如果您希望在機(jī)器翻譯中實(shí)現(xiàn)最先進(jìn)的性能，則使用英語 - 西班牙語對文本數(shù)據(jù)培訓(xùn)您的系統(tǒng)。如果您想擊敗ImageNet挑戰(zhàn)，您的系統(tǒng)必須是對象識別的最佳狀態(tài)，而不是別的。NLP系統(tǒng)和CV系統(tǒng)截然不同，難以解鎖。

現(xiàn)在，從神經(jīng)科學(xué)中獲取靈感在尋求模擬我們的感知機(jī)制，研究人員專注于創(chuàng)建從不同類型數(shù)據(jù)學(xué)習(xí)的AI系統(tǒng)。而不是將系統(tǒng)除以他們的專業(yè)領(lǐng)域，為什么不使他們組合來自視覺和語言來源的數(shù)據(jù)?文本有信息。有圖像的信息。但兩者都有信息。這種多式聯(lián)運(yùn)系統(tǒng)的新趨勢是谷歌和貝達(dá)分別與媽媽和吳道2.0分別做過的。這是試圖使人工系統(tǒng)類似于人腦的一步。

我們在多模式世界中發(fā)展。我們周圍的事件和對象產(chǎn)生了不同類型的信息：電磁，機(jī)械，化學(xué)……例如，蘋果有顏色，形式，質(zhì)地，味道，味道……這就是為什么我們的大腦是多用戶的。我們有一系列感知系統(tǒng)，捕獲了世界多模式的一部分(其他生命形式有不同的感知系統(tǒng)，讓他們感知到我們生物學(xué)上不知道的模式)。更有趣的是，大腦在一個現(xiàn)實(shí)的一個代表中將信息與感知渠道集成在一起。

這就是我們可以從這種功能中找到Umbuing AI的實(shí)用程序的地方。如果給模型的一對文本圖像允許它更準(zhǔn)確地表示世界，它可能更精確到其預(yù)測或動作并更好地適應(yīng)環(huán)境。這是今天對情報(bào)的定義：“通過使用遺傳能力和學(xué)到知識來理解和適應(yīng)環(huán)境的能力。”

具有人為相當(dāng)于眼睛，耳朵和手和GPT-3的機(jī)器人，因?yàn)榇竽X的大腦比任何當(dāng)前的AI更強(qiáng)大。大腦是所有處理發(fā)生的地方，而是處理已處理的數(shù)據(jù)。未來的AI系統(tǒng)將有傳感器，控制器和執(zhí)行器，以信息處理快速，準(zhǔn)確，豐富的方式相互連接。

重點(diǎn)仍然是以軟件為中心的虛擬系統(tǒng)，但某些研究組已經(jīng)完成了文本和圖像數(shù)據(jù)的成功集成。這些網(wǎng)絡(luò)如何結(jié)合兩種類型的信息仍然是一個謎(也不完全理解人類)，但現(xiàn)在的嘗試已經(jīng)成功了。Dall·E，Clip，Mum，UC²和Wu Dao 2.0都是居住的證據(jù)。

多任務(wù)和任務(wù)轉(zhuǎn)移 - 人類多功能性

監(jiān)督和加強(qiáng)AI系統(tǒng)是壞的多時期。甚至是alphazero等系統(tǒng)，它旨在學(xué)習(xí)不同的任務(wù)，必須為每個任務(wù)而釋放和relearn。然而，自我監(jiān)督的系統(tǒng)本質(zhì)上是更好的。原因是他們采用任務(wù)無關(guān)方式培訓(xùn)。由于這些系統(tǒng)未明確告知要從輸入數(shù)據(jù)中學(xué)到的內(nèi)容，因此可以應(yīng)用于不同的任務(wù)，而無需更改參數(shù)。這是GPT-3的情況。

GPT-3最有效的特征之一是其能夠處理具有相同重量級的不同任務(wù)。系統(tǒng)在內(nèi)部沒有改變以進(jìn)行機(jī)器翻譯，問題應(yīng)答或產(chǎn)生創(chuàng)造性小說。該系統(tǒng)從大多數(shù)互聯(lián)網(wǎng)文本數(shù)據(jù)中以無人監(jiān)督的方式培訓(xùn)。但它不知道它是如何使用它所學(xué)到的東西。在提示編程的幫助下，用戶可能會使GPT-3條件解決給定任務(wù)。對于記錄，GPT-3在未經(jīng)培訓(xùn)的若干任務(wù)中實(shí)現(xiàn)了最先進(jìn)的。這是多任務(wù)處理和任務(wù)傳輸?shù)牧α俊?/p>

多任務(wù)系統(tǒng)可以將相同的輸入應(yīng)用于不同的任務(wù)。例如，如果我向系統(tǒng)喂掉“貓”這個詞，我可以要求它找到西班牙語翻譯’gato’，我可以要求它向我展示一只貓的形象，或者我可以要求它寫一篇文章關(guān)于為什么貓?zhí)婀至?。相同輸入的不同任?wù)。

這個想法經(jīng)常與少量學(xué)習(xí)相結(jié)合。監(jiān)督深度學(xué)習(xí)系統(tǒng)培訓(xùn)并在預(yù)先選擇的類集中進(jìn)行培訓(xùn)。如果CV系統(tǒng)學(xué)會了對汽車，飛機(jī)和船舶圖像進(jìn)行分類，則在這三個類上測試時它只會良好。在幾次(或零拍/單次)學(xué)習(xí)設(shè)置中，系統(tǒng)被測試針對新類 - 沒有體重更新。

一個例子是在測試時間向系統(tǒng)展示自行車的三張圖像，然后要求它通常對汽車，飛機(jī)，船舶和自行車圖像進(jìn)行分類。這幾乎沒有鏡頭，因?yàn)槲覀円呀?jīng)在測試時間3例3示出了自行車是什么。學(xué)習(xí)了如何學(xué)習(xí)(例如GPT-3)的系統(tǒng)應(yīng)該能夠在這些極端情況下表現(xiàn)良好。GPT-3證明它是可能的。它的表現(xiàn)與監(jiān)督系統(tǒng)沒有任何意義。

如果我們組合多任務(wù)和幾次拍攝設(shè)置，我們可以構(gòu)建一個能夠解決尚未培訓(xùn)的任務(wù)的系統(tǒng)。在這種情況下，我們不會在測試時間顯示系統(tǒng)新類，我們要求它執(zhí)行新任務(wù)。在幾次拍攝設(shè)置的情況下，我們將顯示有關(guān)任務(wù)完成的一些示例。而且，如果沒有內(nèi)部學(xué)習(xí)任何新的，系統(tǒng)現(xiàn)在將被調(diào)節(jié)以解決新任務(wù)。

例如，讓我們拍攝一個系統(tǒng)訓(xùn)練的系統(tǒng)。在一次性任務(wù)傳輸設(shè)置中，我們可以寫：“我愛你 - > te quiero。我討厭你 - > ____。“我們隱含地要求系統(tǒng)將一個句子從英語翻譯成西班牙語(通過顯示它尚未訓(xùn)練的任務(wù))，通過顯示一個例子(單次設(shè)置)。

如果我們考慮一下，我們?nèi)祟惪梢赃@樣做。我們是學(xué)習(xí)者。我們不僅僅是學(xué)會做任務(wù)，但我們知道如何學(xué)會做新的任務(wù)。如果我看到有人掃地房間，我知道如何立即完成。我明白，掃帚的運(yùn)動必須定向一致地清潔地板，我試圖協(xié)調(diào)手腳，使過渡平滑。當(dāng)有人訓(xùn)練我們時，我們不僅要了解。我們通過觀察來學(xué)習(xí)。這就是幾次任務(wù)轉(zhuǎn)移的是什么。和AI系統(tǒng)開始變得更好。

原文鏈接：https://towardsdatascience.com/5-must-know-ai-concepts-in-2021-75d8c1ff938