2020年是不同的一年，整個(gè)社區(qū)面臨著眾多挑戰(zhàn)。但是，盡管在2020年遇到了這些挑戰(zhàn)，但AI仍在飛速發(fā)展。盡管OpenAI發(fā)行的GPT-3模型可能是今年最著名的突破，但今年還有許多其他值得注意的研究完成。

[[373255]]

語(yǔ)言模型很少有人學(xué)習(xí)(GPT-3)：

GPT-3取消了幾個(gè)最先進(jìn)的模型以在許多NLP基準(zhǔn)測(cè)試中奪魁之后，超出了所有人的期望。龐大的1750億參數(shù)模型在龐大的語(yǔ)料庫(kù)上進(jìn)行了訓(xùn)練，以生成與任務(wù)無關(guān)的解決方案，以解決許多問題。在單發(fā)學(xué)習(xí)，單發(fā)學(xué)習(xí)和零發(fā)學(xué)習(xí)下進(jìn)行的評(píng)估表明，GPT-3取得了令人鼓舞的結(jié)果，通常甚至比微調(diào)模型更好。GPT-3的架構(gòu)與GPT-2幾乎相同，在稀疏變壓器中，在變壓器層中增加了交替的密集和局部帶狀的稀疏注意模式。

EfficientDet：可擴(kuò)展且高效的對(duì)象檢測(cè)

Google Research團(tuán)隊(duì)今年推出了EfficientDet模型，其速度比以前的物體檢測(cè)器快3至8倍。同時(shí)在模型中減少參數(shù)的情況下也可以實(shí)現(xiàn)!該模型引入了加權(quán)雙向特征金字塔網(wǎng)絡(luò)和一種新的復(fù)合縮放方法。該模型的研究論文被認(rèn)為是最近引入的最高等級(jí)的論文之一，人們對(duì)該模型的興趣很高。本文的代碼實(shí)現(xiàn)。

EfficientDet可能會(huì)用于現(xiàn)實(shí)世界的應(yīng)用程序，包括機(jī)器人技術(shù)和自動(dòng)駕駛汽車，并且探測(cè)器的準(zhǔn)確性和效率很高。

AdaBelief優(yōu)化程序：根據(jù)觀察梯度中的信念調(diào)整步長(zhǎng)

[[373256]]

亞當(dāng)(Adam)和隨機(jī)梯度下降(Stochastic Gradient Descent)是深度學(xué)習(xí)社區(qū)中最常用的優(yōu)化器，但通常很難在兩者之間進(jìn)行選擇。AdaBelief優(yōu)化器將二者的優(yōu)勢(shì)結(jié)合在一起成為一個(gè)優(yōu)化器!Adam優(yōu)化器的收斂速度和SGD的泛化功能都可以。AdaBelief的直覺是根據(jù)可以依賴當(dāng)前方向上的梯度的多少來調(diào)整步長(zhǎng)。如果預(yù)期坡度與預(yù)測(cè)坡度有很大差異，則我們對(duì)坡度的信任度就會(huì)降低，并采取較小的步驟。如果觀測(cè)到的坡度與預(yù)測(cè)相符，則置信度更高，并且將采取較大的步驟。

圖像值16×16字：用于大規(guī)模圖像識(shí)別的變壓器

[[373257]]

NLP變壓器是該領(lǐng)域的一項(xiàng)創(chuàng)新性突破，大多數(shù)最新的NLP模型都采用了從變壓器導(dǎo)出的方法。作者將與原始變壓器類似的模型應(yīng)用于本文中的圖像，以完成圖像分類任務(wù)。他們使用了所謂的視覺變壓器，它是在大型數(shù)據(jù)集上經(jīng)過預(yù)訓(xùn)練的變壓器，并針對(duì)諸如NLP變壓器的下游任務(wù)進(jìn)行了微調(diào)。訓(xùn)練此模型所需的計(jì)算量大大減少，該模型可以匹配或優(yōu)于基于ResNet的基線架構(gòu)。這篇論文在AI世界中非常流行。

走向類似人的開放域聊天機(jī)器人

Google Research推出了一個(gè)名為Meena的聊天機(jī)器人，該聊天機(jī)器人幾乎可以進(jìn)行任何聊天。這是一個(gè)生成對(duì)話的26億參數(shù)模型，訓(xùn)練了400億個(gè)單詞的語(yǔ)料庫(kù)。該模型建立在進(jìn)化的變壓器上，在多匝對(duì)話中進(jìn)行訓(xùn)練，其中輸入序列包括上下文的所有匝，而輸出序列是響應(yīng)。

還引入了一種新的人類評(píng)估指標(biāo)，稱為敏感度和敏感度平均值(SSA)，它可以測(cè)量聊天機(jī)器人在回答時(shí)具有特定性和意義的能力。

我們僅涵蓋了AI 2020中完成的一些新模型和研究。我們還看到了2020年現(xiàn)有AI技術(shù)的應(yīng)用呈指數(shù)增長(zhǎng)，特別是在主流世界中深度學(xué)習(xí)的采用。

原文鏈接：

https://medium.com/dataseries/biggest-innovations-in-artificial-intelligence-in-2020-e2cc6b805464