本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

 谷歌研究科學(xué)家 David Ha：Transformer 是新的 LSTM。

2017 年 6 月谷歌發(fā)布論文《Attention is All You Need》時(shí)，我們或許都沒有意識(shí)到它提出的 Transformer 架構(gòu)將帶來多少驚喜。

在誕生至今不足四年的時(shí)間里，Transformer 不僅成為自然語言處理領(lǐng)域的主流模型（基于 Transformer 的預(yù)訓(xùn)練語言模型成為主流），還開始了向其他領(lǐng)域的跨界，近幾個(gè)月來出現(xiàn)了大量將 Transformer 應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的研究。

2020 年 10 月，谷歌提出了Vision Transformer (ViT)，可以直接利用 transformer 對圖像進(jìn)行分類，而不需要卷積網(wǎng)絡(luò)。ViT 模型取得了與當(dāng)前最優(yōu)卷積網(wǎng)絡(luò)相媲美的結(jié)果，但其訓(xùn)練所需的計(jì)算資源大大減少。

2020 年 12 月，復(fù)旦、牛津、騰訊等機(jī)構(gòu)的研究者提出了 SEgmentation TRansformer（SETR），將語義分割視為序列到序列的預(yù)測任務(wù)，該模型在 ADE20K 上排名第一，性能優(yōu)于 OCNet、GCNet 等網(wǎng)絡(luò)。

2021 年 1 月初，OpenAI 又連放大招，用 DALL·E 和 CLIP 打破了自然語言與視覺的次元壁。兩個(gè)模型都利用 Transformer 達(dá)到了很好的效果，前者可以基于本文直接生成圖像，后者則能完成圖像與文本類別的匹配。

由此，「Transformer 是萬能的嗎？」成為了近期機(jī)器學(xué)習(xí)社區(qū)的熱門話題。谷歌大腦研究員 David Ha 發(fā)推表示：Transformer 是新的 LSTM。

他否定了自己在 2017 年 5 月發(fā)表的言論：「LSTM 就像神經(jīng)網(wǎng)絡(luò)中的 AK47。不管我們多么努力地想用新事物取代它，都是白費(fèi)力氣。從現(xiàn)在起它還將應(yīng)用 50 年?！筁STM 由 Sepp Hochreiter 和 Jürgen Schmidhuber 于 1997 年聯(lián)合提出，當(dāng)時(shí)已誕生 20 年。

David Ha 不會(huì)想到，這句預(yù)言被一個(gè)月后出現(xiàn)的 Transformer 打破，而這僅用了 4 年時(shí)間。

著名機(jī)器學(xué)習(xí)資源網(wǎng)站 Papers with Code 在 1 月 20 日發(fā)布的 Newsletter 中列舉了近期應(yīng)用 Transformer 的十大新任務(wù)：

圖像合成

論文：Taming Transformers for High-Resolution Image Synthesis

鏈接：https://arxiv.org/pdf/2012.09841v1.pdf

多目標(biāo)追蹤

論文：TransTrack: Multiple-Object Tracking with Transformer

鏈接：https://arxiv.org/pdf/2012.15460v1.pdf

音樂生成

論文：Compound Word Transformer: Learning to Compose Full-Song Music over Dynamic Directed Hypergraphs

鏈接：https://arxiv.org/pdf/2101.02402v1.pdf

舞蹈生成

論文：Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning

鏈接：https://arxiv.org/pdf/2006.06119v5.pdf

3D 目標(biāo)檢測

論文：Self-Attention Based Context-Aware 3D Object Detection

鏈接：https://arxiv.org/pdf/2101.02672v1.pdf

點(diǎn)云處理

論文：PCT: Point Cloud Transformer

鏈接：https://arxiv.org/pdf/2012.09688v1.pdf

時(shí)序預(yù)測

論文：Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

鏈接：https://arxiv.org/pdf/1912.09363v3.pdf

視覺 - 語言建模

論文：VinVL: Making Visual Representations Matter in Vision-Language Models

鏈接：https://arxiv.org/pdf/2101.00529v1.pdf

車道形狀預(yù)測

論文：End-to-end Lane Shape Prediction with Transformers

鏈接：https://arxiv.org/pdf/2011.04233v2.pdf

端到端目標(biāo)檢測

論文：Deformable DETR: Deformable Transformers for End-to-End Object Detection

鏈接：https://arxiv.org/pdf/2010.04159v2.pdf

而除了 David Ha 以外，另一位研究者英偉達(dá)研究科學(xué)家、前 OpenAI 研究科學(xué)家 Ankur Handa 也表示「Transformers are all you need」：

... is All You Need?

Transformer 引領(lǐng)了不止一種潮流。

在其論文《Attention is All You Need》發(fā)表后，各種「** is All You Need」論文紛紛出現(xiàn)。就連 LSTM 提出者 Sepp Hochreiter 也寫過一篇《Hopfield Networks is All You Need》。有趣的是，這篇論文正是對 Transformer 核心注意力機(jī)制新穎性的駁斥：Transformer 中的注意力機(jī)制等價(jià)于 Hopfield 網(wǎng)絡(luò)中的更新規(guī)則。

Transformer 的強(qiáng)大主要?dú)w功于其中的注意力機(jī)制。注意力機(jī)制在 NLP 領(lǐng)域的應(yīng)用最早可以追溯到 2014 年 Bengio 團(tuán)隊(duì)將其引入神經(jīng)機(jī)器翻譯任務(wù)，但那時(shí)模型的核心架構(gòu)還是 RNN。相比之下，Transformer 完全拋棄了傳統(tǒng)的 CNN 和 RNN，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)完全由注意力機(jī)制組成，這種改變所帶來的效果提升也是顛覆性的。

然而，Sepp Hochreiter 等人在 2020 年 7 月發(fā)表的論文《Hopfield Networks is All You Need》中表示，Transformer 中的注意力機(jī)制其實(shí)等價(jià)于擴(kuò)展到連續(xù)狀態(tài)的 modern Hopfield 網(wǎng)絡(luò)中的更新規(guī)則。

Sepp 這篇論文發(fā)表時(shí)，Transformer 的跨界之旅已經(jīng)開始。2020 年 5 月，F(xiàn)acebook AI 推出了 首個(gè)將 Transformer 成功整合為檢測 pipeline 中心構(gòu)建塊的目標(biāo)檢測框架——Detection Transformer（DETR），用于目標(biāo)檢測和全景分割。6 月，OpenAI 將基于 Transformer 的模型GPT-2 應(yīng)用到圖像領(lǐng)域，用于圖像分類任務(wù)。

半年過去，越來越多的工作開始探索如何將 Transformer 應(yīng)用于計(jì)算機(jī)視覺等其他領(lǐng)域，最近更是出現(xiàn)了「Transformers are all you need」、「Transformers are the new LSTMs」的說法。

Transformer 是新的 LSTM 嗎？

1997 年，Sepp Hochreiter 與 Jürgen Schmidhuber 聯(lián)合發(fā)表了長短期記憶網(wǎng)絡(luò)（LSTM）論文，被認(rèn)為是機(jī)器學(xué)習(xí)發(fā)展史上的一座里程碑。

LSTM 是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。Sepp Hochreiter 在 1991 年分析了隨時(shí)間反向傳播（BPTT）帶來的梯度爆炸和梯度消失問題；1997 年，Sepp Hochreiter 與 Jürgen Schmidhuber 在 LSTM 論文中引入 CEC 單元解決 BPTT 帶來的梯度爆炸和消失問題。之后又有許多研究者對其進(jìn)行了改進(jìn)和普及。

LSTM 單元的基本結(jié)構(gòu)（圖源：https://en.wikipedia.org/wiki/Long_short-term_memory）

2020 年 2 月，LSTM 提出者 Jürgen Schmidhuber 撰文綜述了 LSTM 的十年發(fā)展史，介紹了它在機(jī)器翻譯、語音識(shí)別、機(jī)器人學(xué)、時(shí)序預(yù)測、聊天機(jī)器人等多個(gè)領(lǐng)域的應(yīng)用。

而 Transformer 誕生伊始就完全舍棄了 RNN，在 LSTM 占優(yōu)勢的 NLP 領(lǐng)域逐漸站穩(wěn)腳跟?，F(xiàn)在，許多研究又將它應(yīng)用于時(shí)序預(yù)測、音樂生成、圖像分類等跨界任務(wù)中。在 Papers with Code 最近發(fā)布的 Transformer 應(yīng)用十大新任務(wù)中，過去都有著 LSTM 的活躍身影。

Transformer 是新的 LSTM 嗎？從模型應(yīng)用領(lǐng)域的多樣性來看，這似乎已見雛形。

不知道如果現(xiàn)在發(fā)表「Transformer 無法被替代，還可以再用 50 年」的預(yù)言，多久之后會(huì)被打破。