時隔五年，Transformer 的八位作者僅有一位還留在谷歌。

如果你在一家大廠做出了一份行業(yè)里程碑式的研究，那么接下來的職場生涯你會怎么走?繼續(xù)留在這家大廠?換一家待遇更好的大廠?還是創(chuàng)業(yè)或加入有前景的創(chuàng)業(yè)公司?

Transformer(出自論文《Attention Is All You Need》)幾位作者的選擇或許有一定的代表性：其中六人選擇創(chuàng)業(yè)或加入創(chuàng)業(yè)公司，只有一人選擇繼續(xù)留在谷歌，還有一位去了 OpenAI。

這篇重要論文發(fā)表于 2017 年，如今引用量已經(jīng)突破 41000。論文注釋中寫道，幾位作者對這份研究做出了不同但同等重要的貢獻(排名隨機)。具體來說，他們的分工可以概括為：

• Jakob 提出用自注意力替代 RNN，并開始努力嘗試這一想法;
• Ashish 和 Illia 一起設計并實現(xiàn)了第一批 Transformer 模型，并重度參與了 Transformer 架構的各方面工作;
• Noam 提出了縮放點積注意力、多頭注意力和無參數(shù)位置表示，并成為幾乎每一個細節(jié)的參與者;
• Niki 在原始代碼庫和 tensor2tensor 中設計、實現(xiàn)、調優(yōu)和評估了無數(shù)的模型變量;
• Llion 還嘗試了新的模型變體，負責初始代碼庫以及高效的推理和可視化;
• Lukasz 和 Aidan 花了無數(shù)天的時間來設計和實現(xiàn) tensor2tensor 的各個部分，替換了早期的代碼庫，極大地改善了結果、加速了研究進度。

可以說，每位作者都有自己擅長的工作，對于行業(yè)也都有自己的預判。論文發(fā)表五年之后，他們都在做什么呢?以下是我們能夠查到的信息。

Ashish Vaswani、 Niki Parmar：投身通用智能

2022 年 4 月 26 日，一家名為「Adept」的公司官宣成立，共同創(chuàng)始人有 9 位，其中就包括 Ashish Vaswani 和 Niki Parmar。

Ashish Vaswani 在南加州大學拿到博士學位，師從華人學者蔣偉(David Chiang)和黃亮(Liang Huang)，主要研究現(xiàn)代深度學習在語言建模中的早期應用。2016 年，他加入了谷歌大腦并領導了 Transformer 的研究。

Niki Parmar 碩士畢業(yè)于南加州大學，2016 年加入谷歌。工作期間，她為谷歌搜索和廣告研發(fā)了一些成功的問答和文本相似度模型。她領導了擴展 Transformer 模型的早期工作，將其擴展到了圖像生成、計算機視覺等領域。

Ashish Vaswani、Niki Parmar 等人共同創(chuàng)立的 Adept 是一家致力于用 AI 來增強人類能力并最終實現(xiàn)通用智能的公司。在闡述公司創(chuàng)立初衷時，創(chuàng)始人寫道，「在谷歌，我們訓練出了越來越大的 Transformer，夢想著有朝一日構建一個通用模型來支持所有 ML 用例。但是，這其中有一個明顯的局限：用文本訓練出的模型可以寫出很棒的文章，但它們無法在數(shù)字世界中采取行動。你不能要求 GPT-3 給你訂機票，給供應商開支票，或者進行科學實驗?！?/p>

因此，他們打算創(chuàng)建一個通用系統(tǒng)，幫助人們在電腦前完成工作，「你可以把它想象成你電腦里的一個 overlay，它和你一起工作，使用和你一樣的工具。使用 Adept，你能專注于你真正喜歡的工作，并要求模型承擔其他任務。例如，你可以要求模型生成月度合規(guī)報告，所有這些都使用現(xiàn)有的軟件，如 Airtable、Photoshop、ATS、Tableau、Twilio。」

Noam Shazeer：神秘創(chuàng)業(yè)者

Noam Shazeer 是谷歌最重要的早期員工之一。他在 2000 年底加入谷歌，直到 2021 年最終離職。

曾經(jīng)，Noam Shazeer 和同事 Georges Harik 花了數(shù)年時間分析網(wǎng)頁上的數(shù)據(jù)，理解詞組及其協(xié)同工作原理。他們收集的數(shù)據(jù)最終被谷歌用于其 AdSense 產(chǎn)品，該產(chǎn)品會分析網(wǎng)頁的文字內容并在上面貼廣告。

2021 年，Noam Shazeer 成為了一家隱形初創(chuàng)企業(yè)的 CEO，名字叫做「CharacterAI」，關于這家公司的組織架構和業(yè)務模式，外界不甚了解。

Jakob Uszkoreit：發(fā)明「Transformer」名字的人，轉向分子設計

2021 年，Jakob Uszkoreit 和 Rhiju Das 共同創(chuàng)立了 Inceptive，致力于通過高度可擴展的實驗和深度學習的奇異結合來實現(xiàn)下一代 RNA 分子的設計。

在谷歌工作期間，Jakob Uszkoreit 參與了組建谷歌助理的語言理解團隊，早期還曾從事過谷歌翻譯的工作。

在當時《Attention Is All You Need》這項研究中，Vaswani 曾表示：「注意力網(wǎng)絡聽起來并不吸引人。」

最后，Jakob Uszkoreit 想出了「Transformer」這個名字：「我認為我們正在 transform 某些東西，當然，這只是在玩梗。」

Llion Jones：在谷歌開啟下一個十年?

Llion Jones 是目前 Transformer 作者團隊唯一還留在谷歌工作的人。

他在英國圭內斯郡南部的 Abergynolwyn 長大，來到谷歌山景城園區(qū)之后，他曾感慨：「現(xiàn)在我工作地方的人數(shù)，幾乎是我長大的村莊里的 100 倍?！?/p>

Llion Jones 現(xiàn)年 36 歲，曾在 Abergynolwyn 生活多年，完成在 Coleg Meirion-Dwyfor 的學業(yè)之后，他在伯明翰大學獲得了計算機科學碩士學位。

但在畢業(yè)后的一段時間內，Llion Jones 沒找到合適的工作。他曾經(jīng)將簡歷投遞給谷歌在倫敦的辦公室，且經(jīng)過了兩輪電話面試。由于檔期問題，Llion Jones 在收到谷歌的最終 offer 之前，已經(jīng)入職了另外一家公司。

不過，18 個月之后，另一位谷歌招聘人員聯(lián)系了他，Llion Jones 成為了一名谷歌人。從 2012 年開始，Llion Jones 一直在谷歌工作。這一任職時長差不多超過了谷歌九成員工。

Aidan N. Gomez：創(chuàng)立 NLP 平臺，一年融資 1.7 億美元

2021 年 5 月，Aidan N. Gomez 官宣成立新公司——自然語言處理平臺 Cohere，基于自己訓練的大型 NLP 模型為外界提供 API 服務。

Aidan Gomez 本科就讀于多倫多大學，是牛津大學 Yarin Gal 和 Yee Whye Teh 的博士生，曾在谷歌大腦團隊的 Geoffrey Hinton 和 Lukasz Kaiser 組內工作。

這家公司的投資陣容頗為豪華：早期投資者包括圖靈獎得主 Geoffrey Hinton、GAN 之父 Ian Goodfellow、Uber 首席科學家 Raquel Urtasun、英偉達多倫多研究實驗室主任 Sanja Fidler 以及斯坦福大學教授李飛飛等。

GPT-3 等模型的問世讓人們看到了大規(guī)模預訓練語言模型的潛力，也在國內外掀起了一場創(chuàng)業(yè)熱潮。Cohere 團隊的創(chuàng)始成員也都是預訓練模型領域的資深研究者。但他們注意到，由于技術門檻過高，大多數(shù)人(包括普通開發(fā)人員)根本無法使用這項技術，因此他們致力于改變這一現(xiàn)狀。

Aidan Gomez 曾表示，為了達成這一使命，他們訓練了一個數(shù)十億(未來可能數(shù)千億)參數(shù)的語言模型。利用該模型的 API，我們可以完成文本補全、從文本中提取有語義意義的向量、測量段落語義相似性等任務。用戶只需要在自己的系統(tǒng)中載入三行代碼就可以調用該模型的能力?！笩o論你是前端還是后端的開發(fā)人員，無論你是做 web 還是移動，任何人都可以將 NLP 構建到應用程序中?！笰idan Gomez 在采訪中說到。

如今，雖然僅創(chuàng)立一年，這家公司已經(jīng)拿到了 1.7 億美元的融資。

Lukasz Kaiser：跳槽 OpenAI

2021 年 6 月，Lukasz Kaiser 從谷歌跳槽到了 OpenAI。

在 2013 年加入谷歌之前，Lukasz Kaiser 是巴黎狄德羅大學的終身研究員，從事邏輯和自動機理論研究。他于 2008 年在亞琛工業(yè)大學獲得博士學位，在波蘭弗羅茨瓦夫大學獲得碩士學位。

Lukasz Kaiser 的研究領域包括深度學習和自然語言處理，在谷歌擔任研究科學家期間，他參與了機器翻譯、解析及其他算法和生成任務的 SOTA 神經(jīng)模型設計，是 TensorFlow 系統(tǒng)、Tensor2Tensor 庫的共同作者。

他的研究工作還包括使用可滿足性求解器和其他符號方法來構建游戲系統(tǒng)和解決程序合成問題，證明關于描述復雜性、博弈論和解決長期未解決問題的自動機的定理。

Illia Polosukhin：華麗變身區(qū)塊鏈創(chuàng)業(yè)大佬

Illia Polosukhin 現(xiàn)在是 NEAR.AI 的聯(lián)合創(chuàng)始人及 CTO。

Illia Polosukhin 來自烏克蘭，在哈爾科夫國立技術大學獲得了應用數(shù)學和計算機科學碩士學位。移居加利福尼亞之后，他參與了各種機器學習項目，并加入了谷歌研究院，僅用一年就成為了工程主管。

三年后，他決定和 Alexander Skidanov 共同創(chuàng)辦 NEAR.AI：「我們堅信『程序合成』這一從人類規(guī)范出發(fā)研究自動化編程的領域將改變軟件開發(fā)和整個世界。」

但隨著創(chuàng)業(yè)過程的深入，他們意識到，即使專注于簡單的問題，任務描述也很復雜。描述中使用的概念和語言種類繁多，模型無法捕捉，一些問題也需要邏輯推理步驟和外部數(shù)學知識。他們發(fā)現(xiàn)，之前的研究結果在實踐中尚不可用(最佳模型的準確率約為 12%)，機器學習特別是自然語言理解的轉折點，似乎還沒有出現(xiàn)。

后來，NEAR.ai 這家公司開始轉向區(qū)塊鏈。Illia 在一篇有關公司轉型的博客中寫道：

• 考慮到我們在程序合成方面所做的工作，顧問建議我們把研究方向改成為以太坊生成智能合約。目前，普通工程師很難編制可證明的合同，程序合成可以有效解決這個問題;
• 在與想要開發(fā)應用程序的人談過之后，我們逐漸了解到，他們對于「使用區(qū)塊鏈構建應用程序，以提供金錢激勵和更好的隱私和安全」非常關注。

自此，公司正式改名為 NEAR Protocol。他們組建了一支優(yōu)秀的人才隊伍，包括 3 名 ICPC 金牌得主、3 名 MemSQL 工程師、4 名前谷歌員工，并正在邀請 Web3 領域的專家加入公司。

目前，NEAR Protocol 已經(jīng)成為一家區(qū)塊鏈分布式協(xié)議提供商，基于一種名為 Nightshade 的分片方法和共識機制，致力于開發(fā)區(qū)塊鏈底層架構與 DApp 開發(fā)平臺，并為開發(fā)人員提供事務、智能合約帳戶和 gas 費用回扣等協(xié)議級別工具。前段時間，該公司宣布完成 3.5 億美元的最新一輪融資。