谷歌17年老將，正式加入字節(jié)跳動。

據(jù)報(bào)道，吳永輝博士已確認(rèn)離職谷歌，加盟字節(jié)負(fù)責(zé)AI基礎(chǔ)研究領(lǐng)域的工作。

他將在字節(jié)擔(dān)任大模型團(tuán)隊(duì)Seed基礎(chǔ)研究負(fù)責(zé)人，專注于大模型基礎(chǔ)研究搜索、AI for Science科研工作，直接向CEO梁汝波匯報(bào)。

谷歌AI掃地僧，17年AI老將

2008年9月，吳永輝博士最初作為一名排序工程師加入谷歌，致力于改進(jìn)谷歌核心網(wǎng)頁搜索排名的算法。

自2015年1月起，他轉(zhuǎn)入了Google Brain團(tuán)隊(duì)，專注于深度學(xué)習(xí)及其應(yīng)用研究。他是谷歌神經(jīng)機(jī)器翻譯和RankBrain項(xiàng)目的核心貢獻(xiàn)者，推動了語音識別的技術(shù)發(fā)展。

直到2023年，他又晉升為谷歌DeepMind研究副總裁，Google Fellow級別。

要知道，Google Fellow是谷歌頂尖工程師才能享有的稱號，只有極少數(shù)的員工能夠獲得這個頭銜。

有網(wǎng)友為此，還做了非常詳細(xì)的解說，成為Google Fellow（10級）是一個終身榮譽(yù)。

值得一提的是，目前谷歌只有兩位Senior Fellow（11級，相當(dāng)于高級副總裁）：Sanjay Ghemawat和Jeff Dean。

以下是Google工程師的職級體系，從1級開始：

L1：IT支持人員

L2：應(yīng)屆大學(xué)畢業(yè)生

L3：擁有碩士學(xué)位

L4：需要幾年工作經(jīng)驗(yàn)或博士學(xué)位

L5：大多數(shù)工程師的職業(yè)發(fā)展止步于此

L6：頂尖10%的工程師，他們的能力往往能決定項(xiàng)目的成敗

L7：具有長期優(yōu)秀業(yè)績記錄的L6級工程師

L8：Principal Engineer（首席工程師），通常負(fù)責(zé)某個重要產(chǎn)品或基礎(chǔ)設(shè)施

L9：Distinguished Engineer（杰出工程師），令人敬仰的存在

L10：Google Fellow，這是終身榮譽(yù)，獲得者通常是該領(lǐng)域全球頂尖專家

L11：Google Senior Fellow，目前公司僅有的兩位11級工程師是Jeff Dean和Sanjay Ghemawat

吳永輝曾獲得了南京大學(xué)計(jì)算機(jī)學(xué)士學(xué)位，并于2008年獲得了加州大學(xué)河濱分校的數(shù)據(jù)科學(xué)碩士學(xué)位和計(jì)算機(jī)科學(xué)博士學(xué)位。

他的研究興趣包括信息檢索、排序?qū)W習(xí)、機(jī)器學(xué)習(xí)、機(jī)器翻譯、自然語言處理等領(lǐng)域。

Gemini背后核心貢獻(xiàn)者

作為谷歌大牛，吳永輝參與了Gemini模型的開發(fā)，在團(tuán)隊(duì)貢獻(xiàn)名單中，是Gemini應(yīng)用總技術(shù)負(fù)責(zé)人之一。

他也參與了Gemini 1.5的研發(fā)，將大模型上下文擴(kuò)展到100萬token。

論文地址：https://arxiv.org/pdf/2312.11805

他還是Palm 2大模型訓(xùn)練團(tuán)隊(duì)的核心貢獻(xiàn)者。

論文地址：https://arxiv.org/pdf/2305.10403

根據(jù)谷歌Scholar個人介紹，截至目前，吳永輝總被引數(shù)超5萬，h-index為72。

其中，被引數(shù)最高的文章便是2016年發(fā)表的——Google's Neural Machine Translation System。

論文地址：https://arxiv.org/pdf/1609.08144

這篇論文主要提出了神經(jīng)機(jī)器翻譯系統(tǒng)：GNMT，由一個深度LSTM網(wǎng)絡(luò)構(gòu)成，包含8層編碼器和8層解碼器，使用了注意力機(jī)制和殘差連接。

為了提高并行性并縮短訓(xùn)練時間，注意力機(jī)制將解碼器的底層連接到編碼器的頂層。

為了更好地處理稀有詞匯，作者還將詞匯分解為一組有限的常見子詞單元（wordpieces），同時用于輸入和輸出。這種方法在「字符」分隔模型的靈活性和「詞」分隔模型的高效性之間提供了良好的平衡，能夠自然處理稀有詞匯的翻譯，最終提高了系統(tǒng)的整體準(zhǔn)確性。

在WMT’14 英語-法語和英語-德語基準(zhǔn)測試中，通過對一組獨(dú)立簡單句子的人工對比評估，相比于谷歌基于短語的生產(chǎn)系統(tǒng)，GNMT將翻譯錯誤減少了60%。

其次，被引第二高是2020年發(fā)表的Conformer，一個語音識別模型，基于Transformer改進(jìn)而來。

主要改進(jìn)的點(diǎn)在于，提取長序列依賴的時候更有效，而卷積則擅長提取局部特征，因此將卷積應(yīng)用于Transformer的Encoder層，同時提升模型在長期序列和局部特征上的效果。

實(shí)際證明，該方法確實(shí)有效，在當(dāng)時的LibriSpeech測試集上取得了最好的效果。