開源的Llama 2背后,有這些年輕華人的力量
近日,Llama 2 的開源讓 Yann LeCun 以及更多業(yè)內(nèi)人士直呼「大模型格局發(fā)生了巨變」。
除開源之外,Meta 還宣布 Llama 2 免費可商用!Llama 2 提供了 70 億、130 億和 700 億參數(shù)版本,訓(xùn)練數(shù)據(jù)比 Llama 1 多了 40%,達到了 2 萬億 token。精調(diào) Chat 模型在 100 萬人類標(biāo)記數(shù)據(jù)上訓(xùn)練。
從結(jié)果來看,Llama 2 在包括推理、編碼、精通性和知識測試等許多外部基準(zhǔn)測試中都優(yōu)于其他開源語言模型,甚至可以在某些數(shù)據(jù)集上接近 GPT-3.5,還能持平和超越谷歌的 PaLM (540B) 。
在感嘆 Meta 致力于開源努力的同時,人們將目光投向了 Llama 2 的開發(fā)團隊??梢钥吹?,LLaMA 的一些核心作者如 Gautier Izacard、Armand Joulin、Edouard Grave、Guillaume Lample、Timothee Lacroix 等,在 Llama 2 的開發(fā)中已經(jīng)不見了蹤影。
圖片
Llama 2 技術(shù)報告:https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
除了核心作者的變化,Llama 2 將近 70 位作者中出現(xiàn)了 10 多位華人學(xué)者的身影。
機器之心整理了以下參與 Llama 2 研發(fā)的華人學(xué)者。如有錯誤和遺漏,還請在評論區(qū)指正。
Moya Chen
Moya Chen 是 Meta 大語言模型(LLM)研究工程師,于 7 月暫時離職。自 2015 年入職以來,她從事的工作包括平臺 / 商業(yè)信譽、計算攝像(CV、AR)、WorldXR(CV、AR 和 XR)、FAIR Labs(聊天機器人)和 FAIR/GenAI(LLM)。
她本科畢業(yè)于加州理工學(xué)院(Caltech)計算機科學(xué)專業(yè)。
Jeremy Fu
Jeremy Fu 現(xiàn)為 FAIR 研究工程師,主要方向為大語言模型。他此前曾在 Instagram 機器學(xué)習(xí)部門從事內(nèi)容理解和用戶建模工作。自 2021 年 1 月開始在 Meta 全職工作。
他本科畢業(yè)于悉尼新南威爾士大學(xué)計算機科學(xué)與商業(yè)專業(yè)。
Wenyin Fu
Wenyin Fu 現(xiàn)為 Meta 數(shù)據(jù)中心 ML 性能工程師,主要從事大規(guī)模地設(shè)計與優(yōu)化 ML 平臺解決方案部署,并評估數(shù)據(jù)中心硬件解決方案以獲得最佳容量 ROI。他于 2019 年 5 月入職 Meta,此前曾任職于英偉達、AMD 和英特爾。
他本科畢業(yè)于上海交通大學(xué)的電子電氣工程專業(yè),博士畢業(yè)于威斯康星大學(xué)麥迪遜分校電氣與計算機工程專業(yè)。
Cynthia Gao
Cynthia Gao 現(xiàn)為 Meta 產(chǎn)品數(shù)據(jù)運營部門項目經(jīng)理,主要從事針對機器翻譯和生成式 AI 大模型的人工數(shù)據(jù)標(biāo)注和收集項目。此前曾在 FAIR 等多個部門工作。
她曾先后就讀于北京師范大學(xué)、加州大學(xué)戴維斯分校(文學(xué)學(xué)士、心理學(xué)與中國語言文化)和蒙特雷國際研究院(文學(xué)碩士、翻譯與本地化管理)。
Rui Hou
Rui Hou 現(xiàn)為 Meta GenAI 研究科學(xué)家,主要研究生成式 AI 技術(shù)以及相關(guān)的生產(chǎn)應(yīng)用。他于 2020 年 4 月入職 Meta,此前曾在豐田研究院等機構(gòu)實習(xí)。
他本科畢業(yè)于同濟大學(xué),碩士(智能系統(tǒng)和計算機科學(xué)雙學(xué)位)和博士(智能系統(tǒng))均畢業(yè)于密歇根大學(xué)。
谷歌學(xué)術(shù):https://scholar.google.com/citations?user=PKHKqX0AAAAJ&hl=en
Yinghai Lu
Yinghai Lu 現(xiàn)為 Meta 首席軟件工程師,Meta infra 組的 AI 推理技術(shù)負責(zé)人,目前從事生成式 AI 推理部署。他于 2016 年入職 Meta,曾領(lǐng)導(dǎo)過 Ads 和 Reels 推薦模型的 GPU 推理部署。
他本科畢業(yè)于同濟大學(xué)電氣工程專業(yè),博士畢業(yè)于復(fù)旦大學(xué)電氣工程專業(yè)。
谷歌學(xué)術(shù):https://scholar.google.com/citations?user=prBXsm8AAAAJ&hl=zh-CN
Yuning Mao
Yuning Mao 現(xiàn)為 Meta GenAI 研究科學(xué)家,本科畢業(yè)于上海交通大學(xué) IEEE 榮譽班,博士畢業(yè)于伊利諾伊大學(xué)厄巴納 - 香檳分校計算機科學(xué)專業(yè),導(dǎo)師為 Jiawei Han 教授。
他的研究目標(biāo)是幫助人們更有效和高效地獲取信息和知識。為了實現(xiàn)這一目標(biāo),他一直從事文本摘要和生成、問答、參數(shù)高效微調(diào)和分類法構(gòu)建等廣泛研究課題。最近,他正參與 Meta LLaMA 模型系列的開發(fā),尤其是大模型的安全性方面。
個人主頁:https://morningmoni.github.io/
Yixin Nie
圖片
Yixin Nie 現(xiàn)為 Meta AI 研究科學(xué)家。他本科畢業(yè)于中國地質(zhì)大學(xué),碩士畢業(yè)于芝加哥大學(xué),博士畢業(yè)于北卡羅來納大學(xué)教堂山分校計算機科學(xué)系。
他的工作重點在于機器學(xué)習(xí)和自然語言處理,其研究興趣來源于對機器自然語言習(xí)得的想法。
個人主頁:https://easonnie.github.io/
Xiaoqing Ellen Tan
Xiaoqing Ellen Tan 現(xiàn)為 Meta AI 的數(shù)據(jù)科學(xué)研究員。她于 2018 年獲得了中山大學(xué)的藥學(xué)與計算機科學(xué)學(xué)士學(xué)位,2019-2021 年成為卡內(nèi)基梅隆大學(xué)計算機科學(xué)訪問學(xué)生,2022 年獲得匹茲堡大學(xué)生物統(tǒng)計學(xué)博士學(xué)位。
她的研究興趣在于開發(fā)因果推理、數(shù)據(jù)集成和決策公平性等領(lǐng)域的新穎統(tǒng)計學(xué)和機器學(xué)習(xí)方法。
個人主頁:https://ellenxtan.github.io/
Puxin Xu
Puxin Xu 現(xiàn)為 Meta AI 高級數(shù)據(jù)工程師,主要從事多模態(tài)數(shù)據(jù)集(文本、圖像和視頻)和大模型預(yù)訓(xùn)練數(shù)據(jù)工作。他在中山大學(xué)獲得了本科學(xué)位(人力資源與城鄉(xiāng)規(guī)劃管理、統(tǒng)計學(xué)雙學(xué)位),并在理海大學(xué)獲得了碩士學(xué)位(工業(yè)與系統(tǒng)工程)。
Zheng Yan
Zheng Yan 現(xiàn)為 Meta 軟件工程師,利用 AI 解決賬戶訪問團隊遇到的問題。此前曾在斯坦福大學(xué) Sean N. Parker Center for Allergy & Asthma Research 擔(dān)任數(shù)據(jù)分析師。他本科畢業(yè)于斯坦福大學(xué)計算機科學(xué)專業(yè)。
Yuchen Zhang
Yuchen Zhang 現(xiàn)為 Meta AI 軟件工程師(機器學(xué)習(xí))/ 研究工程師,致力于大型模型(語言 / 多模態(tài))的訓(xùn)練和擴展,以及大型模型中負責(zé)任 AI 的研究。她本科畢業(yè)于埃默里大學(xué),碩士畢業(yè)于賓夕法尼亞大學(xué)工程與數(shù)據(jù)科學(xué)專業(yè)。
個人主頁:https://zycalice.github.io/
Angela Fan
Angela Fan 是 Meta AI Research Paris 的研究科學(xué)家,主要研究機器翻譯。此前她曾在南錫 INRIA 和巴黎 FAIR 攻讀博士學(xué)位,主要研究文本生成。在此之前,她是一名研究工程師,并在哈佛大學(xué)獲得了統(tǒng)計學(xué)學(xué)士學(xué)位。
個人主頁:https://ai.meta.com/people/angela-fan/