除了Ilya,剛拿諾獎(jiǎng)的Hinton還教出了這些AI博士
自近日獲知自己摘得諾貝爾物理學(xué)獎(jiǎng)之后,76 歲的人工智能教父 Geoffrey Hinton 便「閑不住」了。
這不,谷歌首席科學(xué)家 Jeff Dean 曬出了自己參加 Hinton 諾貝爾獎(jiǎng)派對(duì)前與老爺子的合照,以及短時(shí)間內(nèi)可以參加該派對(duì)的 Hinton 博士們。
在幾十年研究生涯中,Hinton 培養(yǎng)出了 40 位博士生,其中不乏前 OpenAI 首席科學(xué)家 Ilya Sutskever、前蘋果 AI 總監(jiān) Ruslan Salakhutdinov 這樣的大牛。
在周二的一次演講中,Hinton 表示自己非常幸運(yùn),遇到了很多聰明的學(xué)生,他們?nèi)〉昧朔浅4蟮某晒?,有的做出了偉大的成果。其中他為弟?Ilya「解雇」奧特曼而感到自豪,并認(rèn)為奧特曼現(xiàn)在更關(guān)心利潤(rùn)而不是安全。他同時(shí)呼吁加強(qiáng)對(duì) AI 安全以及由好奇心驅(qū)使的基礎(chǔ)研究的支持。
機(jī)器之心盤點(diǎn)了自 1987 年以來,Hinton 博士弟子們的研究領(lǐng)域、研究成果以及其他信息。如有遺漏和錯(cuò)誤,請(qǐng)?jiān)谠u(píng)論區(qū)指正。
桃李滿天下
Hinton 的博士跨越了近 40 年
Peter Brown(1987)
Peter Brown 現(xiàn)在是文藝復(fù)興科技(Renaissance Technologies)的首席執(zhí)行官,他也是 Hinton 的第一位博士生,當(dāng)時(shí) Hinton 還是 CMU 計(jì)算機(jī)科學(xué)教授。
Peter Brown 博士期間主要研究自動(dòng)語(yǔ)音識(shí)別中的聲學(xué)建模問題。他曾在 IBM 研究所從事語(yǔ)音識(shí)別、機(jī)器翻譯和大規(guī)模語(yǔ)言模型的研究。
David Ackley(1987)
David Ackley 是新墨西哥大學(xué)計(jì)算機(jī)科學(xué)名譽(yù)教授,致力于在無(wú)限可擴(kuò)展的計(jì)算機(jī)架構(gòu)上研究、開發(fā)和倡導(dǎo)穩(wěn)健優(yōu)先、盡力而為的計(jì)算。David Ackley 的工作涉及神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、進(jìn)化算法,以及安全、架構(gòu)和計(jì)算模型的生物學(xué)方法。
值得一提的是,Hinton 與 David Ackley 和 Terry Sejnowski 共同發(fā)明了玻爾茲曼機(jī)。
Mark Derthick(1988)
Mark Derthick 自 1995 年開始在卡內(nèi)基梅隆大學(xué)(CMU)任訪問科學(xué)家、項(xiàng)目科學(xué)家、研究科學(xué)家,但目前已經(jīng)離任。他的研究興趣包括人機(jī)信息交互、交互式信息可視化、知識(shí)表征、探索性數(shù)據(jù)分析等。
Richard Szeliski(1988)
Richard Szeliski 是華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程系兼職教授、ACM Fellow、IEEE Fellow。Szeliski 在計(jì)算機(jī)視覺貝葉斯方法、基于圖像的建模和渲染以及計(jì)算攝影領(lǐng)域進(jìn)行了開創(chuàng)性研究,是計(jì)算機(jī)視覺領(lǐng)域的大師級(jí)人物,他在計(jì)算機(jī)視覺研究方面有 30 多年的豐富經(jīng)驗(yàn),主攻計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué),是 CV 經(jīng)典教材《計(jì)算機(jī)視覺:算法與應(yīng)用》的作者。
Richard Szeliski 先后任職于 DEC(美國(guó)數(shù)字設(shè)備公司)、微軟研究院、Facebook、谷歌。1996 年,他在微軟研究院任職期間提出了一種基于運(yùn)動(dòng)的全景圖像拼接模型,采用 L-M 算法,通過求圖像間的幾何變換關(guān)系來進(jìn)行圖像匹配。此方法是圖像拼接領(lǐng)域的經(jīng)典算法,Richard Szeliski 也因此成為圖像拼接領(lǐng)域的奠基人。2017 年,Richard Szeliski 獲得 ICCV 大會(huì)頒發(fā)的杰出研究獎(jiǎng)。
Kevin Lang(1989)
1989 年,Kevin Lang 在 Hinton 的指導(dǎo)下獲得了 CMU 的計(jì)算機(jī)科學(xué)博士學(xué)位。根據(jù)網(wǎng)上查詢到的有限資料顯示,他的研究興趣包括計(jì)算模型、細(xì)胞結(jié)構(gòu)、形狀建模以及量子點(diǎn)和細(xì)胞自動(dòng)機(jī)、語(yǔ)音識(shí)別。
Steven Nowlan(1991)
Steven Nowlan 是 Epsilon 公司決策科學(xué)高級(jí)副總裁,他曾在 Motorola 工作近 20 年,在移動(dòng)和基于位置的應(yīng)用程序、復(fù)雜的軟件架構(gòu)以及研究科學(xué)家和軟件開發(fā)人員的組合管理方面擁有豐富的經(jīng)驗(yàn),致力于將創(chuàng)新理念轉(zhuǎn)化為成功的軟件產(chǎn)品和服務(wù)。
David Plaut(1991)
David Plaut 是卡內(nèi)基梅隆大學(xué)的心理學(xué)教授,致力于使用計(jì)算模型并輔以實(shí)證研究來研究高級(jí)視覺、閱讀和語(yǔ)言以及語(yǔ)義領(lǐng)域正常和無(wú)序認(rèn)知處理的本質(zhì)。
David Plaut 的建模工作是在神經(jīng)網(wǎng)絡(luò)框架內(nèi)進(jìn)行的,其中認(rèn)知過程是通過大量類似神經(jīng)元的處理單元之間的合作和競(jìng)爭(zhēng)交互來實(shí)現(xiàn)的,以深入了解認(rèn)知過程如何在大腦中實(shí)現(xiàn),以及大腦功能障礙如何導(dǎo)致認(rèn)知障礙。
Conrad Galland(1992)
1992 年,Conrad Galland 在 Hinton 的指導(dǎo)下獲得了多倫多大學(xué)的博士學(xué)位。根據(jù)網(wǎng)上查詢到的有限資料顯示,他的研究重點(diǎn)是矩陣計(jì)算。
Susanna Becker(1992)
Susanna Becker 是麥克馬斯特大學(xué)心理學(xué)、神經(jīng)科學(xué)和行為學(xué)名譽(yù)教授。1992 年,她在 Hinton 的指導(dǎo)下獲得多倫多大學(xué)博士學(xué)位,研究興趣包括記憶、計(jì)算神經(jīng)科學(xué)、海馬神經(jīng)發(fā)生、腦機(jī)接口和神經(jīng)反饋。
Richard Zemel(1994)
Richard Zemel 是美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)人工智能和自然智能研究所(ARNI)主任,研究致力于用少量標(biāo)簽進(jìn)行學(xué)習(xí),創(chuàng)建強(qiáng)大且可控的機(jī)器學(xué)習(xí)系統(tǒng),并且該系統(tǒng)可以遷移到各種任務(wù)和領(lǐng)域。他還對(duì)算法公平性有著濃厚的興趣。Richard Zemel 還是 NVIDIA 人工智能先鋒獎(jiǎng)的獲得者。
Tony Plate(1994)
1994 年,Tony Plate 在 Hinton 的指導(dǎo)下獲得了多倫多大學(xué)計(jì)算機(jī)科學(xué)與人工智能博士學(xué)位。在攻讀博士期間研究了如何在神經(jīng)網(wǎng)絡(luò)中表示復(fù)雜的概念。博士畢業(yè)以后,他曾在新墨西哥州立大學(xué)擔(dān)任研究員、在不列顛哥倫比亞大學(xué)擔(dān)任博士后研究員、在惠靈頓維多利亞大學(xué)擔(dān)任助理教授,并在 2020 年 3 月之后加入谷歌擔(dān)任工程師至今。
Sidney Fels(1994)
Sidney Fels 自 1998 年起擔(dān)任不列顛哥倫比亞大學(xué)(UBC)電氣與計(jì)算機(jī)工程系教授。他因在人機(jī)交互、3D 顯示、生物力學(xué)建模、神經(jīng)網(wǎng)絡(luò)、智能體等方面的工作而享譽(yù)國(guó)際。
Christopher Williams(1994)
Christopher Williams 是愛丁堡大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)教授。他的研究興趣包括機(jī)器學(xué)習(xí)、統(tǒng)計(jì)模式識(shí)別、概率圖形模型和計(jì)算機(jī)視覺。他還是《機(jī)器學(xué)習(xí)的高斯過程》一書的作者之一。
Radford Neal(1994)
Radford Neal 是多倫多大學(xué)統(tǒng)計(jì)系和計(jì)算機(jī)科學(xué)系榮休教授。他的研究興趣包括貝葉斯推理、蒙特卡洛方法、信息論、機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)。
Carl Rasmussen(1996)
Carl Rasmussen 是劍橋大學(xué)工程系教授,研究領(lǐng)域包括機(jī)器學(xué)習(xí)和氣候變化,研究重點(diǎn)包括概率推理、強(qiáng)化學(xué)習(xí)、近似推理、決策、非參數(shù)建模、隨機(jī)過程等。
Brendan Frey(1997)
Brendan Frey 是國(guó)際知名機(jī)器學(xué)習(xí)和基因組生物學(xué)研究者,主要研究因子圖、深度學(xué)習(xí)的 wake-sleep 算法,以及使用機(jī)器學(xué)習(xí)建?;蚪M生物學(xué)和理解遺傳性疾病。他創(chuàng)立了 Deep Genomics,現(xiàn)任首席執(zhí)行官,并且是多倫多大學(xué)計(jì)算機(jī)科學(xué)和醫(yī)學(xué)教授。
Evan Steeg(1997)
Evan Steeg 是初創(chuàng)公司 stealth synthetic biology 的聯(lián)合創(chuàng)始人兼首席人工智能官,還是 BTC 咨詢公司總裁。他的研究興趣包括 AI、ML、計(jì)算生物學(xué)、創(chuàng)業(yè)和戰(zhàn)略規(guī)劃。
Radek Grzeszczuk(1998)
Radek Grzeszczuk 是初創(chuàng)公司 SkinBit 聯(lián)合創(chuàng)始人,曾在微軟擔(dān)任首席軟件工程師主管。他為增強(qiáng)現(xiàn)實(shí)、基于圖像的建模、視覺搜索和計(jì)算成像等領(lǐng)域的發(fā)展做出了貢獻(xiàn)。
Brian Sallans(2002)
Brian Sallans 是機(jī)器學(xué)習(xí)、軟件開發(fā)、移動(dòng)軟件專家,在奧地利第一儲(chǔ)蓄銀行(Erste Group)任高級(jí)數(shù)據(jù)科學(xué)家。
Sageev Oore(2002)
Sageev Oore 是加拿大 CIFAR 人工智能主席,戴爾豪斯大學(xué)計(jì)算機(jī)科學(xué)學(xué)院副教授,曾任谷歌大腦訪問研究科學(xué)家。
Andrew Brown(2002)
Andrew Brown 查詢到的信息不多,從 Google Scholar 主頁(yè)可以看到,他的研究興趣包括機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、隱馬爾可夫模型、循環(huán)神經(jīng)網(wǎng)絡(luò)。
他的博士畢業(yè)論文為《Product Models for Sequences》。論文介紹了一系列新的時(shí)序圖模型, 采用的思路是通過大量更簡(jiǎn)單模型的密度組合來構(gòu)建一個(gè)復(fù)雜的時(shí)序密度模型。
論文地址:https://dl.acm.org/doi/abs/10.5555/936308
Alberto Paccanaro(2002)
2002 年,Alberto Paccanaro 在 Hinton 的指導(dǎo)下獲得多倫多大學(xué)的博士學(xué)位,專攻機(jī)器學(xué)習(xí),并主要從事基礎(chǔ)研究,在畢業(yè)論文中引入了線性關(guān)系嵌入,這是一種解決從示例中學(xué)習(xí)符號(hào)關(guān)系問題的新方法。
2006 年 2 月,他開始在倫敦大學(xué)皇家霍洛威學(xué)院的計(jì)算機(jī)科學(xué)系工作,此后晉升為教授。他的研究興趣包括應(yīng)用模式識(shí)別 / 機(jī)器學(xué)習(xí)技術(shù)來解決計(jì)算生物學(xué)問題。
Yee Whye Teh(2003)
Yee Whye Teh 是牛津大學(xué)統(tǒng)計(jì)系教授,也是 DeepMind 研究科學(xué)家。2003 年,他在 Hinton 的指導(dǎo)下獲得了多倫多大學(xué)的計(jì)算機(jī)博士學(xué)位。此后在加州大學(xué)伯克利分校和新加坡國(guó)立大學(xué)從事博士后研究。他的研究興趣包括機(jī)器學(xué)習(xí)、計(jì)算統(tǒng)計(jì)學(xué),尤其是概率模型、貝葉斯非參數(shù)、大規(guī)模學(xué)習(xí)和深度學(xué)習(xí)。
2006 年,他與 Hinton、Simon Osindero 合著提出了深度信念網(wǎng)絡(luò)的論文。深度信念網(wǎng)絡(luò)是第一批成功應(yīng)用深度架構(gòu)訓(xùn)練的非卷積模型之一。在引入深度信念網(wǎng)絡(luò)之前,研究社區(qū)通常認(rèn)為深度模型太難優(yōu)化,還不如使用易于優(yōu)化的淺層 ML 模型。
而借助深度信念網(wǎng)絡(luò),研究者可以在未標(biāo)注數(shù)據(jù)上預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),這是一種生成模型的方式。預(yù)訓(xùn)練完成后,神經(jīng)網(wǎng)絡(luò)可以在標(biāo)注數(shù)據(jù)上實(shí)現(xiàn)判別式的精調(diào),從而獲得很好的效果。
論文地址:https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf
Simon Osindero(2004)
Simon Osindero 在取得劍橋大學(xué)的實(shí)驗(yàn)和理論物理碩士學(xué)位之后,選擇攻讀英國(guó)倫敦大學(xué)學(xué)院的計(jì)算神經(jīng)科學(xué)博士學(xué)位,導(dǎo)師為 Hinton,還得到了神經(jīng)學(xué)家 Peter Dayan 的指導(dǎo)。2004 年獲得博士學(xué)位后,他加入了 Hinton 團(tuán)隊(duì),成為博士后研究員。2006 年,他與 Hinton、Yee Whye Teh 合著提出了深度信念網(wǎng)絡(luò)的論文。
畢業(yè)以后,他就職于多家企業(yè),包括 2009 年至 2013 年 10 月?lián)?LookFlow 的聯(lián)合創(chuàng)始人兼 CTO、2013 年 10 月至 2015 年 12 月先后擔(dān)任雅虎的高級(jí)工程經(jīng)理、AI 架構(gòu)師和高級(jí)負(fù)責(zé)人、2017 至 2019 年英國(guó)倫敦大學(xué)學(xué)院擔(dān)任客座講師、2016 年至今擔(dān)任谷歌首席研究科學(xué)家、DeepMind 研究總監(jiān)。
Roland Memisevic(2008)
2008 年,Roland Memisevic 在 Hinton 的指導(dǎo)下獲得了多倫多大學(xué)的計(jì)算機(jī)科學(xué)博士學(xué)位。2012 年 9 月至 2016 年 5 月,他擔(dān)任蒙特利爾大學(xué)的助理教授。2016 年 5 月至 2021 年 7 月,他先后擔(dān)任其聯(lián)合創(chuàng)立的 AI / 計(jì)算機(jī)視覺初創(chuàng)公司 Twenty Billion Neurons 的首席科學(xué)家和 CEO。
2021 年 7 月,Twenty Billion Neurons 被高通收購(gòu),Roland Memisevic 擔(dān)任高通高級(jí)總監(jiān)至今。他的研究興趣包括類人 AI 和神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的常識(shí)。
Ruslan Salakhutdinov(2009)
Ruslan Salakhutdinov 是卡內(nèi)基梅隆大學(xué)的 UPMC 計(jì)算機(jī)科學(xué)教授, 主要從事統(tǒng)計(jì)機(jī)器學(xué)習(xí)領(lǐng)域的工作。他的研究興趣包括深度學(xué)習(xí)、概率圖模型和大規(guī)模優(yōu)化。
2009 年,他在 Hinton 的指導(dǎo)下完成了在多倫多大學(xué)的機(jī)器學(xué)習(xí)博士學(xué)位。此后他擔(dān)任了 MIT 博士后研究員、多倫多大學(xué)助理教授(2011 年 - 2016 年)、AI 初創(chuàng)公司 Perceptual Machines 聯(lián)合創(chuàng)始人(被蘋果收購(gòu))、蘋果 AI 研究總監(jiān)(2016 年 - 2020 年)、卡內(nèi)基梅隆大學(xué)教授(2016 年至今)、Meta 生成式 AI 研究副總裁(2024 年 6 月至今)。
Graham Taylor(2009)
2009 年,Graham Taylor 在 Hinton 和另一位導(dǎo)師 Sam Roweis 的指導(dǎo)下獲得了多倫多大學(xué)計(jì)算機(jī)科學(xué)博士學(xué)位。此后,他在紐約大學(xué)柯朗數(shù)學(xué)科學(xué)研究所做了兩年的博士后研究員,與 Yann LeCun 等人一起工作。2012 年,他加入圭爾夫大學(xué)工程學(xué)院擔(dān)任助理教授。2017 年,他晉升為副教授,并成為 Vector 人工智能研究所的成員。
2018 年至 2019 年,他在蒙特利爾的 Google Brain 擔(dān)任客座教員。2021 年,他晉升為教授,并成為 Vector 人工智能研究所的臨時(shí)研究主任。2022 年,他正式成為研究主任。2023 年,他結(jié)束了 Vector Institute 研究主任的兩年任期,此后更專注于自己的研究。他對(duì)生成模型、圖表示學(xué)習(xí)和順序決策等領(lǐng)域感興趣。
Andriy Mnih(2009)
Andriy Mnih 是 Google DeepMind 的研究科學(xué)家。2009 年,他在 Hinton 的指導(dǎo)下獲得了博士學(xué)位。此后到 2013 年 2 月,他擔(dān)任 Gatsby 的博士后研究員。他的研究興趣包括隱變量模型、變分推理、蒙特卡洛梯度估計(jì)和表征學(xué)習(xí)。
Vinod Nair(2010)
Vinod Nair 是雅虎班加羅爾實(shí)驗(yàn)室的研究員,2010 年,他在 Hinton 的指導(dǎo)下獲得了多倫多大學(xué)的機(jī)器學(xué)習(xí)博士學(xué)位。他的研究興趣包括機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺。
Josh Susskind(2011)
在多倫多大學(xué)攻讀博士期間,Josh Susskind 接受了 Hinton(機(jī)器學(xué)習(xí))和 Adam Anderson(行為科學(xué))兩位教授的指導(dǎo)。他開發(fā)出了第一個(gè)可以識(shí)別和生成面部表情的深度神經(jīng)網(wǎng)絡(luò),并展示了這些計(jì)算模型學(xué)習(xí)到的統(tǒng)計(jì)學(xué)規(guī)律如何預(yù)測(cè)人類感知到的元素。他的工作成果曾發(fā)表在《自然神經(jīng)科學(xué)》和《科學(xué)》等高影響力期刊以及計(jì)算機(jī)視覺頂會(huì)上。
2012 年,他聯(lián)合創(chuàng)立了一家專注于實(shí)時(shí)感知人類行為的初創(chuàng)公司 Emotient,該公司在 2016 年被蘋果收購(gòu)。此后至今,他擔(dān)任蘋果的研究經(jīng)理、深度學(xué)習(xí)科學(xué)家。
Ilya Sutskever(2012)
Ilya Sutskever 可稱得上 Hinton 最得意的博士生了。在多倫多大學(xué)本科期間,Ilya Sutskever 從一個(gè)「改進(jìn)隨機(jī)鄰域嵌入算法」的項(xiàng)目開始,與 Hinton 合作,后來在攻讀博士學(xué)位時(shí)正式加入了 Hinton 團(tuán)隊(duì)。
2012 年,Hinton 帶著 Ilya Sutskever 和另一名研究生 Alex Krizhevsky 建立了一個(gè)名為 AlexNet 的神經(jīng)網(wǎng)絡(luò),其識(shí)別照片中物體的能力遠(yuǎn)遠(yuǎn)超過了當(dāng)時(shí)的其他系統(tǒng)。
Ilya Sutskever(左)、Alex Krizhevsky(中)、Geoffrey Hinton(右)
2012 年畢業(yè)后,Ilya Sutskever 在斯坦福大學(xué)跟隨吳恩達(dá)做了兩個(gè)月的博士后,隨后返回多倫多大學(xué)并加入了 Hinton 研究小組的衍生公司 DNNResearch 。
2013 年 3 月,Google 收購(gòu)了 DNNResearch,聘請(qǐng) Ilya Sutskever 擔(dān)任 Google Brain 的研究科學(xué)家。在谷歌,Ilya Sutskever 展示了如何將深度學(xué)習(xí)的模式識(shí)別能力應(yīng)用于數(shù)據(jù)序列,包括單詞、句子。
他與 Oriol Vinyals 和 Quoc Le 合作創(chuàng)建了序列到序列(Seq2seq)學(xué)習(xí)算法,深度參與了 TensorFlow 的研究,也是 AlphaGo 論文的眾多作者之一。對(duì)語(yǔ)言的濃厚興趣,或許推動(dòng)了 Ilya Sutskever 加入 OpenAI 的腳步。
2015 年 7 月,Ilya Sutskeve 參加了 Y Combinator 總裁 Sam Altman 在 Sand Hill Road 一家餐廳舉辦的晚宴,在那里遇到了 Elon Musk 和 Greg Brockman。那場(chǎng)晚宴上誕生了 OpenAI。
2015 年底,Ilya Sutskever 以「研究總監(jiān)」的頭銜開始領(lǐng)導(dǎo) OpenAI 的研究和運(yùn)營(yíng),這個(gè)組織還吸引了幾位世界知名的人工智能研究者,包括「GAN 之父」Ian Goodfellow、UC 伯克利的 Pieter Abbeel 以及 Andrej Karpathy。
2016 年,OpenAI 的第一個(gè) GPT 大型語(yǔ)言模型問世。從 GPT-2 到 GPT-3,模型的能力越來越強(qiáng)大,證明了這條路線的實(shí)際正確性。每一次發(fā)布,OpenAI 都在不斷提高人們的想象力上限。
隨著 GPT-4 以及后續(xù)一系列更強(qiáng)大的大語(yǔ)言模型的更新,以 Ilya Sutskever 為代表的一部分 OpenAI 成員越來越擔(dān)憂 AI 的可控性問題。于是有了后來的突然與 Sam Altman 所代表的派系決裂、離職收?qǐng)龅墓适隆?nbsp;
今年 5 月 15 日,Ilya Sutskever 官宣從 OpenAI 離職,并在 6 月 20 日宣布成立安全超級(jí)智能公司(SSI),追求安全的超級(jí)智能,希望通過一支精干頂尖的小團(tuán)隊(duì)取得革命性的成果,進(jìn)而實(shí)現(xiàn)這一目標(biāo)。9 月,SSI 宣布融資 10 億美元,投資者包括了頂級(jí)風(fēng)險(xiǎn)投資公司 Andreessen Horowitz、Sequoia Capital、DST Global 和 SV Angel。
Abdel-rahman Mohamed(2013)
Abdel-rahman Mohamed 是 FAIR 研究科學(xué)家。在加入 FAIR 之前,他是 Amazon Alexa AI 團(tuán)隊(duì)的首席科學(xué)家經(jīng)理。2014 年至 2017 年,他是微軟雷德蒙德研究院(MSR)的研究員。
2013 年,他在 Hinton 和另一位導(dǎo)師 Gerald Penn 教授的指導(dǎo)下獲得了多倫多大學(xué)的博士學(xué)位。他還是 2009 年開啟口語(yǔ)處理深度學(xué)習(xí)革命的團(tuán)隊(duì)成員,并在 2016 年獲得了 IEEE 信號(hào)處理協(xié)會(huì)最佳期刊論文獎(jiǎng)。他的研究興趣包括深度學(xué)習(xí)、口語(yǔ)處理和自然語(yǔ)言理解。
Vlad Mnih(2013)
Vlad Mnih 是 Google DeepMind 的一名研究科學(xué)家。2013 年,他在 Hinton 的指導(dǎo)下獲得了多倫多大學(xué)的機(jī)器學(xué)習(xí)博士學(xué)位。在此之前,他在阿爾伯特大學(xué)獲得了計(jì)算機(jī)科學(xué)碩士學(xué)位。他的研究興趣包括深度強(qiáng)化學(xué)習(xí)、多目標(biāo)識(shí)別、視覺注意力等。
Navdeep Jaitly(2014)
2014 年,Navdeep Jaitly 在 Hinton 的指導(dǎo)下獲得了多倫多大學(xué)機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)博士學(xué)位。畢業(yè)以后,他先后任職于 Google Brain(高級(jí)研究科學(xué)家)、英偉達(dá)(杰出研究科學(xué)家)、 再次 Google Brain(科學(xué)家)、投資管理公司 The D. E. Shaw Group(深度學(xué)習(xí)負(fù)責(zé)人、副總裁)以及 2021 年至今蘋果(機(jī)器學(xué)習(xí)研究科學(xué)家)。他的研究興趣在于前沿深度學(xué)習(xí)。
Tijmen Tieleman(2014)
2014 年,Tijmen Tieleman 在 Hinton 的指導(dǎo)下獲得了多倫多大學(xué)的深度學(xué)習(xí)博士學(xué)位。2018 年以來,他先后擔(dān)任 AI 初創(chuàng)公司 minds.ai 的 CTO、CEO、聯(lián)合創(chuàng)始人和首席科學(xué)家。他的研究興趣包括具有不尋常成分的多層確定性前饋神經(jīng)網(wǎng)絡(luò)以及使用受限玻爾茲曼機(jī)的多層神經(jīng)網(wǎng)絡(luò)等。
George Dahl(2015)
George Dahl 是美國(guó)山景城 Google Brain 團(tuán)隊(duì)的一名研究科學(xué)家。2015 年他在 Hinton 的指導(dǎo)下獲得了博士學(xué)位,攻讀博士期間,他與其合作者訓(xùn)練出了第一個(gè)成功的自動(dòng)語(yǔ)音識(shí)別深度聲學(xué)模型,還領(lǐng)導(dǎo)團(tuán)隊(duì)贏得了 Kaggle 主辦的默克分子活性挑戰(zhàn)賽。他的研究興趣包括深度學(xué)習(xí)、自然語(yǔ)言處理和統(tǒng)計(jì)機(jī)器學(xué)習(xí)。
Yichuan Charlie Tang(2015)
Yichuan Charlie Tang 從事深度學(xué)習(xí)和統(tǒng)計(jì)機(jī)器學(xué)習(xí)領(lǐng)域的工作。2015 年,他在 Hinton 和另一位導(dǎo)師前蘋果 AI 總監(jiān) Ruslan Salakhutdinov 的指導(dǎo)下獲得了多倫多大學(xué)的機(jī)器學(xué)習(xí)博士學(xué)位。他的研究興趣廣泛,包括機(jī)器人 / 自主技術(shù)應(yīng)用、計(jì)算機(jī)視覺、自然語(yǔ)言處理和強(qiáng)化學(xué)習(xí)。
2017 年 1 月至 2020 年 6 月,他在蘋果先后擔(dān)任研究科學(xué)家和高級(jí)研究科學(xué)家。此后他在投資管理公司 The D. E. Shaw Group 擔(dān)任機(jī)器學(xué)習(xí)研究副總裁。
Nitish Srivastava(2016)
Nitish Srivastava 的研究興趣包括機(jī)器學(xué)習(xí)、深度網(wǎng)絡(luò)和人工智能。他在多倫多大學(xué)計(jì)算機(jī)科學(xué)系攻讀博士,導(dǎo)師為 Hinton 和前蘋果 AI 總監(jiān) Ruslan Salakhutdinov 的博士,并于 2016 年獲得博士學(xué)位。
2017 年 2 月至 2022 年 2 月,他在蘋果先后擔(dān)任機(jī)器學(xué)習(xí)工程師和機(jī)器學(xué)習(xí)研究科學(xué)家。2022 年至今,他聯(lián)合創(chuàng)立了機(jī)器人初創(chuàng)公司 Vayu Robotics 并擔(dān)任 CTO。
Jimmy Lei Ba
Jimmy Lei Ba 是多倫多大學(xué)助理教授。他從本科(2011)、碩士(2014)到博士(2018)都是在多倫多大學(xué)完成的,博士期間導(dǎo)師為 Hinton。他的研究興趣涵蓋了 NeurIPS、ICLR 和 ICML 等研究社區(qū)的廣泛主題,并對(duì)強(qiáng)化學(xué)習(xí)、自然語(yǔ)言處理和人工智能感興趣。他是 CIFAR AI 主席,還曾是 2016 年 Facebook 機(jī)器學(xué)習(xí)研究生獎(jiǎng)學(xué)金獲得者。
Cem Anil(在讀博士生)
Cem Anil 是多倫多大學(xué)和 Vector Institute 的在讀博士生,接受 Hinton 和 Roger Grosse(副教授)的指導(dǎo)。他還是 Anthropic 對(duì)齊科學(xué)團(tuán)隊(duì)的成員。他的工作涉及深度學(xué)習(xí)和 AI 安全,并對(duì)大語(yǔ)言模型的穩(wěn)健性和泛化性模式感興趣。他同時(shí)致力于推導(dǎo) Scaling law 來預(yù)測(cè)潛在危險(xiǎn)能力的發(fā)展。