自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

去了谷歌卻做不了深度學(xué)習(xí),聽臉書田淵棟談人生挑戰(zhàn)與選擇

新聞 深度學(xué)習(xí)
第一次 15 分鐘的演講準(zhǔn)備了兩個(gè)月、畢業(yè)就進(jìn)谷歌卻只能當(dāng)螺絲釘、從研究員到研究經(jīng)理面臨角色轉(zhuǎn)換…… 在最近的一次訪談中,F(xiàn)acebook 人工智能研究院(FAIR)研究員、研究經(jīng)理田淵棟談了談自己從求學(xué)到工作一路走來的經(jīng)歷和感悟。

第一次 15 分鐘的演講準(zhǔn)備了兩個(gè)月、畢業(yè)就進(jìn)谷歌卻只能當(dāng)螺絲釘、從研究員到研究經(jīng)理面臨角色轉(zhuǎn)換…… 在最近的一次訪談中,F(xiàn)acebook 人工智能研究院(FAIR)研究員、研究經(jīng)理田淵棟談了談自己從求學(xué)到工作一路走來的經(jīng)歷和感悟,還給出了一些職業(yè)建議以及對(duì)于 AI 發(fā)展的看法。

[[343196]]

田淵棟, 上海交通大學(xué)本碩,博士就讀于卡耐基梅隆大學(xué)機(jī)器人系,現(xiàn)任 Facebook 人工智能研究院(FAIR)研究員和研究經(jīng)理。

從 Google X 的無人車組,到后來 Facebook 的圍棋 AI 項(xiàng)目 -- OpenGo,多重身份的加持和前沿、專業(yè)的研究為田淵棟吸引了相當(dāng)多的目光。

在人工智能研究之外,他還保持著長期的寫作習(xí)慣,包括個(gè)人博客、知乎專欄、短篇和中篇小說,甚至完成過一部 30 萬字的長篇小說。

近日,田淵棟做客播客「從零道一」,分享了自己在求學(xué)、求職過程中的經(jīng)歷和心得體會(huì),完整訪談內(nèi)容時(shí)長 66 分鐘。

音頻地址:https://www.ximalaya.com/keji/7070786/332051507

從上海交大到 CMU

從零道一:能不能和大家簡單講一講,您是在哪里長大,大學(xué)之前在哪里讀書?

田:我是上海人,從小在上海長大的。在進(jìn)上海交通大學(xué)之前,我一直在上海向明中學(xué)就讀,在那邊我大概度過了初中、高中的 7 年時(shí)間,高考之后就到了上海交通大學(xué)。

所以我基本上整個(gè)人生的前 22 年都在上海,沒怎么出過門,除了旅游之外沒怎么到外面去。但我大三的時(shí)候去了美國普渡大學(xué)做交換生,那個(gè)時(shí)候有很多想法,有了新的思路和新的見解,也見到了一個(gè)比較大的世界?;貒x碩士之后,我花了很多時(shí)間在微軟亞洲研究院實(shí)習(xí),去了三段,總共加起來有一年的時(shí)間。那個(gè)時(shí)候開闊了很多思路,見到了很多人,結(jié)識(shí)了很多朋友。

這些經(jīng)歷也讓我覺得其實(shí)自己還是比較適合讀博士,所以后來就去了 CMU。

從零道一:當(dāng)時(shí)(在交大)讀的是計(jì)算機(jī)是吧?

田:我當(dāng)時(shí)進(jìn)的是上海交通大聯(lián)讀班,進(jìn)去兩年之后可以讓你選專業(yè)。所以,其實(shí)我前兩年是在一個(gè)偏向數(shù)學(xué)物理的基地班里讀的,大三的時(shí)候再選專業(yè)。當(dāng)時(shí),班里僅有 10 個(gè)人選計(jì)算機(jī),我是里面的一個(gè),有 100 多個(gè)人都選了電子信息和電氣工程。所以,我的經(jīng)歷可能和直接去計(jì)算機(jī)系的同學(xué)不太一樣。

[[343197]]

上海交通大學(xué)。

從零道一:你是去了微軟亞研之后發(fā)現(xiàn)自己對(duì)研究感興趣的嗎?有沒有想過博士之外的路徑?

田:其實(shí)想過很多。碩士畢業(yè)之后你可能覺得出國已經(jīng)有點(diǎn)晚了,很多人覺得你那時(shí)候都已經(jīng)二十四五歲了,還有很多的事情要做。當(dāng)時(shí)也有很多選擇,比如去互聯(lián)網(wǎng)公司做軟件工程師,然后一點(diǎn)點(diǎn)往上走。那時(shí)候有很多公司都可以選。這也是我想過的一條路。但是最后還是覺得科研比較有趣,對(duì)博士也有些憧憬,所以最后還是去讀了博士。

從零道一:你博士階段去了卡內(nèi)基梅隆的機(jī)器人學(xué)專業(yè),當(dāng)時(shí)申請(qǐng)的時(shí)候是怎么考慮的?去了之后感覺那個(gè)地方是不是你想去的?

田:其實(shí)說實(shí)在的,我當(dāng)時(shí)申請(qǐng)的時(shí)候自己(實(shí)力)也不是特別強(qiáng)。我去微軟亞研的時(shí)候也相當(dāng)于一個(gè)鄉(xiāng)下孩子跑到北京去,終于開了眼界,看到還有很多事情原來可以是這么做的。所以,當(dāng)時(shí)我的申請(qǐng)材料、文章數(shù)目之類的也不是特別好。但幸運(yùn)的是,我最后實(shí)習(xí)跟的是港中文的湯曉鷗老師,拿到了他的推薦信,所以就申請(qǐng)到了 CMU 的機(jī)器人學(xué)專業(yè)。這個(gè)已經(jīng)是我當(dāng)時(shí)最好的選擇了。

從零一:CMU 也有很多專業(yè)、實(shí)驗(yàn)室可以選,當(dāng)時(shí)是怎么決定選哪個(gè)組、關(guān)注哪個(gè)領(lǐng)域的?

田:這個(gè)需要跟導(dǎo)師有很多的交流。在剛?cè)雽W(xué)的時(shí)候,CMU 有一個(gè)「marriage process」,就是說你要跟導(dǎo)師達(dá)成一個(gè) 5 年的協(xié)議。所以,你要跟很多導(dǎo)師聊,聊他們的研究方向、研究思路,還有就是跟學(xué)生去聊,問一下他們的出路,他們可能會(huì)去哪些地方,然后綜合考慮。當(dāng)時(shí)我還比較內(nèi)向,英語也不是很好,托??谡Z只有 19 分,所以當(dāng)時(shí)跟老師、學(xué)生聊還是會(huì)有些費(fèi)勁。就這樣,我選到了第一個(gè)導(dǎo)師,他的學(xué)生都覺得他人挺不錯(cuò)的,這點(diǎn)是很重要的。不過他對(duì)機(jī)器學(xué)習(xí)不是很感冒,方向更偏向于 Low-Level Vision,主要是基于物理的計(jì)算機(jī)視覺。

去了谷歌卻做不了深度學(xué)習(xí),聽臉書田淵棟談人生挑戰(zhàn)與選擇

田淵棟博士期間的導(dǎo)師 Srinivasa Narasimhan。

之后的情況就是,基本上所有的技術(shù)問題都是我自己來解決,自己看文章,導(dǎo)師輔導(dǎo)我的寫作、演講以及和別人交流。后來的結(jié)果表明,這樣一個(gè)組合還是不錯(cuò)的。所以,我在自己的方向上有一定的自由度,這也是博士生應(yīng)該要有的一個(gè)標(biāo)準(zhǔn)。

天生內(nèi)向,第一次學(xué)術(shù)演講背下整篇講稿

從零道一:你剛?cè)サ臅r(shí)候口語只有 19 分,后來是怎么成功地在新的環(huán)境中表達(dá)自己的?

田:這其實(shí)是一個(gè)很漫長的過程,也可能是我在這五年里最大的收獲。拋開專業(yè)不談,這對(duì)我個(gè)人的性格成長和人格塑造是一個(gè)非常關(guān)鍵的時(shí)期。別人可能覺得這個(gè)關(guān)鍵時(shí)期是八九歲,但從我自己的經(jīng)歷來看,我覺得這個(gè)事情任何時(shí)間都能發(fā)生,只要愿意花時(shí)間去做。

首先一點(diǎn)是要有自信,比如對(duì)自己的研究有自信、有想法,愿意把自己的想法說出來。這樣就相當(dāng)于打開了一個(gè)開關(guān),就是我愿意和別人說話,這個(gè)很重要。有了這個(gè)之后,口語才會(huì)慢慢地練上去,你才會(huì)知道自己要怎么說才能讓別人聽懂。我以前說英語非???,說完一句話別人可能聽不懂。所以對(duì)方未必是不想理你,他們可能想理你但是聽不懂。但我會(huì)覺得:「我是不是說錯(cuò)了?是不是說得不夠好?」你會(huì)下意識(shí)得把問題歸咎到自己身上,然后你就不愿意和別人說話了,最后就形成了惡性循環(huán)。所以,這是非常重要的第一步。

我高中的時(shí)候非常內(nèi)向,有一次英語課回答問題,站了 5 分鐘一句話都說不出來。進(jìn) CMU 之后,整個(gè)交流的過程就變得比較流暢一點(diǎn)。一旦發(fā)現(xiàn)我說的話別人愿意聽,愿意思考,我說的話是有意義的話,交流的欲望就逐漸堅(jiān)定起來。這個(gè)過程其實(shí)非常重要,因?yàn)槿绻麤]有這個(gè)階段,比如我碩士畢業(yè)直接去公司里工作,那么我當(dāng)時(shí)的性格可能對(duì)我之后的職業(yè)發(fā)展造成很大的不利影響。

從零道一:你讀博的時(shí)候肯定也要做不少學(xué)術(shù)演講,可不可以談?wù)勀惝?dāng)時(shí)是怎么提升自己的演講能力的?

田:我第一個(gè)演講準(zhǔn)備了兩個(gè)月。我屬于那種一上臺(tái)就「見光死」的人,只要一上臺(tái),別人看著我,我就一句話也說不出來。你要讓這樣的人上臺(tái)演講 15 分鐘,是一件非常非常難的事情。唯一的辦法就是把整個(gè)演講從頭到尾、一字不落地背下來,這樣才能保證我就算是睡著了也能說出來。除此之外,我還把每句話的重音標(biāo)了出來,因?yàn)槟莻€(gè)時(shí)候我說話很快,背過演講稿之后就會(huì)很緊張地以背書的方式把話說完,效果就很不好,別人可能也聽不懂你在說什么。但是如果你記得重音是哪個(gè)詞,可能就會(huì)下意識(shí)地放慢節(jié)奏。

最后,我上臺(tái)之后的過程也比較流暢,因?yàn)橹灰馨具^開頭的三四分鐘,你就開始變得有自信了,覺得「我還可以」。慢慢地,你就會(huì)越來越好。

博士期間最大的挑戰(zhàn)

從零道一:從專業(yè)的層面來講,你覺得博士期間遇到的最大的挑戰(zhàn)是什么?

田:讀博其實(shí)每個(gè)人都不太一樣。有些人可能是老板規(guī)定太死,他沒辦法發(fā)揮。但對(duì)我來說,情況可能是倒過來的。老板在這方面其實(shí)懂的不多,所以最重要的是我能不能自主地找到一個(gè)方向并攻克它,這可能比跟著老板做要難多了。

我可能有一種傾向,就是做非常難的問題,有一種想要攻克難題的決心。但是,怎么把這個(gè)決心變成一個(gè)可實(shí)現(xiàn)的目標(biāo)是一個(gè)很困難的問題。

我在知乎的一篇文章(《博士五年之后五年的總結(jié)》)中也寫過,這五年我學(xué)會(huì)的最重要的事情是怎么把一件事分成幾部分來做,這樣才能開始做比較大的事情。剛開始的時(shí)候,我覺得我想把很難的問題解決掉,別人都解決不了我去解決。

作為一個(gè)剛來的博士生,想要攻很難的問題,心氣是很高的,但怎么落地是一個(gè)很難的問題。你可能會(huì)花很多時(shí)間去思考,而且這個(gè)思考是漫無邊際的。今天想這個(gè),明天想那個(gè),非常地不連貫,非常天馬行空,你自己覺得好像是在做研究,但其實(shí)是在浪費(fèi)時(shí)間。因?yàn)樗悸窙]有落地的結(jié)果就是不能存盤,下一次你還要從頭開始想。而且,它無法形成一個(gè)持續(xù)的步驟,這樣對(duì)自信的打擊也是很大的。比如說你可能思考了很長時(shí)間,然后發(fā)現(xiàn):哎呀,不是很有效果,怎么辦呢?

經(jīng)過了博士階段的幾年之后,你才會(huì)知道自己先要去想什么,再去想什么;什么能做,什么不能做;什么是自己力所能及的;什么是別人已經(jīng)做過的,什么別人還沒做,還有機(jī)會(huì)。這種對(duì)于學(xué)術(shù)的感覺也是通過博士這五年慢慢練出來的。

去了谷歌卻做不了深度學(xué)習(xí),聽臉書田淵棟談人生挑戰(zhàn)與選擇

田淵棟博士論文:《Theory and Practice of Globally Optimal Deformation Estimation》

選擇深度學(xué)習(xí),但不被看好

從零一:你當(dāng)時(shí)做機(jī)器學(xué)習(xí)的時(shí)候,深度學(xué)習(xí)還不是非常火,所以你當(dāng)時(shí)做的時(shí)候完全是出于自己的興趣嗎?還是說你覺得它有前途?

田:我覺得還是興趣更多一點(diǎn),我想去了解當(dāng)時(shí)的一些學(xué)習(xí)算法為什么有效果。相對(duì)來說,我更加心理驅(qū)動(dòng)一點(diǎn),不是特別受外界的影響。當(dāng)時(shí)我去的時(shí)候,機(jī)器學(xué)習(xí)并沒有那么火,甚至有師兄跟我說不要去做機(jī)器學(xué)習(xí),我導(dǎo)師也說機(jī)器學(xué)習(xí)沒什么用。

從零道一:但是后來機(jī)器學(xué)習(xí)突然就火了,你當(dāng)時(shí)是在 CMU 還是已經(jīng)工作了?

田:深度學(xué)習(xí)剛開始火的時(shí)候是在 2012 年年底到 2013 年年初,那個(gè)時(shí)候?qū)W術(shù)界已經(jīng)開始有一些跡象,大家都在討論 Deep Learning 這個(gè)東西到底有沒有用。當(dāng)時(shí)我問了很多人,很多人都持懷疑態(tài)度,第一句話就是「他們一定是搞錯(cuò)了」,「他們肯定代碼有問題,在測(cè)試集上訓(xùn)練的話,效果肯定很好啊」,什么樣的話都有。

當(dāng)時(shí)我看了之后覺得很有意思,這也牽扯到我的職業(yè)選擇問題。當(dāng)時(shí)我就跟我的導(dǎo)師說,我想去做一下這個(gè) Deep Learning。我導(dǎo)師一百個(gè)不愿意,說這個(gè)不可靠。

但是,我當(dāng)時(shí)覺得 Deep Learning 效果還不錯(cuò),而且我也在想一些層次模型的問題。當(dāng)時(shí)我的一篇論文還拿了一個(gè)最佳論文獎(jiǎng)提名,做的也是層次模型。二者有一些共通的地方,所以我在想是不是有一些可以借鑒的地方。

從零一:那個(gè)時(shí)候是你博士剛讀完嗎,還是快讀完?

田:那是快讀完的時(shí)候,我是 13 年 9 月份畢業(yè)的,AlexNet 剛出來的時(shí)候是 2012 年的 NeurIPS。AlexNet 的代碼開源之后我還去問過作者怎么跑這個(gè)代碼。但是相對(duì)來說,整個(gè)大組里還是持一個(gè)比較懷疑的態(tài)度,搞計(jì)算機(jī)視覺的人普遍不相信。這個(gè)時(shí)候我正在找工作。

畢業(yè)就進(jìn)谷歌:是個(gè)「好工作」,但激情消失了

從零一:博士之后你第一份工作是去了 Google X,做和無人車有關(guān)的項(xiàng)目,能不能講講當(dāng)時(shí)找工作的一些想法?

田:首先,我當(dāng)時(shí)想要去嘗試一下各種各樣不同的東西,無人車是挺有意思的一個(gè)方向,另外,我聽說那邊可能開始要用深度學(xué)習(xí),所以覺得很感興趣。第二個(gè)就是現(xiàn)實(shí)問題,因?yàn)樽x了五年博士,畢業(yè)之后肯定想找一份「好工作」。當(dāng)時(shí)那個(gè)組大家都覺得還不錯(cuò),技術(shù)上相對(duì)來說是比較前沿的。無人車大概在 16、17 年開始大火,在這之前 Google 就開始做了,所以后來就去了這個(gè)組。

我剛?cè)サ臅r(shí)候有點(diǎn)興奮,但是后來覺得跟我的期望還是有距離的,所以待了一年多就走了。

從零一:為什么會(huì)覺得跟自己的期望有差距?

田:有幾個(gè)方面的因素吧。首先它是一個(gè)保密組,允許你做很厲害的工作,但是你不能對(duì)外說,這樣對(duì)將來的工作不是很有利。你要跳槽的話,別人會(huì)問你之前做什么,你說「我不能說」。這是一個(gè)非?,F(xiàn)實(shí)的問題。第二個(gè)問題就是,我當(dāng)時(shí)進(jìn)去的時(shí)候還很興奮,問我當(dāng)時(shí)的老板:「我們是不是可以用深度學(xué)習(xí)???」但是進(jìn)去之后發(fā)現(xiàn),我做不了深度學(xué)習(xí)。當(dāng)時(shí) GPU 還是一種比較稀缺的資源,Google 內(nèi)部是有配額的,做深度學(xué)習(xí)的主要是一些比較資深的工程師,他們有時(shí)間和權(quán)限去跑一些深度學(xué)習(xí)模型。所以我當(dāng)時(shí)相當(dāng)于是打雜的,做的是一些沒有那么興奮的東西,感覺做下去也沒有多大的前途。最后,你會(huì)慢慢知道自己想要什么。所以一年之后就想要跳槽了。

從零一:我記得在知乎的帖子上看到你白天做 Google X 的工作,晚上自己做研究,是不是當(dāng)時(shí)就覺得自己對(duì)研究更感興趣?

田:對(duì),是這樣。我當(dāng)時(shí)覺得上班就是做一天和尚撞一天鐘。上班寫一天代碼之后,晚上回去做自己想做的事。我覺得上班之后的狀態(tài)和讀博士時(shí)的狀態(tài)是完全不一樣的。博士期間,我還是挺喜歡花很多時(shí)間去研究、去思考,但是去谷歌之后,好像這種激情就沒有了,覺得自己就是來賺錢的。所以,我覺得這可能不是一個(gè)適合自己的地方。

我在公司沒有辦法做深度學(xué)習(xí),但是我可以看,找篇文章閑暇時(shí)間自己做做。當(dāng)時(shí)我還自己搭了個(gè)小平臺(tái)。當(dāng)然,這樣也能做(研究),但是會(huì)很累,而且沒有辦法和其他研究人員交流。當(dāng)時(shí)那種狀態(tài)還是很辛苦的,所以最后還是決定要走。我不可能一直留在谷歌,白天做一件事,晚上做另一件事,這不是長遠(yuǎn)之策。

跳槽 Facebook AI 研究院

從零一:所以在過了一段時(shí)間的雙面人生之后,最終還是選擇做研究,去了 Facebook 的 AI 研究院。那您能否講講您做出選擇的過程是怎樣的?

田:當(dāng)時(shí)去面試了一些地方,不只是 Facebook。除了面試之外,也要了解相關(guān)領(lǐng)域的一些情況,比如深度學(xué)習(xí)發(fā)展到什么程度了,這些都是要做準(zhǔn)備的。我記得我當(dāng)時(shí)去 Facebook 面試,準(zhǔn)備了差不多一個(gè)禮拜。我把相關(guān)的文章都看了一下,了解了一下大致情況。

2014 年,深度學(xué)習(xí)的進(jìn)展是非常非??斓?,比如 CV 領(lǐng)域的目標(biāo)檢測(cè),性能一年之內(nèi)就提高了很多。我看了之后就覺得,如果我再不跟上就完蛋了。如果我繼續(xù)在谷歌寫一些簡單的代碼或者做一些簡單的東西,肯定是不行。

還有一點(diǎn)就是怎樣去說服家里人,因?yàn)榧依锶藭?huì)覺得在大公司很穩(wěn)定。對(duì)家里人來說,如果在大公司工作一年就走,這其實(shí)是一個(gè)很大的問題。當(dāng)時(shí)我在像知乎這樣的平臺(tái)也寫過一些帖子,講我在公司待一年就走的情況,有人就會(huì)懷疑:這個(gè)人在一個(gè)公司只待一年,說不定去新公司也是只待一年就走了,沒有長性。這種質(zhì)疑不僅是外界會(huì)有,在家人中也會(huì)有。這種時(shí)候怎么辦呢?那就要考慮跳槽過去之后對(duì)自己有什么幫助,還有就是考慮了最差的情況是什么樣的。最后覺得最差的情況也還可以吧,也不會(huì)特別糟糕,本來起點(diǎn)也不高嘛,所以要跳槽也是可以跳的。

確實(shí)當(dāng)時(shí)也在想,如果要去一個(gè)自己想去的地方,那么接下來就要花很多時(shí)間和精力去把這件事情做好。尤其在當(dāng)時(shí),我也不是做深度學(xué)習(xí)科班出身的人,也不是出身于三巨頭的相關(guān)研究所,我也是半路換到這個(gè)方向,所以要付出比別人更多的時(shí)間和精力。

從零一:那去了 Facebook 之后,是不是瞬間就覺得這是你想去的地方?還是花了一段時(shí)間適應(yīng)?

田:我覺得好像沒有特別長的適應(yīng)期,因?yàn)槟莻€(gè)時(shí)候 Facebook 還是一個(gè)相對(duì)小的公司,所以工作比較靈活。它不像谷歌那樣條條框框很多,有各種各樣的限制。比如在注釋后加空格就會(huì)分為兩派,有些人加一個(gè)空格,有些人加兩個(gè)空格。兩類人還會(huì)因此吵起來。但是我對(duì)這個(gè)沒有什么興趣。在 Facebook 就沒有那么多條條框框,相對(duì)來說比較自由。另外一點(diǎn)是因?yàn)槲以?Facebook 是做研究工作,要看一些文章,了解一些相關(guān)領(lǐng)域的研究情況,這些都是我想做的事情。我就覺得我好像回到了之前讀博的時(shí)候,我覺得這樣的狀態(tài)很好,這一點(diǎn)和在谷歌差很多。

從零一:所以每天的日常工作也完全不一樣,對(duì)嗎?

田:對(duì),完全不一樣。當(dāng)然我不能就這樣把谷歌一棒子打死,可能只是無人車這個(gè)組存在這樣的問題。我當(dāng)時(shí)也拿到了 Google Research 的 offer,如果我當(dāng)時(shí)去那邊,可能情況就完全不一樣,所以也不能說是谷歌的鍋。我到了 Facebook 之后就好像回到了讀博時(shí)的狀態(tài),特別有興奮感,在工作上特別有動(dòng)力,整個(gè)人就好像活過來了。不像之前覺得自己每天就是去工作,沒有特別大的激情。

從零一:在你當(dāng)時(shí)做的研究項(xiàng)目里,你覺得哪個(gè)最讓人興奮?

田:一個(gè)就是圍棋這一塊。因?yàn)楫?dāng)時(shí)我也不是做強(qiáng)化學(xué)習(xí)的,以前我是做 CV 的,但也不是做大家認(rèn)為的偏實(shí)踐的計(jì)算機(jī)視覺的工作,而更多是非凸優(yōu)化的理論研究。后來我也是為了圍棋這個(gè)游戲去學(xué)習(xí)一些強(qiáng)化學(xué)習(xí)的課程,去看文章,去思考怎么樣去做一個(gè)更好的工作,然后現(xiàn)在我成為一個(gè)研究強(qiáng)化學(xué)習(xí)的人??梢哉f我也是半路出家,這個(gè)過程是一個(gè)很好的學(xué)習(xí)過程,我能夠感覺到我從一個(gè)什么都不懂的狀態(tài)慢慢到現(xiàn)在我能夠看到其中的問題,找到一個(gè)方向,知道大家接下來該怎么走。特別是 OpenGo 在 2018 年之后能夠受到大家非常多的關(guān)注,起初我沒有想到我能做到這樣,我覺得這是一個(gè)非常不錯(cuò)的結(jié)果。

第二個(gè)就是關(guān)于理論分析。理論分析也是我一直想做的,在無人車組時(shí)我就有這樣的想法。大家都在埋頭訓(xùn)練,但是其中有很多問題。這一部分我也是經(jīng)歷了一個(gè)慢慢的學(xué)習(xí)過程,可能一開始我會(huì)花很多時(shí)間懸想,但是沒有特別多的結(jié)果。到現(xiàn)在就是慢慢知道怎么做,怎么樣很快很有效率地去做出一個(gè)結(jié)果,怎么樣處理下一步的工作。我覺得這是一個(gè)很大的收獲。

主導(dǎo)開發(fā) DarkForest

從零道一:能不能講一講你做這個(gè)圍棋項(xiàng)目中遇到的困難、挑戰(zhàn),或者有沒有哪些有意思的事情?

田:挑戰(zhàn)和困難是非常多的,因?yàn)閲迳婕按笠?guī)模的深度強(qiáng)化學(xué)習(xí),需要大量的跨領(lǐng)域的知識(shí)組合。你不僅要知道強(qiáng)化學(xué)習(xí)怎么做,還需要搭分布式系統(tǒng),保證訓(xùn)練能夠進(jìn)行,還需要調(diào)參。各種各樣的東西都需要組合在一起,才能把系統(tǒng)的效果搞出來。所以這一點(diǎn)很鍛煉人,它把本來并不交叉的領(lǐng)域放在了一起,這是一個(gè)非常好的項(xiàng)目。

從零道一:你會(huì)下圍棋嗎?

田:我會(huì),但我的水平很差。我只要知道出了問題我怎么 debug 就行了。比如說圍棋高手能夠在某個(gè)問題出現(xiàn)之前就把問題看清,但對(duì)我來說,我可能要讓機(jī)器先走個(gè)十步,我才能看出來。但這也沒關(guān)系,因?yàn)闄C(jī)器一直在跑嘛,我完全可以讓機(jī)器先跑。所以這個(gè)問題倒不大。圍棋下得比較好的人可能還希望把自己的經(jīng)驗(yàn)加到里面去,這其實(shí)對(duì)于 AI 的設(shè)計(jì)來說并不是有利的,因?yàn)槲覀兿M?AI 能夠自己學(xué)出來。

去了谷歌卻做不了深度學(xué)習(xí),聽臉書田淵棟談人生挑戰(zhàn)與選擇

2016 UEC 計(jì)算機(jī)圍棋大賽, DarkForest(左)與職業(yè)棋手小林光一九段(右)對(duì)弈。

從零道一:你剛才講說做這個(gè)項(xiàng)目的時(shí)候需要跨領(lǐng)域的知識(shí),當(dāng)時(shí)你是怎么快速學(xué)到這些跨領(lǐng)域的知識(shí),并且把這些知識(shí)投入到應(yīng)用中的呢?

田:我覺得這個(gè)算是我的一個(gè)長處吧,很多東西我都能自己學(xué)會(huì),只要我花時(shí)間花精力去做這件事。另外一個(gè)就是,我什么事情都愿意自己去嘗試。因?yàn)樯疃葟?qiáng)化學(xué)習(xí)是一個(gè)非常需要自己動(dòng)手去嘗試的領(lǐng)域。只有通過這種方式我才能知道什么東西是有效果的。這對(duì)我來說不是一個(gè)費(fèi)力的事情。通過不停的實(shí)踐,慢慢就可以知道怎么去做這個(gè)系統(tǒng),然后很快地把效果提上去。

從研究員到研究經(jīng)理

從零一:我知道你剛進(jìn) Facebook 的時(shí)候是 Research Scientist,后來還成為了研究經(jīng)理。能不能講述一下自己從一個(gè)研究員到管理者的挑戰(zhàn)和感受?

田:挑戰(zhàn)肯定是有的。首先作為管理者,不僅需要把自己的工作做好,而且還要理解別人的想法和思路。作為一個(gè) manager,我要考慮我能不能讓下屬成長,所以我就需要去理解他們?cè)谙胧裁?,他們的訴求,他們的目標(biāo),他們的能力有什么局限。這些東西需要通過交流,包括一對(duì)一的交流,通過一些探討和思考,慢慢地了解才能知道,再進(jìn)行一個(gè)反饋。這其實(shí)是一個(gè)很重要的能力,能夠理解別人是一個(gè)非常重要的挑戰(zhàn)。

從零道一:你說你從來不認(rèn)為自己是一個(gè)非常成功的人,甚至有時(shí)候覺得自己比別人要笨。但是其實(shí)現(xiàn)在很多人都認(rèn)為你現(xiàn)在做出來的研究是非常出色的,也是有很多價(jià)值的,那你覺得自己有現(xiàn)在的研究成果依靠的是什么?

田:我能依靠的首先是耐心,要有耐心,要愿意去磨一個(gè)問題。比如有一個(gè)問題我愿意去做,那么我并不在乎多快時(shí)間能做出來,可以慢慢來,只要方向是對(duì)的,思路是明確的,一點(diǎn)點(diǎn)就能夠把這個(gè)問題挖下去,就可以完成。耐心是很重要的。如果一個(gè)月能專注做一件事,成果真的是驚人的。最怕的是一個(gè)人很聰明,但是淺嘗輒止。一件事情做了一會(huì)兒不想做了就換一件事情做。這樣可能就是人雖然非常聰明,但是沒有辦法把一件事情做好做實(shí)在。所以我覺得我自己笨,就笨鳥先飛,多花點(diǎn)時(shí)間做自己滿意的東西。所以耐心是很重要的,尤其是現(xiàn)在這個(gè)時(shí)代大家都比較滿足于快速的反饋,比如看個(gè)視頻獲取開心。但是做出大東西來還是需要專注很長時(shí)間來把事情做完,就算別人不看好你,你也會(huì)愿意做下去?,F(xiàn)在這個(gè)社會(huì)普遍來說缺乏這種能力,但是有這種能力更容易做出大事情。

對(duì)于 AI 發(fā)展的看法

從零一:從你的專業(yè)視角來看,當(dāng)前人工智能處于一個(gè)什 么樣的發(fā)展?fàn)顟B(tài)?特別是現(xiàn)在它的局限在哪里,哪些事是做不了的?

田:這個(gè)問題比較大,我覺得現(xiàn)在 AI 可能處在一波熱潮之后回調(diào)的時(shí)間段??赡苓€會(huì)有一些改進(jìn)提升,每年也有很多文章出來,但已經(jīng)不像前幾年那樣非常火熱,會(huì)常有一兩件驚世駭俗的東西出來的樣子。但重大進(jìn)展也是有的,比如 OpenAI 的 GPT-3 還是很厲害的,能夠生成很多有意思的對(duì)話。

另外一方面是很多人涌進(jìn)了 AI 這個(gè)領(lǐng)域,使得競爭非常激烈。但是長遠(yuǎn)來說,我還是認(rèn)為 AI 是一個(gè)很好的方向,是一個(gè)非常有前途的方向,這個(gè)方向是值得長期投入的。今后不管是哪個(gè)領(lǐng)域都會(huì)有 AI 的身影,它都能夠做到自動(dòng)化,減輕人的負(fù)擔(dān)。但是現(xiàn)在 AI 的成果還是比較弱的,總體來說還是一個(gè)函數(shù)擬合器,給定輸入輸出,然后擬合一個(gè)函數(shù)且效果不錯(cuò)。

現(xiàn)在的 AI 談不上有自我意識(shí),談不上有很強(qiáng)的推理能力。比如說有一些例子:AI 會(huì)回答問題,從文中找到一些很有意思的段落,研究下來發(fā)現(xiàn),它也只是找到了問題和段落之間的一些關(guān)聯(lián),利用這些關(guān)聯(lián)去尋找答案。圍棋也是一樣的,找到棋子的落點(diǎn)和它周圍的棋子之間的聯(lián)系,然后通過大量的自我對(duì)弈,慢慢找到聯(lián)系,找到更好的解法。

本質(zhì)上說,現(xiàn)在 AI 這個(gè)階段已經(jīng)產(chǎn)生很多有影響力的結(jié)果了,接下來一方面是怎樣去理解模型在干什么,刷榜、提高性能都是常規(guī)操作,已經(jīng)不能算是有突破了。如果能夠理解 AI 存在的問題,能夠理解神經(jīng)網(wǎng)絡(luò)的工作原理,理解如何避免神經(jīng)網(wǎng)絡(luò)出現(xiàn)一些 bug(比如對(duì)抗樣本),這些是很重要的,這些對(duì) AI 未來的發(fā)展有很大的影響。

我們并不希望使用自己也不知道為什么能 work 的東西,去左右自己的決策。比如說,最近發(fā)現(xiàn)用 AI 來做的很多東西存在偏見(bias),那么也只有理解神經(jīng)網(wǎng)絡(luò)是怎樣工作的,才能克服偏見問題,這個(gè)其實(shí)是很重要的。

從零一:有聽眾提問說,他是您知乎的粉絲,您之前提到過意識(shí)和智能是可以分離的,開發(fā)高智能的 AI 可以做很多人做不了的事情。但是根據(jù)我們的經(jīng)驗(yàn),人的直覺在處理問題時(shí)常起到畫龍點(diǎn)睛的效果。那么在 AI 的智能中植入意識(shí)的做法可不可行?現(xiàn)在是否有嘗試模仿人的直覺引入到人工智能領(lǐng)域研究的內(nèi)容,進(jìn)展如何?

田:首先我覺得,直覺這一點(diǎn)已經(jīng)被引入進(jìn)來了。比如在圍棋這一部分,有很多的步法其實(shí)并不是計(jì)算機(jī)通過精密的搜索算出來的,而是通過大量對(duì)弈找到了直覺上比較好的步法,相當(dāng)于不通過推理和意識(shí),直接找到當(dāng)前輸入的一些模式,看到這些模式之后,反應(yīng)過來該干什么。我覺得這是直覺在現(xiàn)在的機(jī)器學(xué)習(xí)框架下比較好的定義。

對(duì)人來說,直覺一定是很神秘的,因?yàn)槿藗儾⒉恢朗窃趺吹脕淼?,但是?duì)機(jī)器來說非常簡單,就是看到了這些模式,然后反應(yīng)出應(yīng)該干什么。按照這種邏輯來看,現(xiàn)在的機(jī)器學(xué)習(xí)全都是直覺,但我們恨不得它能少一點(diǎn)直覺,多一點(diǎn)推理。

比如問一個(gè)問題:「這張圖片里天空是什么顏色的?」然后機(jī)器說:「不用看,肯定是藍(lán)的」。這就是直覺,現(xiàn)在的神經(jīng)網(wǎng)絡(luò)是靠直覺活著的,但是我們要加入高層的思考、推理、判斷,這是很難的,也是現(xiàn)在要思考的問題。

給年輕從業(yè)者的職業(yè)建議

從零道一:您對(duì)對(duì) AI 感興趣的學(xué)生或者年輕從業(yè)者有什么樣的建議?

田:其實(shí)前兩天在知乎上有個(gè)帖子,是關(guān)于高考剛結(jié)束的學(xué)生有哪些選專業(yè)的建議。我覺得還是先把基礎(chǔ)打好,這是非常重要的,AI 可以火,可以不火。我之前還看到有個(gè)帖子說:「如何看待算法崗灰飛煙滅?」,因?yàn)榍皟赡陮?shí)在太火了,所有人都愿意去做它,所以也許有些人在找工作時(shí)會(huì)遇到問題?,F(xiàn)實(shí)上來說,我覺得還是要把計(jì)算機(jī)的一些基礎(chǔ)知識(shí)打好,這個(gè)是非常重要的,因?yàn)椴还茉趺礃?,以后你可以?AI,也可以去做其他的事情。出路會(huì)寬一點(diǎn)。這些基礎(chǔ)知識(shí)在各個(gè)領(lǐng)域都共通,這是一個(gè)非常好的起點(diǎn)。

如果你直接做 AI 的話,問題是在于你可能會(huì)見到很多高大上的東西,這些東西可能過兩年就不火了或者發(fā)現(xiàn)有比較嚴(yán)重的問題。因?yàn)檎麄€(gè) AI 領(lǐng)域和深度學(xué)習(xí)相對(duì)來說還是比較年輕的東西,每天有那么多 arXiv 論文,可能今天他說的是對(duì)的,明天就是不對(duì)的,這也是可能性很大的事情。所以一開始就去接觸這些東西可能就會(huì)陷入一個(gè)誤區(qū):「稍微改改就能跑個(gè)新的東西出來,我為什么要學(xué)基礎(chǔ)知識(shí)呢?」所以這樣的方式可能對(duì)學(xué)習(xí)者沒有特別大的幫助,還是要把基礎(chǔ)打好。一個(gè)是計(jì)算機(jī),一個(gè)是數(shù)學(xué),這些基礎(chǔ)知識(shí)都不會(huì)變,都是被很多人證明過這些東西都是有效果的,確實(shí)是有用的,所以這些還是要先學(xué)的。打好基礎(chǔ)知識(shí)之后,再去做一些其他工作,去研究一些前沿的東西,這樣對(duì)學(xué)習(xí)者的未來才都有好處。

應(yīng)對(duì)焦慮和壓力:最重要的是期望管理

從零一:還有一個(gè)問題,就是如何管理自己的焦慮和壓力,因?yàn)樽x博時(shí)的工作強(qiáng)度肯定是較大的,工作以后的節(jié)奏也會(huì)比較緊張,你是如何應(yīng)對(duì)的?

田:最重要的是要有正確的期望,這可能是博士階段培養(yǎng)的很重要的一項(xiàng)能力。為什么會(huì)有壓力?是因?yàn)榘涯繕?biāo)設(shè)太高了,擔(dān)心自己完成不了,特別是剛讀博士的時(shí)候,明星師兄師姐在前面當(dāng)榜樣,自己差那么遠(yuǎn),博士畢業(yè)生的方差又特別大。一是要知道自己能做什么,二是要把一個(gè)大的方向分成幾個(gè)子問題,就可以一點(diǎn)點(diǎn)往前走了,不用怕自己完不成。

另外一個(gè)就是中國人經(jīng)常習(xí)慣說「我能做」,但之后可能感到壓力就焦慮了。所以要跟別人溝通,去說清楚「這個(gè)事情我做不到」和「這個(gè)事情我可以做」,這一點(diǎn)也很重要。

還有一個(gè)是自我管理,就是「我想做的事情一定能做成」。很多人可能不具備太強(qiáng)的自律能力,比如打算做一件事情結(jié)果躺下來刷手機(jī)了,這樣也會(huì)產(chǎn)生壓力和焦慮。如果有一個(gè)良好的時(shí)間管理方案的話,這方面的焦慮就會(huì)輕一點(diǎn)。

這兩年我進(jìn)步的地方主要在于,讓自己做事的效率更高。比如同樣用五個(gè)小時(shí)來做一個(gè) project,現(xiàn)在的我比三年前的我能夠更好地去完成,因?yàn)槲抑滥男〇|西不需要自己寫,在網(wǎng)上可以有現(xiàn)成的,或者可以查到,哪些我可以有更好的方案去解決,哪些我可以委托別人。這種思維上的計(jì)劃性可以說是一直在改進(jìn)的。不僅是對(duì)于項(xiàng)目來說,在研究方面也是一樣的。比如怎樣找到一個(gè)能做出來的項(xiàng)目,怎樣去和別人溝通,應(yīng)該是有一個(gè)清晰的方向。

 

責(zé)任編輯:張燕妮 來源: 機(jī)器之心
相關(guān)推薦

2024-02-26 00:20:00

AI模型

2023-03-17 08:28:17

GPT-4AI

2024-12-19 09:48:07

2023-06-12 09:57:22

AIChatGPT

2024-12-12 09:00:00

2024-10-28 08:50:00

2025-02-17 09:30:00

AI訓(xùn)練模型

2010-08-04 15:22:42

VMwareNFS

2024-02-27 11:46:40

2023-12-07 06:51:18

AI模型

2024-10-17 14:10:00

模型訓(xùn)練

2024-03-08 12:35:41

模型數(shù)據(jù)

2023-06-30 09:49:23

模型Meta

2019-06-05 09:05:00

谷歌蘋果臉書

2025-03-03 09:16:00

Meta模型預(yù)測(cè)

2021-10-28 15:41:07

計(jì)算機(jī)AI 技術(shù)

2025-03-25 09:12:00

LIMAI模型

2023-08-04 13:42:41

2019-06-24 09:28:55

谷歌臉書亞馬遜

2023-06-28 18:10:27

羊駝家族大模型集體進(jìn)化
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)