2020年是非常具有挑戰(zhàn)性的一年，就我個人而言，也是一個重要的里程碑 —— 從Cornell大學獲得計算機科學博士學位。這是一個六年的旅程，我作為機器學習研究人員的個人成長，從第一次被拒稿到識別出一個更廣泛的研究前景，也發(fā)生在整個領域的快速增長和變化的背景下。

[[375459]]

隨著今年即將結束，我總結了一些我的思考以及從我的(機器學習)博士經歷中學到的教訓。我討論的主題包括對未來的期望，在讀博士期間常見的挑戰(zhàn)(以及一些幫助挑戰(zhàn)的策略)，跟上論文發(fā)布的步伐，研究的社區(qū)性質并發(fā)展處一個研究愿景。我希望這些主題對指導博士和機器學習的研究有幫助!

對讀博士的期望

在這篇文章的標題中，我將博士學位稱為一段“旅程”，這是一個經常被低估的方面，尤其是那些剛從本科畢業(yè)的人(這也是我的經歷)。典型的機器學習博士是相對非結構化的5 - 6年的時間，在這期間，不僅可以學習到如何做研究該領域的知識，你還能夠開發(fā)出個人對特定問題的偏好。

這些不斷變化的個人偏好將影響你決定從事的研究類型，甚至你博士之后選擇的職業(yè)道路。但尤其是在讀博士的初期，很難預測這些個人觀點將如何演變。

就我而言，開始讀博士時，我完全假定自己會留在工業(yè)界，讀了一段時間后，我開始認真考慮學術界的問題，最后做出了一個非常艱難的決定：拒絕學術界的邀請，繼續(xù)留在工業(yè)界。

所以進入博士階段，有助于一步一步向前走，并專注于獲得的經驗(學習/研究/社區(qū)參與)，而不是一個非常具體的期望結果(這很容易變化，也會添加不必要的壓力。)

這個旅途中的一些常見的挑戰(zhàn)

攻讀博士學位是一個非常有益的經歷，尤其是在機器學習方面，它提供了一個為理解基礎科學和有影響力的技術部署做出貢獻的機會。我非常感謝我的博士學位給了我很多機會去體驗這兩種體驗!然而，博士學位的持續(xù)時間和非結構化也會使其具有挑戰(zhàn)性。我的旅程肯定是有起有落的，在不同的時候，我掙扎于感覺到孤立，完全被卡住，甚至試圖跟上快速進展的步伐而不知所措?；仡欉^去，通過與同齡人的討論，我現在知道，不幸的是，這些低谷可能是相當普遍的。但因為這些經歷是很多人共有的，所以也可以有一些策略來克服它們。下面我將討論其中的一些經驗和策略。

感覺完全被卡住

一個很常見的挑戰(zhàn)就是感覺完全被卡住了，不管是在某個特定項目上還是在整個研究過程中。

如果你面臨的挑戰(zhàn)是一個具體的項目，你已經付出了很大的努力，但它仍然沒有發(fā)揮作用，那么一些策略可能會有所幫助：

• 寫一篇文章：收集所有的部分實驗結果，數學見解，草草記下的動機等，并花時間把這些都放到一起，組成一篇文章。這有助于讓我們了解關于事物的現狀和重要的差距。
• 關鍵點：如果項目的某個特定部分不可行，是否有可能重新定義問題(可能從相關工作中獲得靈感)，使其更容易處理?
• 形成聯系：當前項目所關注的內容與其他研究領域之間是否存在聯系?在這個項目中可以探索這種聯系嗎?這既有助于項目的進展，也有助于使項目與更廣泛的社區(qū)相關。
• 關于寫作的反饋：從研究社區(qū)的同行、合作者和朋友那里獲得關于項目寫作的反饋可能也很有幫助。他們可能會提供新的觀點或提出改進建議。
• Workshop submission：提交Workshop也很有用。這也提供了一個幫助收集所有研究結果并獲得有用反饋的機會。(一段時間以來，我從機器學習會議的研討會中收獲最多，因為我可以討論/獲得正在進行的方向的反饋，并與其他從事同一領域的研究人員會面。)
• 結束并繼續(xù)前進：有時候，可能會有一個項目在開始時聽起來很有前途，但卻很難付諸實施，并且在重構或形成與其他領域的聯系方面也具有內在的挑戰(zhàn)性。在這種(困難的)情況下，最明智的做法是迅速結束項目并繼續(xù)前進。如果你得到的只是部分結果，那就很有可能創(chuàng)建一個最終記錄并分享，所以一個選擇就是這樣做，得到合作者的確認和最終反饋，并將其作為arXiv預印本或研討會論文保存下來。

如果這種被困住的感覺源于更廣泛的研究過程，那么我意識到的一個重要問題是，研究的成熟度往往很難衡量，尤其是在評估自己的時候!在讀博士期間，我開始研究一些醫(yī)療保健應用，在學習該領域/撰寫論文方面進展緩慢。這讓我有一種停滯不前的感覺，并對研究進展的放緩感到有些沮喪。但是當我重新閱讀一些我在讀博士時第一次接觸到的論文時，我能對它們的理解的深度和背景與之前截然不同。

研究成熟度的關鍵方面 —— 理解結果的更廣泛的背景，能夠在不同領域之間形成聯系，迅速縮小在你的子領域中的全新的關鍵貢獻 —— 無法立即轉化為有形的產出(更多的論文)。但它們對于成為一個擁有豐富研究視野的獨立研究人員至關重要 —— 這可以說是博士學位的主要研究目標。如果你正在閱讀論文，學習該領域的知識，并自己研究方向，(甚至可能是教學/指導)最有可能你在所有這些重要方面都取得了進展!

對跟上ML的進展感到不知所措

機器學習是一個充滿活力、快節(jié)奏的領域。但另一方面，它會淹沒在新論文、新預印本、新博客、新實現、新框架等的洪流中(有趣的統(tǒng)計：NeurIPS在過去的一年里有大約10000份提交和大約2k份被接受的論文 —— 難怪我們會感到不知所措!)

我處理這件事的策略是：

1. 有大量的鏈接可以找到相關論文的參考文獻。對我來說，這是一個arxiv stat.ML cs.LG mailing lists，arXiv-sanity，Twitter，的訂閱，reddit/MachineLearning，paperswithcode以及Semantic Scholar/Google Scholar的訂閱組合。
2. 保存一個論文列表，如果我遇到了一篇有趣的論文卻沒有時間去讀(經常是這樣)，我會記下它，然后試著回頭看。
3. 論文閱讀策略，如果一篇論文非常接近我正在積極從事的研究方向，我會詳細地閱讀它，否則我會略讀摘要以獲得一個高層次的大概印象。
4. 偶爾讀一讀不同的領域，偶爾(也許一年一次)，我會研究一些我沒有從事的有趣領域，并閱讀幾篇論文以了解該領域正在發(fā)生的事情。

記住以下幾點也是有幫助的：(1)每個人都都對論文發(fā)表的速度感到不知所措，(2)許多論文可能依賴于相同的潛在觀點，經常熟悉這個觀點足以跟上這個領域。

感覺孤獨

攻讀博士學位的另一個常見挑戰(zhàn)是與孤獨感作斗爭。在我讀博士的頭幾年，一些項目要求我把注意力集中在非常狹窄、具體的問題上，這也是非常費力的，而且(感覺)是永無止境的。在那些時候，我很難不覺得自己與其他研究人員和更廣泛的領域完全隔絕，我非常感謝我的博士導師的支持和指導，讓我度過了這一難關。

更廣泛地說，這種情況很常見，尤其是在攻讀博士學位的早期階段，你可能同時在學習如何從頭到尾看待一個研究項目，同時與更廣泛的研究領域/社區(qū)的背景和聯系更少。與該領域/社區(qū)保持聯系有助于確保你不會感到孤立。這可以包括：(i)與(高級)學生/博士后的合作，(ii)獲得對你的工作進步的反饋 —— 這可能來自你的顧問/實驗室，但也可能是來自其他同行/導師，(iii)積極參與更廣泛的社區(qū)，無論是通過簡單地參加會議，指導或組織研討會。

3個有用的個人的小技能

在討論了博士階段所面臨的一些共同挑戰(zhàn)以及幫助解決這些挑戰(zhàn)的方法之后，本文的其余部分將概述一些對研究進展有益的考慮因素。

特別是，我將從三個我認為在整個博士生涯中非常有幫助的個人技能開始：主動性，專注力和毅力。這當然是基于我的個人經驗!但對我來說，本科生，博士項目的一個關鍵區(qū)別是是否需要采取行動 —— 這是否意味著閱讀重要的相關論文，做快速初步的不同方法的可行性的研究，與同行做相關研究，甚至參加并積極參與會議。因為攻讀博士學位的時間基本上都是非結構化的，所以是否富有成效很大程度上取決于你學習和進行研究的主動性。

另外兩個我發(fā)現非常有用的技能是專注和毅力。在開始一個新的研究方向時，專注力非常有助于細讀相關工作，提煉重點，從初步的探索中快速學習，確定主要的項目方向。另一方面，堅持不懈對于完成研究項目是非常有用的,(尤其是)在準備提交的論文中，經常有一長串的編輯/補充，在提交后，進一步編輯以回應同行評審和拒稿。要集中精力進行所有這些編輯是很難的(尤其是準備再次提交論文，還有更新、更有趣的項目正在進行時)，但同行評審過程的可變性通常意味著值得堅持下去。

在論文和想法上做筆記

在我的PhD期間，有兩個文檔，一個是第一年開始的，一個是第三年開始的，我一直在更新。第一種是記錄我讀過的論文 —— 每當我讀到一篇新論文時，我就把它添加到文檔中，并附上我的簡短總結。文件現在已經超過50頁了(這可能意味著我應該切換到Mendeley或Paperpile)，這是一種非常有用的方式，讓我可以快速地翻回我?guī)啄昵白x過的文件并獲取要點。另一份文件記錄研究思路。每次我有了有希望的新想法，我就把它記下來。隨著時間的推移，這有助于我的研究方向和突出關鍵主題。

社區(qū)的重要性

我花了很長時間才意識到(機器學習)研究的一個重要特性，那就是研究從根本上來說是一項社區(qū)努力。我們要解決的問題是非常困難的，而進步依賴于你借鑒別人的想法，別人借鑒你的想法的循環(huán)。在探索研究方向時，這是一個需要牢記的關鍵因素。社區(qū)對什么感到興奮，為什么?有缺點或差距嗎?接下來的研究是否有自然的步驟?

花時間與社區(qū)中的同行討論這些問題和其他問題，對于開發(fā)見多識廣、相關性強的研究問題是至關重要的。如果你發(fā)現了一個令人興奮的、對該領域感興趣的新研究方向，圍繞這個方向建立一個社區(qū)通常是有用的 —— 這可以通過發(fā)起合作、傳播關鍵的開放問題和組織研討會來實現。

早在我讀博士的時候，我就對理解現代深度學習系統(tǒng)展示的關鍵經驗現象很感興趣。但當時研究這個課題非常具有挑戰(zhàn)性。該領域發(fā)展迅速，使任何類型的分析的焦點都成為一個移動的目標，并顯著增加了圍繞這個主題構建新社區(qū)的挑戰(zhàn)。所以，發(fā)表我的第一篇深度學習分析論文相當困難，這絕對是一種堅持不懈的行為!但從那時起，見證這一令人興奮的研究領域的發(fā)展并為其做出貢獻是一件非常美妙的事情!

發(fā)展研究視野

雖然我前面所描述的，當開始讀博士時，最好是把事情一步一個腳印的推進，注重體驗，而不是一個具體的目標,從研究成熟的角度來看，博士要有一個明確的目標：讓你的獨立研究者，有豐富的研究的視野。

在目前的機器學習研究中，隨著論文的泛濫，人們很容易對持續(xù)大量發(fā)論文需求感到壓力。但是，雖然論文寫作是一項重要的技能，我認為研究成熟度的關鍵測試是能夠在你的領域有知識淵博的視角，這有助于識別關鍵的研究問題，并與總體主題 —— 研究愿景聯系起來。

擁有一個完善的研究視野是非常有動力的。打個比方，這有點像完成一個“數碼繪畫”工具包：你不再只是看到每個正方形像素的顏色，而是突然去欣賞整個畫面。

那么，如何發(fā)展研究視野呢?

首先，從我的博士生涯來看，我認為如果沒有幾年的研究經驗，就很難形成一個成熟的研究愿景。我記得在我讀博士的頭幾年，我讀過一些論文，看過一些資深研究人員的演講，我很沮喪，因為我?guī)缀醪荒茏R別/闡明有趣的研究問題。在那之后的幾年里，我讀過的所有論文、做過的項目、參加過的研討會的綜合效應，極大地提高了我在這方面的能力。(當然還有改進的空間!展望未來，隨著我獲得更多的背景和對更大的子領域的理解，這種能力將繼續(xù)發(fā)展。)

更具體地說一下形成(更完善的)研究視野的階段：它始于探索，我最初的幾個項目讓我接觸到各種各樣的東西，幫助我理解我發(fā)現的本質上有趣的東西。從那以后，自然就有了后續(xù)的項目要研究，最終也引出了一些應用/部署方面的相關問題。所有這些都開始匯聚在機器學習設計和部署中的人工智能交互這一廣泛主題下，而且，正如研究愿景擅長做的那樣，也激發(fā)了新的問題。(我非常感謝我的博士導師，在這一切中給予我的深刻見解、指導和鼓勵!)

最后一點，我想強調的是，多年的經驗確實具有復合效應。當你在研究的項目上工作時，就更容易識別出研究論文的突出思想，這為你的下一個項目給出個人觀點和前途相關的思考，并使得這些未來的項目更容易被吸收，然后再回過來幫助確定新的有趣的研究方向，并最終合并形成更廣泛的視野。

總結

總之，讀博是很有成就感的。然而，這是一段旅程，有起有落，有個人發(fā)現，有(研究)視角的演變。我非常感謝我博士期間的豐富經歷，希望這篇文章能對其他人有所幫助!