[[420317]]

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

機(jī)器學(xué)習(xí)領(lǐng)域水寫(xiě)論文日常：

△圖源推特：AI Memes for Artificially Intelligent Teens

明明想得很美：要提出一個(gè)更好的新架構(gòu)、新?lián)p失函數(shù)、新優(yōu)化器或激活函數(shù)……

而實(shí)際正在做的呢？

在一個(gè)數(shù)據(jù)集上應(yīng)用現(xiàn)有的東西（如架構(gòu)，優(yōu)化器，損失功能），嘗試不同的組合以找到該數(shù)據(jù)集上的最優(yōu)解。

這就是Reddit上的一位準(zhǔn)博士現(xiàn)階段的煩惱：

無(wú)貢獻(xiàn)無(wú)創(chuàng)新無(wú)思路，ML領(lǐng)域準(zhǔn)博士求助：論文到底要怎么創(chuàng)新？

他并不滿(mǎn)意目前的工作，也不知道自己都做了哪些貢獻(xiàn)。

所以帖子標(biāo)題非常直接：

如何在機(jī)器學(xué)習(xí)領(lǐng)域?qū)懻撐臅r(shí)保證創(chuàng)新性？

關(guān)注現(xiàn)實(shí)問(wèn)題和細(xì)分領(lǐng)域

而對(duì)于這一問(wèn)題，下方討論的網(wǎng)友們基本分為了兩類(lèi)。

第一類(lèi)認(rèn)為，不要刻意去追求“創(chuàng)新”，而是先嘗試從解決現(xiàn)實(shí)問(wèn)題出發(fā)：

一個(gè)新想法的出現(xiàn)，通常是為了試圖解釋一些以前沒(méi)有解決的問(wèn)題。

或是這一問(wèn)題已有方法（但你找到了更好的解決方案）。

現(xiàn)實(shí)中確實(shí)有很多這樣的例子。

比如強(qiáng)化學(xué)習(xí)領(lǐng)域的很多論文都是集中在游戲上的。

造成這種現(xiàn)象的原因之一，就是大家在一開(kāi)始都是用較低的成本讓模擬器快速運(yùn)行的。

但慢慢地，這種傳統(tǒng)方法就讓游戲暴露出了不少問(wèn)題：

比如，只有在執(zhí)行了一長(zhǎng)串的正確行動(dòng)（actions）后，你的（強(qiáng)化學(xué)習(xí)）模型才能得到獎(jiǎng)勵(lì)信號(hào)（reward signals）。

像這種實(shí)際應(yīng)用中的困難，很容易就能引申到“要如何解決”或“怎么讓現(xiàn)有方法變得更好”上。

那創(chuàng)新點(diǎn)不就來(lái)了？

而第二類(lèi)網(wǎng)友則直接從問(wèn)題根源入手：

別再在ML大領(lǐng)域里浪了，趕緊選個(gè)利基領(lǐng)域 （niche area）上吧。

什么是利基領(lǐng)域？

這是指一個(gè)大領(lǐng)域下尚未被其他人所占領(lǐng)的某個(gè)專(zhuān)業(yè)的小領(lǐng)域，也叫細(xì)分領(lǐng)域。

這一類(lèi)網(wǎng)友覺(jué)得，你要在機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)創(chuàng)新，那就意味著要跟成千上萬(wàn)的科研人競(jìng)爭(zhēng)，這談何容易？

所以還不如去一些“過(guò)氣”的分支領(lǐng)域去試試。

比如30年前在AI領(lǐng)域中流行過(guò)的歸納邏輯程序設(shè)計(jì)（ILP）：

當(dāng)然，這種方法更適用于當(dāng)你的目標(biāo)是“獲得博士學(xué)位就算成功”的時(shí)候。

畢竟這樣做很可能導(dǎo)致你的引用數(shù)常年在個(gè)位數(shù)打轉(zhuǎn)……

最后就是Just Try it的保留節(jié)目了：

就算最后失敗了，你也會(huì)對(duì)相關(guān)問(wèn)題有更深的理解，或產(chǎn)生新的思考。

同時(shí)，這也能側(cè)面印證你選擇的課題是不是真的有價(jià)值：

畢竟對(duì)于牛逼的課題，即使失敗也是成功的墊腳石。

但如果你完全無(wú)法從這次失敗中收獲新的東西的話(huà)——

那還是趕緊跑路另?yè)駃dea吧。

永恒的難題：idea

其實(shí)今天開(kāi)貼的這位題主所說(shuō)的“保證論文創(chuàng)新性”，說(shuō)到底還是一個(gè)idea的問(wèn)題。

而對(duì)于廣大科研人來(lái)說(shuō)，這是個(gè)永恒的話(huà)題。

比如說(shuō)19年時(shí)，就有這種“發(fā)現(xiàn)自己的idea已經(jīng)被人發(fā)表了該怎么辦？”的討論帖了：

（只聽(tīng)標(biāo)題都是聞?wù)邆穆?tīng)者落淚）

大家在下面集思廣益了半天，從如何避免撞車(chē)，到撞車(chē)之后如何擴(kuò)展強(qiáng)化，再到個(gè)人能力培養(yǎng)和學(xué)術(shù)環(huán)境，最后表示：

湊合一下，克服一下，適應(yīng)一下。

而在去年，來(lái)自清華的高天宇同學(xué)也在直播中分享了他的idea來(lái)源：

這位本科期間就發(fā)表過(guò)兩篇AAAI和兩篇EMNLP的大神表示：

idea的形式多種多樣，有原創(chuàng)的突破性工作，就像發(fā)明襯衫；也有排列組合、遷移、漸進(jìn)的補(bǔ)充性工作，就像給襯衫裝上紐扣和前衣口袋；而灌水就像是在衣服背后縫了個(gè)口袋。

今年，甚至有位英國(guó)教授專(zhuān)門(mén)寫(xiě)了篇論文來(lái)指導(dǎo)大家如何寫(xiě)論文：

作者主要從建模前如何準(zhǔn)備、如何建出可靠的模型、如何穩(wěn)健地評(píng)估模型，如何公平地比較模型以及如何報(bào)告結(jié)果五個(gè)方面，全面闡述了如何避免機(jī)器學(xué)習(xí)研究中的陷阱。

那么最后，你覺(jué)得還有什么保證論文創(chuàng)新性（或?qū)ふ襥dea）的方法呢？

清華特獎(jiǎng)高天宇：

https://www.qbitai.com/2020/03/12309.html

如何寫(xiě)一篇不水的機(jī)器學(xué)習(xí)論文：

https://www.qbitai.com/2021/08/27616.html

發(fā)現(xiàn)自己的idea已經(jīng)被人發(fā)表了，該怎么辦？

https://www.qbitai.com/2019/06/3337.html