本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

如今深度學(xué)習(xí)模型開(kāi)發(fā)已經(jīng)非常成熟，進(jìn)入大規(guī)模應(yīng)用階段。

然而，在設(shè)計(jì)模型時(shí)，不可避免地會(huì)經(jīng)歷迭代這一過(guò)程，它也正是造成模型設(shè)計(jì)復(fù)雜、成本巨高的核心原因，此前通常由經(jīng)驗(yàn)豐富的工程師來(lái)完成。

之所以迭代過(guò)程如此“燒金”，是因?yàn)樵谶@一過(guò)程中，面臨大量的開(kāi)放性問(wèn)題 （open problems）。

這些開(kāi)放性問(wèn)題究竟會(huì)出現(xiàn)在哪些地方？又要如何解決、能否并行化解決？

現(xiàn)在一篇論文綜述終于對(duì)此做出介紹，發(fā)出后立刻在網(wǎng)上爆火。

作者嚴(yán)謹(jǐn)?shù)貐⒖剂?strong>接近300篇文獻(xiàn)，對(duì)大量應(yīng)用深度學(xué)習(xí)中的開(kāi)放問(wèn)題進(jìn)行分析，力求讓讀者一文了解該領(lǐng)域最新趨勢(shì)。

網(wǎng)友們紛紛在評(píng)論區(qū)留言“碼住”、“了解深度學(xué)習(xí)領(lǐng)域現(xiàn)狀必讀”。

一起來(lái)看看內(nèi)容。

這篇論文要研究什么？

眾所周知，當(dāng)我們拿到一個(gè)機(jī)器學(xué)習(xí)問(wèn)題時(shí)，通常處理的流程分為以下幾步：收集數(shù)據(jù)、編寫(xiě)模型、訓(xùn)練模型、評(píng)估模型、迭代、測(cè)試、產(chǎn)品化。

在這篇論文中，作者把上述這些流程比作一個(gè)雙層次的最佳化問(wèn)題。

內(nèi)層優(yōu)化回路需要最小化衡量模型效果評(píng)估的損失函數(shù)，背后是為了尋求最佳模型參數(shù)而進(jìn)行的深入研究的訓(xùn)練過(guò)程。

而外層優(yōu)化回路的研究較少，包括最大化一個(gè)適當(dāng)選擇的性能指標(biāo)來(lái)評(píng)估驗(yàn)證數(shù)據(jù)，這正是我們所說(shuō)的“迭代過(guò)程”，也就是追求最優(yōu)模型超參數(shù)的過(guò)程。

論文中用數(shù)學(xué)符號(hào)表示如下：

其中，Mval表示一個(gè)性能指標(biāo)，如精度，平均精度等。Ltrain表示損失函數(shù)，w表示模型參數(shù)。

這樣一來(lái)，僅用一個(gè)清晰統(tǒng)一的數(shù)學(xué)公式就能解釋迭代的步驟。

不過(guò)，值得注意的是，面對(duì)不同的問(wèn)題，它的解也需要特定分析，有時(shí)候情況甚至?xí)浅?fù)雜。

例如，評(píng)估度量Mval是一個(gè)離散且不可微的函數(shù)。它并未被很好地定義，有時(shí)候甚至在某些自我監(jiān)督式和非監(jiān)督式學(xué)習(xí)以及生成模型問(wèn)題中不存在。

同時(shí)，你也可能設(shè)計(jì)了一個(gè)非常好的損失函數(shù)Ltrain，結(jié)果發(fā)現(xiàn)它是離散或不可微的，這種情況下它會(huì)變得非常棘手，需要用特定方法加以解決。

因此，本篇論文的研究重點(diǎn)就是迭代過(guò)程中遇到的各種開(kāi)放性問(wèn)題，以及這些問(wèn)題中可以并行解決優(yōu)化的部分案例。

開(kāi)放性問(wèn)題，不能那么輕易地只用一個(gè)簡(jiǎn)單的“是”、“不是”或者其他一個(gè)簡(jiǎn)單的詞或數(shù)字來(lái)回答的問(wèn)題。

機(jī)器學(xué)習(xí)中開(kāi)放問(wèn)題有哪些？

論文將開(kāi)放性問(wèn)題類(lèi)型分為監(jiān)督學(xué)習(xí)和其他方法兩大類(lèi)。

值得一提的是，無(wú)論是監(jiān)督學(xué)習(xí)還是其他方法，作者都貼心地附上了對(duì)應(yīng)的教程地址：

如果對(duì)概念本身還不了解的話，點(diǎn)擊就能直接學(xué)到他教授的視頻課程，不用擔(dān)心有困惑的地方。

首先來(lái)看看監(jiān)督學(xué)習(xí)。

這里我們不得不提到AutoML。作為一種用來(lái)降低開(kāi)發(fā)過(guò)程中迭代復(fù)雜度的“偷懶”方法，它目前在機(jī)器學(xué)習(xí)中已經(jīng)應(yīng)用廣泛了。

通常來(lái)說(shuō)，AutoML更側(cè)重于在監(jiān)督學(xué)習(xí)方法中的應(yīng)用，尤其是圖像分類(lèi)問(wèn)題。

畢竟圖像分類(lèi)可以明確采用精度作為評(píng)估指標(biāo)，使用AutoML非常方便。

但如果同時(shí)考慮多個(gè)因素，尤其是包括計(jì)算效率在內(nèi)，這些方法是否還能進(jìn)一步被優(yōu)化？

在這種情況下，如何提升性能就成為了一類(lèi)開(kāi)放性問(wèn)題，具體又分為以下幾類(lèi)：

大模型、小模型、模型魯棒性、可解釋AI、遷移學(xué)習(xí)、語(yǔ)義分割、超分辨率&降噪&著色、姿態(tài)估計(jì)、光流&深度估計(jì)、目標(biāo)檢測(cè)、人臉識(shí)別&檢測(cè)、視頻&3D模型等。

這些不同的領(lǐng)域也面臨不同的開(kāi)放性問(wèn)題。

例如大模型中的學(xué)習(xí)率并非常數(shù)、而是函數(shù)，會(huì)成為開(kāi)放問(wèn)題之一，相比之下小模型卻更考慮性能和內(nèi)存（或計(jì)算效率）的權(quán)衡這種開(kāi)放性問(wèn)題。

其中，小模型通常會(huì)應(yīng)用到物聯(lián)網(wǎng)、智能手機(jī)這種小型設(shè)備中，相比大模型需求算力更低。

又例如對(duì)于目標(biāo)檢測(cè)這樣的模型而言，如何優(yōu)化不同目標(biāo)之間檢測(cè)的準(zhǔn)確度，同樣是一種復(fù)雜的開(kāi)放性問(wèn)題。

在這些開(kāi)放性問(wèn)題中，有不少可以通過(guò)并行方式解決。如在遷移學(xué)習(xí)中，迭代時(shí)學(xué)習(xí)到的特征會(huì)對(duì)下游任務(wù)可泛化性和可遷移性同時(shí)產(chǎn)生什么影響，就是一個(gè)可以并行研究的過(guò)程。

同時(shí)，并行處理開(kāi)放性問(wèn)題面臨的難度也不一樣。

例如基于3D點(diǎn)云數(shù)據(jù)同時(shí)施行目標(biāo)識(shí)別、檢測(cè)和語(yǔ)義分割，比基于2D圖像的目標(biāo)識(shí)別、檢測(cè)和分割任務(wù)更具挑戰(zhàn)性。

再來(lái)看看監(jiān)督學(xué)習(xí)以外的其他方法，具體又分為這幾類(lèi)：

自然語(yǔ)言處理（NLP）、多模態(tài)學(xué)習(xí)、生成網(wǎng)絡(luò)、域適應(yīng)、少樣本學(xué)習(xí)、半監(jiān)督&自監(jiān)督學(xué)習(xí)、語(yǔ)音模型、強(qiáng)化學(xué)習(xí)、物理知識(shí)學(xué)習(xí)等。

以自然語(yǔ)言處理為例，其中的多任務(wù)學(xué)習(xí)會(huì)給模型帶來(lái)新的開(kāi)放性問(wèn)題。

像經(jīng)典的BERT模型，本身不具備翻譯能力，因此為了同時(shí)提升多種下游任務(wù)性能指標(biāo)，研究者們需要權(quán)衡各種目標(biāo)函數(shù)之間的結(jié)果。

又如生成模型中的CGAN（條件GAN），其中像圖像到圖像翻譯問(wèn)題，即將一張圖片轉(zhuǎn)換為另一張圖片的過(guò)程。

這一過(guò)程要求將多個(gè)獨(dú)立損失函數(shù)進(jìn)行加權(quán)組合，并讓總損失函數(shù)最小化，就又是一個(gè)開(kāi)放性問(wèn)題。

其他不同的問(wèn)題和模型，也分別都會(huì)在特定應(yīng)用上遇到不同類(lèi)型的開(kāi)放性問(wèn)題，因此具體問(wèn)題依舊得具體分析。

經(jīng)過(guò)對(duì)各類(lèi)機(jī)器學(xué)習(xí)領(lǐng)域進(jìn)行分析后，作者得出了自己的一些看法。

一方面，AI表面上是一種“自動(dòng)化”的過(guò)程，從大量數(shù)據(jù)中產(chǎn)生自己的理解，然而這其中其實(shí)涉及大量的人為操作，有不少甚至是重復(fù)行為，這被稱之為“迭代過(guò)程”。

另一方面，這些工作雖然能部分通過(guò)AutoML精簡(jiǎn)，然而AutoML目前只在圖像分類(lèi)中有較好的表現(xiàn)，并不意味著它在其他領(lǐng)域任務(wù)中會(huì)取得成功。

總而言之，應(yīng)用深度學(xué)習(xí)中的開(kāi)放性問(wèn)題，依舊比許多人想象得要更為復(fù)雜。

作者介紹

本篇論文的作者為Maziar Raissi，目前在科羅拉多大學(xué)博德分校應(yīng)用數(shù)學(xué)系擔(dān)任助理教授。

Raissi在馬里蘭大學(xué)帕克分校獲得了應(yīng)用數(shù)學(xué)和統(tǒng)計(jì)學(xué)博士學(xué)位，并在布朗大學(xué)應(yīng)用數(shù)學(xué)系完成了博士后研究，有過(guò)在英偉達(dá)做高級(jí)軟件工程師的工作經(jīng)歷。

研究方向是概率機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)的科學(xué)計(jì)算的交叉點(diǎn)，以及大數(shù)據(jù)分析、經(jīng)濟(jì)學(xué)和金融學(xué)等等。

論文的鏈接如下，感興趣的小伙伴們可以自取～

論文地址：https://arxiv.org/abs/2301.11316