德國弗萊堡大學(xué)機(jī)器學(xué)習(xí)實(shí)驗(yàn)室負(fù)責(zé)人Frank Hutter 說，所有這些人類決策的結(jié)果是，復(fù)雜的模型最終是被"憑直覺設(shè)計(jì)"，而不是系統(tǒng)地設(shè)計(jì)的。

一個(gè)名為自動(dòng)機(jī)器學(xué)習(xí)（autoML）的不斷發(fā)展的領(lǐng)域旨在消除這種猜測。其想法是讓算法接管研究人員目前在設(shè)計(jì)模型時(shí)必須做出的決定。最終，這些技術(shù)可以使機(jī)器學(xué)習(xí)變得更容易獲得。

盡管自動(dòng)機(jī)器學(xué)習(xí)已經(jīng)存在了近十年，但研究人員仍在努力改進(jìn)它。近日，在巴爾的摩舉行的一次新會(huì)議，展示了為提高autoML的準(zhǔn)確性和簡化其性能而做出的努力。 

人們對 autoML 簡化機(jī)器學(xué)習(xí)的潛力產(chǎn)生了濃厚的興趣。亞馬遜和谷歌等公司已經(jīng)提供了利用 autoML 技術(shù)的低代碼機(jī)器學(xué)習(xí)工具。如果這些技術(shù)變得更有效，它可以加速研究并讓更多人使用機(jī)器學(xué)習(xí)。

這樣做的目的是為了讓人們可以選擇他們想問的問題，將 autoML 工具指向它，并獲得他們想要的結(jié)果。

這一愿景是"計(jì)算機(jī)科學(xué)的圣杯"，懷俄明大學(xué)的計(jì)算機(jī)科學(xué)助理教授兼會(huì)議組織者Lars Kotthoff說，"你指定了問題，計(jì)算機(jī)就知道如何解決它，這就是你要做的一切。"但首先，研究人員必須弄清楚如何使這些技術(shù)更省時(shí)、更節(jié)能。

自動(dòng)機(jī)器學(xué)習(xí)可以解決什么？

乍一看，autoML 的概念似乎是多余的——畢竟，機(jī)器學(xué)習(xí)已經(jīng)是關(guān)于自動(dòng)化從數(shù)據(jù)中獲取洞察力的過程。但由于 autoML 算法在底層機(jī)器學(xué)習(xí)模型之上的抽象級(jí)別上運(yùn)行，僅依賴這些模型的輸出作為指導(dǎo)，因此它們可以節(jié)省時(shí)間和計(jì)算量。

研究人員可以將 autoML 技術(shù)應(yīng)用于預(yù)先訓(xùn)練的模型以獲得新的見解，而不會(huì)浪費(fèi)計(jì)算能力來重復(fù)現(xiàn)有的研究。

例如，美國富士通研究所的研究科學(xué)家 Mehdi Bahrami 和他的合著者介紹了最近的工作，關(guān)于如何將BERT-sort算法與不同的預(yù)訓(xùn)練模型一起使用以適應(yīng)新的目的。

BERT-sort 是一種算法，可以在對數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)找出所謂的"語義順序"。例如，給定的電影評(píng)論數(shù)據(jù)，它知道"偉大的"電影的排名要高于"好"和"壞"的電影。

借助 autoML 技術(shù)，還可以將學(xué)習(xí)到的語義順序推廣到對癌癥診斷甚至外語文本進(jìn)行分類，從而減少時(shí)間和計(jì)算量。 

"BERT 需要數(shù)月的計(jì)算，而且非常昂貴，比如要花費(fèi) 100 萬美元來生成該模型并重復(fù)這些過程。"Bahrami 說，"因此，如果每個(gè)人都想做同樣的事情，那就很昂貴——它不節(jié)能，對世界的可持續(xù)發(fā)展不利。" 

盡管該領(lǐng)域顯示出希望，但研究人員仍在尋找使 autoML 技術(shù)的計(jì)算效率更高的方法。例如，通過像神經(jīng)架構(gòu)搜索（NAS）這樣的方法，構(gòu)建和測試許多不同的模型以找到最合適的模型，完成所有這些迭代所需的能量可能很大。

自動(dòng)機(jī)器學(xué)習(xí)還可以應(yīng)用于不涉及神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法，例如創(chuàng)建隨機(jī)決策森林或支持向量機(jī)來對數(shù)據(jù)進(jìn)行分類。這些領(lǐng)域的研究正在持續(xù)進(jìn)行中，已經(jīng)有許多編碼庫可供想要將 autoML 技術(shù)整合到他們的項(xiàng)目中的人們使用。 

Hutter表示，下一步是使用autoML量化不確定性并解決算法中的可信度和公平性問題。在這個(gè)愿景中，關(guān)于可信賴性和公平性的標(biāo)準(zhǔn)將類似于任何其他機(jī)器學(xué)習(xí)的約束條件，例如準(zhǔn)確性。而autoML可以在這些算法發(fā)布之前捕獲并自動(dòng)糾正這些算法中發(fā)現(xiàn)的偏差。

神經(jīng)架構(gòu)搜索的持續(xù)進(jìn)展

但是對于像深度學(xué)習(xí)這類應(yīng)用，autoML還有很長的路要走。用于訓(xùn)練深度學(xué)習(xí)模型的數(shù)據(jù)，如圖像、文檔和錄制的語音，通常是密集且復(fù)雜的。它需要巨大的計(jì)算能力來處理。除了在財(cái)力雄厚的大企業(yè)工作的研究人員之外，訓(xùn)練這些模型的成本和時(shí)間可能會(huì)讓任何人望而卻步。 

該會(huì)議上的一項(xiàng)競賽要求是參與者開發(fā)用于神經(jīng)架構(gòu)搜索的節(jié)能替代算法。這是一個(gè)相當(dāng)大的挑戰(zhàn)，因?yàn)檫@種技術(shù)具有"臭名昭著"的計(jì)算需求。它會(huì)自動(dòng)循環(huán)遍歷無數(shù)的深度學(xué)習(xí)模型，以幫助研究人員為他們的應(yīng)用選擇合適的模型，但該過程可能需要數(shù)月時(shí)間，成本超過一百萬美元。 

這些被稱為零成本神經(jīng)架構(gòu)搜索代理的替代算法的目標(biāo)是，通過大幅削減其對計(jì)算的需求，使神經(jīng)架構(gòu)搜索更容易獲得、更環(huán)保。其結(jié)果只需要幾秒鐘就能運(yùn)行，而不是幾個(gè)月。目前，這些技術(shù)仍處于發(fā)展的早期階段并且通常不可靠，但機(jī)器學(xué)習(xí)研究人員預(yù)測，它們有可能使模型選擇過程更加高效。