在接受IEEE Spectrum的采訪中，他談到了對基礎(chǔ)模型、大數(shù)據(jù)、小數(shù)據(jù)以及數(shù)據(jù)工程的一些感悟，并給出了發(fā)起“以數(shù)據(jù)為中心的AI”運動的原因。

“過去十年，代碼—神經(jīng)網(wǎng)絡(luò)的架構(gòu)已經(jīng)非常成熟。保持神經(jīng)網(wǎng)絡(luò)架構(gòu)固定，尋找改進數(shù)據(jù)的方法，才會更有效率?！?

吳恩達表示，他這種以數(shù)據(jù)為中心的思想受到了很多的批評，就和當年他發(fā)起Google brain項目，支持構(gòu)建大型神經(jīng)網(wǎng)絡(luò)行動，時候受到的批評時一樣：想法不新鮮，方向錯誤。據(jù)吳教授介紹，批評者中不乏行業(yè)資深人士。

關(guān)于小數(shù)據(jù)，吳教授認為，它同樣能夠有威力：“只要擁有50個好數(shù)據(jù)（examples），就足以向神經(jīng)網(wǎng)絡(luò)解釋你想讓它學習什么?！?

以下是采訪原文，AI科技評論做了不改變原意的編譯。

IEEE：過去十年，深度學習的成功來源于大數(shù)據(jù)和大模型，但有人認為這是一條不可持續(xù)的路徑，您同意這個觀點么？

吳恩達: 好問題。

我們已經(jīng)在自然語言處理（NLP）領(lǐng)域看到了基礎(chǔ)模型（foundation models）的威力。說實話，我對更大的NLP模型，以及在計算機視覺（CV）中構(gòu)建基礎(chǔ)模型感到興奮。視頻數(shù)據(jù)中有很多信息可以利用，但由于計算性能以及視頻數(shù)據(jù)處理成本的限制，還無法建立相關(guān)的基礎(chǔ)模型。

大數(shù)據(jù)與大模型作為深度學習引擎已經(jīng)成功運行了15年，它仍然具有活力。話雖如此，但在某些場景下，我們也看到，大數(shù)據(jù)并不適用，“小數(shù)據(jù)”才是更好的解決方案。

IEEE：您提到的CV基礎(chǔ)模型是什么意思？

吳恩達: 是指規(guī)模非常大，并在大數(shù)據(jù)上訓(xùn)練的模型，使用的時候可以為特定的應(yīng)用進行微調(diào)。是我和斯坦福的朋友創(chuàng)建的術(shù)語，例如GPT-3就是NLP領(lǐng)域的基礎(chǔ)模型?；A(chǔ)模型為開發(fā)機器學習應(yīng)用提供了新的范式，有很大的前景，但同時也面臨挑戰(zhàn)：如何確保合理、公平、無偏？這些挑戰(zhàn)隨著越來越多的人在基礎(chǔ)模型上構(gòu)建應(yīng)用，會越來越明顯。

IEEE：為CV創(chuàng)建基礎(chǔ)模型的契機在哪？

吳恩達：目前還是存在可擴展性難題。相比NLP，CV需要的計算能力更強大。如果能生產(chǎn)出比現(xiàn)在高10倍性能的處理器，就能夠非常輕松建立包含10倍視頻數(shù)據(jù)的基礎(chǔ)視覺模型。目前，已經(jīng)出現(xiàn)了在CV中開發(fā)基礎(chǔ)模型的跡象。

說到這，我提一嘴：過去十年，深度學習的成功更多的發(fā)生在面向消費的公司，這些公司特點是擁有龐大的用戶數(shù)據(jù)。因此，在其他行業(yè)，深度學習的“規(guī)模范式”并不適用。

IEEE：您這么一說我想起來了，您早期是在一家面向消費者的公司，擁有數(shù)百萬用戶。

吳恩達：十年前，當我發(fā)起 Google Brain 項目，并使用 Google的計算基礎(chǔ)設(shè)施構(gòu)建“大”神經(jīng)網(wǎng)絡(luò)的時候，引起了很多爭議。當時有位行業(yè)資深人士，“悄悄”告訴我：啟動Google Brain 項目不利于我的職業(yè)生涯，我不應(yīng)該只關(guān)注大規(guī)模，而應(yīng)該專注于架構(gòu)創(chuàng)新。

到現(xiàn)在我還記著，我和我的學生發(fā)表的第一篇NeurIPS  workshop論文，提倡使用CUDA。但另一位行業(yè)資深人勸我：CUDA 編程太復(fù)雜了，將它作為一種編程范式，工作量太大了。我想辦法說服他，但我失敗了。

IEEE：我想現(xiàn)在他們都被說服了。

吳恩達：我想是的。

在過去一年，我一直在討論以數(shù)據(jù)為中心的AI，我遇到了和10年前一樣的評價：“沒有新意”，“這是個錯誤的方向”。

IEEE：您如何定義“以數(shù)據(jù)為中心的AI”，為什么會稱它為一場運動？

吳恩達：“以數(shù)據(jù)為中心的AI”是一個系統(tǒng)的學科，旨在將關(guān)注點放在構(gòu)建AI系統(tǒng)所需的數(shù)據(jù)上。對于AI系統(tǒng)，用代碼實現(xiàn)算法，然后在數(shù)據(jù)集上訓(xùn)練是非常必要的。過去十年，人們一直在遵循“下載數(shù)據(jù)集，改進代碼”這一范式，多虧了這種范式，深度學習獲得了巨大的成功。

但對許多應(yīng)用程序來說，代碼—神經(jīng)網(wǎng)絡(luò)架構(gòu)，已經(jīng)基本解決，不會成為大的難點。因此保持神經(jīng)網(wǎng)絡(luò)架構(gòu)固定，尋找改進數(shù)據(jù)的方法，才會更有效率。

當我最開始提這件事的時候，也有許多人舉手贊成：我們已經(jīng)按照“套路”做了20年，一直在憑直覺做事情，是時候把它變成一門系統(tǒng)的工程學科了。

“以數(shù)據(jù)為中心的AI”遠比一家公司或一群研究人員要大得多。當我和朋友在NeurIPS上組織了一個“以數(shù)據(jù)為中心的AI”研討會時候，我對出席的作者和演講者的數(shù)量感到非常高興。

IEEE：大多數(shù)公司只要少量數(shù)據(jù)，那么“以數(shù)據(jù)為中心的AI”如何幫助他們？

吳恩達：我曾用3.5億張圖像構(gòu)建了一個人臉識別系統(tǒng)，你或許也經(jīng)常聽到用數(shù)百萬張圖像構(gòu)建視覺系統(tǒng)的故事。但這些規(guī)模產(chǎn)物下的架構(gòu)，是無法只用50張圖片構(gòu)建系統(tǒng)的。

事實證明。如果你只有50張高質(zhì)量的圖片，仍然可以產(chǎn)生非常有價值的東西，例如缺陷系統(tǒng)檢測。在許多行業(yè)，大數(shù)據(jù)集并不存在，因此，我認為目前必須將重點“從大數(shù)據(jù)轉(zhuǎn)移到高質(zhì)量數(shù)據(jù)”。其實，只要擁有50個好數(shù)據(jù)（examples），就足以向神經(jīng)網(wǎng)絡(luò)解釋你想讓它學習什么。

吳恩達：使用50張圖片訓(xùn)練什么樣的模型？是微調(diào)大模型，還是全新的模型？

吳恩達：讓我講一下Landing AI的工作。在為制造商做視覺檢查時，我們經(jīng)常使用訓(xùn)練模型，RetinaNet，而預(yù)訓(xùn)練只是其中的一小部分。其中更難的問題是提供工具，使制造商能夠挑選并以相同的方式標記出正確的用于微調(diào)的圖像集。這是一個非常實際的問題，無論是在視覺、NLP，還是語音領(lǐng)域，甚至連標記人員也不愿意手動標記。

在使用大數(shù)據(jù)時，如果數(shù)據(jù)參差不齊，常見的處理方式是獲取大量的數(shù)據(jù)，然后用算法進行平均處理。但是，如果能夠開發(fā)出一些工具標記數(shù)據(jù)的不同之處，并提供非常具有針對性的方法改善數(shù)據(jù)的一致性，這將是一個獲得高性能系統(tǒng)的更有效的方法。

例如，如果你有10,000張圖片，其中每30張圖片一組，這30張圖片的標記是不一致的。我們所要做的事情之一就是建立工具，能夠讓你關(guān)注到這些不一致的地方。然后，你就可以非常迅速地重新標記這些圖像，使其更加一致，這樣就可以使性能得到提高。

IEEE：您認為如果能夠在訓(xùn)練前更好地設(shè)計數(shù)據(jù)，那這種對高質(zhì)量數(shù)據(jù)的關(guān)注是否能幫助解決數(shù)據(jù)集的偏差問題？

吳恩達：很有可能。有很多研究人員已經(jīng)指出，有偏差的數(shù)據(jù)是導(dǎo)致系統(tǒng)出現(xiàn)偏差的眾多因素之一。其實，在設(shè)計數(shù)據(jù)方面也已經(jīng)有了很多努力。NeurIPS研討會上，Olga Russakovsky就這個問題做了一個很棒的演講。

我也非常喜歡Mary Gray在會上的演講，其中提到了“以數(shù)據(jù)為中心的AI”是解決方案的一部分，但并不是解決方案的全部。像Datasheets for Datasets這樣的新工具似乎也是其中的重要部分。

“以數(shù)據(jù)為中心的AI”賦予我們的強大工具之一是：對數(shù)據(jù)的單個子集進行工程化的能力。想象一下，一個經(jīng)過訓(xùn)練的機器學習系統(tǒng)在大部分數(shù)據(jù)集上的表現(xiàn)還不錯，卻只在數(shù)據(jù)的一個子集上產(chǎn)生了偏差。這時候，如果要為了提高該子集的性能，而改變整個神經(jīng)網(wǎng)絡(luò)架構(gòu)，這是相當困難的。但是，如果能僅對數(shù)據(jù)的一個子集進行設(shè)計，那么就可以更有針對性的解決這個問題。

IEEE：您說的數(shù)據(jù)工程具體來講是什么意思？

吳恩達：在人工智能領(lǐng)域，數(shù)據(jù)清洗很重要，但數(shù)據(jù)清洗的方式往往需要人工手動解決。在計算機視覺中，有人可能會通過Jupyter notebook將圖像可視化，來發(fā)現(xiàn)并修復(fù)問題。

但我對那些可以處理很大數(shù)據(jù)集的工具感興趣。即使在標記很嘈雜的情況下，這些工具也能快速有效地將你的注意力吸引到數(shù)據(jù)的單個子集上，或者快速將你的注意力引向100個分組中的一個組中，在那里收集更多數(shù)據(jù)會更有幫助。收集更多的數(shù)據(jù)往往是有幫助的，但如果所有工作都要收集大量數(shù)據(jù)，可能會非常昂貴。

例如，我有次發(fā)現(xiàn)，當背景中有汽車噪音時，有一個語音識別系統(tǒng)的表現(xiàn)會很差。了解了這一點，我就可以在汽車噪音的背景下收集更多的數(shù)據(jù)。而不是所有的工作都要收集更多的數(shù)據(jù)，那樣處理起來會非常昂貴且費時。

IEEE：那使用合成數(shù)據(jù)會是一個好的解決方案嗎？

吳恩達：我認為合成數(shù)據(jù)是“以數(shù)據(jù)為中心的AI”工具箱中的一個重要工具。在NeurIPS研討會上，Anima Anandkumar做了一個關(guān)于合成數(shù)據(jù)的精彩演講。我認為合成數(shù)據(jù)的重要用途，不僅僅表現(xiàn)在預(yù)處理中增加學習算法數(shù)據(jù)集。我希望看到更多的工具，讓開發(fā)者使用合成數(shù)據(jù)生成成為機器學習迭代開發(fā)閉環(huán)中的一部分。

IEEE：您的意思是合成數(shù)據(jù)可以讓你在更多的數(shù)據(jù)集上嘗試模型嗎？

吳恩達：并非如此。比方說，智能手機上有許多不同類型的缺陷，如果要檢測智能手機外殼的缺陷，那可能會是劃痕、凹痕、坑痕、材料變色或者其它類型的瑕疵。若你訓(xùn)練了模型，然后通過誤差分析發(fā)現(xiàn)總體上它的表現(xiàn)很好，但在坑痕上表現(xiàn)得很差，那么合成數(shù)據(jù)的生成就可以讓你以更有針對性地解決這個問題。你可以只為坑痕類別生成更多的數(shù)據(jù)。

IEEE：您可以舉例具體說明嗎？若一家公司找到Landing AI，并說他們在視覺檢查方面有問題時，您將如何說服他們？您又將給出怎樣的解決方案呢？

吳恩達：合成數(shù)據(jù)生成是一個非常強大的工具，但我通常會先嘗試許多更簡單的工具。比如說用數(shù)據(jù)增強來改善標簽的一致性，或者只是要求廠家收集更多的數(shù)據(jù)。

當客戶找到我們時，我們通常會先就他們的檢測問題進行交談，并查看一些圖像，以驗證該問題在計算機視覺方面是否可行。假若可行，我們會要求他們將數(shù)據(jù)上傳到LandingLens平臺。我們通常根據(jù)“以數(shù)據(jù)為中心的AI”方法向他們提供建議，并幫助他們對數(shù)據(jù)進行標記。

Landing AI關(guān)注的重點之一是讓制造企業(yè)自己做機器學習的工作。我們的很多工作都是為了軟件的便捷使用。通過對機器學習的開發(fā)迭代，我們?yōu)榭蛻籼峁┝巳绾卧谄脚_上訓(xùn)練模型，以及如何改進數(shù)據(jù)標記問題來提高模型的性能等很多建議。我們的訓(xùn)練和軟件在此過程中會一直發(fā)揮作用，直到將訓(xùn)練好的模型部署到工廠的邊緣設(shè)備上。

IEEE：那您如何應(yīng)對不斷變化的需求？如果產(chǎn)品發(fā)生變化或是工廠的照明條件發(fā)生變化，在這樣的情況下，模型能適應(yīng)嗎？

吳恩達：這要因制造商而異。在很多情況下都有數(shù)據(jù)偏移，但也有一些制造商已經(jīng)在同一生產(chǎn)線上運行了20年，幾乎沒有什么變化，所以在未來5年內(nèi)他們也不期望發(fā)生變化，環(huán)境穩(wěn)定事情就變得更容易了。對于其他制造商，在出現(xiàn)很大的數(shù)據(jù)偏移問題時我們也會提供工具進行標記。我發(fā)現(xiàn)使制造業(yè)的客戶能夠自主糾正數(shù)據(jù)、重新訓(xùn)練和更新模型真的很重要。比如現(xiàn)在是美國的凌晨3點，一旦出現(xiàn)變化，我希望他們能夠自行立即調(diào)整學習算法，以維持運營。

在消費類軟件互聯(lián)網(wǎng)中，我們可以訓(xùn)練少數(shù)機器學習模型來為10億用戶服務(wù)。而在制造業(yè)，你可能有10,000 制造商定制10,000 個人工智能模型。所面臨的挑戰(zhàn)是，Landing AI 在不雇用10,000名機器學習專家的情況下，如何做到這一點？

IEEE：所以為了提高質(zhì)量，必須授權(quán)用戶自己進行模型訓(xùn)練？

吳恩達：是的，完全正確！這是一個全行業(yè)的AI問題，不僅僅是在制造業(yè)。例如在醫(yī)療領(lǐng)域，每家醫(yī)院電子病歷的格式略有不同，如何訓(xùn)練定制自己的AI模型？期望每家醫(yī)院的IT人員重新發(fā)明神經(jīng)網(wǎng)絡(luò)架構(gòu)是不現(xiàn)實的。因此，必須構(gòu)建工具，通過為用戶提供工具來設(shè)計數(shù)據(jù)和表達他們的領(lǐng)域知識，從而使他們能夠構(gòu)建自己的模型。

IEEE：您還有什么需要讀者了解的么？

吳恩達：過去十年，人工智能最大的轉(zhuǎn)變是深度學習，而接下來的十年，我認為會轉(zhuǎn)向以數(shù)據(jù)為中心。隨著神經(jīng)網(wǎng)絡(luò)架構(gòu)的成熟，對于許多實際應(yīng)用來說，瓶頸將會存在于“如何獲取、開發(fā)所需要的數(shù)據(jù)”。以數(shù)據(jù)為中心的AI在社區(qū)擁有巨大的能量和潛力，我希望能有更多的研究人員加入！