你是否曾經(jīng)覺得你已經(jīng)受夠了你目前的工作，想要換個方向？如果你有，你絕對不是一個人。然而，除了參加大辭典，還有一些不太激進(jìn)的方法，比如吳恩達(dá)的方法。

吳恩達(dá)是當(dāng)今人工智能領(lǐng)域最杰出的人物之一。

他是Landing·AI和DeepLearning.AI的創(chuàng)始人，Coursera的聯(lián)合主席和聯(lián)合創(chuàng)始人、斯坦福大學(xué)兼職教授。此前還曾擔(dān)任百度首席科學(xué)家和谷歌大腦項目的創(chuàng)始人之一。

不過據(jù)他自己講，他目前的重點已經(jīng)轉(zhuǎn)移，從數(shù)字世界轉(zhuǎn)移到了現(xiàn)實世界，正所謂「從比特到事物」。

2017年，吳恩達(dá)創(chuàng)立了Landing AI，這是一家致力于促進(jìn)人工智能在制造業(yè)中的應(yīng)用的創(chuàng)業(yè)公司。

我們采訪了吳恩達(dá)，討論了他所說的人工智能的以數(shù)據(jù)為中心的方法"，以及它與他在Landing AI的工作和當(dāng)今人工智能的大背景之間的關(guān)系。

從數(shù)字化到落地

吳恩達(dá)表示，他的動機(jī)是面向行業(yè)的。他認(rèn)為制造業(yè)是 「對每個人的生活有巨大影響的偉大行業(yè)之一，但對我們許多人來說是如此不可見。」

許多國家，包括美國在內(nèi)，都對制造業(yè)的衰落感到悲哀。吳恩達(dá)希望 「采用已經(jīng)改變互聯(lián)網(wǎng)企業(yè)的AI技術(shù)，利用它來幫助在制造業(yè)工作的人?！?/span>

這是一個不斷增長的趨勢。根據(jù)2021年的一項調(diào)查，制造業(yè)中65%的領(lǐng)導(dǎo)者正在努力試點AI。預(yù)計在未來五年內(nèi)將達(dá)到57.2%的復(fù)合年增長率。

雖然AI正在越來越多地應(yīng)用于制造業(yè)，但這個過程比吳恩達(dá)想象的要難得多。他坦言，當(dāng)Landing AI開始時，主要專注于咨詢工作。

但在參與了許多客戶項目后，吳恩達(dá)和Landing AI開發(fā)了一個新的工具包和游戲手冊，讓AI在制造業(yè)和工業(yè)自動化領(lǐng)域發(fā)揮作用。

Landing Lens致力于使制造業(yè)和工業(yè)自動化領(lǐng)域的客戶能夠快速、輕松地建立和部署視覺檢測系統(tǒng)。吳曉波不得不調(diào)整他在消費者軟件方面的工作，以針對制造業(yè)的人工智能。

例如，人工智能驅(qū)動的計算機(jī)視覺可以幫助制造商完成識別生產(chǎn)線上的缺陷等任務(wù)。但這不是一件容易的事，他解釋說。

「在消費者軟件中，你可以建立一個單一的AI系統(tǒng)，為一億或十億用戶提供服務(wù)，并以這種方式真正獲得大量的價值，但在制造業(yè)中，每個工廠制造的東西都不一樣。所以每個制造廠都需要一個定制的AI系統(tǒng)，根據(jù)他們自己的數(shù)據(jù)進(jìn)行訓(xùn)練?！?/span>

吳恩達(dá)說，AI領(lǐng)域的許多公司面臨的挑戰(zhàn)是，如何幫助1萬家制造廠建立1萬個客戶系統(tǒng)。

以數(shù)據(jù)為中心的方法認(rèn)為，AI已經(jīng)達(dá)到了數(shù)據(jù)比模型更重要的地步。如果將AI視為一個有移動部件的系統(tǒng)，那么就應(yīng)該保持模型的相對固定，專注于高質(zhì)量的數(shù)據(jù)來微調(diào)模型，而不是繼續(xù)推動模型的邊際改進(jìn)。

有這種想法的人并不多。在斯坦福大學(xué)領(lǐng)導(dǎo)Hazy研究小組的Chris Ré是另一個以數(shù)據(jù)為中心的方法的倡導(dǎo)者。當(dāng)然，如前所述，數(shù)據(jù)的重要性并不新鮮。有成熟的數(shù)學(xué)、算法和系統(tǒng)技術(shù)來處理數(shù)據(jù)，這些技術(shù)已經(jīng)發(fā)展了幾十年。

然而，如何在現(xiàn)代AI模型和方法的基礎(chǔ)上建立并重新審視這些技術(shù)，才是新的要求。

就在幾年前，我們還沒有長壽的AI系統(tǒng)，也沒有目前這種規(guī)模的性能強(qiáng)大的深度模型。吳恩達(dá)指出，自從他在2021年3月開始談?wù)撘詳?shù)據(jù)為中心的AI以來，他得到的反應(yīng)讓他想起了大約15年前他和其他人開始討論深度學(xué)習(xí)的時候的場景。

吳恩達(dá)說「今天人們的反應(yīng)是：“我一直都知道這個，沒有什么新東西”，到'這不可能成功'。"但也有一些人說'對，我一直覺得這個行業(yè)需要這個東西，這是一個偉大的方向'。」

「數(shù)據(jù)為中心」的AI與基礎(chǔ)模型

假如說，以數(shù)據(jù)為核心的人工智能是正確的方向，那么該如何在現(xiàn)實世界運作這一切呢？吳恩達(dá)指出，指望機(jī)構(gòu)訓(xùn)練各自的定制AI模型是不現(xiàn)實的。

唯一一個走出這種困境的辦法就是設(shè)計一種工具，讓客戶有能力設(shè)計自己的模型，收集數(shù)據(jù)，表達(dá)各自領(lǐng)域的知識。

吳恩達(dá)和Landing AI將通過Landing Lens實現(xiàn)這一點，賦予各領(lǐng)域?qū)＜彝ㄟ^數(shù)據(jù)標(biāo)記的方式傳達(dá)知識的能力。吳恩達(dá)指出，在生產(chǎn)領(lǐng)域，一般沒有大量的數(shù)據(jù)來做參照。比方說，如果目標(biāo)是識別出錯的產(chǎn)品，那么一條還算不錯的生產(chǎn)線就沒那么多廢品的圖片來參照。

在生產(chǎn)領(lǐng)域，有時候全世界只有50張圖片做參照。這對現(xiàn)有的AI來說根本不夠。這也就是為什么現(xiàn)在關(guān)注的重點應(yīng)該轉(zhuǎn)向讓專家通過收集數(shù)據(jù)來記錄他們所擁有的知識。

吳恩達(dá)說，Landing AI的平臺正在做這件事。該平臺可以幫助用戶找到最有用的案例，來構(gòu)建最一致的標(biāo)簽，并且提高輸入到算法里的圖片和標(biāo)簽的質(zhì)量。

這里的關(guān)鍵是「一致性」。吳恩達(dá)和他之前的一些人發(fā)現(xiàn)，專業(yè)知識并不能被單一專家定義。對一位專家來說有缺陷的東西可能會被另一位專家重視。這種現(xiàn)象并不是才有，但只有在不得不生成注釋相同的數(shù)據(jù)集時才會浮出水面。

吳恩達(dá)表示，「這就是為什么我們需要好的工具和工作流程來讓專家能快速達(dá)成一致。沒有必要在已經(jīng)打成共識的地方花時間。相反，我們的目標(biāo)是關(guān)注專家們沒有達(dá)成一致意見的部分，這樣他們就可以通過討論來解決存在缺陷的部分。事實證明，想讓AI系統(tǒng)快速獲得良好性能，達(dá)成整個數(shù)據(jù)的一致性至關(guān)重要。」

這種方法不僅很有意義，而且也有一些相似之處。吳恩達(dá)所描述的過程顯然背離了當(dāng)今 AI 經(jīng)常采用的「投入更多數(shù)據(jù)」的方法，而是更多指向基于管理、元數(shù)據(jù)和語義協(xié)調(diào)的方法。

事實上，像Google前機(jī)器翻譯主管David Talbot這樣的人一直在傳達(dá)這么一個思想：除了從數(shù)據(jù)中學(xué)習(xí)之外，應(yīng)用各個領(lǐng)域內(nèi)的知識對機(jī)器翻譯也很有意義。在應(yīng)用機(jī)器翻譯和自然語言處理 (NLP) 的情況下，所說的領(lǐng)域內(nèi)的知識就指的是語言學(xué)。

我們現(xiàn)在已經(jīng)達(dá)到了一個新階段，我們擁有所謂的NLP基礎(chǔ)模型：比方說像GPT3這樣的巨大模型。經(jīng)過大量數(shù)據(jù)訓(xùn)練，人們可以使用這些模型針對特定的應(yīng)用程序或領(lǐng)域進(jìn)行微調(diào)。然而，這類NLP基礎(chǔ)模型并沒有真正上利用各領(lǐng)域的知識。

計算機(jī)視覺的基礎(chǔ)模型能不能做到這一點呢？如果能的話，我們該如何實現(xiàn)，以及何時能實現(xiàn)？實現(xiàn)又將帶來什么？根據(jù)吳恩達(dá)的說法，基礎(chǔ)模型既是規(guī)模問題，也是傳統(tǒng)問題。他認(rèn)為這是可以實現(xiàn)的，因為有很多研究組正在嘗試建立計算機(jī)視覺的基礎(chǔ)模型。

吳恩達(dá)說，「這不是說，頭一天它還不是基礎(chǔ)模型，到第二天就是了。在NLP的案例中，我們看到了模型是在發(fā)展的，從Google的BERT模型、transformer模型、GPT2到GPT3。

這是一系列規(guī)模越來越大的模型，在越來越多的數(shù)據(jù)上進(jìn)行訓(xùn)練，然后人們將其中一些新興的模型稱為基礎(chǔ)模型。

吳恩達(dá)說，「我相信我們會在計算機(jī)視覺中看到類似的東西。很多人多年來一直在ImageNet上進(jìn)行預(yù)訓(xùn)練，我認(rèn)為趨勢逐漸會是對越來越大的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，越來越多地在未標(biāo)記的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并且越來越多地將會在視頻上進(jìn)行預(yù)訓(xùn)練?！?/span>

AI的下一個10年

作為一名計算機(jī)視覺的內(nèi)部人士，吳恩達(dá)非常清楚人工智能正在取得的穩(wěn)步進(jìn)展。他認(rèn)為，在未來的某個時候，媒體和公眾將宣布，計算機(jī)視覺模型屬于基礎(chǔ)模型。然而，能否準(zhǔn)確預(yù)測何時會應(yīng)驗則是另一回事。

對于擁有大量數(shù)據(jù)的應(yīng)用程序，例如NLP，輸入系統(tǒng)的領(lǐng)域知識量隨著時間的推移而不斷下降。吳恩達(dá)解釋說，在深度學(xué)習(xí)（包括計算機(jī)視覺和 NLP）的早期，人們通常會訓(xùn)練一個小型的深度學(xué)習(xí)模型，然后將其與更傳統(tǒng)的各領(lǐng)域知識庫的方法結(jié)合起來，這是因為深度學(xué)習(xí)的效果不佳。

但隨著模型的規(guī)模越來越大，數(shù)據(jù)越來越多，注入的各領(lǐng)域的知識也越來越少。根據(jù)吳恩達(dá)的說法，人們傾向于認(rèn)為大量數(shù)據(jù)有是一種學(xué)習(xí)算法。這就是為什么機(jī)器翻譯最終證明了學(xué)習(xí)方法的端到端的純度可以表現(xiàn)得不錯。但這僅僅適用于需要學(xué)習(xí)大量數(shù)據(jù)的問題。

當(dāng)擁有的是相對較小的數(shù)據(jù)集時，領(lǐng)域知識確實變得很重要。吳恩達(dá)認(rèn)為人工智能系統(tǒng)提供了兩種知識來源——數(shù)據(jù)和人類經(jīng)驗。當(dāng)我們擁有大量數(shù)據(jù)時，人工智能將更多地依賴數(shù)據(jù)，而不是人類知識。

然而，在數(shù)據(jù)匱乏的領(lǐng)域，比如在制造業(yè)，我們只能依賴人類知識。技術(shù)上的方法就是構(gòu)建工具，讓專家得以表達(dá)他們的知識。

這似乎指向了諸如魯棒人工智能、混合人工智能或神經(jīng)符號人工智能之類的方法，以及用于表達(dá)領(lǐng)域知識的知識圖譜等技術(shù)。然而，雖然吳恩達(dá)知道這些技術(shù)，并覺得它們很有趣，但 Landing AI并沒有與它們合作。

吳恩達(dá)還發(fā)現(xiàn)所謂的多模態(tài)AI或結(jié)合不同形式的輸入（例如文本和圖像）是有發(fā)展前景的。在過去十年里，關(guān)注的重點是建設(shè)和完善單一模態(tài)的算法。現(xiàn)在人工智能社區(qū)變得更龐大了，并且已經(jīng)取得了進(jìn)展，那么追求這個方向就是有意義的。

雖然吳恩達(dá)是最早使用GPU進(jìn)行機(jī)器學(xué)習(xí)的人之一，但如今的他卻不太關(guān)注硬件方面了。雖然擁有一個蓬勃發(fā)展的人工智能芯片生態(tài)系統(tǒng)是一件好事，包括英偉達(dá)、AMD 和英特爾等老牌企業(yè)以及擁有新穎架構(gòu)的新貴，但這并不是終點。

在過去的十年里，人工智能的大部分焦點都集中在大數(shù)據(jù)上——也就是說，讓我們利用巨大的數(shù)據(jù)集訓(xùn)練規(guī)模更大的神經(jīng)網(wǎng)絡(luò)。這是吳恩達(dá)本人幫助推廣的。

但是，雖然在大模型和大數(shù)據(jù)方面存在進(jìn)展，但吳恩達(dá)表示，他認(rèn)為如今AI的發(fā)展重點應(yīng)該轉(zhuǎn)向小數(shù)據(jù)和以數(shù)據(jù)為中心的AI。

吳恩達(dá)說，「十年前，我低估了發(fā)展深度學(xué)習(xí)所需的工作量，我認(rèn)為今天很多人都低估了發(fā)展以數(shù)據(jù)為核心的AI所需的工作量、創(chuàng)新、創(chuàng)造力和工具。但是，我們未來幾年在這方面將會取得進(jìn)展，我認(rèn)為它將支持更多的人工智能應(yīng)用，我對此感到非常興奮?！?/span>