今天的演講是賈陽清為阿里巴巴CIO學(xué)院舉辦的有關(guān)人工智能(AI)技術(shù)的特殊培訓(xùn)課程準(zhǔn)備的。 在現(xiàn)場直播中，賈陽清討論了AI涉及的工程和產(chǎn)品實踐。 首先，他介紹了AI及其應(yīng)用。 然后，參與者討論了AI系統(tǒng)中的重要問題，包括推動算法創(chuàng)新的計算能力的突破以及云平臺可提供的價值。 最后，賈先生分析了大數(shù)據(jù)與AI之間的關(guān)系，討論了企業(yè)應(yīng)如何接受AI，并提出了公司智能化戰(zhàn)略的重點。

[[333533]]

5商業(yè)價值和人工智能原理| 數(shù)據(jù)驅(qū)動的投資者

難以獲得商業(yè)價值。 我的意思是非常辛苦…就高級分析而言，該過程甚至…

 

[[333534]]

 

演算法

人工智能已經(jīng)成為一種重要的技術(shù)趨勢。 現(xiàn)在各行各業(yè)都在擁抱AI，并且與AI的聯(lián)系更加緊密。 下圖列出了AI發(fā)揮重要作用的領(lǐng)域，不僅包括與AI密切相關(guān)的領(lǐng)域，還包括由AI間接賦予的那些領(lǐng)域。

 

 

在我們超越自己之前，我們需要了解AI，其應(yīng)用程序和系統(tǒng)背后的思想。

隨著AI在過去80年來的發(fā)展，我們已經(jīng)從圖靈測試到全民面對變革取得了成就。 機器像人類一樣使用AI來回答問題并創(chuàng)建或執(zhí)行計算和分析任務(wù)。 在某些領(lǐng)域，計算機已經(jīng)實現(xiàn)了人類的能力。 例如，2019年發(fā)布的人臉變化應(yīng)用程序基于AI領(lǐng)域中深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用。

 

 

當(dāng)前，在我們的日常工作和生活中使用了許多AI應(yīng)用程序來代替人工工作。 例如，埃隆·馬斯克(Elon Musk)的AI項目能夠模擬人腦的操作。 但是，隨著AI的飛速發(fā)展，也出現(xiàn)了一些我想稱之為"假AI"的例子。

 

 

在AI的開發(fā)過程中，我們不得不面對幾個虛假的AI項目，例如，一個嚴重的虛假AI項目，欺騙了2億元人民幣(超過2800萬美元)的投資者。 因此，我們需要更好地了解什么是AI以及如何使用AI。

 

 

在學(xué)術(shù)界，人工智能的定義有些不同。 人工智能是對人類智能的模擬，能夠接收和分類信息，合理地執(zhí)行一系列任務(wù)并基于此做出決策。

它的主要特征之一是采取理性行動的能力。

 

 

AI過程從感知到?jīng)Q策反饋。 決定AI系統(tǒng)是否可以采取適當(dāng)行動的關(guān)鍵因素是它們?nèi)绾胃兄嘘P(guān)外部世界的信息。 由于AI試圖模擬人的大腦，因此感知過程實際上是理解和學(xué)習(xí)的過程。 這是深度學(xué)習(xí)試圖通過AI解決的問題。

 

[[333535]]

 

深度學(xué)習(xí)

只有當(dāng)外部信息(例如視頻，文本或語音命令)轉(zhuǎn)換為機器語言時，AI才能接受和響應(yīng)。 從AI的早期開始，科學(xué)家就開始考慮和研究此問題。

 

 

隨后，人們開始討論和研究如何通過視覺感知來輸入信息。 2012年，加拿大多倫多大學(xué)ImageNet競賽的獲勝者Geoffrey Hinton和他的學(xué)生Alex Krizhevsky設(shè)計了一個解決方案。 那年之后，提出了更深的神經(jīng)網(wǎng)絡(luò)，例如著名的VGG和GoogLeNet。 這些神經(jīng)網(wǎng)絡(luò)為傳統(tǒng)的機器學(xué)習(xí)分類算法提供了出色的性能。

AlexNet深度學(xué)習(xí)的發(fā)展歷史

簡而言之，AlexNet的目的是從大量對象中準(zhǔn)確識別命令中所需的對象。 該模型的應(yīng)用加速了圖像識別領(lǐng)域的發(fā)展，目前已被廣泛使用。

 

 

像我們的人腦一樣，神經(jīng)網(wǎng)絡(luò)使用多層次的學(xué)習(xí)模型，并且隨著它們的不斷學(xué)習(xí)而變得越來越復(fù)雜。 假設(shè)您想從數(shù)百萬個圖像中找到標(biāo)記為"貓"的圖像，并在一個非常大的數(shù)據(jù)集上訓(xùn)練一個經(jīng)過編輯的視覺網(wǎng)絡(luò)模型。 然后，通過模型迭代實施更復(fù)雜的訓(xùn)練。

 

 

目前，常用的RestNet模型的深度超過一百層，并結(jié)合了一些最新的科學(xué)研究發(fā)現(xiàn)，例如下圖底部所示的快速橋連接。 這使用戶可以快速有效地訓(xùn)練深度網(wǎng)絡(luò)。 最終，這解決了視覺感知的問題。

 

 

阿里云：智能航空圍裙管理

該解決方案使用AI來識別飛機類型，登機門和機場車輛，并將它們反映在實際地圖上。 它還允許用戶在飛行過程中看到飛機的軌跡。 該信息可以用作AI管理的輸入信息，從而使機場的運營更加方便和有效。

 

 

如前所述，深度學(xué)習(xí)是一種重要的感知模式和方法。 深度學(xué)習(xí)算法主要包括：

• 資料標(biāo)記
• 算法模型開發(fā)
• 高性能的分布式培訓(xùn)
• 模型優(yōu)化
• 模型部署

感知之后，AI系統(tǒng)需要做出決策。 深度學(xué)習(xí)是一種黑盒操作，可以學(xué)習(xí)和感知外部信息，但不能提供任何解釋感知問題原因的反饋。 因此，分析和反饋需要決策能力。

 

 

傳統(tǒng)機器學(xué)習(xí)的示例主要包括決策樹算法和邏輯回歸。 例如，銀行發(fā)放貸款的過程是一個決策過程，在平衡各種因素后輸出決策。 我們可以使用決策樹輸出"是"或"否"的判斷，以確定是否授予貸款。 Logistic回歸是指兩種數(shù)據(jù)之間的相關(guān)性。 這是一種輸出精確解的數(shù)學(xué)方法。

 

 

實際上，深度學(xué)習(xí)和機器學(xué)習(xí)是互補的。 深度學(xué)習(xí)可以解決感知問題，例如計算機視覺和語音識別。 它使用神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)解決了許多感知問題，但無法解釋感知問題。 傳統(tǒng)的機器學(xué)習(xí)不提供這種用戶友好的感知功能。 但是，它的模型相對較小，可以直接解釋，這在財務(wù)和風(fēng)險控制方案中是必需的。

 

 

人工智能早已應(yīng)用于廣告領(lǐng)域。 淘寶是最常見的廣告場景之一。 賣方首先根據(jù)消費者的個人瀏覽信息調(diào)查用戶的偏好，然后通過智能推薦系統(tǒng)推送與消費者搜索相關(guān)的產(chǎn)品。 這種智能算法的廣泛應(yīng)用使用戶信息挖掘更加高效和精確。

 

 

感知和決策都取決于算法。

• 感知：感知過程與深度學(xué)習(xí)算法有關(guān)，涉及數(shù)據(jù)標(biāo)記，算法模型開發(fā)，高性能分布式訓(xùn)練，性能優(yōu)化和模型部署。
• 決策：決策過程與傳統(tǒng)的機器學(xué)習(xí)算法和深度學(xué)習(xí)算法有關(guān)。 它涉及行業(yè)行為數(shù)據(jù)的收集，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理，數(shù)據(jù)和算法的組合建模，算法開發(fā)培訓(xùn)和調(diào)整，模型部署以及實時培訓(xùn)反饋。

人工智能系統(tǒng)

隨著算法的快速發(fā)展，相應(yīng)的基礎(chǔ)架構(gòu)支持變得越來越重要。 這需要AI系統(tǒng)的支持。 構(gòu)建AI或機器學(xué)習(xí)系統(tǒng)的兩個基本因素是算法和計算能力。 算法創(chuàng)新是由計算能力的突破驅(qū)動的。

 

 

下圖顯示了到2019年AI所需的計算能力。與AlphaGo Zero所需的計算能力相比，AlexNet對計算能力的需求增加了300,000倍。 在這種情況下，算法迭代和算法實現(xiàn)的解決方案對系統(tǒng)提出了更高的要求。

 

 

下圖顯示了AlexNet在2013年的系統(tǒng)。只需在機器上添加GPU，培訓(xùn)費用約為每天500瓦，共7天。 這意味著業(yè)務(wù)模型的迭代周期約為一周。

 

 

在當(dāng)今企業(yè)需要快速開發(fā)廣告推薦和其他模型的時代，一個星期的模型迭代周期太長了。 因此，越來越多的人對使用大型集群或芯片為AI系統(tǒng)提供更高的計算能力感興趣。 根據(jù)麻省理工學(xué)院在2014年進行的比較，一個人在一分鐘內(nèi)可以處理約77張圖像，而單個GPU可以在同一時期內(nèi)處理230張圖像。 盡管單個GPU的處理速度不會比人類的處理速度快多少，但我們可以通過GPU集群來實現(xiàn)更大規(guī)模，更快的計算。 如下圖所示，512個GPU群集在一分鐘內(nèi)可以處理600,00張圖像。

在設(shè)計AI系統(tǒng)時，您需要專注于如何實現(xiàn)高性能存儲，實現(xiàn)機器之間的快速通信以及維護分布式集群的穩(wěn)定性。 目前，阿里云擁有一個內(nèi)部Eflops平臺，該平臺可在三分鐘內(nèi)實現(xiàn)10´1的計算，每分鐘消耗128 KW的電量。 這樣的系統(tǒng)在2015年之前是不可想象的。我們實現(xiàn)這種功能的能力主要是由于大規(guī)模集群和系統(tǒng)底層芯片的可擴展性。

 

 

目前，世界上許多企業(yè)，特別是中國的企業(yè)正在研究和開發(fā)高性能芯片，阿里巴巴也不例外。 2019年，阿里巴巴發(fā)布了全球性能最高的AI推理芯片，漢光800。該芯片在實際的城市大腦和航空大腦場景中進行了測試，達到了每秒近80萬張圖像的峰值性能。 這表示性能比上一代提高了約4000%。

 

通過增加軟件和硬件的復(fù)雜度，資源管理，有效的調(diào)度和系統(tǒng)范圍的優(yōu)化，增加系統(tǒng)復(fù)雜度會帶來一系列問題。 這是系統(tǒng)開發(fā)過程中所有各方都必須面對的挑戰(zhàn)。

 

 

您必須注意，AI集群不是通用集群。 在AI訓(xùn)練期間，子任務(wù)需要定期同步，并且不同機器之間需要高性能的通信。 在大多數(shù)情況下，使用基于GPU或NPU的專用組件。 當(dāng)前，不同的計算模型和交互模式對AI培訓(xùn)構(gòu)成了重大挑戰(zhàn)。

 

 

人工智能用于各種阿里巴巴業(yè)務(wù)場景。 因此，我們可以使用實際的AI應(yīng)用程序來優(yōu)化平臺設(shè)計。 例如，淘寶移動的Pailitao(Snap-and-search)分類模型具有數(shù)百萬個類別，淘寶的Voice + NLP解決方案以及Alimama的廣告推薦系統(tǒng)。

經(jīng)過優(yōu)化的Apsara AI平臺分為三層，分別是底層的基礎(chǔ)架構(gòu)，中間的培訓(xùn)和推理框架以及頂層的開發(fā)平臺。 AI平臺有三種重要類型：

• 輕量級AI開發(fā)平臺：這些平臺可幫助算法和數(shù)據(jù)科學(xué)家執(zhí)行一鍵式開發(fā)，調(diào)試和部署。
• 人工智能和大數(shù)據(jù)協(xié)作開發(fā)平臺：這些平臺可幫助用戶快速開發(fā)面向大數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。
• AI推理服務(wù)平臺：這些平臺解決了計算資源問題，并提供了推理所需的模型訓(xùn)練，部署和性能監(jiān)控。

這三種類型的平臺支持算法API的輸出以及垂直域平臺和大腦解決方案的開發(fā)。

 

 

在深度學(xué)習(xí)領(lǐng)域，斯坦福大學(xué)推出了一個稱為DAWNBench的基準(zhǔn)。 與以前的優(yōu)秀性能相比，阿里云的機器學(xué)習(xí)解決方案將性能提高了約10%。

如今，人工智能技術(shù)功能在提高資產(chǎn)利用率和滿足不同場景的需求方面發(fā)揮著重要作用。 全面的AI技術(shù)能力主要取決于以下基礎(chǔ)架構(gòu)和服務(wù)：

• 基本硬件：提供一般的計算能力和AI計算能力。 它還通過基礎(chǔ)架構(gòu)即服務(wù)(IaaS)提供云功能。
• AI云服務(wù)：此基礎(chǔ)平臺即服務(wù)(PaaS)層通過易于訪問的軟件和硬件環(huán)境提供了適合絕大多數(shù)用戶的計算能力。
• 高性能計算：這將加速核心AI計算引擎。
• AI系統(tǒng)框架：這提供了AI計算模型和跨體系結(jié)構(gòu)建模，迭代和部署的完整抽象。
• AI托管平臺：這提高了算法研發(fā)的共享部署和輸出效率。 它還提供了具有較高用戶粘性的開發(fā)平臺。

 

 

智能計算與數(shù)據(jù)計算

人工智能用于智能計算，大數(shù)據(jù)用于數(shù)據(jù)計算。 兩種功能相互補充。

人工智能的數(shù)據(jù)支持

前面提到的算法和計算能力需要大數(shù)據(jù)量的支持。 數(shù)據(jù)是算法和計算能力價值的重要體現(xiàn)。

 

 

以下兩張圖片分別顯示了2005年和2013年的教皇觀眾。 隨著移動互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)呈指數(shù)級增長，大量可用數(shù)據(jù)改善了深度學(xué)習(xí)的性能。

1998年，小型MNIST系統(tǒng)的訓(xùn)練數(shù)據(jù)僅為10 MB，2009年ImageNet的訓(xùn)練數(shù)據(jù)為200 GB，2017年WebVision具有3 TB數(shù)據(jù)集，典型產(chǎn)品的視覺系統(tǒng)需要1 PB數(shù)據(jù)。 大量的數(shù)據(jù)已幫助阿里巴巴幾乎線性地提高了其性能。

讓我們看一個我們都熟悉的常見場景，以說明更大的數(shù)據(jù)量如何提高性能。 在X射線醫(yī)學(xué)診斷領(lǐng)域，研究表明，醫(yī)生從X射線圖像診斷疾病的能力與他們所查看的X射線圖像的數(shù)量直接相關(guān)。 他們檢查的圖像越多，診斷準(zhǔn)確性就越高。 類似地，可以通過大型計算機系統(tǒng)在更多數(shù)據(jù)上訓(xùn)練當(dāng)前的醫(yī)療引擎系統(tǒng)，以實現(xiàn)更準(zhǔn)確的醫(yī)療診斷。

AI使大數(shù)據(jù)更智能

下圖顯示了大數(shù)據(jù)領(lǐng)域的趨勢。 當(dāng)前，大數(shù)據(jù)領(lǐng)域希望提取更多信息，實現(xiàn)實時計算，AI平臺并執(zhí)行在線預(yù)測。 所有這些趨勢表明，大數(shù)據(jù)的智能不斷提高。

 

 

當(dāng)前，從多個數(shù)據(jù)源獲取不同類型的數(shù)據(jù)，包括結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，并將其存儲在數(shù)據(jù)倉庫中。 為了利用這些數(shù)據(jù)的潛在價值，需要智能計算。 在廣告推薦的情況下，數(shù)據(jù)源是用戶在淘寶上的點擊，瀏覽和購買。 數(shù)據(jù)通過脫機或?qū)崟r同步以及脫機或?qū)崟r提取-轉(zhuǎn)換-加載(ETL)寫入數(shù)據(jù)倉庫。 然后，基于數(shù)據(jù)倉庫或數(shù)據(jù)湖解決方案生成并訓(xùn)練各種數(shù)據(jù)模型。 最后，訓(xùn)練結(jié)果通過數(shù)據(jù)服務(wù)輸出。 如您所見，數(shù)據(jù)理解和使用過程變得越來越智能。

幾年前，混合事務(wù)/分析處理(HTAP)包括OLTP和OLAP。 OLAP可以進一步分為大數(shù)據(jù)，離線和實時分析。 不同的引擎適用于具有不同數(shù)據(jù)量的案例。 當(dāng)前，數(shù)據(jù)服務(wù)變得越來越重要。 在某些智能客戶服務(wù)場景中，實時AI推理服務(wù)和應(yīng)用程序需要數(shù)據(jù)提取模型。 因此，找到一種將分析與服務(wù)結(jié)合起來的方法至關(guān)重要。 這就是為什么我們目前正在追求混合服務(wù)和分析處理(HSAP)的原因。 結(jié)合AI，我們可以通過離線和實時數(shù)據(jù)倉庫從數(shù)據(jù)中提取見解，并通過在線服務(wù)將此類見解呈現(xiàn)給用戶。

阿里巴巴已經(jīng)在自己的應(yīng)用程序中開發(fā)了基于人工智能的大數(shù)據(jù)方法和解決方案。 Double 11 Shopping Festival中的離線計算(批處理)，實時計算(流計算)，交互式分析和圖形計算方案已與Apsara AI平臺相結(jié)合，提供了由Apsara支持的新一代Apsara大數(shù)據(jù)產(chǎn)品 AI。

與人工智能類似，大數(shù)據(jù)也注重性能。 根據(jù)TPC基準(zhǔn)測試，2019年，阿里云的大數(shù)據(jù)平臺MaxCompute和E-MapReduce在計算性能和成本效益方面顯示出顯著優(yōu)勢。 下圖顯示了基準(zhǔn)測試結(jié)果。

 

 

阿里巴巴的AlimeBot目前通過應(yīng)用基于AI的深度學(xué)習(xí)和智能感知技術(shù)，在用戶服務(wù)場景中為用戶提供智能語音交互服務(wù)。 為了實現(xiàn)智能性能，它必須與大數(shù)據(jù)業(yè)務(wù)系統(tǒng)緊密聯(lián)系，例如物流或用戶數(shù)據(jù)系統(tǒng)。

這使我們想到了下一個問題：企業(yè)應(yīng)如何接受AI? 簡而言之，要使AI成為現(xiàn)實，我們應(yīng)該從應(yīng)用程序需求出發(fā)，逐步進行技術(shù)創(chuàng)新，就像愛迪生如何改進電燈泡一樣。 云提供了低成本，高性能和高穩(wěn)定性的基礎(chǔ)架構(gòu)，但是對我們而言，關(guān)鍵是明確定義我們的需求。

在過去的幾年中，AI領(lǐng)域一直致力于算法創(chuàng)新和演示，但這還遠遠不夠。

AI算法只是系統(tǒng)的一部分。 在實施AI時，企業(yè)還必須考慮如何收集數(shù)據(jù)，獲得有用的功能以及執(zhí)行驗證，流程管理和資源管理。

人工智能不是萬能的，但也不能忽略。 當(dāng)企業(yè)采用AI時，必須首先從業(yè)務(wù)考慮出發(fā)。 隨著數(shù)據(jù)量和算法數(shù)量的增加，建立一支了解業(yè)務(wù)的數(shù)據(jù)工程師和算法工程師團隊至關(guān)重要。 這是智能企業(yè)成功的關(guān)鍵。 我們已經(jīng)提到的所有算法，計算能力和數(shù)據(jù)解決方案都可以通過使用云中當(dāng)前可用的服務(wù)和解決方案來實現(xiàn)。 這可以幫助企業(yè)更快地實施AI。