長期押注機器學(xué)習(xí),云計算巨頭AWS為何這么做?
亞馬遜云服務(wù)(AWS)是如何成為全球云計算老大的,它做云有沒有一套可借鑒的方法論?
作為亞馬遜公司旗下云計算服務(wù)平臺,AWS也已經(jīng)推出上線14年,我們很難用一句話說清AWS能夠在云計算領(lǐng)域持續(xù)增長和創(chuàng)新的秘訣。近來,機器學(xué)習(xí)成為AWS內(nèi)部一項極其重要的業(yè)務(wù),我們或許能夠從中總結(jié)出AWS在云計算上一些打法。
在AWS披露的一項數(shù)據(jù)中,自 2016年推出3項機器學(xué)習(xí)服務(wù)以來的5年間,AWS已經(jīng)累計推出776+的機器學(xué)習(xí)服務(wù)和功能。按照2019年的數(shù)據(jù),新推出248項機器學(xué)習(xí)服務(wù)和功能后,機器學(xué)習(xí)在當(dāng)年新推出服務(wù)和功能的總量(2345項)中的比例超過10%。
越來越深入的機器學(xué)習(xí)服務(wù)
當(dāng)中國云服務(wù)商紛紛進軍產(chǎn)業(yè)界,并逐步確定差異化發(fā)展方向的時候,遠在美國的全球云計算巨頭AWS卻在瘋狂為它的機器學(xué)習(xí)服務(wù)背書。
在不久前的“亞馬遜re:Invent 2020大會”上,AWS CEO Andy Jassy 在主題演講中調(diào)侃道:“2019年,我用75分鐘來講機器學(xué)習(xí),但2020年我想換種方式。”而接下來,無論是他自己的闡述還是客戶證言,在他長達3小時的演講中,“機器學(xué)習(xí)”被提及的次數(shù)超過75次。
云計算的發(fā)展,為機器學(xué)習(xí)提供了蓬勃發(fā)展的土壤。亞馬遜副總裁兼CTO Werner Vogels 博士在“2021將改變世界的八大技術(shù)趨勢”的預(yù)測中提到,機器學(xué)習(xí)在2020年已經(jīng)成為主流,未來三年內(nèi)世界產(chǎn)生的數(shù)據(jù)比過去30年還要多,而與機器學(xué)習(xí)模型相結(jié)合,使用數(shù)據(jù)攝取和聚合工具,成為各行各業(yè)處理信息的唯一實際方法。
認準了機器學(xué)習(xí)的方向之后,AWS已經(jīng)對機器學(xué)習(xí)的未來做出了趨勢性判斷,在機器學(xué)習(xí)上所提供的服務(wù)越來越深入。
從2016年-2020年的五年間,AWS在機器學(xué)習(xí)上推出的服務(wù)數(shù)量增長最快的是2017-2018年,這期間,機器學(xué)習(xí)服務(wù)從2017年的60項,增加155項至215項,此后AWS的機器學(xué)習(xí)服務(wù)每年以“200+”的增量發(fā)展。
截止目前,AWS的機器學(xué)習(xí)服務(wù)已經(jīng)形成了“上-中-下”三個層次的服務(wù)框架:
AWS機器學(xué)習(xí)服務(wù)框架圖
第一層,AI 服務(wù),這類服務(wù)包含了視覺、音頻-文字互轉(zhuǎn)、聊天機器人等即拿即用的服務(wù);
第二層,Amazon SageMaker服務(wù),這類服務(wù)可以幫助使用者自動標記數(shù)據(jù),并提供了SageMaker studio集成開發(fā)環(huán)境,是一個全托管的機器學(xué)習(xí)平臺;
第三層,機器學(xué)習(xí)框架和基礎(chǔ)設(shè)施,這類服務(wù)包含了可供使用者選擇的多種機器學(xué)習(xí)框架,以及包含算力芯片、服務(wù)器等的基礎(chǔ)設(shè)施。
“我們的機器學(xué)習(xí)解決方案,能夠快速進行數(shù)據(jù)的模擬,挖掘數(shù)據(jù)價值。改變數(shù)據(jù)管理體系,可以把計算和分析融入所有的業(yè)務(wù)當(dāng)中。”Andy Jassy 在演講中說。
這正是AWS的高明之處,它將機器學(xué)習(xí)抽象為了一項通用服務(wù),是數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)智能這些當(dāng)下熱門服務(wù)的必備工具。不強調(diào)行業(yè)屬性、不強調(diào)使用場景,只強調(diào)“機器學(xué)習(xí)”作為一項服務(wù)對IT和業(yè)務(wù)效率的提升。至于用到哪兒、用到什么行業(yè)什么場景,客戶說了算。
同時,機器學(xué)習(xí)也可以是更加普惠和易用的。在Andy Jassy的觀念中,機器學(xué)習(xí)不應(yīng)該是只被機器學(xué)習(xí)方面的專業(yè)人士來訓(xùn)練、調(diào)優(yōu)、建構(gòu)和部署,而應(yīng)該是“Expand machine learning to more builders(讓機器學(xué)習(xí)為更多構(gòu)建者服務(wù))”,這些“builders”包含了不是很懂機器學(xué)習(xí)的數(shù)據(jù)分析師、IT業(yè)務(wù)人員等。
事實也證明,AWS推出的機器學(xué)習(xí)服務(wù)中的SageMaker也已經(jīng)成為AWS歷史上增長最快的服務(wù)。目前,全球已經(jīng)有超過10萬的客戶在使用AWS的機器學(xué)習(xí)和人工智能服務(wù)。
不同客戶需求,促成AWS不斷創(chuàng)新
不要嘗試從AWS的口中獲得更詳細的關(guān)于產(chǎn)品創(chuàng)新的方案,在鈦媒體APP對AWS不同人員的多次采訪中,“如何保持創(chuàng)新”這個問題的答案永遠是“以客戶為中心”。實際上,不同客戶所產(chǎn)生的對機器學(xué)習(xí)的需求,也確實促成了AWS在機器學(xué)習(xí)領(lǐng)域的不斷創(chuàng)新。
AWS大中華區(qū)云服務(wù)產(chǎn)品管理總經(jīng)理顧凡舉了一個SageMaker的例子:“客戶說你們?nèi)ツ臧l(fā)布的這些東西都挺好的,但是確實是在機器學(xué)習(xí)當(dāng)中有一塊硬骨頭還是沒啃,就是怎么快速地把原始數(shù)據(jù)轉(zhuǎn)化成模型所需要的核心特征,把這個步驟加快。”
在這樣的一些需求下,AWS推出了機器學(xué)習(xí)服務(wù)AWS Data Wrangler,該工具是機器學(xué)習(xí)的特征工廠。這里的“特征(function)”是機器學(xué)習(xí)中的術(shù)語,機器學(xué)習(xí)建模需要進行函數(shù)運算,數(shù)據(jù)“特征”輸入函數(shù)后,就可以輸出“標簽(label)”。機器學(xué)習(xí)工具會根據(jù)標簽來識別數(shù)據(jù)是貓、是狗還是其他。在原來的機器學(xué)習(xí)工具中,客戶需要自己將不同的數(shù)據(jù)源打通,抓取數(shù)據(jù)然后格式化,把數(shù)據(jù)特征跑出才能進入后續(xù)流程。
而在使用了AWS Data Wrangler之后,無論是單一特征還是復(fù)合特征,Data Wrangler都可以將這些快速轉(zhuǎn)換出來。并且在SageMaker Studio中,能夠可視化地看到整個轉(zhuǎn)換流程,方便進行流程干預(yù)。
另一方面,在機器學(xué)習(xí)框架上,目前大部分機器學(xué)習(xí)平臺都傾向于只支持Tensorflow。但在對客戶的調(diào)研中,AWS發(fā)現(xiàn),其實對于一些專業(yè)做機器學(xué)習(xí)的人來說,他們希望能夠自主選擇使用哪種機器學(xué)習(xí)框架。
“AWS支持所有主流機器學(xué)習(xí)框架……我們有好幾個團隊,一個團隊是優(yōu)化Tensorflow,另外一個團隊是優(yōu)化PyTorch,還有一個團隊是專注于MXNet,這就是為什么客戶能夠獲得所有這些框架的最優(yōu)性能。”Andy Jassy在演講中談到。
客戶對工具這種需求,讓AWS的服務(wù)具備了一定的柔性和兼容性,不止是機器學(xué)習(xí)產(chǎn)品線,在其他產(chǎn)品線也是如此。
Amazon Aurora是AWS的一款云原生的、兼容MySQL和PostgreSQL的關(guān)系數(shù)據(jù)庫,主要使用場景是專有云,使用成本是其它商用數(shù)據(jù)庫成本的十分之一。在Severless(無服務(wù)器計算)使用場景不斷增加的情況下,有客戶提出能不能讓Aurora支持Severless,于是AWS推出了Aurora Severless V2,來滿足以上需求。
Andy Jassy坦言:“這樣做了之后,會有一些在用Aurora的客戶遷到Aurora Severless,這樣一定程度上看起來會給AWS帶來一些收入的下降,但恰恰這就是AWS做產(chǎn)品不一樣的思路。我們會聽客戶的聲音,Aurora Severless一定程度上沖擊了自己Aurora的生意,但這是客戶需要的,我們相信長期下去,我們會幫客戶更好地做到云上成本的節(jié)省,它會把更多的費用拿過去做創(chuàng)新。”
做SaaS,也做邊緣硬件
中國云計算服務(wù)商在發(fā)展中的“邊界”感很強,在創(chuàng)立的初期為了爭奪合作伙伴生態(tài),都發(fā)表過類似“不做SaaS”的言論,但隨著產(chǎn)業(yè)互聯(lián)網(wǎng)的深入推進,SaaS已經(jīng)成為各家云計算服務(wù)商都在向客戶提供的服務(wù)。
但對于AWS來說,如果客戶有強烈的需求,AWS是不給自己設(shè)限的。既然客戶需要且AWS能夠提供,那就可以依此進行創(chuàng)新。如果這項服務(wù)與合作伙伴提供的服務(wù)產(chǎn)生沖突,那么可以平等競爭,選擇權(quán)交給客戶。
我們上文提到,AWS的機器學(xué)習(xí)服務(wù)有一個“上-中-下”的服務(wù)框架,最上層的AI 服務(wù)中就包括一些為了降低機器學(xué)習(xí)使用門檻而推出的SaaS服務(wù)。AWS表示,隨著機器學(xué)習(xí)技術(shù)被各個行業(yè)廣泛采用,在機器學(xué)習(xí)上的應(yīng)用也會越來越多。
前不久,AWS與黑莓(BlackBerry)宣布推出了智能汽車數(shù)據(jù)平臺IVY,該平臺能夠讓汽車制造企業(yè)把數(shù)據(jù)的收集、分析進行自動化,從而提供個性化的駕駛及搭乘體驗。
最近,在工業(yè)領(lǐng)域,AWS也針對性推出了五項機器學(xué)習(xí)服務(wù),其中Amazon Monitron、Amazon Lookout for Equipment可以讓工業(yè)企業(yè)通過機器學(xué)習(xí)進行預(yù)測性維護、AWS Panorama Appliance、AWS Panorama SDK則可以通過計算機視覺改善工業(yè)運營和工作場所安全,Amazon Lookout for Vision則可以低成本、快速、準確地對圖像和視頻進行視覺異常監(jiān)測。
值得一提的是,AWS Panorama一體機其實是AWS自主設(shè)計的、部署在邊緣的硬件設(shè)備。AWS全球副總裁 Swami Sivasubramanian告訴鈦媒體APP,在客戶已有本地攝像頭的情況下,將它連接到工業(yè)場所的網(wǎng)絡(luò)中,就可以自動識別攝像頭數(shù)據(jù)流,與工業(yè)攝像頭進行交互。
既提供SaaS服務(wù),在必要情況下也提供一些硬件設(shè)備。所以在對服務(wù)部署模式的界定上,AWS采取了更為開放的態(tài)度,不給創(chuàng)新設(shè)限。反過來講,在一些概念比較熱的時候,AWS也極少跟風(fēng)。
“我們有兩個原則,一個原則是授人以魚不如授人以漁,我們更多希望幫助客戶把能力建立起來,給他工具、教會他使用工具;第二是真正在工程方面有差距、客戶需要幫助的時候,我們會幫他快速把業(yè)務(wù)難題用產(chǎn)品原型的方式實現(xiàn)出來。”AWS大中華區(qū)云服務(wù)產(chǎn)品管理總經(jīng)理顧凡在總結(jié)時表示。
數(shù)據(jù)顯示,AWS在 2011年發(fā)布了包含機器學(xué)習(xí)服務(wù)在內(nèi)的80 多項重要服務(wù)和功能;2012年發(fā)布了近 160 項;2016 年發(fā)布了 1017 項;2019 年發(fā)布了 2345項。
這么多的服務(wù),AWS如何保證創(chuàng)新的真正落地呢?
“我們的產(chǎn)品至少有90%以上完全是根據(jù)客戶的需求開發(fā)成產(chǎn)品的。如果你看我們推出一款產(chǎn)品,首先你要相信一定在社會上、在全球范圍內(nèi)有很多客戶有這種需求。”AWS大中華區(qū)首席云計算企業(yè)戰(zhàn)略顧問張俠說。
同時,一項產(chǎn)品上線,并不是要求讓所有客戶都用起來。“每一次re:Invent發(fā)布的時候,我們的客戶會非常興奮,因為他是帶著需求看大會發(fā)布的。無論從新用戶還是老用戶來講,創(chuàng)新無法落地的問題是不存在的。”