百度,阿里,華為AI開發(fā)者計劃分析
自從2017年5月AlphaGo以3:0擊敗當時世界第一圍棋手柯潔后。博客、社區(qū)、新聞等平臺AI相關(guān)資訊爆發(fā)式的增長起來。很多軟件培訓學院也先后開啟了人工智能學習課程,但門檻都很高,從費用到環(huán)境。比如:
- 硬件設備,GPU最便宜的也得2000起步。想實踐體驗下AI產(chǎn)品沒有上萬投入是不可能的。
- AI算法,統(tǒng)計學、微分、樸素貝葉斯法、隱馬爾可夫算法,這又讓多少已經(jīng)稀疏的程序猿成為了禿頭鷹,2018~2019年北京地鐵里植發(fā)廣告劇增。
- 開發(fā)環(huán)境,很多時候不僅是開發(fā)難,搭建開發(fā)環(huán)境也難。各種安裝、配置、修改參數(shù)。甚至課程結(jié)束了,有的學員還沒搞定開發(fā)環(huán)境。不是某個補丁問題,就是安裝時候遺漏了東西,而AI開發(fā)還得在GPU上搭建一個環(huán)境。不能說很難,但也讓人煩惱抓狂。
- 2018年7月4日,在百度AI開發(fā)者大會(Baidu Create 2018)上,百度正式公布PaddlePaddle3.0,包括完整的核心框架,以及AI Studio、AutoDL、EasyDL等可以讓開發(fā)者平等便捷獲取頂尖AI能力的組件。
- 2018年7月18日,阿里云正式發(fā)布了三款人工智能產(chǎn)品:圖像搜索、智能語音自學習平臺以及機器翻譯,三款產(chǎn)品由阿里云與阿里巴巴機器智能技術(shù)實驗室聯(lián)合自主研發(fā)。
- 2018年10月舉辦的華為全聯(lián)接大會上,華為云發(fā)布了更快的普惠AI開發(fā)平臺——ModelArts。同時提出了發(fā)布了沃土AI開發(fā)者使能計劃。華為公司副總裁、云BU總裁鄭葉來表示:“ 華為希望通過沃土AI開發(fā)者使能計劃,搭建一個技術(shù)交流、人才培養(yǎng)、機遇共創(chuàng)的通道,全面助力每一位開發(fā)者、每一位老師和每一位合作伙伴”。
我們來了解下這三大廠的AI平臺發(fā)展到怎樣地步,首先我把收集到的三廠AI平臺概述給大伙看看:
- 百度機器學習BML(Baidu Machine Learning)是一款端到端的AI開發(fā)和部署平臺?;贐ML,用戶可以一站式完成數(shù)據(jù)處理、模型訓練與評估、服務部署等工作。平臺提供了高性能的集群訓練環(huán)境,海量算法框架與模型案例,以及操作便捷的預測服務工具。用戶可以專注于模型與算法本身,并得到優(yōu)質(zhì)的模型與預測效果。(現(xiàn)在還有個百度大腦AI平臺里面主要是飛槳產(chǎn)品)
- 阿里云機器學習PAI平臺是構(gòu)建在阿里云MaxCompute(原ODPS)計算平臺之上,集數(shù)據(jù)處理、建模、離線預測、在線預測為一體的機器學習平臺。阿里云機器學習封裝了阿里巴巴集團內(nèi)成熟的算法,向機器學習用戶提供了更簡易的操作體驗,真正做到讓人工智能觸手可及。
- 華為云ModelArts是面向AI開發(fā)者的一站式開發(fā)平臺,提供海量數(shù)據(jù)預處理及半自動化標注、大規(guī)模分布式訓練、自動化模型生成,及端-邊-云模型按需部署能力,幫助用戶快速創(chuàng)建和部署模型,管理全周期AI工作流。
可以看出目前三家都以幫助開發(fā)者快速創(chuàng)建模型,提供一站式開發(fā)為主。下面我從一個AI開發(fā)者視角來分析下,實際從這幾方面來體驗三家AI開發(fā)平臺:1.平臺上手體驗,2.開發(fā)者培養(yǎng)計劃,3.平臺資源福利。
一、第一項:平臺上手體驗。
百度
我們先體驗百度智能云下的BML(Baidu Machine Learning)。BML包括三個部分:
- 工作區(qū):內(nèi)置了完全托管的交互式編程環(huán)境Jupyter Lab,實現(xiàn)數(shù)據(jù)處理和代碼調(diào)試。
- 訓練:支持多種深度/機器學習框架,一鍵發(fā)起大規(guī)模訓練作業(yè),提升訓練效率及效果。包括四部分:深度學習作業(yè)、機器學習作業(yè)、AutoDL作業(yè)、AutoML作業(yè)。
- 預測:快速將訓練好的模型部署為高可用的在線服務,靈活選用多種計算部件加速預測執(zhí)行,并可以通過A/B Testing,灰度升級,服務監(jiān)控等完成模型試驗迭代和服務運維管理。
工作區(qū):
a.主要是創(chuàng)建實例,管理實例運行的界面。實例創(chuàng)建完畢點擊打開Jupter進入代碼編輯頁面。
b.notebook編輯界面,也是正常的在線編輯平臺,不過在左邊可以方便查看各個代碼文件。這個比較好,方便開發(fā)者查詢及修改相關(guān)文件。
訓練部分:
提供了深度學習、機器學習、AutoDL、AutoML四種模式進行模型訓練。深度學習提供的算法或框架有tensorflow、pytorch、百度自研發(fā)的paddle。
a.深度學習提供的算法或框架有tensorflow、pytorch、及百度自研發(fā)的paddle。
b.機器學習有數(shù)據(jù)標準化、邏輯回歸二分類、KMeans聚類。
c.AutoDL有圖片分類-ENAS、圖像分類-遷移學習。
d.AutoML只有一個LogsticRegression。
預測部分:提供快速創(chuàng)建,及預測模型庫。
總體上感覺百度BML封裝的內(nèi)容太多了,適合初學者又不適合初學者。適合的一面讓初學開發(fā)者不用自己去尋找各個算法來搭建框架。不適合是初學者想嘗試調(diào)整超參數(shù)這些來驗證自己的學習內(nèi)容就不方便實現(xiàn)了。同時,百度還提供了百度大腦AI開放平臺包含了(飛槳PaddlePaddle、AI Studio、EasyDL、iOCR、語音自訓練平臺)。PaddlePaddle是類似TensorFlow 的一個算法框架,不過我這次主要了解下AI Studio。因為,EasyDL、iOCR這兩個產(chǎn)品封裝的更加徹底,EasyDL是專門用于圖片分類、聲音分類、物體檢測。iOCR則是票據(jù)上的文字識別。PaddlePaddle就更不用說了。其他兩家都沒有,而我這次主要是對比AI開發(fā)平臺的體驗。因此,在百度大腦AI平臺上我只選用了AI Studio。
AI Studio
a.AI Studio是以AI項目作為開發(fā)引導的一個平臺。點進去就看到公開項目、我的項目以及創(chuàng)建項目。不像之前的BML那樣從開發(fā)到訓練到預測。這里以開發(fā)訓練為主。
b.默認項目框架為百度自研發(fā)的paddlepaddle框架。
c.notebook開發(fā)模式
d.腳本開發(fā)模式
e.圖形化模式
小結(jié)下:
百度智慧云BML(Baidu Machine Learning)與百度大腦的AI Studio,整個設計界面也很簡單直接。建立實例選擇訓練資源,開發(fā)編輯算法代碼,在進入訓練里面選擇對應的算法引擎進行訓練,最后發(fā)布預測。如果你不是一個才入門的AI開發(fā)者,有過相關(guān)的開發(fā)經(jīng)驗。就可以快速的上手操作體驗了。相對百度大腦的AI Studio,則更是一個屬于百度的PaddlePaddle算法平臺,如果你不怎么熟悉AI開發(fā)模式,反而會在里面越搞越迷茫。如果,你是一個才看完吳恩達老師視頻的初學者,面對這個平臺。你需要再補充些開發(fā)的知識才能嘗試下。所以,我從一個初學者的角度來說,這個平臺還是需要更多的引導及指導的功能。
阿里
阿里云機器學習PAI平臺3個子產(chǎn)品,分別是:
- 機器學習可視化開發(fā)工具PAI-STUDIO
- 云端交互式代碼開發(fā)工具PAI-DSW
- 模型在線服務PAI-EAS
為傳統(tǒng)機器學習和深度學習提供了從數(shù)據(jù)處理、模型訓練、服務部署到預測的一站式服務。平臺架構(gòu)圖清晰說明整個操作流程:
首頁概覽,里面包含了各項目運行情況。方便開發(fā)者了解相關(guān)信息。
Studio-可視化建模
a.可視化模型管理界面。
b.項目創(chuàng)建,在創(chuàng)建時提示該名稱重名,個人推測該按量付費資源應是公用資源。
c.這里還提供相關(guān)模板,初學者在不知道如何操作時,可以點出個模型來簡單體驗下。
d.可視化拖拽平臺。本人水平有限,點了半天沒有得到想要的結(jié)果??磥磉€是需要對AI開發(fā)有所了解后,才能快速上手。
DSW-Notebook建模:
a.實例創(chuàng)建,12元一小時,千萬記得關(guān)閉。
b.這界面很舒服,左邊有模型項目的導入,右邊有實時運行狀態(tài),挺有吸引力的。
不過對于我這樣英文老大難的來說這個中文忍不住吐槽下。切換到中文只是右邊的翻譯,只是這種漢化沒有左邊的有意義。
PAI-EAS模型在線服務:
a.常規(guī)的模型發(fā)布操作,不過前面操作的模型有誤,一直不能有效實現(xiàn)下效果。
小結(jié)下:
阿里云機器學習PAI平臺在開始有比較詳細框架說明及流程引導,方便AI開發(fā)人員了解阿里的平臺,同時他也多了一個可視化建模的功能,notebook的編輯也很酷炫。但在幫助說明里面提到的數(shù)據(jù)準備,數(shù)據(jù)預處理、可視化沒有在該平臺里發(fā)現(xiàn)??傮w來說,該平臺對于有實踐經(jīng)驗的開發(fā)者來說是非常有幫助的比百度要好些。一個剛剛學習了幾個月的開發(fā)者可以試著在上面根據(jù)幫助文檔來實現(xiàn)模型編輯及訓練發(fā)布。
華為
最后我們來體驗下華為云AI開發(fā)平臺ModelArts。通過功能總覽圖 ,可以看出是三家里唯一在AI開發(fā)平臺里面就提供了數(shù)據(jù)處理模塊的平臺,同時我也根據(jù)該圖的功能順序進行體驗演示。
數(shù)據(jù)處理:ModelArts提供開源數(shù)據(jù)集,部分場景實現(xiàn)數(shù)據(jù)智能標注。
a.數(shù)據(jù)標注功能,支持在線標注,同時設置標簽集。據(jù)說在下個版本將推出多人標注工具,這對很多數(shù)據(jù)公司是個福音啊。
b.智能標注,在標注一定量的圖片后,執(zhí)行智能標注提高數(shù)據(jù)整理效率。這個功能可以減輕標注人員的百分之80的時間,這個功能還是不錯,如圖:
c.數(shù)據(jù)集發(fā)布,標注完畢的數(shù)據(jù)集可以發(fā)布出來,提供給相關(guān)團隊伙伴一起使用。同時,ModelArts也有數(shù)據(jù)集市場,標注好的數(shù)據(jù)集可以通過AI市場進行相關(guān)交易。
算法開發(fā):自動學習+自動訓練模型并調(diào)參,簡化工作量。
a.開發(fā)環(huán)境里面提供Notebook,同時支持多達7個算法引擎供大家使用。
b.同時是唯一提供Terminal的,可以當前運行情況有所了解。我的理解為兩個結(jié)合一起使用可以更加高效編輯算法代碼。
c.訓練作業(yè):可以選擇之前在notebook上編輯好的模型。同時華為也提供了四種不同的模型來源方便開發(fā)者選擇。同時提供模型的超參調(diào)優(yōu)。
d.運行參數(shù)調(diào)整及訓練結(jié)果版本對比。讓開發(fā)者可以更直觀了解每個參數(shù)對結(jié)果影響。
模型訓練
a.訓練成功的模型可以在這里查詢出來后就能進行相關(guān)部署。
b.同時這里的溯源圖查看了解模型的超參調(diào)整過程。
模型部署,一鍵式部署,適配到端邊云。
a.查詢部署出來的模型可以進行相關(guān)效果測試。
AI市場:對模型及數(shù)據(jù)集的交易與分享
小結(jié)下:
相比較ModelArts是三個AI平臺里更容易上手的,其自動學習讓小白用戶也可以輕松訓練出AI模型。提供了從數(shù)據(jù)準備、數(shù)據(jù)集管理、算法開發(fā)、模型訓練、模型模式、AI市場等AI開發(fā)全生命周期的功能,基于此平臺可以幫主AI工程師、算法工程師提升AI開發(fā)的效率。
接下來,我再把三家的平臺功能、操作體驗和平臺特點匯總說明下。
百度
- 平臺功能:提供Jupyter Lab開發(fā)、四種深度/機器學習框架、可在線預測、AI市場。
- 操作體驗:已經(jīng)有豐富經(jīng)驗的開發(fā)者可以快速上手。
- 平臺特點:擁有自己的飛槳算法引擎,同時還多了一個專門學習百度PaddlePaddle的AI Studio。
阿里
- 平臺功能:Studio可視化工具、PAI-DSWnotebook編輯開發(fā)、模型在線服務、AI市場。
- 操作體驗:提供的可視化工具可以讓不熟悉代碼但對AI有所了解人群適用。
- 平臺特點:提供拖拽式開發(fā)操作,界面華麗。
華為
- 平臺功能:數(shù)據(jù)標注、算法開發(fā)、訓練作業(yè)、在線部署、AI市場。
- 操作體驗:可以讓小白輕松學會訓練AI模型,整個平臺可視化工具,易懂易操作。
- 平臺特點:整個AI開發(fā)流程詳細。從數(shù)據(jù)處理到最后的部署上線,整個過程都在ModelArts平臺里實現(xiàn)。同時在訓練作業(yè)中支持模型的超參調(diào)整,是三家唯一有此功能的。
通過上面的信息我們大概可以了解到三個平臺的功能及特色,接下來,我們來了解下三廠目前對開發(fā)者有哪些培養(yǎng)計劃及相關(guān)福利。
二、第二項:開發(fā)者培養(yǎng)計劃
培養(yǎng)計劃(將從各平臺提供的學習平臺、AI模型案例實踐以及平臺活動這幾點進行比較)
百度
a.開發(fā)者活動-首席AI架構(gòu)師培養(yǎng)計劃,門檻很高不適合初學者。
b.在線教材,目前不對外開放。是百度與專業(yè)培訓機構(gòu)或大學合作的入口。
c.平臺的案例模型支持,里面的還是以介紹產(chǎn)品及AI Studio操作步驟為多。BML沒有相關(guān)的模型支持。
- AI Studio
- paddlepaddle的一些項目信息介紹。
d.開源平臺交流,主要是paddlepaddle的開發(fā)使用信息。涉及BML及AI Studio學習信息就不多了。
e.平臺社區(qū)活動,最近有AI Studio人工智能競賽活動。
阿里
a.阿里云有一個專門的板塊是阿里大學里面還是有很多AI學習視頻從python基礎開始。覺得自己理論不好的,可以在這里試試。目前阿里云AI認證沒有開啟。
b.AI平臺案例
可視化模型案例,之前也提到了。有豐富的案例模板可以直接點擊創(chuàng)建。
e.開發(fā)者社區(qū)活動,也不知道是不是自己找的方向不對。只找到了這些活動信息。
華為
a.華為云學院課程視頻,里面的課程和阿里一樣也搭配了相關(guān)認證體系。
b.ModelArts-Lab AI 實戰(zhàn)營,目前有很多開發(fā)者參加了這個活動,幫助開發(fā)者一步步成長,而且總共有16期的AI實戰(zhàn)!
c.ModelArts新手入門指導,這個對于剛接觸的人來說很好的的體驗了,完全零基礎即可感受AI自動學習是怎么一回事。
d.ModelArts模型案例,在AI市場里,開發(fā)者案例分享和交流的平臺。
e.華為云社區(qū),可關(guān)注公眾號(HWCloudAI),獲得高質(zhì)量AI技術(shù)文章和最新的技術(shù)動態(tài):
f.華為云AI大賽平臺:
g.ModelArts開發(fā)者交流平臺,此社區(qū)有大量的AI模型和案例。
h.華為沃土AI人才培養(yǎng)計劃,這個也是和學校合作的項目。個人就算啦。
我們再把以上的信息整理出來:
百度
- 在AI開發(fā)者的培養(yǎng)上,百度以與培訓學校、大學合作為主。社會上的培訓也是面對企業(yè),面對經(jīng)驗豐富的技術(shù)人員。
- 平臺上的案例得在公開項目里面尋找再進行復制。
- 比賽活動有一個2019百度之星開發(fā)者大賽
- Github上的交流也是以paddlepaddle產(chǎn)品為主。對于開發(fā)平臺的介紹很少。
阿里
- 阿里的天池競賽平臺,是三家做的相對更有影響力的。
- 阿里云大學有比較詳細的教學視頻及阿里的認證體系??梢宰岄_發(fā)者在這里再補充自己的理論知識。
- 阿里的PAI開發(fā)平臺里面就可以直接調(diào)用相關(guān)的模型案例,這個可以點贊。對于初學者來說如何模仿實現(xiàn)是實踐的快速路徑。
華為
- 華為在Github上,搭建了一個開發(fā)者AI案例交流平臺ModelArts-Lab,并且有16期活動,帶著AI學習者在ModelArts平臺上實踐,這個很贊。
- 華為云學院,開設了很多AI課程和AI微認證,參與人還蠻多的。
- 華為的沃土AI人才培養(yǎng)計劃,這是面對高校和科研機構(gòu),提供大量的AI資源,助力高校的AI人才培養(yǎng)計劃。有興趣的高校可以參與,關(guān)鍵還提供了可以去華為實習的機會。
三、第三項:平臺資源福利。
學習是一種投資,AI學習更是花錢如流水。前幾年初學者想自己搭建一個硬件訓練環(huán)境怎么也要投入萬把塊才有點感覺吧。接下來我們了解下各廠AI開發(fā)平臺資源費用:
百度
a.BML,目前免費使用,可以放心的薅。
b.同時還有百度大腦AI Studio平臺上的。這個羊毛還能薅一段時間。這讓我想起當年的百度云盤了,每天簽到送云空間。
阿里
a.PAI-Studio 可視化建模平臺計費詳情。涉及深度學習都便宜不了啊。
b.PAI-DSW 云端Notebook建模平臺計費詳情。訓練量大還是包月吧。
c.PAI-EAS 機器學習模型在線服務計費詳情。
華為
a.新用戶福利。只要是新注冊的就送價值400元的福利包。里面有10小時的GPU使用時間。
b.ModelArtsAI全流程開發(fā)公共資源池。1*p100比阿里便宜點。
c.ModelArtsAI全流程開發(fā)專屬資源池。
d.EVS存儲。0.0014元這可以有!
e.自動學習。
目前百度沒有收費信息,只能拿阿里和華為進行比較。目前從常用配置環(huán)境GPU(P100)來說華為的公共資源7.6比阿里的8.4便宜點。但包月方面則阿里的2000元就便宜的多了。當然,你加入ModelArts實戰(zhàn)營還有更多的福利可以領。
同時我再把三家的平臺框架放出來大家一起交流下:
百度
阿里
華為
最后我把以上內(nèi)容整理出來我們可以清楚看出來:
以上分析,希望能幫助到正在轉(zhuǎn)型做AI的程序員!
后記:這里不是推薦百度,阿里,華為哪家的好,只是把我個人學習AI的一個體會分享。分析了幾家廠商的AI平臺后,最后我選擇參加《華為云ModelArts-Lab AI實戰(zhàn)營》,最初我參加這個活動,是因為這個實戰(zhàn)營不僅提供了云資源,還提供了AI實踐案例手把手教我如何學習AI,對我這種AI初學者非常適合。從開始的一路點鼠標,實現(xiàn)了圖片識別后,馬上嘗試做了小程序到處拍照玩識別,到現(xiàn)在每天開始去找資料學習yolov3模型是怎么回事,然后到平臺上跑上2個小時訓練,去理解每個參數(shù)對訓練結(jié)果的影響或者嘗試不同的標識數(shù)據(jù)方式來優(yōu)化標注的效果等等。讓我感覺到每天是過得不一樣的,同時也期待明天可以找到一個更好的模型或者可以實踐運行出來一個好的預測結(jié)果,只要能提高百分之5的準確率都會非常高興。因為,這些都是我能參與的操作,不再是看書或者看別人文章。(好東西,給大家分享下,https://github.com/huaweicloud/ModelArts-Lab)