亞馬遜云服務(wù)(AWS)中國寧夏及北京區(qū)域正式上線Amazon SageMaker
[2020年5月12日,北京] 亞馬遜云服務(wù)Amazon Web Services, Inc. (AWS) 今天宣布,Amazon SageMaker在由西云數(shù)據(jù)運營的AWS中國 (寧夏) 區(qū)域和光環(huán)新網(wǎng)運營的AWS中國(北京)區(qū)域正式上線。Amazon SageMaker 是一項完全托管的服務(wù),可以幫助開發(fā)者和數(shù)據(jù)科學(xué)家快速地規(guī)?;瘶?gòu)建、訓(xùn)練和部署機器學(xué)習(xí) (ML) 模型。Amazon SageMaker在中國的上線還使中國客戶獲得一系列新發(fā)布的工具,例如彈性Notebook、實驗管理、模型自動創(chuàng)建、模型調(diào)試分析,以及模型概念漂移檢測等強大功能,所有這些工具都封裝在首個面向機器學(xué)習(xí)的集成開發(fā)環(huán)境(IDE) Amazon SageMaker Studio中。
進(jìn)一步了解Amazon SageMaker,請訪問: https://www.amazonaws.cn/sagemaker/。
機器學(xué)習(xí)的實施是一項非常復(fù)雜的工作,涉及大量試錯,并且需要專業(yè)技能。開發(fā)者和數(shù)據(jù)科學(xué)家首先必須對數(shù)據(jù)進(jìn)行可視化、轉(zhuǎn)換和預(yù)處理,這些數(shù)據(jù)才能變成算法可以使用的格式,用以訓(xùn)練模型。即使是簡單的模型,企業(yè)也需要花費龐大的算力和大量的訓(xùn)練時間,并可能需要招聘專門的團(tuán)隊來管理包含多臺GPU服務(wù)器的訓(xùn)練環(huán)境。從選擇和優(yōu)化算法,到調(diào)節(jié)影響模型準(zhǔn)確性的數(shù)百萬個參數(shù),訓(xùn)練模型的所有階段都需要大量的人力和猜測。然后,在應(yīng)用程序中部署訓(xùn)練好的模型時,客戶又需要另一套應(yīng)用設(shè)計和分布式系統(tǒng)方面的專業(yè)技能。并且,隨著數(shù)據(jù)集和變量數(shù)的增加,模型會過時,客戶又必須一次又一次地重新訓(xùn)練模型,讓模型從新的信息中學(xué)習(xí)和進(jìn)化。所有這些工作都需要大量的專業(yè)知識,并耗費龐大的算力、數(shù)據(jù)存儲和時間成本。而且,由于沒有集成化的工具用于整個機器學(xué)習(xí)的工作流,機器學(xué)習(xí)模型的傳統(tǒng)開發(fā)方式是復(fù)雜、繁復(fù)和昂貴的。
Amazon SageMaker消除了機器學(xué)習(xí)過程中各個步驟的繁重工作。通過預(yù)置的Notebook、針對PB級數(shù)據(jù)集優(yōu)化的常用算法,以及自動模型調(diào)優(yōu),Amazon SageMaker大大降低了模型構(gòu)建和訓(xùn)練的難度。并且,Amazon SageMaker顯著簡化和加快了模型訓(xùn)練過程,可以通過自動提供和管理基礎(chǔ)設(shè)施來訓(xùn)練模型和運行推理。同時,AWS 最近宣布了多項重要功能和高級特性,讓客戶能夠更輕松地構(gòu)建、訓(xùn)練、調(diào)優(yōu)和部署機器學(xué)習(xí)模型。這些功能包括:
Ÿ 面向機器學(xué)習(xí)的集成開發(fā)環(huán)境(IDE):Amazon SageMaker Studio將所有用于機器學(xué)習(xí)的組件集中在一個地方。跟使用集成開發(fā)環(huán)境(IDE)做軟件開發(fā)一樣,開發(fā)者現(xiàn)在可以在Amazon SageMaker Studio中查看和組織源代碼、依賴項、文檔和其它應(yīng)用程序資產(chǎn),例如用于移動應(yīng)用程序的圖像。當(dāng)前,機器學(xué)習(xí)工作流有大量組件,其中許多組件都帶有它們自己的一組各自獨立的工具。Amazon SageMaker Studio IDE為所有Amazon SageMaker功能和整個機器學(xué)習(xí)工作流提供了一個統(tǒng)一界面。Amazon SageMaker Studio為開發(fā)者提供了創(chuàng)建項目文件夾、組織Notebook和數(shù)據(jù)集,以及協(xié)作討論Notebook和結(jié)果的功能。Amazon SageMaker Studio使構(gòu)建、訓(xùn)練、解釋、檢查、監(jiān)視、調(diào)試和運行機器學(xué)習(xí)模型變得更簡單、更快。
Ÿ 彈性筆記本:Amazon SageMaker Notebooks提供了一鍵啟用的Jupyter Notebook,具有秒級的彈性計算提升能力。Notebooks包含了運行或重新創(chuàng)建機器學(xué)習(xí)工作流所需的一切要素。在此之前,要查看或運行Notebook,開發(fā)者需要在Amazon SageMaker中啟動計算實例。如果他們發(fā)現(xiàn)需要更多的算力,必須啟動一個新實例,轉(zhuǎn)移Notebook,關(guān)閉舊實例。而且,由于Notebook與計算實例是耦合的,通常存在于開發(fā)者的工作站上,其共享和迭代協(xié)作很不容易。Amazon SageMaker Notebooks提供了彈性的Jupyter Notebook,讓開發(fā)者可以輕松地調(diào)高或降低Notebook需要的算力(包括GPU加速)。這些調(diào)整在后臺自動發(fā)生,不會打斷開發(fā)者的工作。開發(fā)者不再需要浪費時間來關(guān)閉舊實例、在新實例中重新創(chuàng)建所有工作,從而可以更快地開始構(gòu)建模型。Amazon SageMaker Notebook還可以自動復(fù)制特定環(huán)境和庫依賴項,實現(xiàn)Notebook一鍵共享。這將使構(gòu)建模型的協(xié)作變得更容易,比如,一個工程師可以很容易地將手頭工作共享給其他工程師,讓他們在現(xiàn)有工作的基礎(chǔ)上構(gòu)建模型。
Ÿ 實驗管理:Amazon SageMaker Experiments可以幫助開發(fā)者組織和跟蹤機器學(xué)習(xí)模型的迭代。機器學(xué)習(xí)通常需要多次迭代,目的是隔離和衡量更改特定輸入時的增量影響。這些迭代過程可能會生成數(shù)百個實驗構(gòu)件,如模型、訓(xùn)練數(shù)據(jù)和參數(shù)設(shè)置。但是,開發(fā)者目前缺乏一個便利的實驗管理機制,甚至不得不依賴電子表格來跟蹤實驗,手動對這些構(gòu)件進(jìn)行排序,以了解對應(yīng)的影響。Amazon SageMaker Experiments自動捕獲輸入?yún)?shù)、配置和結(jié)果,并將它們存儲為“實驗”,幫助開發(fā)者管理這些迭代。開發(fā)者可以瀏覽活躍的實驗,根據(jù)特征搜索以前的實驗,回顧以前的實驗結(jié)果,還能用可視化的方式比較實驗結(jié)果。Amazon SageMaker Experiments也保留了實驗的完整譜系,如果一個模型開始偏離其預(yù)期結(jié)果,開發(fā)者可以及時回溯和檢查。因此,Amazon SageMaker Experiments使開發(fā)者更容易快速迭代和開發(fā)高質(zhì)量的模型。
Ÿ 調(diào)試與分析:Amazon SageMaker Debugger用于調(diào)試和分析模型訓(xùn)練,提高準(zhǔn)確性,減少訓(xùn)練時間,讓開發(fā)者更好地理解模型。當(dāng)前,機器學(xué)習(xí)訓(xùn)練過程基本上是不透明的,訓(xùn)練時間可能很長、很難優(yōu)化;而且,往往就像一個“黑箱”,解讀和解釋模型都很困難。使用Amazon SageMaker Debugger,在Amazon SageMaker中訓(xùn)練的模型將自動發(fā)出收集到的關(guān)鍵指標(biāo),這些指標(biāo)可以在Amazon SageMaker Studio中查看,也可以通過Amazon SageMaker Debugger的API查看,為訓(xùn)練的準(zhǔn)確性和性能提供實時反饋。當(dāng)檢測到訓(xùn)練問題時,Amazon SageMaker Debugger會提供警告和補救建議。Amazon SageMaker Debugger也可幫助開發(fā)者解讀模型是如何工作的,向神經(jīng)網(wǎng)絡(luò)的可解釋性邁出了第一步。
Ÿ 自動構(gòu)建模型:Amazon SageMaker Autopilot是業(yè)內(nèi)首個可以讓開發(fā)者對其模型保持控制和可見性的自動化機器學(xué)習(xí)功能。當(dāng)前的機器學(xué)習(xí)自動化方法,在創(chuàng)建初始模型方面做得不錯,但是對于如何創(chuàng)建模型、模型中包含什么內(nèi)容,并沒有數(shù)據(jù)提供給開發(fā)者。因此,如果模型達(dá)不到期望,開發(fā)者想要改進(jìn)它,就沒有什么辦法了。此外,當(dāng)前的機器學(xué)習(xí)自動化服務(wù)只給客戶一個簡單的模型。有時客戶希望做出一些取舍,例如以某個版本的模型犧牲一點準(zhǔn)確性,以換取更低延遲的預(yù)測。但是如果客戶只有一個模型可用,就沒有這樣的可選項。Amazon SageMaker Autopilot會自動檢查原始數(shù)據(jù),應(yīng)用特征處理器,挑選最佳算法集,訓(xùn)練多個模型,對它們進(jìn)行調(diào)優(yōu),跟蹤其性能,然后根據(jù)性能對模型進(jìn)行排名。點擊幾下鼠標(biāo),用戶可以得到用于部署的、性能最佳的模型推薦,而這只需很少一點時間和精力用于訓(xùn)練。并且,用戶可以清楚地看到模型是如何創(chuàng)建的,以及模型中包含什么內(nèi)容。缺乏機器學(xué)習(xí)經(jīng)驗的人可以使用Amazon SageMaker Autopilot輕松地生成僅基于數(shù)據(jù)的模型,經(jīng)驗豐富的開發(fā)者可以使用它快速開發(fā)基礎(chǔ)模型,團(tuán)隊可以在此基礎(chǔ)上進(jìn)行進(jìn)一步迭代。Amazon SageMaker Autopilot為開發(fā)者提供了多達(dá)50種不同的模型,可以在Amazon SageMaker Studio中查看。因此,開發(fā)者能夠針對應(yīng)用場景選擇最佳模型,并且可以結(jié)合不同的優(yōu)化因子考慮多個候選模型。
Ÿ 概念漂移檢測:Amazon SageMaker Model Monitor允許開發(fā)者檢測和糾正概念漂移(concept drift)。影響部署到生產(chǎn)環(huán)境后的模型的準(zhǔn)確性的一大因素就是生產(chǎn)環(huán)境中的輸入數(shù)據(jù)開始不同于模型訓(xùn)練所使用的數(shù)據(jù)集,從而影響預(yù)測結(jié)果,例如經(jīng)濟(jì)狀況改變導(dǎo)致的新利率會影響國內(nèi)采購預(yù)測,季節(jié)變化帶來不同的溫度、濕度和空氣壓力會影響設(shè)備維護(hù)時間表的預(yù)測,等等。如果輸入數(shù)據(jù)開始出現(xiàn)這樣的差異,就會導(dǎo)致所謂的“概念漂移”,即模型用于預(yù)測的模式不再適用。Amazon SageMaker Model Monitor自動檢測模型部署中的概念漂移。Amazon SageMaker Model Monitor在訓(xùn)練期間創(chuàng)建一組關(guān)于模型的基線統(tǒng)計數(shù)據(jù),將用于預(yù)測的數(shù)據(jù)與訓(xùn)練基線進(jìn)行比較。當(dāng)檢測到漂移時,Amazon SageMaker Model Monitor會向開發(fā)者發(fā)出告警,并幫助他們直觀地確定原因。開發(fā)者可以使用Amazon SageMaker Model Monitor的開箱即用功能立即檢測漂移,也可以為Amazon SageMaker Model Monitor編寫自己的規(guī)則用于監(jiān)測。Amazon SageMaker Model Monitor讓開發(fā)者更容易調(diào)整訓(xùn)練數(shù)據(jù)或算法以解決概念漂移問題。
“國內(nèi)越來越多的企業(yè)正在探討機器學(xué)習(xí)和人工智能技術(shù)帶來的巨大潛力,探索如何把這些技術(shù)融入到日常應(yīng)用當(dāng)中。但實際上,除了少數(shù)具有專家人才和數(shù)據(jù)科學(xué)家的企業(yè)外,大部分公司還是很難應(yīng)用機器學(xué)習(xí)這項技術(shù),因此客戶希望我們可以讓這項技術(shù)變得更方便、更易用。”AWS全球副總裁及大中華區(qū)執(zhí)行董事張文翊表示,“AWS提供了廣泛、深入的機器學(xué)習(xí)和人工智能服務(wù)。Amazon SageMaker在AWS中國(寧夏)區(qū)域和AWS中國(北京)區(qū)域上線,將幫助更多中國客戶去除機器學(xué)習(xí)涉及的混亂和復(fù)雜性,讓他們能夠勝任構(gòu)建、訓(xùn)練和部署模型的工作,以應(yīng)對新的挑戰(zhàn)。”
全球已有數(shù)以萬計的客戶利用Amazon SageMaker加快機器學(xué)習(xí)部署, Autodesk、Change Healthcare、拜耳、英國航空、蓋洛普、洛杉磯快船隊、松下航空電子(Panasonic Avionics)、環(huán)球郵報和T-Mobile等等。中國客戶如虎牙、大宇無限、嘉誼互娛、華來科技等也已選擇Amazon SageMaker大規(guī)模地構(gòu)建、訓(xùn)練和部署機器學(xué)習(xí)模型。
大宇無限是一家專門從事移動應(yīng)用程序開發(fā)的公司,主要為中東、東南亞和拉丁美洲等新興市場提供移動短視頻服務(wù)。大宇無限技術(shù)副總裁劉克東表示:“在大宇無限的產(chǎn)品中實現(xiàn)視頻內(nèi)容的在線推薦,對我們的開發(fā)團(tuán)隊來說是一個巨大的挑戰(zhàn)。構(gòu)建機器學(xué)習(xí)系統(tǒng)的整個流程極為復(fù)雜,需要大量的開發(fā)者耗費很長的時間才有可能完成。Amazon SageMaker極大地簡化了機器學(xué)習(xí)系統(tǒng)的構(gòu)建、訓(xùn)練和部署流程,使我們無需構(gòu)建基礎(chǔ)設(shè)施,我們的算法工程師只需為Amazon SageMaker準(zhǔn)備數(shù)據(jù),僅用了三個月的時間就從零完成了整個系統(tǒng)的建設(shè)并承受了實際用戶訪問的壓力。”
借助AWS提供的Amazon EC2 GPU實例和Amazon SageMaker,華來科技以優(yōu)化的成本將機器學(xué)習(xí)創(chuàng)新融合到其智能家居、智慧安防設(shè)備和服務(wù)中。天津華來科技有限公司云業(yè)務(wù)部總監(jiān)季寶平說:“在AWS上,我們可以完成算法的構(gòu)建和模型訓(xùn)練,并且該過程完全不需要我們在本地投資昂貴的計算硬件,一切都是在云端以按需使用的方式完成。與行業(yè)通用的公開算法不同,更重要的是我們自己訓(xùn)練的模型在應(yīng)用場景中具有更多個性化空間,并且我們對自己訓(xùn)練出的模型具有知識產(chǎn)權(quán),這將是我們未來的核心競爭力。”
AWS合作伙伴網(wǎng)絡(luò) (APN) 成員對Amazon SageMaker在中國區(qū)域的上線也表示歡迎。
德勤D.Data是一個基于AWS的 PaaS (平臺即服務(wù)) 平臺,為企業(yè)客戶提供數(shù)據(jù)分析和業(yè)務(wù)洞察。它為不同的行業(yè)和業(yè)務(wù)場景提供了各種數(shù)據(jù)建模和預(yù)測服務(wù)。德勤創(chuàng)新、數(shù)字化研發(fā)中心主管合伙人賴有猷評價道:“通過Amazon SageMaker,我們大大提高了算法和機器學(xué)習(xí)建模能力,提高了分析效率。Amazon SageMaker的IDE平臺也幫助我們加快了開發(fā)進(jìn)程。”
伊克羅德是AWS的核心級咨詢合作伙伴 (APN Premier Consulting Partner),其基于AWS的解決方案極大地減少了用戶的開發(fā)時間與運營費用。伊克羅德中國區(qū)副總裁桂梓捷表示:“我們運用Amazon SageMaker平臺加速企業(yè)導(dǎo)入行業(yè)AI解決方案,如標(biāo)簽標(biāo)注、文本分析、語意理解、預(yù)測分類、推薦系統(tǒng)與詐欺偵測等,針對客戶實際遇到的商業(yè)問題,量身打造真正解決問題的端到端AI應(yīng)用。隨著Amazon SageMaker在中國區(qū)域落地,我們將會以SageMaker平臺作為企業(yè)MLOps(機器學(xué)習(xí)運營)核心,協(xié)助企業(yè)構(gòu)建MLOps流程,尤其在金融行業(yè)領(lǐng)域,幫助企業(yè)內(nèi)部數(shù)據(jù)科學(xué)家與AI工程師建立、訓(xùn)練與部署機器學(xué)習(xí)模型。”