Amazon SageMaker簡介
Amazon SageMaker 是一個完全托管的平臺,可以幫助開發(fā)人員和數(shù)據(jù)科學(xué)家快速輕松地構(gòu)建、訓(xùn)練和部署任何規(guī)模的機器學(xué)習(xí)模型。Amazon SageMaker 消除了通常會阻礙開發(fā)人員使用機器學(xué)習(xí)的所有障礙。
大多數(shù)開發(fā)人員通常覺得機器學(xué)習(xí)要比它本身難得多,因為構(gòu)建和訓(xùn)練模型,然后將其部署到生產(chǎn)中的流程過于復(fù)雜,并且速度太慢。首先,您需要收集和準(zhǔn)備訓(xùn)練數(shù)據(jù),以發(fā)現(xiàn)數(shù)據(jù)集中哪些是重要元素。然后,您需要選擇要使用的算法和框架。確定方法后,您需要通過訓(xùn)練教模型如何進行預(yù)測,這需要大量的計算。接下來,您需要調(diào)整模型,以交付可能的最佳預(yù)測,這通常需要繁瑣的手動工作。開發(fā)出經(jīng)過完全訓(xùn)練的模型后,您需要將該模型與您的應(yīng)用程序集成,并在可擴展的基礎(chǔ)設(shè)施上部署此應(yīng)用程序。這一切操作都需要大量的專業(yè)知識,需要訪問大量的計算和存儲,并需要大量的時間對流程的各個方面進行試驗和優(yōu)化。如此看來,大多數(shù)開發(fā)人員覺得這一切都無法實現(xiàn)也并不奇怪。
Amazon SageMaker 消除了阻礙開發(fā)人員成功完成每個步驟的復(fù)雜性。Amazon SageMaker 包含一些可同時或單獨用以構(gòu)建、訓(xùn)練和部署機器學(xué)習(xí)模型的模塊。
工作原理
構(gòu)建
Amazon SageMaker 提供了快速連接到您的訓(xùn)練數(shù)據(jù)所需的所有內(nèi)容,從而輕松構(gòu)建 ML 模型并為訓(xùn)練做好準(zhǔn)備,并且還可以輕松為您的應(yīng)用程序選擇和優(yōu)化最佳算法和框架。Amazon SageMaker 包含托管的 Jupyter 筆記本,您可以輕松瀏覽和可視化在 Amazon S3 中存儲的訓(xùn)練數(shù)據(jù)。您可以直接連接到 S3 中的數(shù)據(jù),或者使用 AWS Glue 將數(shù)據(jù)從 Amazon RDS、Amazon DynamoDB 和 Amazon Redshift 移動到 S3 以在筆記本中進行分析。
為了幫助您選擇算法,Amazon SageMaker 包含最常用的機器學(xué)習(xí)算法,這些算法已預(yù)裝好并經(jīng)過優(yōu)化,與在任何其他地方運行些算法相比,最多可以將性能提高 10 倍。此外,Amazon SageMaker 還經(jīng)過預(yù)配置,能在 Docker 容器中運行 TensorFlow、Apache MXNet 和 Chainer。您還可以將這些開源容器下載到本地環(huán)境中,然后在使用 Amazon SageMaker 在生產(chǎn)環(huán)境中訓(xùn)練或托管模型前,使用 Amazon SageMaker Python 開發(fā)工具包以本地模式測試腳本。您也可以選擇使用自己的框架。
訓(xùn)練
只需單擊一下,您就可以在 Amazon SageMaker 控制臺中開始訓(xùn)練您的模型。Amazon SageMaker 為您管理所有底層基礎(chǔ)架構(gòu),并且可以輕松以 PB 級擴展以訓(xùn)練模型。為了使訓(xùn)練過程更快更輕松,Amazon SageMaker 可以自動調(diào)整您的模型以達到最高的精度。
部署
當(dāng)模型經(jīng)過訓(xùn)練和調(diào)整后,Amazon SageMaker 可以輕松在生產(chǎn)環(huán)境中進行部署,以便您可以開始針對實時或批量數(shù)據(jù)生成預(yù)測(該過程稱為推理)。Amazon SageMaker 在跨多個可用區(qū)的 Amazon SageMaker ML 實例的自動擴展集群上部署您的模型,以實現(xiàn)高性能和高可用性。Amazon SageMaker 還包含內(nèi)置的 A/B 測試功能,以幫助您測試模型并試驗不同的版本以獲得最佳效果。
Amazon SageMaker 承擔(dān)了機器學(xué)習(xí)的繁重工作,因此,您可以快速輕松地構(gòu)建、訓(xùn)練和部署機器學(xué)習(xí)模型。
優(yōu)勢
使用機器學(xué)習(xí)快速部署到生產(chǎn)中
Amazon SageMaker 可顯著縮短訓(xùn)練、調(diào)整和部署機器學(xué)習(xí)模型所需的時間。 Amazon SageMaker 可管理和自動使用所有復(fù)雜的訓(xùn)練和調(diào)整技術(shù),因此您可以將模型快速部署到生產(chǎn)中。
選擇任意框架或算法
Amazon SageMaker 支持所有機器算法和框架,因此您可以使用自己已經(jīng)熟悉的技術(shù)。Apache MXNet、TensorFlow 和 Chainer 已預(yù)先安裝,并且 Amazon SageMaker 可提供大量內(nèi)置的高性能機器學(xué)習(xí)算法。如果您想使用其他框架或算法進行訓(xùn)練,可以在 Docker 容器中應(yīng)用您自己的框架或算法。
一鍵式訓(xùn)練和部署
使用 Amazon SageMaker,您只需在控制臺中單擊一下或通過一個簡單的 API 調(diào)用,即可開始訓(xùn)練模型。訓(xùn)練完成并且您已做好準(zhǔn)備部署模型后,只需在 Amazon SageMaker 控制臺中單擊一下,即可啟動該模型。
輕松與您的現(xiàn)有工作流程集成
Amazon SageMaker 采用三個模塊設(shè)計,這些模塊可同時使用或單獨作為您可能已準(zhǔn)備好的任何現(xiàn)有 ML 工作流程的一部分使用。
輕松訪問經(jīng)過訓(xùn)練的模型
Amazon SageMaker 提供了可從任意應(yīng)用程序調(diào)用的 HTTPS 終端節(jié)點,可輕松地將機器學(xué)習(xí)模型集成到您的應(yīng)用程序中。
針對速度進行了優(yōu)化
Amazon SageMaker 預(yù)先配置了最新版本的 TensorFlow、Apache MXNet 和 Chainer,以及帶有 NVIDIA GPU 的 CUDA9 庫,可提供最高性能。借助運行 NVIDIA Volta V100 GPU 的 Amazon SageMaker P3 實例,Amazon SageMaker 讓您能夠以無與倫比的速度訓(xùn)練深度學(xué)習(xí)模型。