概述

憑借在挖掘數(shù)據(jù)豐富的內(nèi)在信息、擬合能力、數(shù)據(jù)擴展性等方面的優(yōu)勢，深度學習正在成為大量企業(yè)用戶部署人工智能 (AI) 應(yīng)用的優(yōu)先選擇。但與此同時，深度學習相較普通的機器學習應(yīng)用，在算法部署、模型設(shè)計、算力基礎(chǔ)設(shè)施構(gòu)建等方面有著更高的門檻。

為幫助企業(yè)用戶降低深度學習部署與應(yīng)用門檻，構(gòu)建軟硬一體的分布式全棧推理平臺，寶德推出了基于 AI 推理服務(wù)器 PR2715P2，可支持 Analytics Zoo Cluster Serving 的自動分布式可擴展推理平臺。寶德PR2715P2采用了全新設(shè)計，融合了第二代英特爾® 至強® 可擴展處理器和英特爾® 深度學習加速（英特爾® DL Boost）技術(shù)，在性能與功耗之間實現(xiàn)了有效平衡，為深度學習應(yīng)用提供了一個高效能的基礎(chǔ)平臺。

挑戰(zhàn)：如何加速深度學習部署與優(yōu)化

隨著深度學習算法的不斷創(chuàng)新，越來越多的應(yīng)用需要對深度學習模型進行大規(guī)模和實時的分布式推理服務(wù)。雖然已經(jīng)有一些工具可用于模型優(yōu)化、服務(wù)、集群調(diào)度、工作流管理等相關(guān)任務(wù)，但是對于許多深度學習的工程師和科學家而言，開發(fā)和部署能夠透明地擴展到大型集群的分布式推理工作流仍然是一個嚴峻的挑戰(zhàn)。

為了便于構(gòu)建和生成面向大數(shù)據(jù)的深度學習應(yīng)用程序，英特爾推出了 Analytics Zoo 平臺。該平臺提供了統(tǒng)一的數(shù)據(jù)分析+ AI平臺，可將TensorFlow、Keras、Pytorch、BigDl Spark、Flink和 Ray 程序無縫集成到一個統(tǒng)一的數(shù)據(jù)分析流水線中，用于分布式訓練或預測，方便用戶構(gòu)建深度學習應(yīng)用。整個流水線可以透明地擴展到運行在由搭載英特爾® 至強® 處理器的服務(wù)器組成的 Hadoop/Spark 集群上，以進行分布式訓練或推理。

Analytics Zoo 在較新的版本中還提供了對于 Cluster Serving 的支持，構(gòu)建了輕量級、分布式、實時的模型服務(wù)解決方案。Analytics Zoo Cluster Serving 支持多種深度學習模型，提供了一個簡單的發(fā)布/訂閱 API，可支持用戶可輕松地將他們的推理請求發(fā)送到輸入隊列。然后，Cluster Serving 將使用分布式流框架在大型集群中進行實時模型推理和自動擴展規(guī)模。

圖1. Analytics Zoo Cluster Serving 解決方案總體框架

要部署基于 Analytics Zoo Cluster Serving 的深度學習算法與應(yīng)用，企業(yè)需要進行硬件選型、優(yōu)化與驗證，以提供高性能的算力支撐，但在此過程中，企業(yè)也面臨著艱巨的挑戰(zhàn)。首先，傳統(tǒng)的解決方案并非是全棧設(shè)計，需要在硬件選型、軟硬件適配與優(yōu)化等方面耗費大量的時間與精力，也容易帶來總體擁有成本 (TCO) 的上升。

其次，深度學習算法與應(yīng)用對于 AI 性能有著很高的要求，未針對 AI 進行性能優(yōu)化的 CPU 在運行效率上存在明顯瓶頸。GPU 服務(wù)器雖然能夠提供充足的算力支持，但是成本相對較高，應(yīng)用范圍受到較多的局限，而且其需要專門的部署與調(diào)優(yōu)，不利于深度學習應(yīng)用的快速上市。

解決方案：基于寶德 PR2715P2 AI 推理服務(wù)器的自動分布式可擴展推理平臺

搭載第二代英特爾至強可擴展處理器的寶德 PR2715P2 AI 推理服務(wù)器全面支持Analytics Zoo Cluster Serving分布式推理技術(shù)方案。該推理服務(wù)器是一款軟硬一體的分布式全棧推理解決方案，專為高性能計算、高級人工智能分析任務(wù)而設(shè)計，具有出色的性能功耗比。

圖2：寶德 PR2715P2 AI 推理服務(wù)器

第二代英特爾至強可擴展處理器專為數(shù)據(jù)中心現(xiàn)代化革新而設(shè)計，能夠提高各種基礎(chǔ)設(shè)施、企業(yè)應(yīng)用及技術(shù)計算應(yīng)用的運行效率，進而改善總體擁有成本（TCO），提升用戶生產(chǎn)力。它擁有更高的單核性能，能夠在計算、存儲和網(wǎng)絡(luò)應(yīng)用中，為計算密集型工作負載提供高性能和可擴展性。得益于英特爾® 超級通道互聯(lián)（英特爾® UPI）、英特爾® Infrastructure Management 技術(shù)（英特爾® IMT）、英特爾® 高級矢量擴展指令集512（英特爾® AVX-512）等領(lǐng)先功能，它可滿足嚴苛的 I/O 密集型工作負載的需求。

此外，第二代英特爾至強可擴展處理器內(nèi)置人工智能加速，并已針對工作負載進行優(yōu)化，能夠為各種高性能計算工作負載、AI應(yīng)用以及高密度基礎(chǔ)設(shè)施帶來一流的性能和內(nèi)存帶寬。同時，采用矢量神經(jīng)網(wǎng)絡(luò)指令（VNNI）的英特爾® 深度學習加速（英特爾® DL Boost）顯著提高了人工智能推理的表現(xiàn)，與上一代產(chǎn)品相比，性能提升高達 14 倍。這使其成為拓展 AI 應(yīng)用的卓越基礎(chǔ)設(shè)施。

在寶德 PR2715P2 AI 推理服務(wù)器搭建的平臺上，用戶只需要準備 Analytics Zoo Cluster Serving 的 Docker Image、配置文件、訓練好的模型（當前支持的模型包括TensorFlow、PyTorch、Caffe、BigDL和OpenVINO™的模型）及推理數(shù)據(jù)，即可在幾分鐘內(nèi)啟動并運行推理應(yīng)用。

通過加入對于 Analytics Zoo Cluster Serving 的支持，寶德一體化分布式可擴展人工智能推理方案顯著降低了配置和流程的復雜程度，在提供高級定制化服務(wù)的同時，有效降低了 TCO。這種全新的集群模型服務(wù)支持有助于簡化用戶的分布式推理工作流，提高工作效率，并為深度學習場景帶來領(lǐng)先的性能。

效果：自動分布式可擴展推理平臺加速深度學習部署與應(yīng)用

通過部署基于寶德 PR2715P2AI 推理服務(wù)器的自動分布式可擴展推理平臺，用戶能夠?qū)崿F(xiàn)如下價值：

• 提升深度學習的部署速度：得益于 Analytics Zoo Cluster Serving +寶德 PR2715P2 AI 推理服務(wù)器的全棧推理解決方案，用戶可以節(jié)省在平臺搭建、軟硬件優(yōu)化與驗證等方面的大量時間，快速部署深度學習應(yīng)用。
• 提高系統(tǒng)整體算力：第二代英特爾至強可擴展處理器具備強大 AI 性能，為該解決方案的算力奠定了堅實基礎(chǔ)，在組建分布式集群之后，可以應(yīng)對大型深度學習負載。
• 確保面向未來的擴展性：該解決方案不僅在軟件層面實現(xiàn)了自動擴展規(guī)模，還通過服務(wù)器的分布式部署提供了敏捷擴展能力，能夠敏捷應(yīng)對未來的深度學習對于基礎(chǔ)設(shè)施的要求。

展望：寶德與英特爾協(xié)力推動 AI 技術(shù)發(fā)展

人工智能技術(shù)與應(yīng)用是數(shù)字化轉(zhuǎn)型的關(guān)鍵技術(shù)方向。多年來，寶德與英特爾等合作伙伴構(gòu)建了繁榮的 AI 生態(tài)，不斷推動軟硬一體化的 AI 方案的創(chuàng)新，為機器學習、深度學習等技術(shù)提供基礎(chǔ)設(shè)施支撐。同時，雙方還不斷針對行業(yè)需求拓展 AI 解決方案落地場景，深化產(chǎn)品與產(chǎn)業(yè)的應(yīng)用融合。

基于Analytics Zoo Cluster Servining和寶德 PR2715P2 AI推理服務(wù)器的自動分布式可擴展推理平臺是寶德與英特爾合作的重要成果，不斷證明著其在降低深度學習部署門檻、加速深度學習推理等方面的價值。雙方還將進一步把高性能計算數(shù)據(jù)分析和人工智能加速整合到單一的計算環(huán)境中，并提供新的內(nèi)存和存儲模式，為計算引擎提供支持，進而解決高性能計算系統(tǒng)面臨的獨特挑戰(zhàn)。

關(guān)于寶德

深圳市寶德計算機系統(tǒng)有限公司成立于2003年，以服務(wù)器和PC整機研發(fā)、生產(chǎn)、銷售和為客戶提供云計算綜合解決方案為主營業(yè)務(wù)，致力于成為中國領(lǐng)先的IT產(chǎn)品和解決方案提供商，為互聯(lián)網(wǎng)、教育、廣電、安全、金融、電信、稅務(wù)、交通、電力、醫(yī)療等行業(yè)提供尖端的IT產(chǎn)品和服務(wù)。多年來，在強者林立的中國服務(wù)器市場，憑借先進的技術(shù)和獨特的軟硬件綜合實力，寶德服務(wù)器市場占有率連續(xù)多年穩(wěn)居國內(nèi)前茅。

關(guān)于英特爾

英特爾（NASDAQ: INTC）作為行業(yè)引領(lǐng)者，創(chuàng)造改變世界的技術(shù)，推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進半導體設(shè)計與制造，幫助我們的客戶應(yīng)對最重大的挑戰(zhàn)。通過將智能融入云、網(wǎng)絡(luò)、邊緣和各種計算設(shè)備，我們釋放數(shù)據(jù)潛能，助力商業(yè)和社會變得更美好。如需了解英特爾創(chuàng)新的更多信息，請訪問英特爾中國新聞中心newsroom.intel.cn以及官方網(wǎng)站intel.cn。

附：寶德 PR2715P2 AI 推理服務(wù)器配置