【51CTO.com原創(chuàng)稿件】在萬物智能互聯(lián)時代，數(shù)以億計的智能互聯(lián)設(shè)備及其產(chǎn)生的數(shù)據(jù)洪流帶來了產(chǎn)業(yè)的數(shù)字化變革。越來越多的企業(yè)希望借助機器學(xué)習(xí)與深度學(xué)習(xí)，從海量數(shù)據(jù)中獲取切實可行的洞察以指導(dǎo)企業(yè)決策、創(chuàng)造更多價值。借助計算、存儲和網(wǎng)絡(luò)等基礎(chǔ)設(shè)施的優(yōu)勢，英特爾在數(shù)據(jù)分析與人工智能領(lǐng)域深耕已久，并通過與合作伙伴的合作，給用戶提供了端到端的軟硬件全平臺解決方案。近期，由O'Reilly Media和Cloudera聯(lián)合舉辦的Strata Data Conference大會在京召開。期間，筆者受邀采訪了英特爾公司軟件與服務(wù)事業(yè)部副總裁、系統(tǒng)技術(shù)和優(yōu)化部門大數(shù)據(jù)技術(shù)總監(jiān)馬子雅，英特爾大數(shù)據(jù)首席架構(gòu)師、資深首席工程師戴金權(quán)，Cloudera聯(lián)合創(chuàng)始人兼首席技術(shù)官Amr Awadallah，以及Cloudera 大中華區(qū)總經(jīng)理、公司副總裁凌琦，就英特爾與Cloudera在數(shù)據(jù)分析和人工智能方面的合作話題進行了探討。

　　倍數(shù)提升的數(shù)據(jù)分析性能

　　7月12日，英特爾正式推出了至強可擴展處理器，由于采用全新的內(nèi)核微架構(gòu)、核內(nèi)互聯(lián)和內(nèi)存控制器，因此基于至強可擴展處理器的平臺提供了更加優(yōu)化的數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施所需的性能、可靠性和可管理性，使得企業(yè)獲得更高性能，將洞察付諸實施、實現(xiàn)業(yè)務(wù)連續(xù)性，并滿足實時服務(wù)交付方面的需求。

[[197629]]

　　英特爾提供的數(shù)據(jù)顯示，與上一代產(chǎn)品相比，英特爾至強可擴展處理器的整體性能提升達1.65倍，OLTP倉庫負載比當(dāng)前系統(tǒng)提高達5倍。借助英特爾AVX-512以及集成英特爾OPA端口，英特爾至強可擴展處理器可將每秒浮點運算性能最高提升到2倍。相比上一代產(chǎn)品，英特爾至強可擴展處理器的大數(shù)據(jù)工作負載基本性能提升了2.7倍，針對深度學(xué)習(xí)訓(xùn)練和推理可提供高達2.2倍的性能。結(jié)合可加快交付人工智能服務(wù)的軟件優(yōu)化，相比3年前未經(jīng)優(yōu)化的服務(wù)器系統(tǒng)，全新的處理器可實現(xiàn)113倍深度學(xué)習(xí)性能的提升。

　　除了硬件升級之外，英特爾與Cloudera深度合作，在軟件方面進行了全面優(yōu)化。優(yōu)化之后，Hbase非堆存儲讀操作性能提升了5.6倍，在沒有增加任何硬件成本的情況下，阿里巴巴在“雙11”時把HBase的Throughput提升了30%，吞吐量提升了30%。此外，把MKL應(yīng)用到用戶Spark機器學(xué)習(xí)的工作負載中，并實現(xiàn)了4.3倍的性能提升。

　　英特爾公司軟件與服務(wù)事業(yè)部副總裁，系統(tǒng)技術(shù)和優(yōu)化部門大數(shù)據(jù)技術(shù)總監(jiān)馬子雅表示，英特爾通過硬件升級和軟件優(yōu)化來幫助推進技術(shù)民主化，至強可擴展處理器已經(jīng)正式推出，硬件升級已經(jīng)完成。通過與合作伙伴的合作，對軟件進行全面優(yōu)化，性能和性價比都有了前所未有的提升。并且，英特爾已經(jīng)將所有的軟件優(yōu)化代碼全部貢獻給了開源，并包含在最新的Cloudera發(fā)行版中。

　　深度學(xué)習(xí)存在著四大痛點

　　很多用戶認為深度學(xué)習(xí)的主要痛點是性能，只要有足夠強大的性能，即可以解決深度學(xué)習(xí)存在的各種問題。在馬子雅看來，性能并非深度學(xué)習(xí)的主要痛點，用戶的真正痛點主要有四個方面。

　　一是如何利用已有的海量數(shù)據(jù)分析平臺，比如Hadoop、Spark，或者是跟已有的分析應(yīng)用程序直接結(jié)合，而不是單獨作為一個分開訓(xùn)練的功能存在。

　　二是如何將深度學(xué)習(xí)在一個集群上進行擴展，不是在一個或者兩個分布式的節(jié)點上。這也是當(dāng)前許多軟件公司開始把Spark跟Caffe、TensorFlow進行結(jié)合，把已有的深度學(xué)習(xí)框架跟Spark可擴展性結(jié)合到一塊兒，來解決高效可擴展性痛點。當(dāng)然，由于 Caffe、TensorFlow并不是為擴展性設(shè)計的，也不是為Spark設(shè)計的，當(dāng)把兩個方案結(jié)合到一塊兒時，根本無法實現(xiàn)數(shù)據(jù)并行跟模型訓(xùn)練并行，只是表面把這兩個產(chǎn)品黏合到一塊兒去，根本無法做到真正的分布式的深度學(xué)習(xí)的功能。

　　三是如何解決深度學(xué)習(xí)高昂代價的問題，用戶不希望部署一個非常昂貴的新集群，而是利用已有集群添加深度學(xué)習(xí)功能。

　　四是如何用高性能來縮短模型訓(xùn)練的周期。

　　基于以上四大痛點，英特爾推出了BigDL。BigDL是在Spark的基礎(chǔ)上構(gòu)建了分布式深度學(xué)習(xí)的框架，將以往的深度學(xué)習(xí)框架同Spark結(jié)合之后，優(yōu)勢非常突出。

　　首先，BigDL深度學(xué)習(xí)功能與已有深度學(xué)習(xí)框架功能完全一致，例如Caffe、Torch、TensorFlow等，功能相當(dāng)豐富。第二，BigDL能夠無縫與Spark和Hadoop進行結(jié)合，直接在大數(shù)據(jù)平臺中應(yīng)用。第三，BigDl能夠利用Spark的可擴展性做到數(shù)據(jù)并行，擁有強大的可擴展性，可以在一個集群上進行擴展，并且非常容易擴展到上百個節(jié)點。第四，低成本。由于可以利用BigDL在已有的集群上直接生成深度學(xué)習(xí)，所以成本非常低。最后，高性能。通過利用英特爾優(yōu)化過的數(shù)學(xué)核心函數(shù)庫和多線程優(yōu)化方法來提升BigDL的性能，特別是在至強服務(wù)器上，性能優(yōu)勢非常明顯。

　　馬子雅表示，今年第一季度，BigDL已經(jīng)發(fā)布了一個版本，第二版本將會在今年7月推出，與第一版本相比，它在Python API的支持，尤其是對支持載入Caffe、Torch、TensorFlow的預(yù)訓(xùn)練模型上有了很大的提升。另外，在用戶體驗，包括提供一些更豐富的RNN的支持上，第二版本將會更加全面。

　　深度合作推動人工智能落地

　　英特爾與Cloudera主要在三個方面達成了深度合作，一個是英特爾將會與Cloudera共同進行軟件優(yōu)化，并利用英特爾最新的硬件技術(shù)來做一些合作。二是在開源方面英特爾與Cloudera的所有合作都是最先到開源，貢獻給開源。之后Cloudera會把功能從開源里再放到自己的解決方案和產(chǎn)品當(dāng)中去。三是共同合作項目，一起幫助用戶解決問題。

[[197630]]

　　Cloudera聯(lián)合創(chuàng)始人兼首席技術(shù)官Amr Awadallah表示，Cloudera數(shù)據(jù)科學(xué)平臺是一個非常好的深度學(xué)習(xí)解決方案，滿足了不同的甚至是相互沖突的訴求。數(shù)學(xué)科學(xué)家利用Cloudera平臺編程，開發(fā)諸如Spark或者是Python等等不同的語言，并能夠加入一些新的庫，例如TensorFlow和BigDL。他表示，目前正處在人類歷史上最偉大、最重要的一次轉(zhuǎn)型，那就是決策的自動化，它的重要意義絕對不會弱于先前出現(xiàn)的工業(yè)革命，Cloudera和英特爾密切合作共同推動浪潮向前發(fā)展。

　　馬子雅表示，英特爾在數(shù)據(jù)分析應(yīng)用和人工智能方面的承諾從來沒有改變，我們希望給用戶友好的用戶體驗。一是通過硬件的升級和軟件優(yōu)化來推進技術(shù)民主化;二是為新興的需求提供新興的解決方案;三是跟用戶合作，推動創(chuàng)新，為用戶解決最新、最復(fù)雜的問題，來幫助用戶最大化其商業(yè)價值。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】