2012年7月22日下午，由北京大學信息化與信息管理研究中心、北京大學CIO班教務辦公室主辦，CIO時代網(wǎng)承辦，北達軟協(xié)辦的“首屆中國大數(shù)據(jù)應用論壇”在北京大學北配殿成功舉辦。來自各企事業(yè)單位領導、行業(yè)權威專家、信息化負責人等出席了本次論壇，就如何挖掘大數(shù)據(jù)價值、大數(shù)據(jù)時代的應用等問題進行了分享和交流。

　　北京紅山世紀科技有限公司技術總監(jiān)劉溢淳先生在本次論壇上做了關于《虛擬化對于大數(shù)據(jù)應用的支撐》，以下為演講實錄：

　　北京紅山世紀科技有限公司技術總監(jiān)劉溢淳先生

　　尊敬的各位領導、各位嘉賓、各位朋友大家下午好!大家聽了一下午是非常辛苦的，希望通過我的演講給大家介紹一些新東西。開始聽了各位專家的演講后對大數(shù)據(jù)有了深刻的了解，在大數(shù)據(jù)環(huán)境下看一下我們的方案對各位建設是否有幫助，是否可以得到一些經(jīng)驗。

　　大數(shù)據(jù)的產(chǎn)生。之前專家都講了很多，我就不再班門弄斧了。基本的概念是跟之前專家講的一樣，大數(shù)據(jù)有爆炸式增長，有了非常大的變化，需要很多新技術和新手段使用這些數(shù)據(jù)。我今天要跟大家分享的是對于這樣的數(shù)據(jù)變化，虛擬化包括新的云計算架構能不能對現(xiàn)有使用有一些非常好的幫助。主要的幾個特點跟前面專家說的非常一致，說明我們的理解沒有太大偏差。重點我要說的是虛擬化和大數(shù)據(jù)之間的關系。大數(shù)據(jù)對于我們信息時代是非常寶貴的一種財富，它需要有效的挖掘和利用。例如之前嘉賓講的，它對于我們是一個非常大的變革，現(xiàn)在基于大數(shù)據(jù)有Hadoop，移動的“大云”，包括百度這樣的公司對它進行開發(fā)和使用。中國現(xiàn)在能使用到PB級別數(shù)據(jù)用戶的量，我不知道有多大。今天也借機會跟大家分享一下。有沒有各位的公司使用的數(shù)據(jù)量達到PB級別?有的話可以舉手示意一下。

　　我們的分析是，目前中國80%到90%的用戶數(shù)據(jù)量沒有到這個級別。所以說大數(shù)據(jù)面對市場不一樣，得到結果也不一樣，也就是說大、小其實是相對的概念。隨著公司變革、IT業(yè)務應用，它是不斷增長。

　　其中有一家公司對于虛擬化和數(shù)據(jù)使用結合的非常好。2000年成立信息化部，做IT建設，當時使用的是小機，到2005年、2006年的時候?qū)τ跀?shù)據(jù)使用出現(xiàn)了一個問題，發(fā)現(xiàn)小機對于不斷變化的業(yè)務、增長業(yè)務變化非常快的情況出現(xiàn)了不適應。2006年，國內(nèi)第一家采用虛擬化解決問題。轉(zhuǎn)到X86，所以很好地解決了它的問題。從2000年初他們每年需要處理的數(shù)據(jù)量是幾千人，到現(xiàn)在將近兩億人的規(guī)模，虛擬化在其中起到了非常大的幫助。

　　那么在這樣的數(shù)據(jù)變化情況下，從很小的規(guī)模到有一定數(shù)據(jù)量規(guī)模變化，虛擬化能做什么事情呢?能給大家?guī)硎裁磶椭?

　　云計算的核心是業(yè)務模式，本質(zhì)是對數(shù)據(jù)處理技術和能力的表現(xiàn)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道。如何使用這些數(shù)據(jù)資產(chǎn)也是在大數(shù)據(jù)時代下大家非常關注的話題。

　　我的理解是，虛擬化和大數(shù)據(jù)之間的關系是動靜的關系，虛擬化強調(diào)的是計算和資源分配，這是動態(tài)的概念。而數(shù)據(jù)相對來說是一種計算的對象，是相對固定的概念，是這樣一個相對關系。實際結合起來強調(diào)計算和存儲能力，這兩個功能要有很好的結合。比如說大數(shù)據(jù)需要很大的處理能力。以前我們面對幾臺服務器，突然變化到需要處理到幾十臺上百臺服務器，那么計算能力怎么劃分、使用都會成為很大的問題。如果沒有新的技術手段，解決起來是非常困難的，而且用戶當中也碰到了這樣的情況，待會兒會在實際案例當中跟大家分享。我認為這會相對實際一些。我們公司面對的對象不是百度、移動那種PB級數(shù)量的用戶，而是比較小一些的，大概是100TB。

　　數(shù)據(jù)變化也會導致了一些架構變化。給公司帶來的問題是，公司是不斷上硬件還是采用新技術改變呢?這對于大家來說是一個比較大的挑戰(zhàn)。

　　云計算和大數(shù)據(jù)之間的關系，我想用一個比喻，可能不太恰當啊。達沃斯論壇上有一份報告是《大數(shù)據(jù)，大影響》，宣稱數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟資產(chǎn)類別，就像貨幣或黃金一樣，對于這個概念大家應該有個直觀認識。

　　有了這樣的一個很好的資產(chǎn)，我們?nèi)绾伟阉闷饋?相當于銀行系統(tǒng)怎么把資金盤活一樣，這其中需要很多的技術手段。比如說，處理技術(便攜式計算、網(wǎng)格、Hadoop大數(shù)據(jù)處理等等都是一些非常好的技術)。涉及層面在于數(shù)據(jù)捕獲、組織、分析、決策，這是對于數(shù)據(jù)來講一些非常核心的技術。我們關注的是如何構建一個有效的硬件環(huán)境來完成這些工作。技術方面，像今天我也學到了很多有價值的技術，比如說“大云”平臺對于業(yè)務層構建，還有百度公司提到的存儲布局，這些對于我們都是非常好的技術，日后我們會不斷跟進學習，補充這塊的技術能力。

　　下面我介紹一下我們公司的產(chǎn)品定位。我們公司是基于云計算時代做的工作。云計算不外乎是一種基于服務、彈性可伸縮、基于網(wǎng)絡交付能力等等。核心價值是面對大量服務器和存儲怎樣把硬件能力劃分給應用完成工作。層次有三層：IaaS、SaaS、PaaS，我們主要是集中在IaaS這一層，做一個非常好的架構改變硬件使用方式。這是虛擬化IT基礎架構，它跟以往傳統(tǒng)結構不一樣，采用了集群式存儲，服務器組成了邏輯資源池，(可以對所有計算能力進行共享而且是動態(tài)分配、動態(tài)劃分的)，以前的方式只能是一對一，沒有別的選擇，綁定非常緊。有了虛擬化之后，這就不再是綁定的很緊，而是可以做靈活調(diào)整和動態(tài)分配的。這種架構大家看著不是特別明顯，我把它的一些功能和可以做的事情跟大家進行一下說明。

　　我們的軟件安裝在服務器硬件上，對服務器進行整合。把計算機能力進行拆分，按區(qū)分配，多臺之后可以組成虛擬化的架構，后臺有共享存儲。本機上不放數(shù)據(jù)，只是利用它的計算能力。這樣IT架構可以對硬件部署進行重新的劃分。它可以按需部署，不管是使用資源的高與低。部署完之后，操作系統(tǒng)可以做來回的動態(tài)遷移。(某個業(yè)務可以在服務器集群之間進行調(diào)整)。這是個非常直接的感受。還有整個業(yè)務的可能性，以前一個關鍵業(yè)務要做策略的話需要容災備份，代價是比較高的。有了虛擬化以后，它可以在硬件宕機的情況下，可以把應用在其他資源設備上進行重新啟動，而這個代價相對于之前的雙機備份策略成本要低50%左右。由于數(shù)據(jù)存在后臺嘛，所以可以從新調(diào)動進行利用。另外就是面對業(yè)務使用峰值不斷變化的情況，可以動態(tài)調(diào)整某臺機器上應用的數(shù)量，這樣可以達到有些應用有冷時間、熱時間，在需要資源更多的情況下，可以把小的一些負載遷移到其他機器上運行，這樣可以在關鍵時刻保證其在機器范圍能力之內(nèi)做一個非常好的調(diào)整。還有一點是節(jié)能方案，當應用負載變的輕之后，訪問人變的少的時候可以集中到少數(shù)幾臺服務器上達到節(jié)能減排操作。另外一個方面就是安全。對于先進IT狀況來說，現(xiàn)在我們用的硬件設備好多是國外的，對于信息安全是一個非常大的挑戰(zhàn)。我拜訪一個客戶的時候了解到一件事，部隊曾經(jīng)發(fā)生過一個事情，當他們測試一款國外產(chǎn)品--碎紙機發(fā)現(xiàn)了一個很嚴重的問題。在某款國外產(chǎn)品碎紙機上發(fā)現(xiàn)了一個芯片，當你碎掉文件之前可以進行掃描，保存在芯片里，他可以通過遠程方式啟動進行數(shù)據(jù)回收。這個問題是非常嚴重的。云計算時代對于我們來說是一個非常好的機會，我們可以在更底層做安全事情的考慮。

　　云計算現(xiàn)在沒有普及開，有很多條件限制，其中安全是很重要的一個方面，安全是很大的挑戰(zhàn)。安全方面我們計劃做一個非常好的加密產(chǎn)品，通過在底層安全加密不斷實現(xiàn)，數(shù)據(jù)在網(wǎng)絡當中傳輸包括在相對不安全鏈當中的使用，進行高強度加密。這是我們對于這一塊滿足國內(nèi)用戶特殊要求所做的一個工作。

　　我們的目標是要做大范圍的用戶，我們也在不斷了解虛擬化到底能給大家?guī)硎裁磶椭惖膯栴}，我們都在不斷探討。很多用戶在使用過程當中也給我們提一些建議。下面我做一些案例分享，與大家進行交流。

　　第一個案例是國外的。我們第一個客戶不是在國內(nèi)而是在國外。一個很偶然的機會，我們產(chǎn)品研發(fā)到2.0個時候是在2009年，跟國外一家公司有了接觸，當時他們選擇虛擬化的一款產(chǎn)品。找到我們之后就進行測試，測試完成之后，大概做了一個多月，他們覺得還不錯，就進行整合。做了一年之后，做的非常不錯，被美國的CA公司收購，那么CA公司又對我們從新進行測評改進，之后又續(xù)簽了合同。還有其他的一些案例，比如說DNS、BT。當時國內(nèi)剛接觸云計算，從那開始我們也做了國內(nèi)市場的工作。

　　第二個案例是山東省工商行政管理局的案例。當時是要興建數(shù)據(jù)中心，數(shù)據(jù)對于當時來講也是比較大的，需要40臺服務器。通過跟我們接觸以后，他決定采用服務器虛擬化的架構，原因在于我們?yōu)樗峁┑姆桨赋杀靖?，效率更高。他們業(yè)務很多，也不能一次性上線，對于他們壓力還是比較大的。所以我們出了一個具體解決方案，通過努力贏得了這個單子。當時我們也是跟國外的一些廠商通過競爭，最終勝出。

　　第三個案例，我們現(xiàn)在正在做的，中華人民共和國國家民族事務委員會。他們也想做這么一個系統(tǒng)，管理一些相關的信息。當時他們有一個問題是，全中國大概有幾千萬人的少數(shù)民族人員，但是信息統(tǒng)計非常困難。具體原因是由于少數(shù)民族生活習慣、使用IT操作習慣，沒有這個意識，很難拿到全面信息。他們有兩個難題，一個是怎么通過一個手段獲得這些信息，再一個就是如何管理這些信息，也就是使用大數(shù)據(jù)的概念。當時我們提了幾點建議，首先是拿到這些數(shù)據(jù)，我們提出了一個服務的概念。他現(xiàn)在想做的是，從這個少數(shù)民族人員出生到生老病死有一個全程的監(jiān)管。比如說咱們可以提供上學、醫(yī)療等服務，以服務形式就可以輕松地拿到這些數(shù)據(jù)。那么管理時就要從云架構開始管理。最后提出了一個解決方案。目前這個方案已經(jīng)通過測試，下一步馬上就要進行實用。領導還是非常滿意的，因為它能夠?qū)崿F(xiàn)少數(shù)民族整個數(shù)據(jù)管理到業(yè)務，包括門戶網(wǎng)站，整個辦公決策這樣一些業(yè)務一體化的解決方案。

　　第四個案例，是某政府的云計算中心。這是企業(yè)跟政府共建的。希望建立一個完整的運營模式。模式非常好，模式是當?shù)卣M行投資(投資形式不是固定資金，而是把以前需要做IT建設的經(jīng)費固定撥給你云計算中心，中心自己籌建，你進行搭建)。這個數(shù)據(jù)服務模型也是經(jīng)過深思熟慮的。比如說把一卡通、數(shù)字化牧場等公共服務方面放到里面。這不涉及很私密的問題。而且這個模式是面向大量的公共服務，比如食品藥品監(jiān)管之類的。這個數(shù)據(jù)量還是非常大的。他們算了一下，一個系統(tǒng)將近七八百萬，而通過云計算可以把這個費用降低到很低。政府不用再做繁瑣事情，比如招投標、項目評審。省了非常多的事情。而且雙方也簽訂了服務協(xié)議?；诜諈f(xié)議，會保證服務、保證數(shù)據(jù)安全。

　　從我們做的項目來看，數(shù)據(jù)使用量還是在TB級的比較多，到PB這塊目前我們也在做探討。這次來也學到了很多東西，希望跟大家多做深入溝通。大家有一些需求和新的方法可以跟我們交流。我們是希望做非常適用于中國用戶非常習慣的方案，在信息化建設方面出自己的一份力，我的演講就是這些，希望大家多多指正，謝謝大家!