[[172489]]

9月13日晚，由數(shù)據(jù)科學(xué)研究院主辦，國雙科技、清華大數(shù)據(jù)產(chǎn)業(yè)聯(lián)合會承辦的2016秋季學(xué)期首場清華大數(shù)據(jù)“應(yīng)用·創(chuàng)新”系列講座，在清華大學(xué)FIT樓多功能廳順利舉行。本場講座邀請到了國雙聯(lián)合創(chuàng)始人、國雙副總裁黃勇堅(jiān)，通過實(shí)戰(zhàn)應(yīng)用案例對Lambda架構(gòu)進(jìn)行了全方位解讀。

演講時長兩個多小時，全場滿滿干貨，雖然當(dāng)天也做了線上視頻直播，但依舊有很多沒有到場的大數(shù)據(jù)愛好者對此表示很遺憾，同樣身為一名數(shù)據(jù)粉的小編不忍心讓大家遺憾，為了讓大家快速GET這場演講的內(nèi)容，小編特地?fù)瞥龈韶浌┐蠹医涣鲗W(xué)習(xí)。

Google、微信之后是什么時代?

回顧整個IT技術(shù)發(fā)展歷程，它始終是以促使人類辦事更加容易，生活更加方便為發(fā)展趨勢的。

上個世紀(jì)40年代以來，依據(jù)馮·諾依曼架構(gòu)、圖靈理論而造出了計(jì)算機(jī)。初心其實(shí)是為了打仗，計(jì)算原子彈路徑千萬別跑偏，當(dāng)時需要龐大的人工的計(jì)算量，但二戰(zhàn)期間人力有限。IBM的神話由此誕生。

隨著時代的發(fā)展，除了計(jì)算，人們還產(chǎn)生了辦公、娛樂等訴求。于是計(jì)算機(jī)逐步個人化、微型化。那個年代成就了微軟、英特爾這樣的巨頭。

后來進(jìn)入互聯(lián)網(wǎng)時代，Google這樣改變世界的企業(yè)應(yīng)運(yùn)而生，緊隨其后的還有微信這樣的移動互聯(lián)網(wǎng)神器。如今，當(dāng)計(jì)算世界進(jìn)入到“大數(shù)據(jù)”時代，又會出現(xiàn)什么樣的傳奇呢?

為什么說近十年才是“大數(shù)據(jù)”的時代?當(dāng)年比爾·蓋茨靠Windows起家難道就沒人提“大數(shù)據(jù)”嗎? 十年前，當(dāng)我們想去一個地方卻不知道路怎么走的情況下，還會依賴紙質(zhì)地圖。如今可以直接用百度、高德地圖隨時導(dǎo)航。十幾年前并非沒有“數(shù)據(jù)”，也不是沒有需求，而是在整個業(yè)態(tài)里面，沒人有能力收集起來這些數(shù)據(jù)，“大數(shù)據(jù)”又從何談起呢?

中國大數(shù)據(jù)的兩條腿

實(shí)質(zhì)上，大數(shù)據(jù)技術(shù)是以解決業(yè)務(wù)問題為導(dǎo)向的。國雙科技這家公司的文化也是一樣以客戶為中心，利用“大數(shù)據(jù)”幫助客戶去解決業(yè)務(wù)問題，同時發(fā)現(xiàn)新的問題，以此也可以驅(qū)使技術(shù)進(jìn)步。

中國的技術(shù)市場比較偏應(yīng)用，各種基于大數(shù)據(jù)的應(yīng)用滿天飛，但是做底層做框架的公司并不多。另一方面，由于中國互聯(lián)網(wǎng)用戶數(shù)量龐大，大數(shù)據(jù)的應(yīng)用又在不斷產(chǎn)生新的數(shù)據(jù)。

為了能夠用好這么海量的數(shù)據(jù)，中國的大數(shù)據(jù)行業(yè)需要兩方面的人才，第一類是業(yè)務(wù)人才，第二類是技術(shù)人才。首先，“大數(shù)據(jù)”需要解決業(yè)務(wù)問題，業(yè)務(wù)專家必不可少。其次，相關(guān)專業(yè)的技術(shù)人才所做的的研究也不可或缺。因此“大數(shù)據(jù)”這個領(lǐng)域?qū)且粋€非常寬廣的就業(yè)市場。

大數(shù)據(jù)解決四類問題

“所有的技術(shù)的發(fā)展是為了解決業(yè)務(wù)問題，解決人們的衣食住行等生活問題，使人類社會變得更加美好”。用抽象的方式做個歸類的話，基本可以歸為四大類：

【描述性分析】：發(fā)生了什么?

【診斷性分析】：事情發(fā)生后，分析為什么會發(fā)生?

【預(yù)測性分析】：掌握規(guī)律，預(yù)測下一次什么時候發(fā)生?

【分析應(yīng)用】：根據(jù)已經(jīng)發(fā)生的事來解決實(shí)際問題，促進(jìn)業(yè)務(wù)的發(fā)展。

奧運(yùn)會上的大數(shù)據(jù)

在奧運(yùn)會期間，全球數(shù)以億計(jì)的觀眾會通過例如電視、PC，安卓等多個平臺對比賽進(jìn)行觀看，這樣就產(chǎn)生了跨區(qū)域、跨平臺的海量數(shù)據(jù)。這時，國雙通過技術(shù)幫助CNTV(中國網(wǎng)絡(luò)電視臺)進(jìn)行“用戶播放行為分析”。比如某個賽事在北京的收視率如何，各類終端占比是多少。

商用大數(shù)據(jù)的最低配置

類似奧運(yùn)會的商用“大數(shù)據(jù)”系統(tǒng)有哪些必須滿足的性能呢?

第一，高可用性。系統(tǒng)里的這些組件可能會隨時掛掉一個，或者若干個，我們必須保證系統(tǒng)還要能正常的工作;

第二，可伸縮性。系統(tǒng)可以通過橫向擴(kuò)容去加機(jī)器，去解決數(shù)據(jù)量增大的問題。

第三，容錯性。如果程序出了錯誤之后，要易于恢復(fù);

第四，高性能。要做到實(shí)時且快速反應(yīng)，不能半天才出來結(jié)果。

大數(shù)據(jù)領(lǐng)域的最基本問題與解決之道

回到上面提到的“在奧運(yùn)期間，不同的終端，不同的地域，觀眾究竟分別觀看了多少次呢?”這個問題，從問題到答案我們可以看到“大數(shù)據(jù)”領(lǐng)域最基本的問題以及解決之道。

我們要解決業(yè)務(wù)問題，究竟現(xiàn)在的在線人數(shù)有多少，終端比例是多少等這些問題的本質(zhì)就是——查詢，能把業(yè)務(wù)問題解決掉的實(shí)質(zhì)也就是把查詢這項(xiàng)功能做好。說起來“查詢”二字好像很容易，但是這“大數(shù)據(jù)”行業(yè)里面的查詢可并不簡單，查詢可以由這三類構(gòu)成，分別是OLAP查詢、OLTP查詢、實(shí)時查詢。為了支持最基本的問題——查詢，Storm的作者就提出了Lambda架構(gòu)，對查詢的問題進(jìn)行了抽象概化，那么這三種查詢究竟是什么樣的呢?接下來就對這三種查詢進(jìn)行簡單的學(xué)習(xí)與介紹。

【OLAP數(shù)據(jù)倉庫】

OLAP的英文是Online AnalyticsProcessing，這種技術(shù)是專門用于數(shù)據(jù)分析的，它的核心概念是維度和指標(biāo)，維度就是分析問題的角度，指標(biāo)就是一個數(shù)字，經(jīng)過聚合計(jì)算的一個數(shù)字，通過求平均、求和，用聚合的方式得到了一個指標(biāo)。這些維度和指標(biāo)會組成一個數(shù)據(jù)立方體，允許用戶去進(jìn)行多個維度的察看這些數(shù)據(jù)立方體的數(shù)字，不同的維度與指標(biāo)交叉就產(chǎn)生了多維度自由剖析。

【OLTP數(shù)據(jù)庫】

OLTP數(shù)據(jù)庫典型的應(yīng)用就是用戶注冊，在數(shù)據(jù)庫里面新添加一條用戶的信息，上飛機(jī)的時候看一下這個用戶有沒有買票，進(jìn)圖書館把書還了等，把還的書從借閱的狀態(tài)變成未借閱的狀態(tài)，這很顯然是數(shù)據(jù)的更新、查找，一般不用聚合，這是很典型的OLTP數(shù)據(jù)庫應(yīng)用。

【實(shí)時查詢(CEP)】

實(shí)時查詢顧名思義就是要求在很短的延期內(nèi)，能夠?qū)?shù)據(jù)做各種各樣的預(yù)計(jì)算，“在奧運(yùn)期間，不同的終端，不同的地域，觀眾究竟分別觀看了多少次呢?”的問題就是典型的應(yīng)用，它強(qiáng)調(diào)的實(shí)時，現(xiàn)在這一刻。

在學(xué)習(xí)和了解了解決業(yè)務(wù)的這三種查詢方法之后，我們回過頭來看CNTV的那個問題，就是做實(shí)時的查詢，在此基礎(chǔ)上利用OLTP及OLAP進(jìn)行聚合分析，滿足那些沒有提到的更為復(fù)雜的功能需求時，這就是Lambda架構(gòu)在企業(yè)大

數(shù)據(jù)領(lǐng)域的實(shí)際應(yīng)用。

今天我們從對“大數(shù)據(jù)”行業(yè)的理解說到大數(shù)據(jù)技術(shù)是以“解決業(yè)務(wù)”為導(dǎo)向，再到大數(shù)據(jù)能解決什么問題?解決了CNTV的什么問題?最后利用國雙提供給CNTV服務(wù)中的一個小問題來實(shí)例證明“大數(shù)據(jù)”里面最基礎(chǔ)的問題其實(shí)也是最佳的解決之道——查詢，怎么查詢呢?我將查詢分為三種查詢，有OLAP、OLTP以及實(shí)時查詢，跟大家講了這些查詢的概念，今天跟大家所講的Lambda的架構(gòu)，主要是從一個企業(yè)的實(shí)際角度來講，用實(shí)際發(fā)生的案例讓大家來理解Lambda架構(gòu)在滿足高可用性、容錯性、可伸縮性和高性能的情況下，怎么能夠通過分層的方式，巧妙的把這些東西揉到一起，去解決業(yè)務(wù)的問題，希望大家能夠通過我的這次演講對“大數(shù)據(jù)”對“Lambda架構(gòu)”有新的認(rèn)識，謝謝大家。