1）  數(shù)據(jù)源是實(shí)時(shí)的不間斷的，要求對(duì)用戶的響應(yīng)時(shí)間也是實(shí)時(shí)的。

主要用于互聯(lián)網(wǎng)流式數(shù)據(jù)處理。所謂流式數(shù)據(jù)是指將數(shù)據(jù)看作是數(shù)據(jù)流的形式來(lái)處理。數(shù)據(jù)流則是在時(shí)間分布和數(shù)量上無(wú)限的一系列數(shù)據(jù)記錄的集合體；數(shù)據(jù)記錄是數(shù)據(jù)流的最小組成單元。舉個(gè)例子，對(duì)于大型網(wǎng)站，活躍的流式數(shù)據(jù)非常常見(jiàn)，這些數(shù)據(jù)包括網(wǎng)站的訪問(wèn)PV/UV、用戶訪問(wèn)了什么內(nèi)容，搜索了什么內(nèi)容等。實(shí)時(shí)的數(shù)據(jù)計(jì)算和分析可以動(dòng)態(tài)實(shí)時(shí)地刷新用戶訪問(wèn)數(shù)據(jù)，展示網(wǎng)站實(shí)時(shí)流量的變化情況，分析每天各小時(shí)的流量和用戶分布情況，這對(duì)于大型網(wǎng)站來(lái)說(shuō)具有重要的實(shí)際意義。

2）  數(shù)據(jù)量大且無(wú)法或沒(méi)必要預(yù)算，但要求對(duì)用戶的響應(yīng)時(shí)間是實(shí)時(shí)的。

主要用于特定場(chǎng)合下的數(shù)據(jù)分析處理。當(dāng)數(shù)據(jù)量很大，同時(shí)發(fā)現(xiàn)無(wú)法窮舉所有可能條件的查詢組合或者大量窮舉出來(lái)的條件組合無(wú)用的時(shí)候，實(shí)時(shí)計(jì)算就可以發(fā)揮作用，將計(jì)算過(guò)程推遲到查詢階段進(jìn)行，但需要為用戶提供實(shí)時(shí)響應(yīng)[參考鏈接]。

2. 實(shí)時(shí)計(jì)算相關(guān)技術(shù)

互聯(lián)網(wǎng)上海量數(shù)據(jù)（一般為日志流）的實(shí)時(shí)計(jì)算過(guò)程可以被劃分為以下三個(gè)階段：數(shù)據(jù)的產(chǎn)生與收集階段、傳輸與分析處理階段、存儲(chǔ)對(duì)對(duì)外提供服務(wù)階段。下面分別進(jìn)行簡(jiǎn)單的介紹：

2.1 數(shù)據(jù)實(shí)時(shí)采集

需求：功能上保證可以完整的收集到所有日志數(shù)據(jù)，為實(shí)時(shí)應(yīng)用提供實(shí)時(shí)數(shù)據(jù)；響應(yīng)時(shí)間上要保證實(shí)時(shí)性、低延遲在1秒左右；配置簡(jiǎn)單，部署容易；系統(tǒng)穩(wěn)定可靠等。

目前，互聯(lián)網(wǎng)企業(yè)的海量數(shù)據(jù)采集工具，有Facebook開(kāi)源的Scribe、LinkedIn開(kāi)源的Kafka、Cloudera開(kāi)源的Flume，淘寶開(kāi)源的TimeTunnel、Hadoop的Chukwa等，均可以滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。

2.2 數(shù)據(jù)實(shí)時(shí)計(jì)算

傳統(tǒng)的數(shù)據(jù)操作，首先將數(shù)據(jù)采集并存儲(chǔ)在DBMS中，然后通過(guò)query和DBMS進(jìn)行交互，得到用戶想要的答案。整個(gè)過(guò)程中，用戶是主動(dòng)的，而DBMS系統(tǒng)是被動(dòng)的。

但是，對(duì)于現(xiàn)在大量存在的實(shí)時(shí)數(shù)據(jù)，比如股票交易的數(shù)據(jù)，這類數(shù)據(jù)實(shí)時(shí)性強(qiáng)，數(shù)據(jù)量大，沒(méi)有止境，傳統(tǒng)的架構(gòu)并不合適。流計(jì)算就是專門針對(duì)這種數(shù)據(jù)類型準(zhǔn)備的。在流數(shù)據(jù)不斷變化的運(yùn)動(dòng)過(guò)程中實(shí)時(shí)地進(jìn)行分析，捕捉到可能對(duì)用戶有用的信息，并把結(jié)果發(fā)送出去。整個(gè)過(guò)程中，數(shù)據(jù)分析處理系統(tǒng)是主動(dòng)的，而用戶卻是處于被動(dòng)接收的狀態(tài)。

需求：適應(yīng)流式數(shù)據(jù)、不間斷查詢；系統(tǒng)穩(wěn)定可靠、可擴(kuò)展性好、可維護(hù)性好等。

實(shí)時(shí)流計(jì)算框架：Yahoo開(kāi)源的S4、Twitter開(kāi)源的Storm，還有Esper，Streambase，HStreaming等。

有關(guān)計(jì)算的一些注意點(diǎn)：分布式計(jì)算，并行計(jì)算（節(jié)點(diǎn)間的并行、節(jié)點(diǎn)內(nèi)的并行），熱點(diǎn)數(shù)據(jù)的緩存策略，服務(wù)端計(jì)算。

2.3 實(shí)時(shí)查詢服務(wù)

全內(nèi)存：直接提供數(shù)據(jù)讀取服務(wù)，定期dump到磁盤或數(shù)據(jù)庫(kù)進(jìn)行持久化。

半內(nèi)存：使用Redis、Memcache、MongoDB、BerkeleyDB等內(nèi)存數(shù)據(jù)庫(kù)提供數(shù)據(jù)實(shí)時(shí)查詢服務(wù)，由這些系統(tǒng)進(jìn)行持久化操作。

全磁盤：使用HBase等以分布式文件系統(tǒng)（HDFS）為基礎(chǔ)的NoSQL數(shù)據(jù)庫(kù)，對(duì)于key-value引擎，關(guān)鍵是設(shè)計(jì)好key的分布。

3. 應(yīng)用舉例

對(duì)于電子商務(wù)網(wǎng)站上的店鋪：

1）實(shí)時(shí)展示一個(gè)店鋪的到訪顧客流水信息，包括訪問(wèn)時(shí)間、訪客姓名、訪客地理位置、訪客IP、訪客正在訪問(wèn)的頁(yè)面等信息；

2）顯示某個(gè)到訪顧客的所有歷史來(lái)訪記錄，同時(shí)實(shí)時(shí)跟蹤顯示某個(gè)訪客在一個(gè)店鋪正在訪問(wèn)的頁(yè)面等信息；

3）支持根據(jù)訪客地理位置、訪問(wèn)頁(yè)面、訪問(wèn)時(shí)間等多種維度下的實(shí)時(shí)查詢與分析。

更詳細(xì)的內(nèi)容，以后再進(jìn)一步展開(kāi)介紹。

4. 總結(jié)的話

1）并不是任何應(yīng)用都做到實(shí)時(shí)計(jì)算才是最好的。

2）使用哪些技術(shù)和框架來(lái)搭建實(shí)時(shí)計(jì)算系統(tǒng)，需要根據(jù)實(shí)際業(yè)務(wù)需求進(jìn)行選擇。

3）對(duì)于分布式系統(tǒng)來(lái)說(shuō)，系統(tǒng)的可配置性、可維護(hù)性、可擴(kuò)展性十分重要，系統(tǒng)調(diào)優(yōu)永無(wú)止境。

5. 參考鏈接

1）Scribe：https://github.com/facebook/scribe

2）Kafka：http://sna-projects.com/kafka/

3）Flume：https://github.com/cloudera/flume/

4）Chukwa：http://incubator.apache.org/chukwa/

5）TimeTunnel：http://code.taobao.org/p/TimeTunnel/

6）S4：http://s4.io

7）StreamBase：http://www.streambase.com

8）HStreaming：http://www.hstreaming.com/

9）Esper：http://esper.codehaus.org/

10）Storm：http://engineering.twitter.com/2011/08/storm-is-coming-more-details-and-plans.html