[[376475]]

前言

當(dāng)我們做一個(gè)項(xiàng)目時(shí)往往都需要選擇該用什么技術(shù)。這一部分不是我們普通員工想的，而是架構(gòu)師會(huì)根據(jù)客戶的需求選擇出合適的技術(shù)。當(dāng)選擇合適的技術(shù)會(huì)讓我們的開(kāi)發(fā)事半功倍。下面我就來(lái)講解下我做的項(xiàng)目(實(shí)時(shí)數(shù)倉(cāng))是如何進(jìn)行選型的。

一、技術(shù)選型

當(dāng)我們?cè)谶x擇技術(shù)時(shí)需要根據(jù)客戶的需求來(lái)進(jìn)行選擇。比如：實(shí)時(shí)統(tǒng)計(jì)交易金額(要求延遲不能超過(guò)一秒),這時(shí)我們?cè)谶x擇技術(shù)時(shí)就不能用那些批處理的技術(shù)比如Hive,MapRducer 等，因?yàn)镸apRducer 啟動(dòng)有可能就能超過(guò)了一秒鐘，所以根本就不能滿足這些需求。這時(shí)我們可以考慮用一些實(shí)時(shí)計(jì)算的技術(shù)如 Flink,SparkStreaming等。接下來(lái)我們就來(lái)講解下如何選擇。

目前市場(chǎng)是有很多實(shí)時(shí)計(jì)算的技術(shù)如：Spark streaming、Struct streaming、Storm 、JStorm(阿里) 、Kafka Streaming 、Flink 等眾多的技術(shù)棧我們?cè)撊绾芜x擇那?

當(dāng)我們?cè)谶x擇技術(shù)時(shí)需要全面考慮，并不是你喜歡這個(gè)技術(shù)就要用這個(gè)技術(shù)，這不是明智的選擇。企業(yè)一般根據(jù) 公司員工的技術(shù)基礎(chǔ)、流行 、技術(shù)復(fù)用、場(chǎng)景等眾多的因素來(lái)進(jìn)行選擇。附上一張技術(shù)圖

根據(jù)上述圖片就可以清晰的分析出該用什么技術(shù)。我在這里也推薦一下僅供參考

如果對(duì)延遲要求不高的情況下，可以使用 Spark Streaming，它擁有豐富的高級(jí) API，使用簡(jiǎn)單，并且 Spark 生態(tài)也比較成熟，吞吐量大，部署簡(jiǎn)單，社區(qū)活躍度較高，從 GitHub 的 star 數(shù)量也可以看得出來(lái)現(xiàn)在公司用 Spark 還是居多的，并且在新版本還引入了 Structured Streaming，這也會(huì)讓 Spark 的體系更加完善。

如果對(duì)延遲性要求非常高的話，可以使用當(dāng)下最火的流處理框架 Flink，采用原生的流處理系統(tǒng)，保證了低延遲性，在 API 和容錯(cuò)性方面做的也比較完善，使用和部署相對(duì)來(lái)說(shuō)也是比較簡(jiǎn)單的，加上國(guó)內(nèi)阿里貢獻(xiàn)的 Blink，相信接下來(lái) Flink 的功能將會(huì)更加完善，發(fā)展也會(huì)更加好，社區(qū)問(wèn)題的響應(yīng)速度也是非?？斓模硗膺€有專門的釘釘大群和中文列表供大家提問(wèn)，每周還會(huì)有專家進(jìn)行直播講解和答疑。

本項(xiàng)目：使用Flink來(lái)搭建實(shí)時(shí)計(jì)算平臺(tái)

二、需求分析

目前需求有最后通過(guò)報(bào)表實(shí)時(shí)展示：

統(tǒng)計(jì)用戶日活對(duì)比分析(PV、UV、游客數(shù))分別使用柱狀圖顯示

2. 漏斗展示(付款數(shù)、下單數(shù)、加入購(gòu)物車數(shù)、瀏覽數(shù))

3. 統(tǒng)計(jì)一周銷售額，使用曲線圖顯示

4. 24小時(shí)銷售曲線圖顯示

5. 訂單狀態(tài)占比

6. 訂單完成狀態(tài)分析

7. TopN地區(qū)排行

數(shù)據(jù)來(lái)源PV/UV數(shù)據(jù)來(lái)源

• 來(lái)自于頁(yè)面埋點(diǎn)數(shù)據(jù)，將用戶訪問(wèn)數(shù)據(jù)發(fā)送到web服務(wù)器
• web服務(wù)器直接將該部分?jǐn)?shù)據(jù)寫入到kafka的click_log topic 中

銷售金額與訂單量數(shù)據(jù)來(lái)源

• 訂單數(shù)據(jù)來(lái)源于mysql
• 訂單數(shù)據(jù)來(lái)自binlog日志，通過(guò)canal 實(shí)時(shí)將數(shù)據(jù)寫入到kafka的order的topic中

購(gòu)物車數(shù)據(jù)和評(píng)論數(shù)據(jù)

• 購(gòu)物車數(shù)據(jù)一般不會(huì)直接操作mysql，通過(guò)客戶端程序?qū)懭氲絢afka(消息隊(duì)列)中
• 評(píng)論數(shù)據(jù)也是通過(guò)客戶端程序?qū)懭雓afka(消息隊(duì)列)中

三、架構(gòu)設(shè)計(jì)

根據(jù)分析需求我們可以這樣設(shè)計(jì)我們架構(gòu)。

在線架構(gòu)圖：https://gitmind.cn/app/flowchart/43aa8334090bdd1e1074271f08328e25

小結(jié)

本篇文章主要講解了如何選擇一合適技術(shù)棧，以及后面分享的技術(shù)實(shí)時(shí)數(shù)倉(cāng)的架構(gòu)圖。我們?cè)陔x線數(shù)倉(cāng)使用的是hive我們可以在Hive中進(jìn)行一個(gè)層，而要做實(shí)時(shí)數(shù)倉(cāng)的話需要使用消息隊(duì)列來(lái)做分層，本次項(xiàng)目使用Kafka來(lái)分層。我在這里為大家提供大數(shù)據(jù)的資源需要的朋友可以去下面GitHub去下載，信自己，努力和汗水總會(huì)能得到回報(bào)的。我是大數(shù)據(jù)老哥，我們下期見(jiàn)~~~

本文轉(zhuǎn)載自微信公眾號(hào)「大數(shù)據(jù)老哥」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系大數(shù)據(jù)老哥公眾號(hào)。