譯者 | 布加迪

審校 | 重樓

從電子商務(wù)交易、物聯(lián)網(wǎng)傳感器數(shù)據(jù)到安全日志，企業(yè)如今面臨越來越大的實(shí)時(shí)數(shù)據(jù)洪流，這些數(shù)據(jù)對客戶體驗(yàn)、運(yùn)營和業(yè)務(wù)效率至關(guān)重要。對于許多企業(yè)來說，開源事件流平臺Apache Kafka就是解決之道。

想知道如何最好地使用Kafka嗎？

這篇快速入門介紹了Kafak的幾個(gè)特定用例、來自一些最大最重要數(shù)據(jù)型企業(yè)的實(shí)際案例以及運(yùn)營最佳實(shí)踐，以幫助你盡快獲得想要的結(jié)果。

Kafka能為你做什么？

Kafka在四個(gè)關(guān)鍵的企業(yè)場景中表現(xiàn)出色：實(shí)時(shí)數(shù)據(jù)處理、消息傳遞、運(yùn)營指標(biāo)和日志聚合。

1. 實(shí)時(shí)數(shù)據(jù)處理

實(shí)時(shí)數(shù)據(jù)處理是Kafka真正的亮點(diǎn)。Kafka如同貴企業(yè)的中樞神經(jīng)系統(tǒng)。這項(xiàng)開源技術(shù)可以立即處理來自多個(gè)來源的數(shù)百萬個(gè)事件，同時(shí)確保沒有數(shù)據(jù)丟失。

比如說，電子商務(wù)平臺可以使用Kafka同時(shí)處理客戶點(diǎn)擊、庫存更新和發(fā)貨狀態(tài)變化，實(shí)現(xiàn)實(shí)時(shí)個(gè)性化和庫存管理。Kafka的架構(gòu)以最小的延遲和最大的可靠性處理這些海量數(shù)據(jù)流，而內(nèi)置的分析功能讓團(tuán)隊(duì)可以從數(shù)據(jù)流中提取即時(shí)信息。

2. 消息傳遞

Kafka的消息傳遞功能充當(dāng)了數(shù)字電話交換臺，實(shí)現(xiàn)成百上千個(gè)應(yīng)用程序和系統(tǒng)之間的無縫實(shí)時(shí)通信。以一家處理信用卡交易的金融服務(wù)公司為例：Kafka可以同時(shí)將交易數(shù)據(jù)發(fā)送到欺詐檢測系統(tǒng)、客戶數(shù)據(jù)庫和分析平臺，不會錯(cuò)失任何信息。

隨著組織規(guī)模擴(kuò)大、消息量增加，Kafka可以一同擴(kuò)展，在處理負(fù)載的同時(shí)確保沒有關(guān)鍵通信內(nèi)容丟失。

3. 運(yùn)營指標(biāo)

運(yùn)營指標(biāo)就像控制塔，Kafka用于收集和提供數(shù)據(jù)，以監(jiān)控來自整個(gè)技術(shù)環(huán)境的實(shí)時(shí)指標(biāo)。無論你是在跟蹤應(yīng)用程序性能、系統(tǒng)健康狀況還是業(yè)務(wù)關(guān)鍵績效指標(biāo)（KPI），Kafka都為實(shí)時(shí)監(jiān)控和警報(bào)提供了單一的真相來源。

全球企業(yè)使用Kafka每秒監(jiān)控?cái)?shù)百萬個(gè)指標(biāo)，在潛在問題影響客戶之前發(fā)現(xiàn)并解決它們。Kafka還與最流行的監(jiān)控工具無縫集成，可以輕松地直觀呈現(xiàn)趨勢，并在需要時(shí)采取行動(dòng)。

4. 日志聚合

最后但并非最不重要的是，Kafka將日志管理從一個(gè)令人頭疼的問題變成了一個(gè)戰(zhàn)略性資產(chǎn)。團(tuán)隊(duì)不再需要費(fèi)力地拼湊來自幾十上百個(gè)系統(tǒng)的日志，而是可以全面實(shí)時(shí)地了解基礎(chǔ)設(shè)施中發(fā)生的所有事情。

發(fā)生安全事件時(shí)，分析人員可以立即訪問和分析來自任何系統(tǒng)或時(shí)間段的相關(guān)日志。大企業(yè)每天通過Kafka處理數(shù)十億條日志，使用這些全面的數(shù)據(jù)用于從威脅檢測到應(yīng)用程序性能優(yōu)化的所有操作。不像傳統(tǒng)的日志系統(tǒng)面對大負(fù)荷會垮掉，Kafka即使在日志量急劇增長的情況下也能保持其性能。

現(xiàn)實(shí)世界的企業(yè)如何使用Kafka？

不妨看看世界上一些著名的企業(yè)在如何使用Kafka。

1.奈飛（Netflix）玩轉(zhuǎn)實(shí)時(shí)個(gè)性化

奈飛在全球擁有約3億用戶，每秒處理天文數(shù)字般的用戶數(shù)據(jù)量。Kafka充當(dāng)了奈飛的實(shí)時(shí)個(gè)性化引擎的支柱，立即處理觀眾的行為，即時(shí)提供內(nèi)容推薦。每個(gè)點(diǎn)擊、暫停和回放決定都饋入到奈飛的Kafka系統(tǒng)中，使這家公司能夠不斷完善每位觀眾的體驗(yàn)。任何擁有數(shù)字化業(yè)務(wù)的企業(yè)都可以采用類似的方法將客戶數(shù)據(jù)轉(zhuǎn)化為更個(gè)性化的體驗(yàn)。

2.Pinterest驅(qū)動(dòng)瞬間內(nèi)容發(fā)現(xiàn)

Pinterest必須通過即時(shí)將用戶與他們喜歡的內(nèi)容聯(lián)系起來，保持?jǐn)?shù)億用戶的參與度。該公司使用Kafka和狀態(tài)流處理來實(shí)時(shí)處理數(shù)據(jù)流，使其推薦引擎能夠根據(jù)每個(gè)用戶最近的活動(dòng)提供建議。Kafka的Streams API提供了這種功能，支持需要實(shí)時(shí)處理數(shù)據(jù)，同時(shí)還維護(hù)多個(gè)數(shù)據(jù)記錄的狀態(tài)信息（能夠利用歷史記錄）的用例。

3.沃爾瑪擴(kuò)展實(shí)時(shí)商務(wù)運(yùn)營

作為美國最大的零售商，沃爾瑪在美國境內(nèi)的大規(guī)模零售運(yùn)營依賴實(shí)時(shí)數(shù)據(jù)處理，每天在其云基礎(chǔ)設(shè)施上處理數(shù)萬億條Kafka消息。由于沃爾瑪常面臨數(shù)據(jù)流量突然激增的情況，尤其是在節(jié)假日等大客流量購物期間，沃爾瑪?shù)墓こ虉F(tuán)隊(duì)于是開發(fā)了一款名為“消息傳遞代理服務(wù)”（Messaging Proxy Service）的創(chuàng)新解決方案，從根本上改變了其處理消息處理的方式。這種重新構(gòu)想Kafka基礎(chǔ)設(shè)施的明智策略使沃爾瑪能夠在高峰時(shí)期保持高性能，同時(shí)降低運(yùn)營成本。

切實(shí)使用Kafka

處理實(shí)時(shí)數(shù)據(jù)并采取相應(yīng)行動(dòng)變得越來越不是優(yōu)勢，而是越來越有必要。在我看來，Kafka已證明了它是需要從容地處理龐大數(shù)據(jù)流的企業(yè)的首選平臺。

無論你是在構(gòu)建實(shí)時(shí)分析策略、驅(qū)動(dòng)個(gè)性化體驗(yàn)還是更新改造安全運(yùn)營，Kafka都提供了你所需的基礎(chǔ)，而且它的完全開源版本非常強(qiáng)大。

奈飛、Pinterest和沃爾瑪這幾個(gè)例子展示了Kafka的一小部分用處，以及一些大企業(yè)在利用該平臺做些什么。借助正確的方法和最佳實(shí)踐，貴組織也能與這些先行者一樣充分發(fā)掘實(shí)時(shí)數(shù)據(jù)的功效。

原文標(biāo)題：From Netflix to Walmart: Open Source Kafka in Action，作者：Varun Ghai