大約十年前，大數(shù)據(jù)開始流行。隨著存儲(chǔ)成本不斷下降，很多企業(yè)開始存儲(chǔ)他們獲取或生成的大部分?jǐn)?shù)據(jù)，以便他們可以挖掘這些數(shù)據(jù)，以獲得關(guān)鍵的業(yè)務(wù)洞察力。

企業(yè)分析所有這些數(shù)據(jù)的需求推動(dòng)著各種大數(shù)據(jù)框架的開發(fā)，這些框架能夠篩選大量數(shù)據(jù)，從Hadoop開始。大數(shù)據(jù)框架最初用于數(shù)據(jù)倉庫或數(shù)據(jù)湖中的靜態(tài)數(shù)據(jù)，但最近的趨勢(shì)是實(shí)時(shí)處理來自多個(gè)源的數(shù)據(jù)。

[[440252]]

什么是大數(shù)據(jù)框架?

大數(shù)據(jù)框架是一組軟件組件，可用于構(gòu)建分布式系統(tǒng)以處理大型數(shù)據(jù)集，包括結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)集可以來自多個(gè)來源，大小從TB到PB到EB不等。

此類框架通常在高性能計(jì)算 (HPC) 中發(fā)揮作用，該技術(shù)可以解決材料科學(xué)、工程或金融建模等不同領(lǐng)域的難題。尋找這些問題的答案通常在于篩選盡可能多的相關(guān)數(shù)據(jù)。

最著名的大數(shù)據(jù)框架是Apache Hadoop。其他大數(shù)據(jù)框架包括Spark、Kafka、Storm和Flink，它們與Hadoop一樣都是由Apache軟件基金會(huì)開發(fā)的開源項(xiàng)目。Apache Hive最初由Facebook開發(fā)，也是一個(gè)大數(shù)據(jù)框架。

Spark相對(duì)于Hadoop的優(yōu)勢(shì)是什么?

Apache Hadoop的主要組件是Hadoop分布式文件系統(tǒng) (HDFS) 和數(shù)據(jù)處理引擎–部署 MapReduce程序以過濾和排序數(shù)據(jù)。還包括YARN，它是Hadoop集群的資源管理器。

Apache Spark也可以在HDFS或替代的分布式文件系統(tǒng)上運(yùn)行。它的開發(fā)速度比MapReduce更快，通過在內(nèi)存中處理和保留數(shù)據(jù)以供后續(xù)步驟使用，而不是將結(jié)果直接寫回存儲(chǔ)。對(duì)于較小的工作負(fù)載，這會(huì)使Spark比Hadoop快100倍。

但是，Hadoop MapReduce可以處理比Spark大得多的數(shù)據(jù)集，尤其是那些整個(gè)數(shù)據(jù)集的大小超過可用內(nèi)存的數(shù)據(jù)集。如果企業(yè)擁有大量數(shù)據(jù)并且處理對(duì)時(shí)間不敏感，那么Hadoop可能是更好的選擇。

Spark更適合企業(yè)需要快速答案的應(yīng)用程序，例如涉及迭代或圖形處理的應(yīng)用程序。這種技術(shù)也稱為網(wǎng)絡(luò)分析，該技術(shù)分析客戶和產(chǎn)品等實(shí)體之間的關(guān)系。

Hadoop和Kafka的區(qū)別是什么?

Apache Kafka是分布式事件流平臺(tái)，旨在處理實(shí)時(shí)數(shù)據(jù)源。這意味著數(shù)據(jù)在通過系統(tǒng)時(shí)被處理。

與Hadoop一樣，Kafka在服務(wù)器節(jié)點(diǎn)集群上運(yùn)行，因此具有可擴(kuò)展性。有些服務(wù)器節(jié)點(diǎn)形成存儲(chǔ)層，稱為代理，而另一些則處理數(shù)據(jù)流的連續(xù)導(dǎo)入和導(dǎo)出。

嚴(yán)格來說，Kafka不是Hadoop的競爭對(duì)手平臺(tái)。企業(yè)可以將它與Hadoop一起用作整體應(yīng)用程序架構(gòu)的一部分，在該架構(gòu)中，它處理傳入的數(shù)據(jù)流并將其輸入到數(shù)據(jù)湖中，以供Hadoop等框架進(jìn)行處理。

由于其每秒可處理數(shù)千條消息，Kafka對(duì)于網(wǎng)站活動(dòng)跟蹤或大規(guī)模物聯(lián)網(wǎng)部署中的遙測(cè)數(shù)據(jù)收集等應(yīng)用非常有用。

Kafka和Spark的區(qū)別是什么?

Apache Spark是一種通用處理引擎，開發(fā)用于執(zhí)行批處理(類似于MapReduce)和工作負(fù)載，例如流、交互式查詢和機(jī)器學(xué)習(xí) (ML)。

Kafka的架構(gòu)是分布式消息傳遞系統(tǒng)架構(gòu)，將記錄流存儲(chǔ)在稱為主題的類別中。它不是用于大規(guī)模分析作業(yè)，而是用于高效的流處理。它旨在集成到應(yīng)用程序的業(yè)務(wù)邏輯中，而不是用于批量分析作業(yè)。

Kafka最初是在社交網(wǎng)絡(luò)LinkedIn上開發(fā)，用于分析其數(shù)百萬用戶之間的聯(lián)系。也許最好將其視為能夠從眾多來源實(shí)時(shí)捕獲數(shù)據(jù)，并將其分類為要分析的主題以深入了解數(shù)據(jù)的框架。

這種分析可能會(huì)使用Spark等工具執(zhí)行，Spark是一種集群計(jì)算框架，可以執(zhí)行用Java、Python或Scala等語言開發(fā)的代碼。Spark還包含Spark SQL，它支持查詢結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù);以及Spark MLlib，用于構(gòu)建和操作ML管道的機(jī)器學(xué)習(xí)庫。

其他大數(shù)據(jù)框架

以下是其他你可能感興趣的大數(shù)據(jù)框架。

Apache Hive使SQL開發(fā)人員使用Hive查詢語言 (HQL) 語句，類似于用于數(shù)據(jù)查詢和分析的標(biāo)準(zhǔn)SQL。Hive可以在HDFS上運(yùn)行，最適合數(shù)據(jù)倉庫任務(wù)，例如提取、轉(zhuǎn)換和加載 (ETL)、報(bào)告和數(shù)據(jù)分析。

Apache Flink將有狀態(tài)的流處理與處理ETL和批處理作業(yè)的能力相結(jié)合。這使其非常適合事件驅(qū)動(dòng)的工作負(fù)載，例如網(wǎng)站上的用戶交互或在線采購訂單。與Hive一樣，F(xiàn)link可以運(yùn)行在HDFS或其他數(shù)據(jù)存儲(chǔ)層上。

Apache Storm是分布式實(shí)時(shí)處理框架，可以與帶有MapReduce的Hadoop進(jìn)行比較，不同之處在于它實(shí)時(shí)處理事件數(shù)據(jù)，而MapReduce以離散批次運(yùn)行。Storm是為可擴(kuò)展性和高級(jí)別容錯(cuò)而設(shè)計(jì)。它對(duì)于需要快速響應(yīng)的應(yīng)用程序也很有用，例如檢測(cè)安全漏洞。