Hadoop發(fā)行版本之間的區(qū)別
Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數(shù)據(jù)處理。Hadoop的發(fā)行版除了有Apache hadoop外cloudera,hortonworks,mapR,華為,DKhadoop等都提供了自己的商業(yè)版本。商業(yè)發(fā)行版主要是提供了更為專業(yè)的技術(shù)支持,這對于大型企業(yè)更為重要,不同發(fā)行版都有自己的一些特點,本文就各發(fā)行版做簡單對比介紹。
對比版選擇:DKhadoop發(fā)行版、cloudera發(fā)行版、hortonworks發(fā)行版、MAPR發(fā)行版、華為hadoop發(fā)行版
1、DKhadoop發(fā)行版:有效的集成了整個HADOOP生態(tài)系統(tǒng)的全部組件,并深度優(yōu)化,重新編譯為一個完整的更高性能的大數(shù)據(jù)通用計算平臺,實現(xiàn)了各部件的有機協(xié)調(diào)。因此DKH相比開源的大數(shù)據(jù)平臺,在計算性能上有了高達5倍(***)的性能提升。DKhadoop將復(fù)雜的大數(shù)據(jù)集群配置簡化至三種節(jié)點(主節(jié)點、管理節(jié)點、計算節(jié)點),極大的簡化了集群的管理運維,增強了集群的高可用性、高可維護性、高穩(wěn)定性。
2、Cloudera發(fā)行版:CDH是Cloudera的hadoop發(fā)行版,完全開源,比Apache hadoop在兼容性,安全性,穩(wěn)定性上有增強。
3、Hortonworks發(fā)行版:Hortonworks 的主打產(chǎn)品是Hortonworks Data Platform (HDP),也同樣是100%開源的產(chǎn)品,其版本特點:HDP包括穩(wěn)定版本的Apache Hadoop的所有關(guān)鍵組件;安裝方便,HDP包括一個現(xiàn)代化的,直觀的用戶界面的安裝和配置工具。
4、MAPR發(fā)行版:mapR有免費和商業(yè)兩個版本,免費版本在功能上有所減少。
5、華為hadoop發(fā)行版:華為的hadoop版本基于自研的Hadoop HA平臺,構(gòu)建NameNode、JobTracker、HiveServer的HA功能,進程故障后系統(tǒng)自動Failover,無需人工干預(yù),這個也是對hadoop的小修補,遠不如mapR解決的徹底。