Cloudera下實現(xiàn)Hadoop方案規(guī)劃
本節(jié)向大家介紹一下利用Cloudera 實現(xiàn)Hadoop 的方法，這里主要介紹一下Hadoop的概念和利用Cloudera 實現(xiàn) Hadoop 的規(guī)劃，希望通過本節(jié)的介紹大家對利用Cloudera 實現(xiàn)Hadoop 有一定的認(rèn)識。
利用 Cloudera 實現(xiàn)Hadoop
前言
Hadoop 是一個實現(xiàn)了 MapReduce 計算模型的開源分布式并行編程框架。MapReduce的概念來源于Google實驗室，它是一個簡化并行計算的編程模型，適用于大規(guī)模集群上的海量數(shù)據(jù)處理，目前最成功的應(yīng)用是分布式搜索引擎。隨著2007年底該模式Java開源實現(xiàn)項目Apache Hadoop的出現(xiàn)，使得程序員可以輕松地編寫分布式并行程序，并將其運行于計算機(jī)集群上，完成海量數(shù)據(jù)的計算。近兩年尤其是今年國內(nèi)外采用 MapReduce模型的應(yīng)用也逐漸豐富起來，如像NTT KDDI和中國移動這類的電信公司采用該模型分析用戶信息，優(yōu)化網(wǎng)絡(luò)配置；美國供電局采用該模型來分析電網(wǎng)現(xiàn)狀；包括VISA和JP摩根在內(nèi)的金融公司采用該模型來分析股票數(shù)據(jù)；包括Amazon和ebay在內(nèi)的零售商和電子商務(wù)公司也開始采用該模型；甚至部分生物公司也采用該模型來進(jìn)行DNA測序和分析。然而Hadoop安裝、部署、管理的難度非常大，這使用很多用戶對Hadoop望而卻步，好在這種情況不久就得到了改善，Cloudera提供了非常簡單的Hadoop的發(fā)布版本，能夠十分方便地對Hadoop進(jìn)行安裝、部署和管理，這導(dǎo)致目前大約有75％的Hadoop新用戶使用Cloudera。下面是利用Cloudera 實現(xiàn)Hadoop 的具體規(guī)劃。
規(guī)劃
運行模式
Hadoop有三種運行模式：單機(jī)（非分布）運行模式、偽分布運行模式和分布式運行模式。其中前兩種運行模式體現(xiàn)不了 Hadoop 分布式計算的優(yōu)勢，并沒有什么實際意義（當(dāng)然它們對程序的測試及調(diào)試還是很有幫助的），因此在這里還是采用實際環(huán)境中使用的分布式運行模式來部署。
主機(jī)規(guī)劃
在這里擬采用三臺主機(jī)搭建Hadoop環(huán)境，由于后期還需要測試增刪主機(jī)及跨網(wǎng)段主機(jī)對Hadoop環(huán)境的影響，特將Hadoop主機(jī)規(guī)劃如下：Hadoop-01 10.137.253.201Hadoop-02 10.137.253.202Hadoop-03 10.137.253.203 準(zhǔn)備后期加入的測試主機(jī)Hadoop-04 10.137.253.204Firehare-303 10.10.3.30 準(zhǔn)備后期加入的跨網(wǎng)段測試主機(jī)
Hadoop環(huán)境規(guī)劃
對于Hadoop來說，最主要的是兩個內(nèi)容，一是分布式文件系統(tǒng)HDFS，一是MapReduce計算模型。在分布式文件系統(tǒng)HDFS看來，節(jié)點分為NameNode 和DataNode，其中NameNode只有一個，DataNode可以是很多；在MapReduce計算模型看來，節(jié)點又可分為JobTracker 和 TaskTracker，其中JobTracker只有一個，TaskTracker可以是很多。因此在實際的Hadoop環(huán)境中通常有兩臺主節(jié)點,一臺作為NameNode（I/O節(jié)點？？）,一臺作為JobTracker（管理節(jié)點？？）,剩下的都是從節(jié)點，同時當(dāng)做DataNode和 TaskTracker使用。當(dāng)然也可以將NameNode和JobTracker安裝在一臺主節(jié)點上。由于測試機(jī)數(shù)量有限，所以在這里是讓 Hadoop-01做為Namenode和Jobtracker，其它主機(jī)則作為DataNode和TaskTracker（如果Hadoop環(huán)境中主機(jī)數(shù)量很多的話，還是建議將Namenode和JobTracker部署到不同的主機(jī)，以提高計算的性能）。本節(jié)關(guān)于利用Cloudera 實現(xiàn)Hadoop 的規(guī)劃介紹完畢，請關(guān)注下節(jié)Hadoop安裝。
【編輯推薦】
