Cloudera實(shí)現(xiàn)Hadoop步驟詳解
本節(jié)繼續(xù)和大家一起學(xué)習(xí)利用Cloudera實(shí)現(xiàn)Hadoop 方法，上節(jié)我們介紹了利用Cloudera實(shí)現(xiàn)Hadoop 的規(guī)劃，本節(jié)就詳細(xì)介紹一下其安裝設(shè)置，希望本節(jié)的介紹對(duì)你的學(xué)習(xí)有所幫助。
利用 Cloudera 實(shí)現(xiàn)Hadoop
安裝
規(guī)劃好了就開(kāi)始安裝Hadoop，如前言中所說(shuō)使用Cloudera的Hadoop發(fā)布版安裝Hadoop是十分方便的，首先當(dāng)然是在每臺(tái)主機(jī)上一個(gè)干凈的操作系統(tǒng)（我用的是Ubuntu 8.04，用戶設(shè)為Hadoop，其它的版本應(yīng)該差不多），然后就是安裝Hadoop了（這樣安裝的是Hadoop-0.20，也可以安裝Hadoop- 0.18的版本，反正安裝步驟都差不多。注意，不能同時(shí)啟用Hadoop-0.20和Hadoop-0.18）。由于每臺(tái)機(jī)器安裝步驟都一樣，這里就寫出了一臺(tái)主機(jī)的安裝步驟，主要分為以下幾個(gè)步驟：
設(shè)置Cloudera的源
生成Cloudera源文件（這里采用的是Hadoop-0.20版本）：
sudo vi /etc/apt/sources.list.d/cloudera.list#穩(wěn)定版（Hadoop-0.18）#deb http://archive.cloudera.com/debian hardy-stable contrib#deb-src http://archive.cloudera.com/debian hardy-stable contrib#測(cè)試版（Hadoop-0.20）deb http://archive.cloudera.com/debian hardy-testing contribdeb-src http://archive.cloudera.com/debian hardy-testing contrib生成源的密鑰：
sudo apt-get install curlcurl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -
安裝Hadoop
更新源包索引：
sudo apt-get updatesudo apt-get dist-upgrade安裝Hadoop：
sudo apt-get install hadoop-0.20 hadoop-0.20-conf-pseudo
部署
安裝好這幾臺(tái)主機(jī)的Hadoop環(huán)境之后，如果要實(shí)現(xiàn)Hadoop 還要對(duì)它們進(jìn)行分布式運(yùn)行模式的部署了，首先是設(shè)置它們之間的互聯(lián)。
主機(jī)互聯(lián)
Hadoop環(huán)境中的互聯(lián)是指各主機(jī)之間網(wǎng)絡(luò)暢通，機(jī)器名與IP地址之間解析正常，可以從任一主機(jī)ping通其它主機(jī)的主機(jī)名。注意，這里指的是主機(jī)名，即在Hadoop-01主機(jī)上可以通過(guò)命令ping Hadoop-02來(lái)ping通Hadoop-02主機(jī)（同理，要求這幾臺(tái)主機(jī)都能相互Ping通各自的主機(jī)名）?？梢酝ㄟ^(guò)在各主機(jī)的/etc /hosts文件來(lái)實(shí)現(xiàn)，具體設(shè)置如下：
sudo vi /etc/hosts127.0.0.1 localhost10.x.253.201 hadoop-01 hadoop-0110.x.253.202 hadoop-02 hadoop-0210.x.253.203 hadoop-03 hadoop-0310.x.253.204 hadoop-04 hadoop-0410.x.3.30 firehare-303 firehare-303將每個(gè)主機(jī)的hosts文件都改成上述設(shè)置，這樣就實(shí)現(xiàn)了主機(jī)間使用主機(jī)名互聯(lián)的要求。
注：如果深究起來(lái)，并不是所有的主機(jī)都需要知道Hadoop環(huán)境中其它主機(jī)主機(jī)名的。其實(shí)只是作為主節(jié)點(diǎn)的主機(jī)（如NameNode、 JobTracker），需要在該主節(jié)點(diǎn)hosts文件中加上Hadoop環(huán)境中所有機(jī)器的IP地址及其對(duì)應(yīng)的主機(jī)名，如果該臺(tái)機(jī)器作Datanode 用，則只需要在hosts文件中加上本機(jī)和主節(jié)點(diǎn)機(jī)器的IP地址與主機(jī)名即可（至于JobTracker主機(jī)是否也要同NameNode主機(jī)一樣加上所有機(jī)器的IP和主機(jī)名，本人由于沒(méi)有環(huán)境，不敢妄言，但猜想是要加的，如果哪位兄弟有興趣，倒是不妨一試）。在這里只是由于要作測(cè)試，作為主節(jié)點(diǎn)的主機(jī)可能會(huì)改變，加上本人比較懶，所以就全加上了。:) 下面看一下Cloudera實(shí)現(xiàn)Hadoop 時(shí)的相關(guān)設(shè)置。
計(jì)算機(jī)帳號(hào)設(shè)置
Hadoop要求所有機(jī)器上hadoop的部署目錄結(jié)構(gòu)要相同，并且都有一個(gè)相同用戶名的帳戶。由于這里采用的是Cloudera發(fā)布的Hadoop包，所以并不需要這方面的設(shè)置，大家了解一下即可。
SSH設(shè)置
在 Hadoop 分布式環(huán)境中，主節(jié)點(diǎn)(NameNode、JobTracker) 需要通過(guò) SSH 來(lái)啟動(dòng)和停止從節(jié)點(diǎn)(DataNode、TeskTracker)上的各類進(jìn)程。因此需要保證環(huán)境中的各臺(tái)機(jī)器均可以通過(guò) SSH 登錄訪問(wèn)，并且主節(jié)點(diǎn)用 SSH 登錄從節(jié)點(diǎn)時(shí)，不需要輸入密碼，這樣主節(jié)點(diǎn)才能在后臺(tái)自如地控制其它結(jié)點(diǎn)?？梢詫⒏髋_(tái)機(jī)器上的 SSH 配置為使用無(wú)密碼公鑰認(rèn)證方式來(lái)實(shí)現(xiàn)。 Ubuntu上的SSH協(xié)議的開(kāi)源實(shí)現(xiàn)是OpenSSH, 缺省狀態(tài)下是沒(méi)有安裝的，如需使用需要進(jìn)行安裝。下面再來(lái)看一下利用Cloudera實(shí)現(xiàn)Hadoop 過(guò)程中如何安裝OpenSSH。
安裝OpenSSH
安裝OpenSSH很簡(jiǎn)單，只需要下列命令就可以把openssh-client和openssh-server給安裝好： sudo apt-get install ssh
設(shè)置OpenSSH的無(wú)密碼公鑰認(rèn)證
首先在Hadoop-01機(jī)器上執(zhí)行以下命令：
hadoop@hadoop-01:~$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):Enter passphrase (empty for no passphrase):（在這里直接回車）Enter same passphrase again:（在這里直接回車）Your identification has been saved in /home/hadoop/.ssh/id_rsa.Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.The key fingerprint is:9d:42:04:26:00:51:c7:4e:2f:7e:38:dd:93:1c:a2:d6 hadoop@hadoop-01上述命令將為主機(jī)hadoops-01上的當(dāng)前用戶hadoop生成其密鑰對(duì)，該密鑰對(duì)被保存在/home/hadoop/.ssh/id_rsa 文件中，同時(shí)命令所生成的證書以及公鑰也保存在該文件所在的目錄中（在這里是：/home/hadoop/.ssh），并形成兩個(gè)文件 id_rsa，id_rsa.pub。然后將 id_rsa.pub 文件的內(nèi)容復(fù)制到每臺(tái)主機(jī)(其中包括本機(jī)hadoop-01)的/home/hadoop/.ssh/authorized_keys文件的尾部，如果該文件不存在，可手工創(chuàng)建一個(gè)。
注意：id_rsa.pub 文件的內(nèi)容是長(zhǎng)長(zhǎng)的一行，復(fù)制時(shí)不要遺漏字符或混入了多余換行符。
無(wú)密碼公鑰SSH的連接測(cè)試
從 hadoop-01 分別向 hadoop-01, hadoop-04, firehare-303 發(fā)起 SSH 連接請(qǐng)求，確保不需要輸入密碼就能 SSH 連接成功。注意***次 SSH 連接時(shí)會(huì)出現(xiàn)類似如下提示的信息：
The authenticity of host [hadoop-01] can't be established. The key fingerprint is: c8:c2:b2:d0:29:29:1a:e3:ec:d9:4a:47:98:29:b4:48 Are you sure you want to continue connecting (yes/no)?請(qǐng)輸入 yes, 這樣 OpenSSH 會(huì)把連接過(guò)來(lái)的這臺(tái)主機(jī)的信息自動(dòng)加到 /home/hadoop/.ssh/know_hosts 文件中去，第二次再連接時(shí)，就不會(huì)有這樣的提示信息了。本節(jié)關(guān)于利用Cloudera實(shí)現(xiàn)Hadoop 的內(nèi)容就介紹到這里。
【編輯推薦】
