Hadoop集群內(nèi)lzo的安裝與配置
為了配合部門(mén)hadoop平臺(tái)測(cè)試，作者詳細(xì)的介紹了如何在Hadoop平臺(tái)下安裝lzo所需要軟件包：gcc、ant、lzo、lzo編碼/解碼器并配置lzo的文件：core-site.xml、mapred-site.xml。希望對(duì)大家有所幫助。以下是正文：
最近我們部門(mén)在測(cè)試云計(jì)算平臺(tái)hadoop，我被lzo折騰了三四天，累了個(gè)夠嗆。在此總結(jié)一下，也給大家做個(gè)參考。
操作系統(tǒng)：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4
安裝lzo所需要軟件包：gcc、ant、lzo、lzo編碼/解碼器，另外，還需要lzo-devel依賴(lài)
配置lzo的文件：core-site.xml、mapred-site.xml
大致步驟：
1)安裝和更新gcc、ant
2)在各個(gè)節(jié)點(diǎn)安裝lzo
3)安裝lzo編碼/解碼器
4)修改配置文件，并同步各節(jié)點(diǎn)的配置文件
注：沒(méi)有特別指出的話，所有操作都是在Namenode中進(jìn)行的
一、lzo安裝：
1、gcc的安裝：yum即可，記得同時(shí)更新lib*、glibc*、gcc*
2、ant的安裝：
刪除舊版本：yum remove ant
安裝新版本：
wget http://mirror.bjtu.edu.cn/apache//ant/binaries/apache-ant-1.8.2-bin.tar.bz2 tar -jxvf apache-ant-1.8.2-bin.tar.bz2
添加ant的環(huán)境變量：
vi /etc/profile export ANT_HOME=/usr/local/apache-ant-1.8.2 export PATH=$PATH:$ANT_HOME/bin source /etc/profile
3、lzo的安裝：
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz tar -zxvf lzo-2.04.tar.gz ./configure --enable-shared make && make install
庫(kù)文件被默認(rèn)安裝到了/usr/local/lib，我們需要進(jìn)一步指定lzo庫(kù)文件的路徑，兩個(gè)方法都可以：
1)拷貝/usr/local/lib目錄下的lzo庫(kù)文件到/usr/lib(32位平臺(tái))，或/usr/lib64(64位平臺(tái))
2)在/etc/ld.so.conf.d/目錄下新建lzo.conf文件，寫(xiě)入lzo庫(kù)文件的路徑，然后運(yùn)行/sbin/ldconfig -v，使配置生效
4、在各個(gè)節(jié)點(diǎn)安裝lzo：
這句話本可以一筆帶過(guò)，但我把它單獨(dú)列出作為一步，就是要提醒大家：Namenode和Datanode都要安裝lzo!
所需軟件包：gcc、ant、lzo-2.04.tar.gz、lzo-2.04-1.el5.rf.i386.rpm、lzo-devel-2.04-1.el5.rf.i386.rpm
安裝過(guò)程：略
調(diào)整庫(kù)文件路徑：略
5、lzo編碼/解碼器的安裝：
這里必須要說(shuō)明：如果hadoop是cloudera版的，那么lzo編碼/解碼器就不要用google官方的那個(gè)!
到這里下載：https://github.com/kevinweil/hadoop-lzo。我曾經(jīng)被官方那個(gè)東西郁悶了很久，搜索了大量資料，最后搞明白。
wget https://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz cd kevinweil-hadoop-lzo-2ad6654 ant compile-native tar
編譯失?。?/p>
make: *** [impl/lzo/LzoCompressor.lo] Error 1
解決方法參考：http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/issues/detail?id=18&redir=1
我這里是由于缺少lzo-devel依賴(lài)的原因，lzo-devel有l(wèi)zo- 2.04-1.el5.rf的依賴(lài)：
wget http://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm rpm -ivh lzo-2.04-1.el5.rf.i386.rpm rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm
重新ant compile-native tar，編譯成功!
編譯成功后，還需要把編碼/解碼器以及native庫(kù)拷貝到$HADOOP_HOME/lib目錄下，拷貝操作請(qǐng)參考google的官方文檔：
cp build/hadoop-lzo-0.4.10.jar /home/hadoop/hadoop-0.20.2-CDH3B4/lib/ tar -cBf - -C build/native . | tar -xBvf - -C home/hadoop/hadoop-0.20.2-CDH3B4/lib/native cd /home/hadoop/hadoop-0.20.2-CDH3B4/lib/ chown -R hdfs:hadoop native/
6、同步各節(jié)點(diǎn)的hadoop-lzo-0.4.10.jar和hadoop的native目錄
這里有一點(diǎn)要說(shuō)明，由于某種原因，我把它們也拷貝到了hbase的相應(yīng)目錄下，但我認(rèn)為其實(shí)是不需要拷貝的。
當(dāng)初在集群內(nèi)測(cè)試lzo時(shí)，遇到了問(wèn)題，我以為hbase也需要hadoop-lzo-0.4.10.jar和hadoop的native目錄，就把它們拷貝到了hbase。后來(lái)問(wèn)題解決，發(fā)現(xiàn)不是hbase的原因，但我最終沒(méi)有在hbase里刪除它們。所以，是否有必要把它們也拷貝到hbase，有待于大家親自測(cè)試。#p#
二、配置lzo：
1、主要是往hadoop目錄下conf目錄中的core-site.xml和mapred-site.xml文件添加一些屬性：
vi core-site.xml：
<property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.Gzip Codec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property>
vi mapred-site.xml：
<property> <name>mapreduce.map.output.compress</name> <value>true</value> </property> <property> <name>mapred.child.env</name> <value>JAVA_LIBRARY_PATH=/home/hdfs/hadoop-0.20.2-CDH3B4/lib/native/Linux-amd64-64</value> </property> <property> <name>mapreduce.map.output.compress.codec</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property>
2、同步各節(jié)點(diǎn)的配置文件!
三、hadoop集群內(nèi)測(cè)試lzo：
首先，安裝lzop，生成一些lzo文件，然后上傳到hdfs，供我們的開(kāi)發(fā)人員在hive中直接調(diào)用。
lzo前面已經(jīng)安裝，lzo庫(kù)文件的路徑也已經(jīng)調(diào)整，現(xiàn)在只要安裝lzop就可以了：
wget http://www.lzop.org/download/lzop-1.03.tar.gz tar -zxvf lzop-1.03 cd lzop-1.03 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/ lib ./configure make && make install
要說(shuō)明的是，在指定LD_LIBRARY_PATH時(shí)，我沒(méi)有使用官方幫助文檔中的寫(xiě)法，因?yàn)槟莻€(gè)寫(xiě)法在編譯時(shí)老出錯(cuò)，不知什么原因。
lzop -U -9 66_22_2011-04-14.txt $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/hdfs/66_22_2011-04-14.txt.lzo /user/s3/ifocus
Failed with exception java.io.IOException:java.lang.RuntimeException: native-lzo library not available
這個(gè)錯(cuò)誤，困住了我整整兩天!試了各種方法都不行，期間的辛苦自不必待言，直到我看到一個(gè)網(wǎng)頁(yè)：http://sudhirvn.blogspot.com/2010/08/hadoop-lzo-installation-errors-and.html。(注：訪問(wèn)該網(wǎng)頁(yè)需要用代理。萬(wàn)惡的網(wǎng)絡(luò)管制!)
頁(yè)面的最下方，有這樣一句話：So, I just deleted the hadoop-gpl-compression and everything started working.于是，我刪除了$HADOOP_HOME/lib目錄下的hadoop-gpl-compression-0.1.0.jar，終于，everything is OK!
所以，如果你也像我一樣，做了所有該做的事情，但是調(diào)用lzo時(shí)還是會(huì)出現(xiàn)native-lzo library not available的錯(cuò)誤，請(qǐng)檢查你的$HADOOP_HOME/lib目錄下是否有g(shù)oogle官方的那個(gè)lzo編碼/解碼器!
原文：http://share.blog.51cto.com/278008/549393
【編輯推薦】
