專家推薦 Hadoop0.20.2集群配置指導(dǎo)手冊
本節(jié)和大家一起繼續(xù)學(xué)習(xí)有關(guān)Hadoop0.20.2集群配置方面的內(nèi)容,上節(jié)我們介紹到Hadoop的配置,接下來該啟動Hadoop了。歡迎大家一起來學(xué)習(xí)Hadoop0.20.2集群配置的方法,相信通過本節(jié)的介紹大家對如何進(jìn)行Hadoop0.20.2集群配置有一定的認(rèn)識。
一、hadoop啟動
先格式化一個新的分布式文件系統(tǒng)
$cdhadoop-0.20.2
$bin/hadoopnamenode-format
查看輸出保證分布式文件系統(tǒng)格式化成功。
Hadoop0.20.2集群配置過程中在主節(jié)點(diǎn)master上面啟動hadoop,主節(jié)點(diǎn)會啟動所有從節(jié)點(diǎn)的hadoop。
$bin/start-all.sh
從主節(jié)點(diǎn)master關(guān)閉hadoop,主節(jié)點(diǎn)會關(guān)閉所有從節(jié)點(diǎn)的hadoop。
$bin/stop-all.sh
Hadoop守護(hù)進(jìn)程的日志寫入到${HADOOP_LOG_DIR}目錄(默認(rèn)是${HADOOP_HOME}/logs).
瀏覽NameNode和JobTracker的網(wǎng)絡(luò)接口,它們的地址默認(rèn)為:
NameNode-http://master:50070/
JobTracker-http://master:50030/
將輸入文件拷貝到分布式文件系統(tǒng):$bin/hadoopfs-putconfinput
運(yùn)行發(fā)行版提供的示例程序:$bin/hadoopjarhadoop-0.20.2-examples.jargrepinputoutput'dfs[a-z.]+'
查看輸出文件:
將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看:
$bin/hadoopfs-getoutputoutput
$catoutput/*
或者
在分布式文件系統(tǒng)上查看輸出文件:$bin/hadoopfs-catoutput/*
啟動運(yùn)行成功后,可以多熟悉熟悉hadoopdfs命令,例如:
hadoopdfs–ls查看/usr/root目錄下的內(nèi)容,默認(rèn)如果不填路徑這就是當(dāng)前用戶路徑;
hadoopdfs–rmrxxxxxx就是刪除目錄;
hadoopdfsadmin-report這個命令可以全局的查看DataNode的情況;
hadoopjob-list后面增加參數(shù)是對于當(dāng)前運(yùn)行的Job的操作,例如list,kill等;
hadoopbalancer均衡磁盤負(fù)載的命令。本節(jié)關(guān)于Hadoop0.20.2集群配置方面的內(nèi)容就介紹到這里。
【編輯推薦】
- Hadoop0.20.2集群配置入門指導(dǎo)手冊
- Hadoop集群配置全程跟蹤報(bào)道
- 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設(shè)計(jì)
- 兩種模式運(yùn)行Hadoop分布式并行程序
- 輕松實(shí)現(xiàn)Hadoop Hdfs配置