Hadoop命令你是否熟悉，本節(jié)就像大家簡(jiǎn)單介紹一下常見(jiàn)Hadoop Shell命令方面的知識(shí)，歡迎大家一起來(lái)學(xué)習(xí)，希望通過(guò)本節(jié)的介紹大家對(duì)Hadoop Shell命令有更深刻的認(rèn)識(shí)。

Hadoop Shell命令

FSShell

調(diào)用文件系統(tǒng)(FS)Shell命令應(yīng)使用bin/hadoopfs<args>的形式。所有的的FSshell命令使用URI路徑作為參數(shù)。URI格式是scheme://authority/path。對(duì)HDFS文件系統(tǒng)，scheme是hdfs，對(duì)本地文件系統(tǒng)，scheme是file。其中scheme和authority參數(shù)都是可選的，如果未加指定，就會(huì)使用配置中指定的默認(rèn)scheme。一個(gè)HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更簡(jiǎn)單的/parent/child（假設(shè)你配置文件中的默認(rèn)值是namenode:namenodeport）。大多數(shù)FSShell命令的行為和對(duì)應(yīng)的UnixShell命令類(lèi)似，不同之處會(huì)在下面介紹各命令使用詳情時(shí)指出。出錯(cuò)信息會(huì)輸出到stderr，其他信息輸出到stdout。

cat
使用方法：hadoopfs-catURI[URI…]
將路徑指定文件的內(nèi)容輸出到stdout。
示例：
hadoopfs-cathdfs://host1:port1/file1hdfs://host2:port2/file2
hadoopfs-catfile:///file3/user/hadoop/file4
返回值：
成功返回0，失敗返回-1。

copyFromLocal
使用方法：hadoopfs-copyFromLocal<localsrc>URI除了限定源路徑是一個(gè)本地文件外，和put命令相似。

copyToLocal
使用方法：hadoopfs-copyToLocal[-ignorecrc][-crc]URI<localdst>
除了限定目標(biāo)路徑是一個(gè)本地文件外，和get命令類(lèi)似。

cp
使用方法：hadoopfs-cpURI[URI…]<dest>
將文件從源路徑復(fù)制到目標(biāo)路徑。這個(gè)Hadoop Shell命令允許有多個(gè)源路徑，此時(shí)目標(biāo)路徑必須是一個(gè)目錄。
示例：
hadoopfs-cp/user/hadoop/file1/user/hadoop/file2
hadoopfs-cp/user/hadoop/file1/user/hadoop/file2/user/hadoop/dir
返回值：
成功返回0，失敗返回-1。

du
使用方法：hadoopfs-duURI[URI…]
此Hadoop Shell命令顯示目錄中所有文件的大小，或者當(dāng)只指定一個(gè)文件時(shí)，顯示此文件的大小。
示例：
hadoopfs-du/user/hadoop/dir1/user/hadoop/file1hdfs://host:port/user/hadoop/dir1
返回值：
成功返回0，失敗返回-1。

dus
使用方法：hadoopfs-dus<args>
顯示文件的大小。

expunge
使用方法：hadoopfs-expunge
清空回收站。請(qǐng)參考HDFS設(shè)計(jì)文檔以獲取更多關(guān)于回收站特性的信息。

get
使用方法：hadoopfs-get[-ignorecrc][-crc]<src><localdst>
復(fù)制文件到本地文件系統(tǒng)?？捎?ignorecrc選項(xiàng)復(fù)制CRC校驗(yàn)失敗的文件。使用-crc選項(xiàng)復(fù)制文件以及CRC信息。
示例：
hadoopfs-get/user/hadoop/filelocalfile
hadoopfs-gethdfs://host:port/user/hadoop/filelocalfile
返回值：
成功返回0，失敗返回-1。Hadoop Shell命令還有很多，這里只介紹了其中的一部分。

【編輯推薦】

1. 輕松實(shí)現(xiàn)Hadoop Hdfs配置
2. 專(zhuān)家指導(dǎo) 如何進(jìn)行Hadoop分布式集群配置
3. Hadoop集群與Hadoop性能優(yōu)化
4. HadoopHBase實(shí)現(xiàn)配置簡(jiǎn)單的單機(jī)環(huán)境
5. 深入剖析Hadoop HBase