1、 课程简介
- HDFS是Hadoop大数据平台中的分布式文件系统，为上层应用或其他大数据组件提供数据存储，如Hive，Mapreduce，Spark，HBase等。
- 本文章中所有命令均在CentOS-6.4-x86_64，hadoop-2.5.2，jdk1.8.0_152，zookeeper-3.4.11中运行通过，为减少linux权限对初学者造成影响，所有命令均在linux的root权限下进行操作。
2、理论回顾
- Hadoop技术本身包含HDFS、Map/Reduce。HDFS作海量数据存储之用；M/R作海量数据计算之用。
- HDFS包含namenode、datanode。namenode对datanode中的数据建立了索引。
- zookeeper作为协调服务，为namenode提供了高可用性。
3、基本操作
注意："# ./hdfs dfs -ls /"命令前的"#"代表当前登录用户是root。运行路径位于hadoop目录中的bin文件夹下。命令中的"."代表当前目录。命令中涉及的info文件需要提前创建好。如下图所示：
创新互联主要从事成都网站设计、
成都做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务佛山,10余年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:13518219792
3.1 -ls 功能：显示目录信息。
# ./hdfs dfs -ls /
drwxr-xr-x - root supergroup 0 2018-07-30 00:09 /hbase
drwxr-xr-x - root supergroup 0 2018-06-23 15:22 /output
drwx------ - root supergroup 0 2018-07-31 00:32 /tmp
drwxr-xr-x - root supergroup 0 2018-07-31 00:41 /user
-rw-r--r-- 2 root supergroup 77 2018-04-22 02:34 /wordcount
3.2 -mkdir 功能：在HDFS文件系统上创建目录。
# ./hdfs dfs -mkdir /wanhe
# ./hdfs dfs -ls /
drwxr-xr-x - root supergroup 0 2018-07-30 00:09 /hbase
drwxr-xr-x - root supergroup 0 2018-06-23 15:22 /output
drwx------ - root supergroup 0 2018-07-31 00:32 /tmp
drwxr-xr-x - root supergroup 0 2018-07-31 00:41 /user
drwxr-xr-x - root supergroup 0 2018-09-12 18:00 /wanhe
-rw-r--r-- 2 root supergroup 77 2018-04-22 02:34 /wordcount
3.3 -put 功能：上传本地文件到HDFS指定目录。
# ./hdfs dfs -put info /wanhe
# ./hdfs dfs -ls /wanhe
-rw-r--r-- 2 root supergroup 38 2018-09-12 18:10 /wanhe/info
3.4 -get 功能：从hdfs下载文件到本地。
# rm -rf info
# ls
container-executor hadoop hadoop.cmd hdfs hdfs.cmd mapred mapred.cmd rcc test-container-executor yarn yarn.cmd
# ./hdfs dfs -get /wanhe/info ./
# ls
container-executor hadoop hadoop.cmd hdfs hdfs.cmd info mapred mapred.cmd rcc test-container-executor yarn yarn.cmd
3.5 -rm 功能：从HDFS删除文件。
# ./hdfs dfs -rm /wanhe/info
# ./hdfs dfs -ls /wanhe
空
3.6 -moveFromLocal 功能：剪切本地文件到HDFS
# ./hdfs dfs -moveFromLocal info /wanhe
# ./hdfs dfs -ls /wanhe
-rw-r--r-- 2 root supergroup 38 2018-09-12 22:04 /wanhe/info
# ls
container-executor hadoop hadoop.cmd hdfs hdfs.cmd mapred mapred.cmd rcc test-container-executor yarn yarn.cmd
3.7 -cat 功能：显示文件内容。
# ./hdfs dfs -cat /wanhe/info
jiangsuwanhe
3.8 -appendToFile 功能：在文件末尾追加数据。
# ./hdfs dfs -appendToFile info /wanhe/info
# ./hdfs dfs -cat /wanhe/info
jiangsuwanhe
jiangsuwanhe
3.9 -chmod 功能：更改文件所属权限。
# ./hdfs dfs -ls /wanhe
-rw-r--r-- 2 root supergroup 51 2018-09-12 22:13 /wanhe/info
# ./hdfs dfs -chmod 777 /wanhe/info
# ./hdfs dfs -ls /wanhe
-rwxrwxrwx 2 root supergroup 51 2018-09-12 22:13 /wanhe/info
3.10 -cp 功能：实现文件的拷贝。
将/wanhe/info拷贝到/tmp下：
# ./hdfs dfs -cp /wanhe/info /tmp/
# ./hdfs dfs -ls /tmp
-rw-r--r-- 2 root supergroup 51 2018-09-12 22:20 /tmp/info
3.11 -mv 功能：移动文件。
将/wanhe/info移动到 /user下
# ./hdfs dfs -mv /wanhe/info /user/
# ./hdfs dfs -ls /wanhe
空
# ./hdfs dfs -ls /user
-rwxrwxrwx 2 root supergroup 51 2018-09-12 22:13 /user/info
3.12 -df 功能：统计文件系统的可用空间信息。
# ./hdfs dfs -df -h /
Filesystem Size Used Available Use%
hdfs://master:9000 17.5 G 352 K 11.4 G 0%
3.13 -du 功能：统计文件夹的大小信息。
# ./hdfs dfs -du /user
51 /user/info
3.14 -count 功能： 统计一个指定目录下的文件数量。
# ./hdfs dfs -count /user
2 1 51 /user
第一列2表示/user/下文件夹的数量，第二列1表示/user/下文件的个数。51表示/user/目录下所有文件占用的磁盘容量（不计算副本个数）。
4、总结
HDFS中的命令行操作类似于linux命令，熟练使用linux命令便可以熟练的使用命令行操作HDFS。后面我们将连载大数据系列博客，欢迎关注和交流。
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
本文题目：大数据之HDFS命令行基本操作-创新互联
标题路径：
http://cdkjz.cn/article/pcosi.html
