1. 显示当前目录结构
创新互联建站服务项目包括东昌府网站建设、
东昌府网站制作、东昌府网页制作以及东昌府网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，
东昌府网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到东昌府省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！
# 显示当前目录结构
hadoop fs -ls
# 递归显示当前目录结构
hadoop fs -ls -R
# 显示根目录下内容
hadoop fs -ls /
2. 创建目录
# 创建目录
hadoop fs -mkdir
# 递归创建目录
hadoop fs -mkdir -p
3. 删除操作
# 删除文件
hadoop fs -rm
# 递归删除目录和文件
hadoop fs -rm -R
4. 从本地加载文件到 HDFS
# 二选一执行即可
hadoop fs -put [localsrc] [dst]
hadoop fs - copyFromLocal [localsrc] [dst]
5. 从 HDFS 导出文件到本地
# 二选一执行即可
hadoop fs -get [dst] [localsrc]
hadoop fs -copyToLocal [dst] [localsrc]
6. 查看文件内容
# 二选一执行即可
hadoop fs -text
hadoop fs -cat
7. 显示文件的最后一千字节
hadoop fs -tail
# 和Linux下一样，会持续监听文件内容变化 并显示文件的最后一千字节
hadoop fs -tail -f
8. 拷贝文件
hadoop fs -cp [src] [dst]
9. 移动文件
hadoop fs -mv [src] [dst]
10. 统计当前目录下各文件大小
- 默认单位字节
- -s : 显示所有文件大小总和，
- -h : 将以更友好的方式显示文件大小（例如 64.0m 而不是 67108864）
hadoop fs -du
11. 合并下载多个文件
- -nl 在每个文件的末尾添加换行符（LF）
- -skip-empty-file 跳过空文件
hadoop fs -getmerge
# 示例 将HDFS上的hbase-policy.xml和hbase-site.xml文件合并后下载到本地的/usr/test.xml
hadoop fs -getmerge -nl /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml
12. 统计文件系统的可用空间信息
hadoop fs -df -h /
13. 更改文件复制因子
hadoop fs -setrep [-R] [-w]
- 更改文件的复制因子。如果 path 是目录，则更改其下所有文件的复制因子
- -w : 请求命令是否等待复制完成
# 示例
hadoop fs -setrep -w 3 /user/hadoop/dir1
14. 权限控制
# 权限控制和Linux上使用方式一致
# 变更文件或目录的所属群组。 用户必须是文件的所有者或超级用户。
hadoop fs -chgrp [-R] GROUP URI [URI ...]
# 修改文件或目录的访问权限 用户必须是文件的所有者或超级用户。
hadoop fs -chmod [-R] URI [URI ...]
# 修改文件的拥有者 用户必须是超级用户。
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
15. 文件检测
hadoop fs -test - [defsz] URI
可选选项：
- -d：如果路径是目录，返回 0。
- -e：如果路径存在，则返回 0。
- -f：如果路径是文件，则返回 0。
- -s：如果路径不为空，则返回 0。
- -r：如果路径存在且授予读权限，则返回 0。
- -w：如果路径存在且授予写入权限，则返回 0。
- -z：如果文件长度为零，则返回 0。
# 示例
hadoop fs -test -e filename
更多大数据系列文章可以参见 GitHub 开源项目： 大数据入门指南
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
文章标题：Hadoop系列（六）——HDFS常用Shell命令-创新互联
分享地址：
http://cdkjz.cn/article/dcehcp.html
