hadoop常用命令
- 集群节点服务启停
- hdfs文件系统管理
- yarn资源集群管理
- hadoop启动过程
集群节点服务启停
如图所示脚本所在路径：主要分类类命令：管理hdfs和管理yarn资源
服务启动方式：分别启动各节点服务、集群脚本启动整个服务。
站在用户的角度思考问题，与客户深入沟通，找到振兴网站设计与振兴网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都网站制作、成都网站设计、外贸营销网站建设、企业官网、英文网站、手机端网站、网站推广、域名注册、雅安服务器托管、企业邮箱。业务覆盖振兴地区。- 单独启停nn、dn服务
hadoop-daemon.sh namenode | datanode | journalnode |zkfc
hadoop-daemons.sh namenode | datanode |z kfc#表示启动集群内所有dn/nn服务
- 启动yarn服务
yarn-daemon.sh start |stop resourcemanager | nodemanager | proxyserver
yarn-daemons.sh start |stop resourcemanager | nodemanager | proxyserver #表示启动yarn集群内所有rm/nm等服务
- 启动MapReduce任务历史服务
mr-jobhistory-daemon.sh start | stop historyserver
[root@hadoop1 ~]# hadoop-daemons.sh start journalnode
hadoop1: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop1.out
hadoop2: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop2.out
hadoop3: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop3.out
[root@hadoop1 ~]# jps
1628 JournalNode
1663 Jps
[root@hadoop1 ~]# ssh hadoop2 jps
1513 Jps
1452 JournalNode
[root@hadoop1 ~]# ssh hadoop3 jps
1473 Jps
1412 JournalNode
- 脚本管理所有服务：需要配置ssh互信以及配置slaves文件
start-dfs.sh | stop-dfs.sh #启停所有hdfs服务
start-yarn.sh | stop-yarn.sh #启停所有yarn服务
start-all.sh | stop-all.sh #可以启停所有hdfs、yarn服务，这两个脚本即将废弃，建议使用上面两个脚本管理服务。
- hdfs文件系统管理
- hadoop命令使用
Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
fs run a generic filesystem user client#运行一个文件系统客户端
version print the version #查看版本信息
jar run a jar file #运行jar文件，注使用**yarn jar**运行yarn应用
distcp #递归复制文件或目录；DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成
archive -archiveName NAME -p * #创建hadoop归档文件
classpath #列出所需要的类库
bash$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo
- 用户文件系统管理相关命令：操作基本类似Linux
[root@hadoop2 ~]# hadoop/hdfs fs
Usage: hadoop fs [generic options]
[-cat [-ignoreCrc] ...] #查看文件内容
[-checksum ...] #查看文件校验码
[-chgrp [-R] GROUP PATH...] #修改文件属组
[-chmod [-R] PATH...] #修改文件权限
[-chown [-R] [OWNER][:[GROUP]] PATH...] #修改文件属主或属组
[-copyFromLocal [-f] [-p] [-l] ... ] #复制本地文件到hdfs文件系统，类似put命令
[-copyToLocal [-p] [-ignoreCrc] [-crc] ... ] #复制hdfs文件到本地，类似get命令
[-cp [-f] [-p | -p[topax]] ... ] #允许多源复制操作 ，目标路径必须是目录
[-createSnapshot []] #创建快照
[-deleteSnapshot ] #删除快照
[-df [-h] [ ...]] #显示文件系统使用空间
[-du [-s] [-h] ...] #显示某个目录内包含的文件的大小，目录占用空间大小，与Linux命令一样
[-find ... ...] #查找文件
[-get [-p] [-ignoreCrc] [-crc] ... ]
[-getfacl [-R] ]
[-getfattr [-R] {-n name | -d} [-e en] ]
[-help [cmd ...]] #查看帮助
[-ls [-d] [-h] [-R] [ ...]] #替代“hadoop fs -ls -R”
[-mkdir [-p] ...] #创建目录
[-moveFromLocal ... ]
[-moveToLocal ]
[-mv ... ]
[-put [-f] [-p] [-l] ... ]
[-renameSnapshot ]
[-rm [-f] [-r|-R] [-skipTrash] ...]
[-rmdir [--ignore-fail-on-non-empty] ...]
[-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set ]]
[-setfattr {-n name [-v value] | -x name} ]
[-stat [format] ...]
[-tail [-f] ]
[-test -[defsz] ] #测试命令 ，-d是否为目录，-e文件是否存在，-z是否为空文件，用法一样
[-text [-ignoreCrc] ...]
[-touchz ...] #创建 0字节空文件
[-truncate [-w] ...]
[-usage [cmd ...]] #查看命令的用法
- hdfs管理命令
[root@hadoop2 ~]# hdfs haadmin # dfs管理客户端，查看hdfs状态集群
Usage: haadmin
[-transitionToActive [--forceactive] ]
[-transitionToStandby ]
[-failover [--forcefence] [--forceactive] ] #以上3条关于手动故障转移命令
[-getServiceState ] #查看nn节点处active还是standby状态
[-checkHealth ] #检查nn节点是否健康
[-help ] #查看命令帮助
Usage: hdfs dfsadmin ：Note: hdfs超级管理员才能够运行该命令
[-report [-live] [-dead] [-decommissioning]] #报告文件系统的基本信息和统计信息
[-safemode ] #安全模式维护命令。安全模式是Namenode的一个状态， 不接受对名字空间的更改(只读)、 不复制或删除块
[-saveNamespace] #保存当前名称空间到存储目录，开始新edit-log，需要安全模式
[-rollEdits]
[-restoreFailedStorage true|false|check]
[-refreshNodes] #重新读取hosts和exclude文件，更新允许连到NN的那些需要退出或新加入的Datanode。
[-setQuota ...] #限制一个目录包含最多子目录和文件
#hdfs dfsadmin -setQuota 1t /user/dirname
[-clrQuota ...]
[-setSpaceQuota [-storageType ] ...] #设置一个目录最多使用空间
[-clrSpaceQuota [-storageType ] ...]
[-refreshServiceAcl]
[-refreshUserToGroupsMappings]
[-refreshSuperUserGroupsConfiguration]
[-refreshCallQueue] #刷新请求队列
[-refresh [arg1..argn]
[-reconfig ] #将datanode节点重新加入集群
[-refreshNamenodes datanode_host:ipc_port]
[-deleteBlockPool datanode_host:ipc_port blockpoolId [force]]
[-setBalancerBandwidth ]
[-fetchImage ]
[-allowSnapshot ] #某目录允许快照才可以进行快照
[-disallowSnapshot ]
[-shutdownDatanode [upgrade]]
[-getDatanodeInfo ]
[-metasave filename]
- 数据块重新分布，Ctrl-C来停止平衡过程
hadoop balancer [-threshold ] # 磁盘容量的百分比
hdfs达到平衡状态达到磁盘使用率偏差值，值越低越平衡，但消耗时间也越长。
- yarn资源集群管理
[root@hadoop2 ~]# yarn rmadmin #resourcemanager 客户端
Usage: yarn rmadmin
-refreshQueues #重载队列的acl、状态及调度器队列
-refreshNodes #为RM刷新主机信息
-refreshSuperUserGroupsConfiguration
-refreshUserToGroupsMappings
-refreshAdminAcls
-refreshServiceAcl
-addToClusterNodeLabels [label1,label2,label3] (label splitted by ",")
-removeFromClusterNodeLabels [label1,label2,label3] (label splitted by ",")
-replaceLabelsOnNode [node1[:port]=label1,label2 node2[:port]=label1,label2]
-directlyAccessNodeLabelStore
-transitionToActive [--forceactive] #rm节点故障转移
-transitionToStandby
-failover [--forcefence] [--forceactive]
-getServiceState #检查当前rm状态
-checkHealth
-help [cmd]
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
本文标题：hadoop常用命令总结-创新互联
分享网址：
http://cdkjz.cn/article/dpppeo.html
