从品牌网站建设到网络营销策划,从策略到执行的一站式服务
hadoop MapReduce初试遇到的问题
沅陵ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为成都创新互联公司的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:13518219792(备注:SSL证书合作)期待与您的合作!./hadoop jar ./MapReduce-jar-with-dependencies.jar com.hc360.mp.WordCountHbaseReader /user/hbase/tabelname01 tablename
在hadoop集群上执行 MapReduce任务时,需要用到许多依赖jar,一般情况下都是在执行时,在执行命令上进行配置指定,这样会造成执行命令太长,并且容易出错,有时还想带几个参数信息,这样更容易出错;
比较好的处理方法是,在生成运行jar时,将需要的依赖jar打包到运行jar中,这样在执行时所有依赖的jar都有了,就不用指定了。
./hdfs dfs -rmr /user/hbase/
hdfs上已有的文件不能进行覆盖,生成文件时必须是没有的新文件,可以在产生文件前执行以上命令清除已有的文件:
16/07/19 18:26:08 INFO ipc.Client: Retrying connect to server: xxxx/192.168.xx.xx:8032. Already tried 4 time(s); retry policy is etryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
hadoop集群上,如果没有启动 yarn(MapReduce),当运行MapReduce任务时,会提示上面的信息;
当执行hadoop的shell命令时,如果提示类似上面的信息,可以查看是否启动了hadoop进程。
java.lang.IllegalArgumentException: Does not contain a valid host:port authority:
java.net.UnknownHostException
hadoop集群的hostname配置,主机名不要包含下划线“_”,但可以有横线“-”。
在hadoop集群中每个机器都要配置集群所有机器的hostname域名,以便相互访问。
这里分享一个血的教训,在给hostname起名字的时候一定要注意,虽然linux支持一些特殊字符,但java里面并不支持,所以hostname的命名一定要使用数字和字母(以点号分隔)。如果起的hostname包含了特殊字符下划线,导致hadoop运行时候的reduce阶段出错。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图