资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

CDH-cloudera-manager遇到的问题和命令有哪些

这期内容当中小编将会给大家带来有关CDH-cloudera-manager遇到的问题和命令有哪些,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

10年的尤溪网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。全网营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整尤溪建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联公司从事“尤溪网站设计”,“尤溪网站推广”以来,每个客户项目都认真落实执行。

一些在工作中遇到的问题和命令,记录下来:

1.Host Monitor未运行。这个错误很常见,一般是有什么服务没启动。多数情况重启就好了,假如还有问题就要检查配置,甚至重新安装CDH。

2.修改主机从机ip地址。

CDH没有命令来修改ip地址,必须要自己手动修改配置才行。

    1)停止cloudera-manager-sever服务,停止所有的cloudera-manager-agent服务。

        linux命令:systemctl stop cloudera-scm-server
                        systemctl stop cloudera-scm-agent

     2)修改数据库中ip地址的设置,在安装CDH的时候假如没有自己设置数据库那么默认数据库就是 postgresql ,假如设置了那么信息就是存在自己选择的数据库中。我选择的是MySQL,先看看mysql的登录密码:

        linux命令: grep password /etc/cloudera-scm-server/db.properties

        有兴趣的可以看看这份文件,里面有数据库ip地址,数据库类型,数据库密码,存储cdh的数据库名称和用户。

        知道了数据库密码之后就可以登录数据库修改ip了。可以通过shell命令行修改,也可以通过图形化界面来修改,反正只要修改了就可以。默认数据库是scm,在里面找到HOSTS表,修改里面的IP_ADDRESS字段。

        linux命令,登录mysql : mysql -u root -p

        我是以root用户登录的mysql,规范的应该以scm用户身份登录,也就是将上面的root改为scm。-u表示用户,-p表示密码,用空格隔开。

        之后会要你输入密码,输入后登录数据库。

        mysql命令:show databases;

        mysql命令一般要以;结尾,查看有哪些数据库,结果如下图:

        CDH-cloudera-manager遇到的问题和命令有哪些

    有两个数据库,再转换到scm数据库,看看有哪些表:

    mysql命令:use scm;

                     show tables;

    如下图:

    CDH-cloudera-manager遇到的问题和命令有哪些

    没有指定数据库直接使用show tables;会报错,指定之后就能查看有哪些表了。我们要修改HOSTS表的数据,先看看有哪些数据在里面。

    mysql命令:select * from HOSTS;

    CDH-cloudera-manager遇到的问题和命令有哪些

    可以看到有这些内容,在shell命令行中排列不是很整齐,不过看看字段名也能够知道需要修改的是IP_ADDRESS,

    mysql命令:update scm.`HOSTS` set `NAME`='nodeN',IP_ADDRESS='xxx.xxx.xxx.xxx' where `HOST_ID`='num';

    将需要修改的ip地址和主机名都修改过来,再看看修改后的数据库是否有什么问题,没有问题后再退出mysql,修改clouderaManager配置文件。

    mysql命令:quit;

   3)要修改两种文件,一种是CM文件修改,一种是Agent文件修改。

    linux指令:

    #CM文件

    vi /etc/cloudera-scm-server/db.properties

    com.cloudera.cmf.db.host=新CM主机名

    #Agent文件

    vi /etc/cloudera-scm-agent/config.ini

    server_host = 新主机ip

    修改完所有配置文件后,先启动cloudera-scm-server,再启动cloudera-scm-agent。

    linux命令:

     systemctl start cloudera-scm-server

    systemctl start cloudera-scm-agent

    这样就能正确读取了ip地址了。假如还有问题建议重启试试。

    3.监听CM的运行日志

    linux命令:tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

    tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

    4.clouderaManager   web界面地址

    ClouderaManager默认端口是7180,hdfs默认端口是50070,当hadoop3.0后默认端口则是9870,当50070访问不到页面的时候注意查看自己hadoop版本。

    linux命令  查看hadoop版本:hadoop version

    5.hdfs中/tmp文件显示权限不足。报错信息为:Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx

    要修改 hdfs用户下的/tmp文件权限。

    linux命令  : hdfs dfs -chmod -R 755 /tmp

上述就是小编为大家分享的CDH-cloudera-manager遇到的问题和命令有哪些了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。


本文名称:CDH-cloudera-manager遇到的问题和命令有哪些
链接URL:http://cdkjz.cn/article/pgocjd.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220