这篇文章给大家分享的是有关如何搭建Storm完全分布式集群 的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
公司主营业务:网站设计制作、成都网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联推出延安免费做网站回馈大家。
环境说明
1、硬件说明
使用三台PC机,角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、python
2.1、安装zeromq
tar -zxvf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
是源码,需先编译
./configure 检查编译环境
安装依赖
rpm -ivh libstdc++-devel-4.4.7-3.el6.i686.rpm
rpm -ivh gcc-c++-4.4.7-3.el6.i686.rpm
rpm -ivh libuuid-devel-2.17.2-12.9.el6.i686.rpm
./configure 检查编译环境
make 编译
make install 安装
2.2、安装jzmq
unzip jzmq-master.zip
安装依赖
rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm
rpm -ivh automake-1.11.1-4.el6.noarch.rpm
rpm -ivh libtool-2.2.6-15.5.el6.i686.rpm
在/usr/local/jzmq-master路径下
./autogen.sh
./configure
make
make install
2.3、检查python
which python
python -V
3、安装storm
3.1、unzip storm-0.8.2.zip
3.2.1、配置storm环境变量
# set storm environment
export STORM_HOME=/usr/local/storm-0.8.2
export PATH=$PATH:$STORM_HOME/bin
3.2.2、修改Storm的配置文件
vi storm.yaml
配置Zookeeper
配置storm
4、启动Storm集群
4.1、各节点启动Zookeeper zkServer.sh start
4.2、master启动Storm storm nimbus > ./nimbus.log 2>&1 &
4.3、子节点启动 bin/storm supervisor > ./supervisor.log 2>&1 &
4.4、master启动图形化管理界面进程(进程名core) storm ui > ./core.log 2>&1 &
5、启动验证
5.1 Java守护进程
5.2 web端
http://hadoop100:8080/
感谢各位的阅读!关于“如何搭建Storm完全分布式集群 ”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!