怎么在linux中部署kafka集群-创新互联

本篇文章给大家分享的是有关怎么在linux中部署kafka集群，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

1、官网下载，分别在每台机器上解压安装

# 创建kafka的安装目录
mkdir -p /usr/local/software/kafka
# 解压
tar -xvf kafka_2.12-1.1.0.tgz -C /usr/local/software/kafka/

2、修改每台服务器的/etc/profile文件，设置kafka环境变量，添加如下内容

export KAFKA_HOME=/usr/local/software/kafka/kafka_2.12-1.1.0
export PATH=$PATH:$KAFKA_HOME/bin

添加完后重启配置，命令如下：

source /etc/profile

3、修改每台服务器的$KAFKA_HOME/config下的server.properties文件，修改代理id和日志存放目录

#指定代理id，borker.id可以任意指定，前提是保证集群内每台机器的broker.id唯一，第二台机器设置为2...以此类推
broker.id=1
#设置日志目录
log.dirs=/opt/data/kafka/kafka-logs
#设置zookeeper集群地址
zookeeper.connect=192.168.174.7:2181,192.168.174.8:2181,192.168.174.9:2181
#设置本机地址，设置为本服务器的ip地址。如果不设置会在创建主题和发送消息时，发生NOT LEADER FOR PARTITION异常。
host.name=192.168.174.10

4、配置完成后，分别启动3台服务器的kafka，启动kafka前确保zookeeper集群已经成功启动。

kafka-server-start.sh -daemon server.properties

5、验证是否成功启动

jps

如果看到kafka进程，说明启动成功。

另外也可通过zookeeper客户端查看zookeeper目录结构，如下：

#登录zookeeper
zkCli . sh -server 192.168.174.7:2181
#查看目录结构
ls /
#查看已启动的kafka代理
ls /brokers/ids

Linux是一种免费使用和自由传播的类UNIX操作系统，是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统，使用Linux能运行主要的Unix工具软件、应用程序和网络协议。

以上就是怎么在linux中部署kafka集群，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。