kafka数据迁移操作流程：
专注于为中小企业提供成都网站设计、
成都网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业
肇庆免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了上千多家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。
此次数据迁移主要是针对Isr自动同步异常，而进行手动干预的操作。
具体的故障截图如下：
一、确认同步异常的topic和Isr数目
./kafka-topics.sh --under-replicated-partitions --describe --zookeeper IP:2181
二、创建文件/tmp/topics-to-move.json
vim /tmp/topics-to-move.json
复制这些topic,并写成如下格式的文件, 命名为 topics-to-move.json
{"topics": [
{"topic": "test"} //test是对应的topic名字
],
"version":1
}
三、执行：
./kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file /tmp/topics-to-move.json --broker-list "0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26" --generate
执行结果会生成一串新的topics-to-move.json数据，修改所需转换的Isr对应关系（例如（14,0）转换为（14,1））；
创建新配置文件 touch /tmp/reassignment-node.json
将修改后的topics-to-move.json文件写入reassignment-node.json
./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --execute //开始迁移
./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --verify //确认迁移同步情况，待所有进程都successful，迁移完成。
涉及到的监控脚本：
while true ;do /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --verify|awk '/Reassignment/ && $5!~/completed/&& $6 !~ /successfully/'|wc -l;sleep 10;done
/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic CDR_AUDIT|awk -F',|[ ]*|\t' '{if(($9==14)||($10==14))print $0}'
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
网页标题：kafka数据迁移-创新互联
URL分享：
http://cdkjz.cn/article/eoedj.html
