这篇文章主要介绍了flume线上配置的示例分析，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
在炎陵等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供
成都网站设计、成都做网站 网站设计制作按需制作网站,公司网站建设,企业网站建设,
品牌网站制作,
成都营销网站建设,
外贸营销网站建设,炎陵网站建设费用合理。
hdfs_agent.sources = r1
hdfs_agent.sinks = k1
hdfs_agent.channels = c1
# Describe/configure the source
hdfs_agent.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
#hdfs_agent.sources.r1.zookeeperConnect = 10.69.40.17:2181,10.69.40.12:2181,10.69.40.7:2181,10.69.40.11:2181,10.69.40.16:2181
#hdfs_agent.sources.r1.groupId = online_kafka_to_hdfs_gk_groupid_000001
#hdfs_agent.sources.r1.topic = IRT_Dev_Status_STD
hdfs_agent.sources.r1.kafka.bootstrap.servers = 10.69.40.10:9092,10.69.40.13:9092,10.69.40.14:9092,10.69.40.15:9092
hdfs_agent.sources.r1.kafka.consumer.group.id = online_kafka_to_hdfs_gk_groupid_000001
hdfs_agent.sources.r1.kafka.topics = workcondition_info_flume
hdfs_agent.sources.r1.batchSize = 2000
hdfs_agent.sources.r1.interceptors = i1
hdfs_agent.sources.r1.interceptors.i1.type = host
# Describe the sink
hdfs_agent.sinks.k1.type = hdfs
hdfs_agent.sinks.k1.hdfs.path = hdfs://rootcloud/ods/%Y%m%d/%H
hdfs_agent.sinks.k1.hdfs.filePrefix = log-%{host}
hdfs_agent.sinks.k1.hdfs.fileType = DataStream
hdfs_agent.sinks.k1.hdfs.rollInterval = 3600
hdfs_agent.sinks.k1.hdfs.rollSize = 104857600
hdfs_agent.sinks.k1.hdfs.rollCount = 0
hdfs_agent.sinks.k1.hdfs.batchSize = 2000
hdfs_agent.sinks.k1.hdfs.callTimeout = 300000
hdfs_agent.sinks.k1.hdfs.idleTimeout = 600
# Use a channel which buffers events in memory
hdfs_agent.channels.c1.type = memory
hdfs_agent.channels.c1.capacity = 2000000
hdfs_agent.channels.c1.transactionCapacity = 3000
# Bind the source and sink to the channel
hdfs_agent.sources.r1.channels = c1
hdfs_agent.sinks.k1.channel = c1
感谢你能够认真阅读完这篇文章，希望小编分享的“flume线上配置的示例分析”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联-成都网站建设公司行业资讯频道，更多相关知识等着你来学习!
网站标题：flume线上配置的示例分析-创新互联
分享地址：
http://cdkjz.cn/article/jopgc.html
