一、部署
1.下载安装包
http://archive.apache.org/dist/flume/
为承德县等地区用户提供了全套网页设计制作服务，及承德县网站建设行业解决方案。主营业务为网站设计制作、
网站设计、承德县网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！2.创建目录
mkdir -r /home/sxvbd/bigdata
3.上传flume包到目录下
apache-flume-1.9.0-bin.tar.gz
4.解压并修改名称
tar -zxvf apache-flume-1.9.0-bin.tar.gz
5.在/etc/profile中配置flume路径
export FLUME_HOME="/home/sxvbd/bigdata/flume-1.9.0"
export PATH=$PATH:$FLUME_HOME/bin
export CLASSPATH=.:$FLUME_HOME/lib
6.使配置生效
source /etc/profile
7.进入flume配置文件目录
cd /home/sxvbd/bigdata/flume-1.9.0/conf
8.修改配置文件名称
cp flume-conf.properties.template flume-conf.properties
cp flume-env.sh.template flume-env.sh
9.修改配置flume-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_333
10.创建需要采集的测试文件目录
mkdir -r /home/sxvbd/bigdata/flumeTestDir
11.修改配置文件flume-conf.properties
agent.sources = source1
agent.channels = channel1
agent.sinks = sink1
#For each one of the sources, the type is defined
#监控一个目录的，如果目录中出现了新的文件，就把文件内容采集过来
agent.sources.source1.type = spooldir
agent.sources.source1.bind = 0.0.0.0
agent.sources.source1.port = 44444
agent.sources.source1.spoolDir = /home/sxvbd/bigdata/flumeTestDir/
agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 1000000
agent.channels.channel1.transactionCapacity = 10000
agent.channels.channel1.keep-alive = 60
#Each channel's type is defined.
#配置kafka的集群和topic
agent.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.sink1.kafka.bootstrap.servers = node24:9092,node25:9092,node26:9092
agent.sinks.sink1.kafka.topic = data-ncm-hljk-topic
agent.sinks.sink1.parseAsFlumeEvent = false
agent.sources.source1.channels = channel1
agent.sinks.sink1.channel = channel1
12.启动flume
nohup ../bin/flume-ng agent --conf conf -f /home/sxvbd/bigdata/flume-1.9.0/conf/flume-conf.properties -n agent -Dflume.root.logger=INFO,console >flume.log 2>&1 &
13.在/home/sxvbd/bigdata/flumeTestDir目录中上传文件，在kafka中可以消费到数据
你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧
文章名称：一、Flume使用-创新互联
文章地址：
http://cdkjz.cn/article/pjhjh.html
