资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划，从策略到执行的一站式服务

网站建设 >

查看其它板块

基于Centos7系统一键部署EFK服务的示例分析-创新互联

本篇文章给大家分享的是有关基于Centos7系统一键部署EFK服务的示例分析，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

我们提供的服务有：网站制作、成都做网站、微信公众号开发、网站优化、网站认证、秦淮ssl等。为上千企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的秦淮网站制作公司
最近平台EFK版本均作了升级，平台采用EFK(ElasticSearch-7.6.2 + FileBeat-7.6.2 + Kibana-7.6.2)架构。这里建议三个组件主次版本保持一致。考虑到服务器比较多，所以写成 脚本来批量部署。

脚本内容大家看一下function就行了..

架构

EFK采用集中式的日志管理架构

elasticsearch：一个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

kibana：可以为Logstash 、Beats和ElasticSearch提供友好的日志分析Web 界面，可以帮助汇总、分析和搜索重要数据日志。

filebeat：轻量级日志采集器。需要在每个应用服务器配置filebeat，来采集日志，并输出到elasticsearch。

一键部署KIBANA脚本

function install_es7_el7()  
{ 
    echo "" 
  echo -e "\033[33m****************************************************安装ElasticSearch 7.6.2*****************************************************\033[0m"  
  #action "********初始化JAVA环境********" /bin/true 
  #install_jdk 
 
  #下载包 
    if [ -f /opt/elasticsearch-7.6.2-x86_64.rpm ] && [ -f /opt/elasticsearch-analysis-ik-7.6.2.zip ] ;then 
        echo "*****存在ElasticSearch 7.6.2安装包，无需下载*****" 
    else 
      ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
      if [ $? -eq 0 ];then 
        wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm -O /opt/elasticsearch-7.6.2-x86_64.rpm 
        wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip  -O /opt/elasticsearch-analysis-ik-7.6.2.zip    
      else 
        echo "please download ES7 package manual !" 
        exit $? 
      fi  
  fi 
 
  #安装es7.6  
  action "********安装ElasticSearch 7.6.2服务********" /bin/true 
  chmod u+x /opt/elasticsearch-7.6.2-x86_64.rpm && rpm -ivh /opt/elasticsearch-7.6.2-x86_64.rpm 
   
  #建目录及授权 
  mkdir -p $ES_HOME/data &&  mkdir -p $ES_HOME/log 
  chown -R elasticsearch:elasticsearch $ES_HOME && chmod -R 755 $ES_HOME 
   
  #修改ES配置文件 
  cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak &>/dev/null  
cat > /etc/elasticsearch/elasticsearch.yml << EOF cluster.name: es-cluster # 设定本机节点名 node.name: es_node # 设定集群主节点清单 cluster.initial_master_nodes: ["es_node"] path.data: ${ES_HOME}/data path.logs: ${ES_HOME}/log bootstrap.memory_lock: false bootstrap.system_call_filter: false # 允许从其它机器访问 network.host: 0.0.0.0 http.port: ${ES_PORT} discovery.zen.ping.unicast.hosts: ["${ES_IP}:${ES_PORT}"] EOF #安装分词器：ik-analyzer插件 #默认情况下，ES使用内置的标准分词器，对文本进行解析。但是对于中文，其会拆解为一个一个的汉字，最终失去了分词的意义，所以安装分词器：ik-analyzer插件 action "********安装ik-analyzer插件********" /bin/true mkdir -p /usr/share/elasticsearch/plugins/ik unzip /opt/elasticsearch-analysis-ik-7.6.2.zip -d /usr/share/elasticsearch/plugins/ik/ &>/dev/null  
  chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/ &&  chmod -R 755  /usr/share/elasticsearch/plugins/ 
  sleep 2 
#在filebeat配置文件中为索引模板添加默认分词器属性。未来新创建的索引均引用此属性: 
#setup.template.settings: 
#  index.analysis.analyzer.default.type: "ik_max_word" 
#  index.analysis.analyzer.default_search.type: "ik_max_word" 
#setup.template.overwrite: true 
#在Linux终端中执行如下命令，为现有所有索引，设置默认分词器属性: 
#curl -X POST "172.16.20.143:9200/_all/_close" 
#curl -X PUT  -H'Content-Type: application/json' 'http://172.16.20.143:9200/_all/_settings?preserve_existing=true' -d '{ 
#  "index.analysis.analyzer.default.type" : "ik_max_word", 
#  "index.analysis.analyzer.default_search.type" : "ik_max_word" 
#}' 
#curl -X POST "172.16.20.143:9200/_all/_open" 
 
 
  #启动ES并初始化数据 
  action "********启动es并初始化数据********" /bin/true 
  systemctl daemon-reload && systemctl enable elasticsearch.service  
  systemctl restart elasticsearch.service 
  es_version=`curl -XGET ${ES_IP}:${ES_PORT}` 
  echo -e "\033[33m**************************************************完成ElasticSearch 7.6.2安装***************************************************\033[0m" 
cat > /tmp/es7.log  << EOF 
ES服务器IP： ${ES_IP} 
ES服务器端口:${ES_PORT} 
ES数据目录： ${ES_HOME}/data 
ES日志目录： ${ES_HOME}/log 
ES详细信息： ${es_version} 
EOF 
  cat /tmp/es7.log 
  echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/es7.log文件下 \e[0m" 
  echo -e "\033[33m************************************************************************************************************************\033[0m" 
  echo "" 
  sleep 10 
}

一键部署Elasticsearch脚本

function install_es7_el7()  
{ 
    echo "" 
  echo -e "\033[33m****************************************************安装ElasticSearch 7.6.2*****************************************************\033[0m"  
  #action "********初始化JAVA环境********" /bin/true 
  #install_jdk 
 
  #下载包 
    if [ -f /opt/elasticsearch-7.6.2-x86_64.rpm ] && [ -f /opt/elasticsearch-analysis-ik-7.6.2.zip ] ;then 
        echo "*****存在ElasticSearch 7.6.2安装包，无需下载*****" 
    else 
      ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
      if [ $? -eq 0 ];then 
        wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm -O /opt/elasticsearch-7.6.2-x86_64.rpm 
        wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip  -O /opt/elasticsearch-analysis-ik-7.6.2.zip    
      else 
        echo "please download ES7 package manual !" 
        exit $? 
      fi  
  fi 
 
  #安装es7.6  
  action "********安装ElasticSearch 7.6.2服务********" /bin/true 
  chmod u+x /opt/elasticsearch-7.6.2-x86_64.rpm && rpm -ivh /opt/elasticsearch-7.6.2-x86_64.rpm 
   
  #建目录及授权 
  mkdir -p $ES_HOME/data &&  mkdir -p $ES_HOME/log 
  chown -R elasticsearch:elasticsearch $ES_HOME && chmod -R 755 $ES_HOME 
   
  #修改ES配置文件 
  cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak &>/dev/null  
cat > /etc/elasticsearch/elasticsearch.yml << EOF cluster.name: es-cluster # 设定本机节点名 node.name: es_node # 设定集群主节点清单 cluster.initial_master_nodes: ["es_node"] path.data: ${ES_HOME}/data path.logs: ${ES_HOME}/log bootstrap.memory_lock: false bootstrap.system_call_filter: false # 允许从其它机器访问 network.host: 0.0.0.0 http.port: ${ES_PORT} discovery.zen.ping.unicast.hosts: ["${ES_IP}:${ES_PORT}"] EOF #安装分词器：ik-analyzer插件 #默认情况下，ES使用内置的标准分词器，对文本进行解析。但是对于中文，其会拆解为一个一个的汉字，最终失去了分词的意义，所以安装分词器：ik-analyzer插件 action "********安装ik-analyzer插件********" /bin/true mkdir -p /usr/share/elasticsearch/plugins/ik unzip /opt/elasticsearch-analysis-ik-7.6.2.zip -d /usr/share/elasticsearch/plugins/ik/ &>/dev/null  
  chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/ &&  chmod -R 755  /usr/share/elasticsearch/plugins/ 
  sleep 2 
#在filebeat配置文件中为索引模板添加默认分词器属性。未来新创建的索引均引用此属性: 
#setup.template.settings: 
#  index.analysis.analyzer.default.type: "ik_max_word" 
#  index.analysis.analyzer.default_search.type: "ik_max_word" 
#setup.template.overwrite: true 
#在Linux终端中执行如下命令，为现有所有索引，设置默认分词器属性: 
#curl -X POST "172.16.20.143:9200/_all/_close" 
#curl -X PUT  -H'Content-Type: application/json' 'http://172.16.20.143:9200/_all/_settings?preserve_existing=true' -d '{ 
#  "index.analysis.analyzer.default.type" : "ik_max_word", 
#  "index.analysis.analyzer.default_search.type" : "ik_max_word" 
#}' 
#curl -X POST "172.16.20.143:9200/_all/_open" 
 
 
  #启动ES并初始化数据 
  action "********启动es并初始化数据********" /bin/true 
  systemctl daemon-reload && systemctl enable elasticsearch.service  
  systemctl restart elasticsearch.service 
  es_version=`curl -XGET ${ES_IP}:${ES_PORT}` 
  echo -e "\033[33m**************************************************完成ElasticSearch 7.6.2安装***************************************************\033[0m" 
cat > /tmp/es7.log  << EOF 
ES服务器IP： ${ES_IP} 
ES服务器端口:${ES_PORT} 
ES数据目录： ${ES_HOME}/data 
ES日志目录： ${ES_HOME}/log 
ES详细信息： ${es_version} 
EOF 
  cat /tmp/es7.log 
  echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/es7.log文件下 \e[0m" 
  echo -e "\033[33m************************************************************************************************************************\033[0m" 
  echo "" 
  sleep 10 
}

一键部署filebeat脚本

function install_filebeat7_el7()  
{ 
    echo "" 
  echo -e "\033[33m****************************************************安装Filebeat 7.6.2*****************************************************\033[0m"  
 
  #下载包 
    if [ -f /opt/filebeat-7.6.2-x86_64.rpm ] ;then 
        echo "*****存在Filebeat 7.6.2安装包，无需下载*****" 
    else 
      ping -c 4 artifacts.elastic.co >/dev/null 2>&1 
      if [ $? -eq 0 ];then 
        wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-x86_64.rpm -O /opt/filebeat-7.6.2-x86_64.rpm 
      else 
        echo "please download Filebeat7.6 package manual !" 
        exit $? 
      fi  
  fi 
 
  #安装filebeat7.6  
  action "********安装filebeat 7.6.2服务********" /bin/true 
  chmod u+x /opt/filebeat-7.6.2-x86_64.rpm && rpm -ivh /opt/filebeat-7.6.2-x86_64.rpm 
   
  #修改kibana配置文件 
  cp /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml_bak  
cat > /etc/filebeat/filebeat.yml << EOF filebeat.inputs: - type: log enabled: true paths: - /lcp_logs/*.log filebeat.config.modules: path: /etc/filebeat/modules.d/*.yml reload.enabled: false setup.template.settings: #number_of_shards 是数据分片数，默认为5，有时候设置为3 index.number_of_shards: 3 index.analysis.analyzer.default.type: "ik_max_word" index.analysis.analyzer.default_search.type: "ik_max_word" setup.template.overwrite: true setup.kibana: host: "${KIBANA_IP}:${KIBANA_PORT}" output.elasticsearch: hosts: ["${ES_IP}:${ES_PORT}"] ilm.enabled: true ilm.rollover_alias: "fsl_uat.prod1" ilm.pattern: "{now/d}-000001" processors: - add_host_metadata: ~ - add_cloud_metadata: ~ EOF #启动filebeat并初始化数据 action "********启动filebeat并初始化数据********" /bin/true systemctl daemon-reload && systemctl enable filebeat.service systemctl restart filebeat.service #nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 & 
   
  echo -e "\033[33m**************************************************完成Filebeat 7.6.2安装***************************************************\033[0m" 
cat > /tmp/filebeat7.log << EOF 
filebeat版本：   7.6.2 
filebeat路径:    /usr/bin/filebeat 
filebeat配置kibana： ${KIBANA_IP}:${KIBANA_PORT} 
filebeat配置elasticsearch： ${ES_IP}:${ES_PORT} 
EOF 
  cat /tmp/filebeat7.log 
  echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/filebeat7.log文件下 \e[0m" 
  echo -e "\033[33m************************************************************************************************************************\033[0m" 
  echo "" 
  sleep 10 
}

以上就是基于Centos7系统一键部署EFK服务的示例分析，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联-成都网站建设公司行业资讯频道。


文章标题：基于Centos7系统一键部署EFK服务的示例分析-创新互联
文章出自：http://cdkjz.cn/article/disdoe.html
返回首页 了解更多建站资讯

相关资讯

多年建站经验

多一份参考，总有益处

联系快上网，免费获得专属《策划方案》及报价

咨询相关问题或预约面谈，可以通过以下方式与我们联系

大客户专线   成都：13518219792   座机：028-86922220

在线咨询 提交需求
友情链接 交换友情链接
成都发电机租赁成都网站设计犀浦防护栏定制成都网站制作防护网厂消防工程企业网站建设公司营山产后修复成都光华机房云主机

成都网站建设公司地址：成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220

成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.

专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网！ | 成都网站建设哪家好？ | 网站建设地图