资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

graylog3.0收集飞塔防火墙日志-创新互联

公司有一台飞塔防火墙,是基于utm的,很多功能都过期了,之前我配置了破解的anlayer来收集分析防火墙策略日志,非常好用,但是这玩意要钱,只能试用30天,我是把系统时间调成了2017年,避免到期,但是收集的时间不准,非常麻烦。

成都创新互联公司是一家专业提供渝中企业网站建设,专注与成都做网站、网站制作、成都外贸网站建设H5响应式网站、小程序制作等业务。10年已为渝中众多企业、政府机构等服务。创新互联专业网站制作公司优惠进行中。

如下所示:

graylog3.0收集飞塔防火墙日志

所以想用graylog3.0来收集分析飞塔防火墙的日志

首先graylog是一个大数据分析平台,只拿来收集日志有点大材小用,但是我又不懂大数据=。=

1、graylog 的content packs和marketplace

content pack(内容包)内容包是共享配置的便捷方式。内容包是一个JSON文件,其中包含一组Graylog组件的配置。可以将此JSON文件上载到Graylog实例,然后进行安装。花费时间为特定类型的日志格式创建输入,管道和仪表板的用户可以轻松地与社区分享他的努力。

graylog marketplace是分享和购买内容包的市场。

可以简单理解为,有很多大神提供给了不同的数据分析方式供人下载使用,满足不通的数据分析需求

地址为

https://marketplace.graylog.org/

收索forita相关

graylog3.0收集飞塔防火墙日志

搜索结果如下:

graylog3.0收集飞塔防火墙日志

我使用第一个

graylog3.0收集飞塔防火墙日志

包含了github地址和配置方法

github地址为https://github.com/juiceman84/Fortigate_Content_Pack

graylog3.0收集飞塔防火墙日志

2、graylog导入内容包

登陆graylog后,在system->connet packs中配置内容包

graylog3.0收集飞塔防火墙日志

可以看到系统自带内容包,点击create a content pack来导入

graylog3.0收集飞塔防火墙日志

然后按照如下填写

graylog3.0收集飞塔防火墙日志

切记 url要填写 github地址https://github.com/juiceman84/Fortigate_Content_Pack

graylog3.0收集飞塔防火墙日志

然后下一步,不用调整

graylog3.0收集飞塔防火墙日志

再然后下一步

graylog3.0收集飞塔防火墙日志

其他的不用管,因为我也不知道是干嘛的 然后点击create

完成后点击安装

graylog3.0收集飞塔防火墙日志

此时内容包就已经安装完毕了,是不是很简单

但是你以为简单是因为不知道那么多选项是干嘛的=。=

3、配置input

在system->input中配置日志接收方式

graylog3.0收集飞塔防火墙日志

因为防火墙日志都是syslog格式,所以要新建一个syslog udp的input

graylog3.0收集飞塔防火墙日志

按照如下进行配置即可,端口是30000,这是内容包说明要求的,udp还是tcp协议取决于防火墙是否支持,公司这款飞塔防火墙只支持udp协议

graylog3.0收集飞塔防火墙日志

完成后,去防火墙上配置日志发送,端口需要一致

graylog3.0收集飞塔防火墙日志

然后去配置input的extrators(提取器),所谓提取器以下是官方说明

graylog3.0收集飞塔防火墙日志

简单来说,就是syslog协议太简单了,需要提取器来配置一定的格式,比如显示时间,主机,内容等,不然收集到的日志就是一堆乱糟糟的cvs文本

graylog3.0收集飞塔防火墙日志

然后在action中点击import extrators

graylog3.0收集飞塔防火墙日志

这里要求你输入一段json格式代码

老子搞运维的,懂哥毛的json

graylog3.0收集飞塔防火墙日志

不要紧,之前内容包的github中已经包含了提取器的json,只是要我们手动写入

graylog3.0收集飞塔防火墙日志

然后把代码复制粘贴

graylog3.0收集飞塔防火墙日志

然后点击添加

添加成功后,可以看到出现了很多提取器,这是之前内容包中配置好的

graylog3.0收集飞塔防火墙日志

配置完了后,然后就可以收集了,点击启动

graylog3.0收集飞塔防火墙日志

然后就就可以看到收集的信息了

graylog3.0收集飞塔防火墙日志

4、配置

收集的日志信息很乱,包括策略日志,信息日志,而且内容很杂,所以要调整

首先配置信息显示的字段(fields),包括日期啊,源地址,目的地址等,不要都选,选择重要的即可,按照防火墙策略五元组信息(源目的端口,原目的地址,协议)进行勾选

其次,在搜索框中,输入搜索的信息类型,使用type=traffic代表过滤出流量类型的信息

graylog3.0收集飞塔防火墙日志

说明:

1、搜索框中,输入字段 type=taffic,代表流量

2、这些可以选择的字段,是因为配置了内容包采用,没有配置内容包,是没有这些字段过滤和选择的

简单说明下字段作用

timestamp:时间戳

source:发送日志的源设备

dst:目的地址

dst_int:目的接口

level:日志等级

msg:处理动作

policyid:命中的策略id

proto:协议类型

servie:服务类型

sercetiy:安全等级

src:源地址

src_int:源接口

tpye:日志类型

基本上有这些东西就可以分析策略日志了

然后我们点开一个信息

graylog3.0收集飞塔防火墙日志

就可以看到信息具体类容,基本上就是一条防火墙策略信息,很详细

然后我们可以把搜索的结果保存,方便下次直接使用

graylog3.0收集飞塔防火墙日志

同时可以把搜索的结果放到仪表盘中

graylog3.0收集飞塔防火墙日志

除了可以搜索以外,还可以配置字段统计,比如统计源地址排行,策略排行等

比如配置策略数量排行,就可以看到哪些策略被引用的最多

配置generate chart(通用图标),可以查看一定时间内的字段信息的数量和保存的空间大小,可以添加到仪表盘

graylog3.0收集飞塔防火墙日志

配置Quick values,可以统计一定数量,图形,默认饼图统计,可以添加到仪表盘

graylog3.0收集飞塔防火墙日志

字段统计,统计该字段出现的数量,大值,最小值等,可以添加到仪表盘

graylog3.0收集飞塔防火墙日志

最后一个world map,需要配置地理信息扩展,显示字段在地理区域出现的频率,这次用不上

好了来看看仪表盘,配置好了后,可以直接展现

graylog3.0收集飞塔防火墙日志

基本上就能满足日常运维需要了

5、思考与扩展

1、graylog支持流式计算和告警,就是说支持实时的讲收集到数据按照一定的规则进行过滤,然后按照配置的告警规则进行告警,但是我没配置成功过,看来需要去学大数据相关知识

2、graylog的搜索语法太简单了,而且不准,感觉就是简单的正则匹配,比起splunk还有其他专门自带搜索语法的日志软件,差太远了

3、防火墙的日志量十分巨大,基本上发送量高峰是每秒1500条信息,ipos峰值30,带宽峰值30MBps要占用5G左右的存储空间。我的graylog几次差点挂了,IO承受不住,实际生产使用,不要用虚拟机化,也可以考虑分布式多节点部署,分摊压力

4、简单测试了存储压力,1000条数据美妙,数据写入大小,4-8kB较多,64-512kB其次,70%左右的随机写IO,平均IO写延迟100ms,对存储的要求还是有的

5、cpu和内存压力,16g内存平均占用99.5%,2路4核8vcpu长期占用88.5%,此时graylog明显搜索和反应缓慢

graylog3.0收集飞塔防火墙日志

graylog3.0收集飞塔防火墙日志

graylog3.0收集飞塔防火墙日志

graylog的优势就是开源,简单,开箱易用,使用内容包,几乎可以收集分析任何类型的数据

但是对于 防火墙日志收集,还是得有专门硬件比较好

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网站题目:graylog3.0收集飞塔防火墙日志-创新互联
网站地址:http://cdkjz.cn/article/dojosg.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220