使用ELK监控Nginx日志实现接口流量访问统计

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

前段时间自己看书学习了一下elasticSearch，后面自己实践了使用elasticSearch、logStash、kibana搭建一个网站接口流量访问统计的监控看板。在这里做一些记录学习。

先看一下最终的结果：下面这个折线图就是我自己后台服务的访问接口的流量和总数，可以在右上角按照日期进行筛选查看

整个看板监控的实现过程很简单：主要使用logStash对Nginx的接口访问日志进行收集->存储到elasticSearch索引->在使用kibana对elasticSearch索引进行可视化分析，从而实现一个接口的流量访问统计的简单看板。

本文主要从三个部分讲解：

1、使用logStash对Nginx的接口访问日志进行收集

2、elasticSearch安装使用

3、使用kibana对elasticSearch索引进行可视化分析

PS：在这里我使用的是Windows环境、首先下载软件并准备好环境，注意版本号一定要统一，因为ES7.X的版本做了很多改动，移除了索引类型，客户端API的许多实现都和旧版本不一样。ELK的版本需要下载对应版本。在这里就不进行过多讲解。只讲解需要注意的事项。另外我自己写了一个简单的springboot项目，使用thymeleaf提供了几个简单的页面接口。我们最终将通过ELK实现对这几个接口的访问流量的监控。

使用logStash对Nginx的接口访问日志进行收集

logStash我使用的是6.8.1 ，安装成功后，需要在config中进行配置，如下图，需要新建一个patterns文件夹。作用下面会讲解。同时建立一个 logstash.conf文件，通过指令 “bin\logstash -f config\logstash2.conf” 指定以logstash.conf配置启动，配置文件下面会进行讲解。

首先讲解一下logstash.conf的内容：

主要有三部分 input、output、filter

其中input和output是logstash配置日志收集输入源和输出源。

输入源input：这里我配置的输入源就是我Nginx的访问日志路径，start_position表示从开始读取。注意：input下面我使用的是file表示文件输入源。logstash还提供了许多输入源，包括stdin（控制台输入）、tcp网络输入、filebeat的方式等。

输出源output：这里我配置的是es的索引创建。hosts表示es的服务地址，其中es的9200端口表示是ES节点与外部通讯使用的端口。它是http协议的RESTful接口，而9300表示ES节点之间通讯使用的端口。它是tcp通讯端口，集群间和TCPclient都走的它。index表示创建索引名称 %{}使用了logstash表达式，表示到天结束，意思就是每天都会有一个新的索引创建，这样我们后面使用kibana进行分析，也可以使用索引模式细化到每一天进行分析。例如：1号和2号就会创建两个索引cgg-nginx-logs-1999-01-01，cgg-nginx-logs-1999-01-02。

过滤器filter：表示logstash的过滤器插件，作用就是日志通过输入源到输出源，会先经过过滤器进行一次转换。filter我们使用的是grok正则表达式。pattern_dir表示正则的存放路径，对应的就是我们上面建立的正则文件patterns下面的nginx正则。grok正则的语法和我们平时使用的正则语法有些不一样，学习地址：http://doc.yonyoucloud.com/doc/logstash-best-practice-cn/index.html ，如果我们自己写的grok正则有问题，我们还可以使用kibana的grok debugger进行调式。发现问题。