ELK学习实验007：Nginx的日志分析系统之Metribeat配置

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

一 Metricbeat 简介

1.1 系统级监控，更简洁将

Metricbeat 部署到您的所有 Linux、Windows 和 Mac 主机，并将它连接到 Elasticsearch 就大功告成了：您可以获取系统级的 CPU 使用率、内存、文件系统、磁盘 IO 和网络 IO 统计数据，还可针对系统上的每个进程获得与 top 命令类似的统计数据

1.2 单个二进制文件提供多种模块

Metricbeat 提供多种内部模块，这些模块可从多项服务（诸如 Apache、Jolokia、NGINX、MongoDB、MySQL、PostgreSQL、Prometheus 等等）中收集指标。安装简单，完全零依赖性。只需在配置文件中启用您所需的模块即可。

而且，如果要找的模块，还可以自己构建。以 Go 语言编写 Metricbeat 模块，过程十分简单。

1.3 容器就绪

近来是不是所有工作都转移到了 Docker 中？通过 Elastic Stack，您能够轻松地监测容器。将 Metricbeat 部署到同一台主机上的一个单独容器后，它将收集与主机上运行的其他每一个容器相关的统计数据。在收集统计数据时，它直接从 proc 文件系统读取 cgroup 信息，这就意味着它无需特权即可访问 Docker API，并且同样适用于其他 Runtime。针对 Docker 的 Autodiscovery 让事情进一步简化，只需指定一个条件即可开启 Metricbeat 模块。

1.4 不错过任何检测信号

将指标通过假脱机传输方式输送至磁盘，这样您的数据管道再也不会错过任何一个数据点，即使发生中断（例如网络问题），也勿需担心。Metricbeat 会保留传入的数据，并在重新上线后将这些指标输送至 Elasticsearch 或 Logstash。

1.5 输送至 Elasticsearch 或 Logstash。在 Kibana 中实现可视化

Metricbeat 是 Elastic Stack 的一部分，因此能够与 Logstash、Elasticsearch 和 Kibana 无缝协作。无论您要使用 Logstash 转换或充实指标，还是在 Elasticsearch 中随意处理一些数据分析，亦或在 Kibana 中构建和分享仪表板，Metricbeat 都能轻松地将您的数据发送至最关键的地方。

定期手机操作系统或应用服务器的指标数据

存储到elasticsearch中，进行实时分析

Metricbeat组成

由两部分组成，一部分是module，另一部分是Metricset

Module收集的对象，如mysql，redis，nginx操作系统等

metricset：收集指标的集合，如cpu，memeory，network等

以redis Module为例

二安装部署metribeat

2.1 下载包

[root@node4 filebeat]# cd /usr/local/src/

[root@node4 src]# wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.4.2-linux-x86_64.tar.gz

[root@node4 src]# tar -xf metricbeat-7.4.2-linux-x86_64.tar.gz

[root@node4 src]# mv metricbeat-7.4.2-linux-x86_64 /usr/local/metricbeat

[root@node4 src]# cd /usr/local/metricbeat

2.2 配置

[root@node4 metricbeat]# grep -Ev "^$|[#;]" metricbeat.yml

metricbeat.config.modules:

  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

setup.template.settings:

  index.number_of_shards: 1

  index.codec: best_compression

setup.kibana:

output.elasticsearch:

  hosts: hosts: ["192.168.132.131:9200","192.168.132.132:9200","192.168.132.133:9200"]

processors:

  - add_host_metadata: ~

  - add_cloud_metadata: ~

[root@node4 metricbeat]# cd modules.d/

aerospike.yml.disabled    elasticsearch-xpack.yml.disabled  kvm.yml.disabled             prometheus.yml.disabled

apache.yml.disabled       elasticsearch.yml.disabled        logstash-xpack.yml.disabled  rabbitmq.yml.disabled

aws.yml.disabled          envoyproxy.yml.disabled           logstash.yml.disabled        redis.yml.disabled

beat-xpack.yml.disabled   etcd.yml.disabled                 memcached.yml.disabled       statsd.yml.disabled

beat.yml.disabled         golang.yml.disabled               mongodb.yml.disabled         system.yml

ceph.yml.disabled         graphite.yml.disabled             mssql.yml.disabled           traefik.yml.disabled

cockroachdb.yml.disabled  haproxy.yml.disabled              munin.yml.disabled           uwsgi.yml.disabled

consul.yml.disabled       http.yml.disabled                 mysql.yml.disabled           vsphere.yml.disabled

coredns.yml.disabled      jolokia.yml.disabled              nats.yml.disabled            windows.yml.disabled

couchbase.yml.disabled    kafka.yml.disabled                nginx.yml.disabled           zookeeper.yml.disabled

couchdb.yml.disabled      kibana-xpack.yml.disabled         oracle.yml.disabled

docker.yml.disabled       kibana.yml.disabled               php_fpm.yml.disabled

dropwizard.yml.disabled   kubernetes.yml.disabled           postgresql.yml.disabled

默认只读取system.yml的文件

启动

[root@node4 metricbeat]# ./metricbeat -e

刷新elasticsearch，多了一个metricbeat的索引

看指标数据

看一下system.yml的一些配置

[root@node4 metricbeat]# grep -Ev "^$|[#;]" modules.d/system.yml

- module: system

  period: 10s

  metricsets:

    - cpu

    - load

    - memory

    - network

    - process

    - process_summary

    - socket_summary

  process.include_top_n:

- module: system

  period: 1m

  metricsets:

    - filesystem

    - fsstat

  processors:

  - drop_event.when.regexp:

      system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib)($|/)'

- module: system

  period: 15m

  metricsets:

    - uptime

三 metribeat的module配置

[root@node4 metricbeat]# ./metricbeat modules list

Enabled:

system

Disabled:

aerospike

apache

aws

beat

beat-xpack

ceph

cockroachdb

consul

coredns

couchbase

couchdb

docker

dropwizard

elasticsearch

elasticsearch-xpack

envoyproxy

etcd

golang

graphite

haproxy

http

jolokia

kafka

kibana

kibana-xpack

kubernetes

kvm

logstash

logstash-xpack

memcached

mongodb

mssql

munin

mysql

nats

nginx

oracle

php_fpm

postgresql

prometheus

rabbitmq

redis

statsd

traefik

uwsgi

vsphere

windows

zookeeper

3.1 配置nginx module的状态查询

在nginx中，只有开启状态查询，才能查询到指标数据

[root@node4 metricbeat]# cd /usr/local/src/

[root@node4 src]# cd nginx-1.16.1

[root@node4 nginx-1.16.1]# ./configure --prefix=/usr/local/nginx --with-http_stub_status_module

[root@node4 nginx-1.16.1]# make && make install

[root@node4 nginx-1.16.1]# nginx -V

configure arguments: --prefix=/usr/local/nginx --with-http_stub_status_module

3.2 配置文件添加状态

nginx的配置文件添加

[root@node4 nginx-1.16.1]# grep -Ev "^$|#" /usr/local/nginx/conf/nginx.conf

worker_processes  ;

events {

    worker_connections  ;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    keepalive_timeout  ;

    server {

        listen       ;

        server_name  localhost;

    location /nginx-status{

        stub_status on;

        access_log off;

    }

        location / {

            root   html;

            index  index.html index.htm;

        }

        error_page        /50x.html;

        location = /50x.html {

            root   html;

        }

    }

}

[root@node4 nginx-1.16.1]# nginx -t

nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok

nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

3.3 访问测试

[root@node4 nginx-1.16.1]# nginx -s reload

访问http://192.168.132.134/nginx-status

3.4 结果说明

Active connections:正在处理的活动连接数

server accepts handled requests

第一个 server表示 Nginx启动到现在共处理了6个连接
第二个 accepts表示Ngin启动到现在共成功创建6次握手
第三个 handled requests表示总共处理了21次请求
请求丢失数=握手数·连接数，可以看出目前为止没有丢失请求

Reading: 0 Writing: 1 Waiting: 1

Reading: Nginx读取到客户端的 Header信息数
Writing: Nginx返回给客户端 Header信息数
Waiting: Nginx已经处理完正在等候下一次请求指令的驻留链接（开启 keep-alive的情况下，这个值等于Active（Reading+Writing）

3.5 启动nginx的module

[root@node4 nginx-1.16.1]# cd /usr/local/metricbeat/

[root@node4 metricbeat]# ./metricbeat modules enable nginx

Enabled nginx

[root@node4 metricbeat]# ll modules.d/

[root@node4 metricbeat]# vi modules.d/nginx.yml

# Module: nginx

# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.4/metricbeat-module-nginx.html

- module: nginx

  #metricsets:

  #  - stubstatus

  period: 10s

  # Nginx hosts

  #hosts: ["http://127.0.0.1"]

  hosts: ["http://192.168.132.134"]

  # Path to server status. Default server-status

  #server_status_path: "server-status"

  server_status_path: "server-status"

  #username: "user"

  #password: "secret"

再次启动

[root@node4 metricbeat]# ./metricbeat -e

3.6 查看配置结果

原始数据

{

"_index": "metricbeat-7.4.2-2019.11.25-000001",

"_type": "_doc",

"_id": "ba0oo24BcnOPLK2rVzUH",

"_version": ,

"_score": ,

"_source": {

"@timestamp": "2019-11-25T15:22:39.039Z",

"metricset": {

"period": ,

"name": "stubstatus"

},

"service": {

"address": "192.168.132.134",

"type": "nginx"

},

"event": {

"dataset": "nginx.stubstatus",

"module": "nginx",

"duration":

},

"nginx": {

"stubstatus": {

"current": ,

"hostname": "192.168.132.134",

"accepts": ,

"handled": ,

"dropped": ,

"requests": ,

"writing": ,

"reading": ,

"waiting": ,

"active":

}

},

"ecs": {

"version": "1.1.0"

},

"host": {

"name": "node4",

"id": "a833bbe7e3634c75ab1b427c4049d056",

"containerized": false,

"hostname": "node4",

"architecture": "x86_64",

"os": {

"version": "7 (Core)",

"family": "redhat",

"name": "CentOS Linux",

"kernel": "3.10.0-957.27.2.el7.x86_64",

"codename": "Core",

"platform": "centos"

}

},

"agent": {

"id": "6abe64f1-2aa7-483a-8b23-2dd8e3cf4972",

"version": "7.4.2",

"type": "metricbeat",

"ephemeral_id": "35503dcb-9f11-4e23-9e07-9dd520ecdb14",

"hostname": "node4"

}

}

}

nginx的metriabeat已经配置完成，后面继续完成ngxin这一部分配置

正文

一 Metricbeat 简介

1.1 系统级监控，更简洁将

1.2 单个二进制文件提供多种模块

1.3 容器就绪

1.4 不错过任何检测信号

1.5 输送至 Elasticsearch 或 Logstash。在 Kibana 中实现可视化

二安装部署metribeat

2.1 下载包

2.2 配置

三 metribeat的module配置

3.1 配置nginx module的状态查询

3.2 配置文件添加状态

3.3 访问测试

3.4 结果说明

3.5 启动nginx的module

3.6 查看配置结果

相关阅读

前端网站设计模式，前端网站设计模式分析

面向对象类图分析，面向对象分析及应用

面向对象分析实验原理，面向对象分析的核心在于

it项目管理特点分析，it项目管理最佳历程

redis分布式锁怎么分析，redis分布式锁原理面试

面向对象系统案例，面向对象分析及应用

工程施工项目管理背景，工程施工项目管理背景分析

go语言分析数据实例，go语言数据分析

目录[+]

一 Metricbeat 简介

1.1 系统级监控，更简洁将

1.2 单个二进制文件提供多种模块

1.3 容器就绪

1.4 不错过任何检测信号

1.5 输送至 Elasticsearch 或 Logstash。在 Kibana 中实现可视化

二 安装部署metribeat

2.1 下载包

2.2 配置

三 metribeat的module配置

3.1 配置nginx module的状态查询

3.2 配置文件添加状态

3.3 访问测试

3.4 结果说明

3.5 启动nginx的module

3.6 查看配置结果

相关阅读

前端网站设计模式，前端网站设计模式分析

面向对象类图分析，面向对象分析及应用

面向对象分析实验原理，面向对象分析的核心在于

it项目管理特点分析，it项目管理最佳历程

redis分布式锁怎么分析，redis分布式锁原理面试

面向对象系统案例，面向对象分析及应用

工程施工项目管理背景，工程施工项目管理背景分析

go语言分析数据实例，go语言 数据分析

目录[+]

二安装部署metribeat

go语言分析数据实例，go语言数据分析