正文

<二>ELK-6.5.3学习笔记–使用rsyslog传输管理nginx日志

IP云
IP云V管理员/2 阅读
09/06
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

http://www.eryajf.net/2362.html

转载于
本文预计阅读时间 28 分钟
文章目录[隐藏]
  • 1，nginx日志json化。
  • 2，发送端配置。
  • 3，接收端配置。
  • 4，配置logstash。
  • 5，简单使用kibana。

现在有好几台主机的nginx日志想要监控分析一下，那么，如何让远程主机的日志都乖乖的来到elk主机之上呢，这是一个需要考虑的问题，而这里，我就使用rsyslog来完成。

这种方式貌似针对于远程主机上只有单项日志的情况，就像我们现在做的，只处理nginx的访问日志一般的，如果还有更多的日志需要从远程转发到elk集群中，就需要用其他方式了，或者说我只会配置这么一种，更复杂的，目前还玩不转。后来哈，在当我测试rsyslog转发多个日志的时候，发现，里边配置规则过于复杂，分类方面也非常不给力，就此打住，一旦多个日志，直接用filebeat即可。

现在，废话不多说，直接进入正题。

目前的思路，可以通过下图了解：

说明：

  • 图中举例了两台nginx，其实可以有更多台nginx日志可以想后方转发。
  • 双方以rsyslog作为桥梁，从而实现日志的中转运输。其中nginx主机上是发送端，elk主机上是接收端。
  • 针对不同的nginx日志，可以启动不同的logstash实例，然后将日志转发给es。
  • 由es，统一将日志转给kibana。

基本上配置起来也就是按上边的思路走，一步步配置起来就好了。

主机情况：

主机组件
192.168.100.10Nginx，Rsyslog
192.168.10.10Rsyslog，ELK

1，nginx日志json化。

首先来配置nginx端的日志，为了方便后边一系列的操作，需要先把nginx的日志json化，要配置也非常简单，通过编辑nginx的配置文件来实现：

在nginx的配置文件nginx.conf的http区域添加如下内容：

  1. log_format json '{"@timestamp":"$time_iso8601",'
  2. '"host":"$server_addr",'
  3. '"request_method": "$request_method", '
  4. '"clientip":"$remote_addr",'
  5. '"size":$body_bytes_sent,'
  6. '"responsetime":$request_time,'
  7. '"upstreamtime":"$upstream_response_time",'
  8. '"upstreamhost":"$upstream_addr",'
  9. '"http_host":"$host",'
  10. '"url":"$uri",'
  11. '"xff":"$http_x_forwarded_for",'
  12. '"referer":"$http_referer",'
  13. '"agent":"$http_user_agent",'
  14. '"status":"$status"}';

注意，这个地方的配置，其实是非常重要的，里边定义了许多的字段（可能还不明白字段是什么意思，等到后边会慢慢介绍这个东东），这些字段取自于原nginx日志，然后再转给es，最后通过kibana展示出来，从而让分析更加多维，立体，简单说明一下这些参数：

  • timestamp：日志的时间戳。
  • host：nginx所在主机IP。
  • request_method：请求类型（POST，GET）
  • clientip：前端ip。
  • size：请求大小。
  • responsetime：请求响应时间。
  • upstreamtime：后端相应请求时间。
  • upstreamhost：后端服务器IP。
  • http_host：域名。
  • url：请求的接口。
  • xff：用户IP。
  • referer：完整请求地址。
  • agent：客户端类型。
  • status：状态码。

其中的clientip常规情况下就是指请求的来源IP地址，下边的xff也是，原因是我们的环境当中在nginx节点之前，还有一层waf，所以此时代表请求的来源IP地址的，则是xff，这个字段用意，将会在后边说明。

然后在nginx的访问日志配置access_log处更改配置如下：

  1. access_log /var/log/nginx/access.log json;

此处的json是与上边的log_format后边的名称相对应的，保持一致即可。如果有多台，可以将如上配置配置过去，这里我就不一一列举了，就拿这台nginx作为示例了。下边也一样，不再配置多台。

2，发送端配置。

现在开始编辑rsyslog发送端的配置，直接编辑rsyslog的配置文件，这里以其中一台服务器的nginx日志作为示例，通过rsyslog将nginx的访问日志转发到elk主机上去。

说明有二：

  • 默认我这里使用的是CentOS7的主机，已经安装了rsyslog-8.x的服务。
  • 还有主机是CentOS-6.x的，可能rsyslog版本很低，这个解决非常简单，通过如下两条命令安装即可。
  1. wget http://rpms.adiscon.com/v8-stable/rsyslog.repo -O /etc/yum.repos.d/rsyslog.repo
  2. yum -y install rsyslog
  3. rsyslogd -v

接下来列出配置内容：

  1. [root@localhost curl]$egrep -v "^#|^$" /etc/rsyslog.conf
  2. $ModLoad imfile
  3. $InputFilePollInterval 3
  4. $WorkDirectory /var/spool/rsyslog
  5. $PrivDropToGroup adm
  6. $InputFileName /var/log/nginx/access.log
  7. $InputFileTag nginx-access:
  8. $InputFileStateFile stat-nginx-access
  9. $InputFileSeverity info
  10. $InputFilePersistStateInterval 25000
  11. $InputRunFileMonitor
  12. $template BiglogFormatNginx,"%msg%\n"
  13. if $programname == 'nginx-access' then @192.168.10.10:514;BiglogFormatNginx
  • InputFileName：定义日志文件位置，此处貌似不能使用*.log来匹配。
  • InputFileTag：定义一个tag，方便下边调用。
  • template：定义日志格式的模板。
  • 最后一句：将日志转发给192.168.10.10的UDP（一个@表示UDP，两个@表示TCP）端口514，并应用模板BiglogFormatNginx。

3，接收端配置。

接收端在elk主机之上，这里同样配置rsyslog作为接收端，然后将接收到的日志存在elk本地。配置内容如下：

  1. [root@localhost ~]$egrep -v "^#|^$" /etc/rsyslog.conf
  2. $template myformat,"%rawmsg%\n"
  3. $ActionFileDefaultTemplate myformat
  4. $ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
  5. $ModLoad imjournal # provides access to the systemd journal
  6. $ModLoad immark # provides --MARK-- message capability
  7. $ModLoad imudp
  8. $UDPServerRun 514
  9. $ModLoad imtcp
  10. $InputTCPServerRun 514
  11. $WorkDirectory /var/lib/rsyslog
  12. $AllowedSender tcp, 192.168.10.0/24,192.168.100.0/24
  13. $template Remote,"/logs/logstashfile/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
  14. :fromhost-ip, !isequal, "127.0.0.1" ?Remote
  15. $IncludeConfig /etc/rsyslog.d/*.conf
  16. $OmitLocalLogging on
  17. $IMJournalStateFile imjournal.state

说明：

  • 1，在本机开启upd,tcp端口514接收日志。
  • 2，接收的范围，是IP定义的，多个网段的话中间用逗号隔开。
  • 3，接收到的日志存放模板，存在本地的/logs目录下，这里注意需要创建对应目录。
  • 4，不杰接受来自elk本机的日志。

然后在两边都启动rsyslog服务。

  1. systemctl restart rsyslog
  2. systemctl enable rsyslog
  3. systemctl status rsyslog

等待一会儿，就能够在elk主机上看到日志目录生成了。

  1. [root@elk logstashfile]$pwd
  2. /logs/logstashfile
  3. [root@elk logstashfile]$ls
  4. 192.168.100.10

然后进去看一下日志，发现就是远程主机当中已经json化的nginx访问日志。

4，配置logstash。

接着就该考虑如何将远程转过来的nginx日志，呈现在elk集群当中，这里使用logstash进行日志的转发，配置如下：

  1. cat > /etc/logstash/conf.d/nginx.conf << EOF
  2. input {
  3. file {
  4. type => "nginx-access"
  5. path => "/logs/logstashfile/192.168.100.10/192.168.100.10_*.log"
  6. codec => "json"
  7. }
  8. }
  10. filter {
  11. geoip {
  12. source => "xff"
  13. fields => ["city_name", "country_code2", "country_name", "latitude", "longitude", "region_name"]
  14. remove_field => ["[geoip][latitude]", "[geoip][longitude]"]
  15. }
  16. json {
  17. source => "message"
  18. target => "jsoncontent"
  19. }
  20. }
  22. output {
  23. if [type] == "nginx-access" {
  24. elasticsearch {
  25. hosts => ["127.0.0.1:9200"]
  26. manage_template => true
  27. index => "nginx-access-%{+YYYY-MM}"
  28. }
  29. }
  30. }
  31. EOF
  • 1，input定义日志的名称（type），位置（path），格式。可以定义多个。这里直接读取通过rsyslog放置到本地的日志。
  • 2，filter定义一些关键字段的过滤。通过geoip来实现ip的地理位置标识，注意这个地方我的source是xff，上边我已经解释过这个原因，如果你的是常规情况，那么应该更改成clientip。
  • 3，output定义标准输出，到本机的9200端口，最后的index是索引名称，可以自定义，如果是不同主机上的日志，可以在这个地方根据其ip不同来进行区分。

注意：此处所配置的geoip不需要像网上许多教程说的，还要再引用对应的数据库，因为目前最新版本的elk已经配备了相应的配置，这点，在等会儿启动的日志当中可以见分晓。

input {
kafka {
type =>"nginxlog"
topics =>["nginxlog"]
bootstrap_servers=> "172.18.45.79:9092,172.18.45.78:9092,172.18.45.80:9092"
group_id =>"nginxlog"
auto_offset_reset=> latest
codec =>"json"
}
kafka {
type => "kafka-logs"
bootstrap_servers => "172.18.45.79:9092,172.18.45.78:9092,172.18.45.80:9092"
group_id => "logstash"
auto_offset_reset => "earliest"
topics => "kafka_run_log"
consumer_threads => 5
decorate_events => true
}
}

filter {
if [type] == "nginxlog"{
grok {
match => {"message" => "%{COMBINEDAPACHELOG}" }
remove_field =>"message"
}
date {
match => ["timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
geoip {
source =>"clientip"
target =>"geoip"
database =>"/usr/local/logstash-6.4.0/config/GeoLite2-City_20190423/GeoLite2-City.mmdb"
add_field => ["[geoip][coordinates]", "%{[geoip][longitude]}" ]
add_field => ["[geoip][coordinates]", "%{[geoip][latitude]}" ]
}
mutate {
convert => ["[geoip][coordinates]", "float"]
}
useragent {
source =>"agent"
target =>"userAgent"
}
}
if [type] == "kafka-logs"{
date {
match => ["timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
}
}
output {
if [type] == 'nginxlog' {
elasticsearch {
hosts =>["172.18.45.79:9200","172.18.45.78:9200","172.18.45.80:9200"]
index =>"logstash-nginxlog-%{+YYYY.MM.dd}"
}

}
if [type] == 'kafka-logs' {
elasticsearch {
hosts =>["172.18.45.79:9200","172.18.45.78:9200","172.18.45.80:9200"]
index =>"logstash-nginxlog-%{+YYYY.MM.dd}"
}

}

}

默认有一个data目录，为了方便以后多实例管理，所以单独创建一个，另外启动日志也可以输出一个，从而让运维更容易，同样也创建对应的目录。

  1. mkdir /usr/share/logstash/data1
  2. mkdir /logs/logstash_nohup

启动实例。

  1. nohup /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/nginx.conf --path.data=/usr/share/logstash/data1 &> /logs/logstash_nohup/nginx.out &

然后监听一下转发状况：

  2. [root@localhost ~]$tail -fn 100 /logs/logstash_nohup/nginx.out
  4. WARNING可以忽略，因为我们启动的时候已经指定配置文件了。: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
  5. Could not find log4j2 configuration at path /usr/share/logstash/config/log4j2.properties. Using default config which logs errors to the console
  6. [WARN ] 2018-12-18 17:49:40.285 [LogStash::Runner] multilocal - Ignoring the 'pipelines.yml' file because modules or command line options are specified
  7. [INFO ] 2018-12-18 17:49:40.300 [LogStash::Runner] runner - Starting Logstash {"logstash.version"=>"6.5.3"}
  8. [INFO ] 2018-12-18 17:49:43.330 [Converge PipelineAction::Create<main>] pipeline - Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>16, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
  9. [INFO ] 2018-12-18 17:49:43.733 [[main]-pipeline-manager] elasticsearch - Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://127.0.0.1:9200/]}}
  10. [WARN ] 2018-12-18 17:49:45.024 [[main]-pipeline-manager] elasticsearch - Restored connection to ES instance {:url=>"http://127.0.0.1:9200/"}
  11. [INFO ] 2018-12-18 17:49:46.660 [[main]-pipeline-manager] elasticsearch - ES Output version determined {:es_version=>6}
  12. [WARN ] 2018-12-18 17:49:46.663 [[main]-pipeline-manager] elasticsearch - Detected a 6.x and above cluster: the `type` event field won't be used to determine the document _type {:es_version=>6}
  13. [INFO ] 2018-12-18 17:49:46.687 [[main]-pipeline-manager] elasticsearch - New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//127.0.0.1:9200"]}
  14. [INFO ] 2018-12-18 17:49:46.701 [Ruby-0-Thread-5: :1] elasticsearch - Using mapping template from {:path=>nil}
  15. [INFO ] 2018-12-18 17:49:46.711 [[main]-pipeline-manager] geoip - Using geoip database {:path=>"/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-filter-geoip-5.0.3-java/vendor/GeoLite2-City.mmdb"}
  16. [INFO ] 2018-12-18 17:49:46.723 [Ruby-0-Thread-5: :1] elasticsearch - Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>60001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date"}, "@version"=>{"type"=>"keyword"}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}}
  17. [INFO ] 2018-12-18 17:49:46.989 [[main]>worker15] beats - Beats inputs: Starting input listener {:address=>"0.0.0.0:5054"}
  18. [INFO ] 2018-12-18 17:49:47.006 [Converge PipelineAction::Create<main>] pipeline - Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x31362ee1 run>"}
  19. [INFO ] 2018-12-18 17:49:47.058 [Ruby-0-Thread-1: /usr/share/logstash/lib/bootstrap/environment.rb:6] agent - Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
  20. [INFO ] 2018-12-18 17:49:47.061 [[main]<beats] Server - Starting server on port: 5054
  21. [INFO ] 2018-12-18 17:49:47.290 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9610}

说明：

从这段日志当中，可以看出不少的信息，所以特别的拎出来了。

  • 1，第一个WARNING可以忽略，因为我们启动的时候已经指定配置文件了。
  • 2，启动之后开始连接配置当中指定的127.0.0.1:9200。
  • 3，接着会看到一个输出：
    1. geoip - Using geoip database {:path=>"/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-filter-geoip-5.0.3-java/vendor/GeoLite2-City.mmdb"}
      这条输出的意思就是刚刚我提到的那个问题，系统其实已经有了对应的库，进行加载，当然，有可能这个库的新鲜度未必能够保证。需要注意的是，GeoLite数据库由每月的第一个星期二的MaxMind更新，如果需要最新的，可以及时进行更新下载。
  • 4，接着可以看到es加载了初始定义好了的模板进行数据处理。
  • 5，直到一系列初始化完成，然后正式处理对应的日志到。

过一会儿，会看到有大量日志输出，说明日志已经成功转发给es，此时也可以去kibana当中创建一个对应的索引了。

5，简单使用kibana。

现在来访问kibana做一些简单查看：

  • 1，点击管理，进入到管理界面。
  • 2，点击索引管理，可以看到es已经创建的索引。
  • 3，点击索引模式，将es的索引引入到kibana当中。

现在我们点击第三步，去创建一下索引：

点击进来之后，就能看到刚刚我们定义的索引了，现在我创建一个以nginx-access*命名的索引（这个地方所列出来的索引，都是在logstash的配置当中定义了的索引），点击下一步。

选择索引的模式，这里一般都使用timestamp，即以时间作为标准。然后点击创建即可。

创建成功之后，能够看到一些我们前边定义好了的字段，这些字段也将成为我们日后分析日志的重要依据，可能你现在对字段是什么，还不能十分理解，不用着急，慢慢往后看，咱们一起边做边理解。

现在可以去看一下，前台日志展示页面是否成功了：

可以看到日志已经呈现在眼前了，到这里，可以说，基本上elk的整个流程就算是走通了。

貌似一般情况下，网上教程都是到这个地方就结束了，然而，事情难道不是刚刚开始么。

接着，我们先来看一下我们前边多次提到的字段是否如我们所愿的展示了，查看的方法也很简单，随便点击其中一条日志，查看其json的格式：

这样一展示之后，就能看出，清晰多了，我们所想要的，都生成了，稍候就能够通过这些数据，来进行画图等操作

<二>ELK-6.5.3学习笔记–使用rsyslog传输管理nginx日志的更多相关文章

  1. python学习笔记--Django入门四 管理站点--二

    接上一节  python学习笔记--Django入门四 管理站点 设置字段可选 编辑Book模块在email字段上加上blank=True,指定email字段为可选,代码如下: class Autho ...

  2. iOS学习笔记之ARC内存管理

    iOS学习笔记之ARC内存管理 写在前面 ARC(Automatic Reference Counting),自动引用计数,是iOS中采用的一种内存管理方式. 指针变量与对象所有权 指针变量暗含了对其 ...

  3. 学习笔记&lpar;1&rpar;centos7 下安装nginx

    学习笔记(1)centos7 下安装nginx 这里我是通过来自nginx.org的nginx软件包进行安装的. 1.首先为centos设置添加nginx的yum存储库 1.通过vi命令创建一个rep ...

  4. &lbrack;转帖&rsqb;Linux学习笔记之rpm包管理功能全解

    Linux学习笔记之rpm包管理功能全解 https://www.cnblogs.com/JetpropelledSnake/p/11177277.html rpm 的管理命令 之前学习过 yum 的 ...

  5. 【cocos2d-x 3&period;x 学习笔记】对象内存管理

    内存管理 内存管理一直是一个不易处理的问题.开发人员必须考虑分配回收的方式和时机,针对堆和栈做不同的优化处理,等等.内存管理的核心是动态分配的对象必须保证在使用完成后有效地释放内存,即管理对象的生命周 ...

  6. blfs（systemd版本）学习笔记-配置远程访问和管理lfs系统

    我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! 要实现远程管理和配置lfs系统需要配置以下软件包: 前几页章节脚本的配置:https://www.cnblogs.com/ren ...

  7. blfs（systemv版本）学习笔记-配置远程访问和管理lfs系统

    我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! 要实现远程管理和配置lfs系统需要配置以下软件包: 前几页章节脚本的配置:https://www.cnblogs.com/ren ...

  8. Nginx网络架构实战学习笔记（三）：nginx gzip压缩提升网站速度、expires缓存提升网站负载、反向代理实现nginx&plus;apache动静分离、nginx实现负载均衡

    文章目录 nginx gzip压缩提升网站速度 expires缓存提升网站负载 反向代理实现nginx+apache动静分离 nginx实现负载均衡 nginx gzip压缩提升网站速度 网页内容的压 ...

  9. kafka学习笔记（四）kafka的日志模块

    概述 日志段及其相关代码是 Kafka 服务器源码中最为重要的组件代码之一.你可能会非常关心,在 Kafka 中,消息是如何被保存和组织在一起的.毕竟,不管是学习任何消息引擎,弄明白消息建模方式都是首 ...

随机推荐

  1. 【转】input输入框中光标高度的变化问题

    原文地址:http://blog.csdn.net/luochao_tj/article/details/17755457 input[type='text']文本框光标高度在有输入内容和为空时发生很 ...

  2. &lpar;转）C&num; 解析 json

      原文: http://www.cnblogs.com/txw1958/archive/2012/08/01/csharp-json.html JSON(全称为JavaScript Object N ...

  3. &lt&semi; java&period;util &gt&semi;-- List接口

    List本身是Collection接口的子接口,具备了Collection的所有方法.现在学习List体系特有的共性方法,查阅方法发现List的特有方法都有索引,这是该集合最大的特点. List:有序 ...

  4. mybatis&colon;&quot&semi;configuration&quot&semi; must match &quot&semi;&lpar;properties&quest;&comma;settings&quest;&comma;typeAliase&period;&period;&period;&period;&period;

    在运行mybatis配置文件的时候,出现错误: mybatis:"configuration" must match "(properties?,settings?,ty ...

  5. Java课程设计-随机密码生成器

    1.团队课程设计博客链接 团队课程设计博客地址 2.个人负责模板 随即密码生成器算法 3.自己的代码提交记录截图 4.自己负责模块或任务详细说明 负责随机密码算法设计实现 通过不同种类选择下生成密码, ...

  6. 【Node&period;js】利用node&period;js搭建服务器并访问静态网页

    node.js是一门服务端的语言,下面讲讲如何利用node.js提供给我们的api来搭建服务器,并且访问静态网页 项目结构如下 ------------------------------------ ...

  7. Error&colon; Invalid or corrupt jarfile

    使用IDEA通过MAVEN创建quickstart项目后,添加了Artifacts,发现生成的jar包无法run,出现下面的错误: Error: Invalid or corrupt jarfile ...

  8. Scala：HelloWorld

    代码 object HelloWorld { def main(args: Array[String]): Unit = { println("Hello world") } } ...

  9. vijos 1006 晴天小猪历险记之Hill——数字三角形的终极变化

    题目链接:https://vijos.org/p/1006 数字三角形原题看这里:http://www.cnblogs.com/huashanqingzhu/p/7326837.html 背景 在很久 ...

  10. Verilog笔记&period;3&period;有限状态机

    有限状态机有限状态机是由寄存器组和组合逻辑构成的硬件时序电路,其状态(即由寄存器组的1和0的组合状态所构成的有限个状态)只可能在同一时钟跳变沿的情况下才能从一个状态转向另一个状态,究竟转向哪一状态还是 ...