正文
Docker搭建EFK日志收集系统，并自定义es索引名
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
EFK架构图
一、EFK简介EFK不是一个软件，而是一套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。
EFK是三个开源软件的缩写，分别表示：Elasticsearch , FileBeat, Kibana , 其中ELasticsearch负责日志保存和搜索，FileBeat负责收集日志，Kibana 负责界面Elasticsearch：是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。
特点：分布式，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。kibana：是一个开源和免费的工具，它可以为 Logstash 、Beats和 ElasticSearch提供友好的web可视化界面，帮助您汇总、分析和搜索重要数据日志。Filebeat由两个主要组件组成：prospector 和harvester。
启动Filebeat时，它会启动一个或多个查找器(prospector)，查看您为日志文件指定的本地路径。 对于prospector 所在的每个日志文件，prospector 启动harvester。 每个harvester都会为新内容读取单个日志文件，并将新日志数据发送到libbeat，后者将聚合事件并将聚合数据发送到您为Filebeat配置的输出。Filebeat隶属于Beats。目前Beats包含六种工具：
Packetbeat（搜集网络流量数据）
Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
Filebeat（搜集文件数据）
Winlogbeat（搜集 Windows 事件日志数据）
Auditbeat（ 轻量型审计日志采集器）
Heartbeat（轻量级服务器健康采集器）Logstash替换成了FileBeat，因为Filebeat相对于Logstash来说有2个好处：
1、侵入低，无需修改程序目前任何代码和配置
2、相对于Logstash来说性能高，Logstash对于IO占用很大
二、Docker部署EFK1、部署前考虑安全加密问题
1、修改服务默认的端口号
2、防火墙设置
3、页面用户名密码验证
2、Docker搭建单台elasticsearch，并开启安全验证
#提前准备
docker pull elastic/elasticsearch:7.1.0
mkdir /server/docker/efk/es/
vim /server/docker/efk/es/es.yml
cluster.name: elasticsearch-cluster
network.host: 0.0.0.0
http.port: 9200
xpack.security.enabled: true #这一步是开启x-pack插件
EFK不是一个软件，而是一套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。
EFK是三个开源软件的缩写，分别表示：Elasticsearch , FileBeat, Kibana , 其中ELasticsearch负责日志保存和搜索，FileBeat负责收集日志，Kibana 负责界面Elasticsearch：是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。
特点：分布式，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。kibana：是一个开源和免费的工具，它可以为 Logstash 、Beats和 ElasticSearch提供友好的web可视化界面，帮助您汇总、分析和搜索重要数据日志。Filebeat由两个主要组件组成：prospector 和harvester。
启动Filebeat时，它会启动一个或多个查找器(prospector)，查看您为日志文件指定的本地路径。 对于prospector 所在的每个日志文件，prospector 启动harvester。 每个harvester都会为新内容读取单个日志文件，并将新日志数据发送到libbeat，后者将聚合事件并将聚合数据发送到您为Filebeat配置的输出。Filebeat隶属于Beats。目前Beats包含六种工具：
Packetbeat（搜集网络流量数据）
Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
Filebeat（搜集文件数据）
Winlogbeat（搜集 Windows 事件日志数据）
Auditbeat（ 轻量型审计日志采集器）
Heartbeat（轻量级服务器健康采集器）Logstash替换成了FileBeat，因为Filebeat相对于Logstash来说有2个好处：
1、侵入低，无需修改程序目前任何代码和配置
2、相对于Logstash来说性能高，Logstash对于IO占用很大
1、部署前考虑安全加密问题
1、修改服务默认的端口号
2、防火墙设置
3、页面用户名密码验证
2、Docker搭建单台elasticsearch，并开启安全验证
#提前准备
docker pull elastic/elasticsearch:7.1.0
mkdir /server/docker/efk/es/
vim /server/docker/efk/es/es.yml
cluster.name: elasticsearch-cluster
network.host: 0.0.0.0
http.port: 9200
xpack.security.enabled: true #这一步是开启x-pack插件
docker启动es：
docker run --name=es -p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPTS="-Xms256m -Xmx512m" \
-e "discovery.type=single-node" \
-v /server/docker/efk/es/es.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-itd elastic/elasticsearch:7.1.0
注：-e "discovery.type=single-node" #意思为单台启动
-e ES_JAVA_OPTS="-Xms256m -Xmx512m" #设置内存限制
EFK版本可以选择最新的，目前是7.12.1
开启安全认证：
docker exec -it es /bin/bash #进入容器内部
cd /usr/share/elasticsearch/bin
./elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass "" #开启x-pack安全认证证书
./elasticsearch-users useradd admin -p 123456 -r superuser #创建一个用户
./elasticsearch-users list #查看有哪些用户#如想修改用户密码、删除用户：
./elasticsearch-users userdel admin#删除用户
./elasticsearch-users passwd 用户名#修改用户密码
3、Docker搭建kibana
#提前准备
mkdir /server/docker/efk/kibana/
vim /server/docker/efk/kibana/kibana.yml
server.name: kibana
server.host: "0.0.0.0"
server.port: 5601
kibana.index: ".kibana"
elasticsearch.hosts: [ "http://192.168.1.10:9200" ]
elasticsearch.username: "admin"
elasticsearch.password: "123456"
xpack.security.enabled: true
i18n.locale: "zh-CN"
docker启动kibana：
docker run --restart=always --name=kibana -p 5601:5601 \
-e ELASTICSEARCH_URL=http://192.168.1.10:9200 \
-v /server/docker/efk/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml \
-itd elastic/kibana:7.1.0
访问kibana页面：http://192.168.1.10:5601
登录名：admin
密码：123456
4、Filebeat俩种方式部署
（1）下载filebeat安装包部署（推荐）
tar -xf filebeat-7.1.0-linux-x86_64.tar.gz
mv filebeat-7.1.0-linux-x86_64 /usr/local/filebeat-7.1.0
cd /usr/local/filebeat-7.1.0
#默认索引名字为“filebeat-*”，所有的日志都收集在这个索引下，所以我们需要自定义，实现索引开头一致，中间是各自的程序名，看名字就知道是哪个程序日志。
vim filebeat.yml
filebeat.inputs:
#定义日志收集路径
- type: log
enabled: true
paths:
- /server/apache-tomcat-8.5.34-9081/logs/catalina.out
- /server/apache-tomcat-8.5.34-9081/webapps/thirdBuy/logs/*.log
fields:
source: dubbo
- type: log
enabled: true
paths:
- /home/project/logs/eureka-service/eureka-service.log
fields:
source: eureka-service
- type: log
enabled: true
paths:
- /home/project/logs/gateway-service/gateway-service.log
fields:
source: gateway-servicefilebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: truesetup.template.settings:
index.number_of_shards: 1#定义kibana的IP:PORT
setup.kibana:
host: "192.168.1.10:5601"#定义模板的相关信息
setup.template.name: "xm_log"
setup.template.pattern: "xm-*"
setup.template.overwrite: true
setup.template.enabled: true#自定义ES的索引需要把ilm设置为false
setup.ilm.enabled: false# 定义ES的IP:PORT
output.elasticsearch:
hosts: ["192.168.1.10:9200"]
username: "admin"
password: "123456"
# 这里的index前缀"xm"与模板的pattern匹配，中间这一串设置为field.source变量，方面后面具体的匹配
index: "xm-%{[fields.source]}-*"
indices:
# 这里的前缀"xm"同为与模板的pattern匹配，中间为field.source具体的值，当前面的input的field.source值与这里的匹配时，则index设置为定义的值
- index: "xm-dubbo-%{+yyyy.MM.dd}"
when.equals:
fields:
source: "dubbo"
- index: "xm-eureka-service-%{+yyyy.MM.dd}"
when.equals:
fields:
source: "eureka-service"
- index: "xm-gateway-service-%{+yyyy.MM.dd}"
when.equals:
fields:
source: "gateway-service"processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
根据自己的实际情况自定义filebeat.yml配置文件
启动filebeat：（为防止filebeat挂掉，可以写一个启动脚本）
vim /usr/local/filebeat-7.1.0/start.sh
#! /bin/bash
ps -ef | grep filebeat | grep -v grep
if [ $? -eq 0 ];then
echo "It's running...."
exit 0
else
nohup ./filebeat > logs/filebeat.log 2>&1 &
echo "-----------starting----------"
fi
添加定时：
0 8 * * * /bin/sh /usr/local/filebeat-7.1.0/start.sh
（2）docker部署filebeat
运行时要把需要收集的日志，和filebeat.yml配置文件挂载到容器里面。
vim filebeat.yml
filebeat:
prospectors:
- input_type: log
paths: # 这里是容器内的path
- /var/log/command.log
json.keys_under_root: true # 使Filebeat解码日志结构化为JSON消息，设置key为输出文档的顶级目录。 如果不需要json格式输出，可以删除这两个json参数
json.overwrite_keys: true # 覆盖其他字段
registry_file: /usr/share/filebeat/data/registry/registry # 这个文件记录日志读取的位置，如果容器重启，可以从记录的位置开始取日志
output:
elasticsearch: # 我这里是输出到elasticsearch，也可以输出到logstash
index: "rocket" # kibana中的索引
hosts: ["192.168.1.10:9200"] # elasticsearch地址
docker运行filebeat：
docker run --restart=always --name=filebeat \
-v /var/log/command.log:/var/log/command.log:ro \
-v /data/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /data/filebeat/registry/:/usr/share/filebeat/data/registry/
-d elastic/filebeat:7.1.0
三、kibana页面操作
进入管理界面，查看es索引
1、创建索引
2、搜索日志
指定项目日志，可以选定字段、时间查看
3、实时查看日志
四、清理efk索引缓冲
由于索引缓冲太多，导致efk运行缓慢，所以需要定时删除几天前的索引缓冲。
手动删除：
curl -u admin:123456 -XGET http://192.168.1.10:9200/_cat/indices?v | grep 2021.04.28 | awk '{print $3}' #查看某天的索引
curl -s -u admin:123456 -XDELETE http://192.168.1.10:9200/*-2021.03.10 #删除指定索引
脚本定期删除：
vim es-index-clean.sh
#!/bin/bash
DATE=`date -d "10 days ago" +%Y.%m.%d`
#删除10天前的日志
ck=`curl -s -u admin:123456 -XGET http://192.168.1.10:9200/_cat/indices?v | grep $DATE |awk '{print $3}'`for index in $ck
do
curl -s -u admin:123456 -XDELETE http://192.168.1.10:9200/$index
if [ $? -eq 0 ];then
echo "---------delete $DATE index success--------"
else
echo "---------delete $DATE index fail--------"
fi
done
添加定时：
0 1 * * * /bin/sh /home/docker/server/efk/es/es-index-clean.sh
五、配置域名访问（nginx）vim /usr/local/nginx/conf/nginx.conf
server {
listen 80;
server_name efk.test.com;location / {
pass_proxy http://192.168.1.10:5601;
}
access_log logs/efk.test.com_access.log;
}
/usr/local/nginx/sbin/nginx -t#检查nginx配置文件
/usr/local/nginx/sbin/nginx -s reload #重新加载配置文件
访问：http://efk.test.com
大雨里百鬼夜行，我们混在其中，比鬼还高兴。
vim /usr/local/nginx/conf/nginx.conf
server {
listen 80;
server_name efk.test.com;location / {
pass_proxy http://192.168.1.10:5601;
}
access_log logs/efk.test.com_access.log;
}
/usr/local/nginx/sbin/nginx -t#检查nginx配置文件
/usr/local/nginx/sbin/nginx -s reload #重新加载配置文件
访问：http://efk.test.com
大雨里百鬼夜行，我们混在其中，比鬼还高兴。
