【前言】
在前几篇博文中将ELK+Filebeat收集SpringBoot项目日志搭建完毕，本次我们将展示如何将Nginx接入我们搭建的日志系统，把步骤记录下来，一是方便自己以后安装，二是可以为大家做参考共享。
【一句总结一张架构图】
一、一句话总结学完本篇博文，你将学到什么？
Nginx接入ELK+Filebeat收集系统，Kibana设置展示日志
二、架构图
【SpringBoot接入ELK】
一、环境：
1、Windows系统（本人是win10环境）
2、VMware10.0.1
3、Centos 7.4
4、Xshell5
5、Docker 19.03
6、Elasticsearch 7.2.0
7、Kibana 7.2.0
8、Logstash 7.2.0
9、Filebeat 7.2.0
10、SpringBoot项目 （项目地址:
https://github.com/dangnianchuntian/springboot
版本号1.7.0-Release）
11、Nginx 1.16.1
二、Nginx接入步骤：
1、CentOS安装Nginx
（1）安装Nginx组件epel
yum install epel-release
（2）yum安装nginx
yum -y install nginx
（3）启动nginx
nginx
（4）检查nginx是否启动成功
curl localhost
2、配置Nginx
（1）查找nginx的配置文件
find / -name nginx.conf
（2）编辑配置文件增加日志输出的格式
vim /etc/nginx/nginx.conf
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
http {
log_format json '{ "@timestamp": "$time_iso8601", '
'"time": "$time_iso8601", '
'"remote_addr": "$remote_addr", '
'"remote_user": "$remote_user", '
'"body_bytes_sent": "$body_bytes_sent", '
'"request_time": "$request_time", '
'"status": "$status", '
'"host": "$host", '
'"request": "$request", '
'"request_method": "$request_method", '
'"uri": "$uri", '
'"http_referrer": "$http_referer", '
'"body_bytes_sent":"$body_bytes_sent", '
'"http_x_forwarded_for": "$http_x_forwarded_for", '
'"http_user_agent": "$http_user_agent" '
'}';
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
default_type application/octet-stream;
include /etc/nginx/conf.d/*.conf;
}
（3）编辑项目配置文件
vim /etc/nginx/conf.d/zh_boot.conf
server {
listen 8081;
server_name 192.168.37.129;
location / {
proxy_pass http://192.168.37.129:8080;
}
access_log /elklogs/nginx-log/nginx_access.json json;
}
（4）创建Nginx访问日志目录
mkdir /elklogs/nginx-log/ -p
（5）检查nginx配置文件是否正确
nginx -t
（6）重启nginx
nginx -s reload
3、启动项目（zh-boot）
//为防止影响将springadmin的client关闭
java -jar -Dspring.boot.admin.client.enabled=false zh-boot.jar
4、通过nginx访问项目swagger验证nginx配置正确
http://192.168.37.129:8081/swagger-ui.html
5、ELK+Filebeat增加nginx访问请求的收集
（1）在原来Logstash基础上增加收集nginx请求日志
a.编辑logstash配置文件
vim /data/elk/logstash/logstash.conf
input {
beats {
port => 5045
codec => json
}
}
filter {
if [fields][service] == "zhboot" {
date {
match => [ "requestTime" , "yyyy-MM-dd HH:mm:ss" ]
target => "@timestamp"
}
mutate {
remove_field => "parent"
remove_field => "meta"
remove_field => "trace"
remove_field => "tags"
remove_field => "prospector"
remove_field => "span"
remove_field => "fields"
remove_field => "severity"
remove_field => "@version"
remove_field => "exportable"
remove_field => "input"
remove_field => "pid"
remove_field => "thread"
remove_field => "beat"
remove_field => "host"
remove_field => "offset"
remove_field => "log"
}
}
}
output {
if [fields][service] == "nginx_zhboot" {
elasticsearch {
hosts => ["172.17.0.2:9200"]
index => "nginx_zhboot_%{+YYYYMM}"
}
}
elasticsearch {
hosts => ["172.17.0.2:9200"]
index => "%{[esindex]}_%{+YYYYMM}"
}
}
b.停止logstash容器
docker stop lst
c.将配置文件copy到logstash容器内
docker cp logstash.conf lst:/usr/share/logstash/config/
d.启动logstash容器
docker start lst
（2）在原来Filebeat基础上增加收集nginx请求日志
a.编辑Filebeat配置文件
vim /data/elk/filebeat-7.2.0-linux-x86_64/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /elklogs/zh-boot-allrequest-log/*.json
fields:
service: zhboot
filebeat.config.modules:
path: /data/elk/filebeat-7.2.0-linux-x86_64/modules.d/*.yml
reload.enabled: false
output.logstash:
hosts: ["172.17.0.4:5045"]
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
filebeat.inputs:
- type: log
enabled: true
paths:
- /elklogs/nginx-log/*.json
fields:
service: nginx_zhboot
filebeat.config.modules:
path: /data/elk/filebeat-7.2.0-linux-x86_64/modules.d/*.yml
reload.enabled: false
output.logstash:
hosts: ["172.17.0.4:5045"]
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
b.启动filebeat
sh /data/elk/filebeat-7.2.0-linux-x86_64/start.sh
三、进行验证：
1、正常请求的验证
（1）用Postman进行访问一下（用swagger直接访问的话不通过nginx）
（2）在Kibana中创建索引
a.create index pattern
b.Define index pattern
c.Configure settings
d.在Discover中查看刚才的访问
2、异常请求的演示
a.用postman模拟不存在的url
b.在Kibana中查看
【总结】
Nginx做为流量的入口，通过对入口的日志收集以及接下来配合相关错误的监控，可以有效的避免攻击，快速排错（比如和第三方交互，可以通过Nginx的日志确认第三方是否发起请求）。
