nginx日志按天切割并归集在一台服务器

nginx日志对于分析网站有极大的意义，如果我们有多个网站，这些网站又分布在不同的服务器，如何高效地分析这些nginx日志？这里有两个问题：

nginx日志要进行切割，不然单个文件太大，不便于分析
日志散落在不同的服务器，不便管理，尤其在迁站时，容易丢失日志

image.png

日志按天切割

单一文件太大，就应该对其进行切割，一般是以时间为单位进行切割。有很多切割的方案，有些是借助第三方工具切割，有些是自己写脚本，这些方案都太重了，我希望仅需改nginx的配置即可完成，实现如下：

if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})") {
    set $year $1;
    set $month $2;
    set $day $3;
}

access_log  /var/log/test/access_$year-$month-$day.log;
error_log  /var/log/test/error.log;

以下几点需要注意：

nginx日志目录要先建好，且必须对nginx开放权限，不然记录不到日志
error_log 不能使用变量，直接解析成字符串，因此只能是单一文件

以上配置后，就会生成access_2019-04-06.log格式的日志

日志归集

原理很简单，写一个脚本，将不同服务器的日志同步到其中一台服务器，每天凌晨定时执行。

以下用python实现：

import os
from datetime import date, timedelta
yesterday = date.today() - timedelta(1)

year = yesterday.strftime("%Y")
month = yesterday.strftime("%m")
day = yesterday.strftime("%d")

find_command = 'find /www/web/test/nginx/log -type f -name "*.log" | grep {0}'.format(year+'-'+month+'-'+day)

paths = os.popen(find_command).read().split()

for path in paths:
    dist_path = 'username@192.168.1.12:' + path
    scp_command = "scp {0} {1}".format(path, dist_path)
    os.system(scp_command)

代码讲解：

获取前一天日志，拼接nginx日志路径
用find命令获取日志的绝对路径
通过scp命令将日志传送到目标服务器

再将这个脚本设置成crontab定时执行

各个服务器之间要先建立ssh信任通道，这样才能用scp免密码传送

日志集中到一台服务器后，就可以很方便地进行日志分析