如何使用cronolog切割Nginx日志

说明:

应公司需求，需要将nginx访问日志按分钟切割。这里参照网上的做法，通过cronolog将nginx产生的访问日志实时传入到pipe中。为了便于统计，自定义nginx访问日志格式。

实现：

1.crontab编译安装

wget http://cronolog.org/download/cronolog-1.6.2.tar.gz   //此版本已经是最新的，就更新到2002

tar zxvf cronolog-1.6.2.tar.gz

cd cronolog-1.6.2

./configure

make

make install

2.自定义nginx格式,，以||分隔：

vim /usr/local/webserver/nginx/conf/nginx.conf  //以下为内容

log_format  access  '$remote_addr||$remote_user||[$time_local]||"$request"'

'||$status||$body_bytes_sent||"$http_referer"'

'||"$http_user_agent"||$http_x_forwarded_for';

//此log_format一定要放在server｛｝前面，http｛｝里面。如果是按vhosts的形式来存储，请将log_format要放在server｛｝前面

//相应的日志位置调用日志格式，并将日志写入管道。同一地址，可填定多条access_log。

access_log  /var/log/nginx/nobody_access_min.pipe  access;

access_log  /var/log/nginx/nobody_access_hour.log  access;   //此条access_log用于比对分钟切割产生的日志，确定是否有记录损失

3.创建日志管道

mkfifo /var/log/nginx/nobody_access_min.pipe

4.添加脚本，实现以日期创建文件夹，内含00,01.....23文件,用于存放nobody.com的access日志

vim /tmp/nginx_log_mkdir_day.sh  //以下为内容

#!/bin/bash

logs_path="/var/log/nginx/"

date_dir=`date +%Y%m%d`

for i in `seq -w 0 23`;

do

  /bin/mkdir -p ${logs_path}${date_dir}/$i;

done

5.编辑crontab，添加以下信息：实现按天建目录，按小时切割日志

crontab -e

00 00 * * * /bin/bash  /tmp/nginx_log_mkdir_day.sh

00 */1 * * * /bin/bash  /tmp/nginx_log_hour_cut.sh   //此条,之前做日志小时切割时已经添加。

6.运行cronolog，每当有访问数据时，将nobody_access_min.pipe中的访问数据写进nobody_access_%Y%m%d%H%M.log

nohup cat /var/log/nginx/nobody_access_min.pipe | nohup /usr/local/sbin/cronolog /var/log/nginx/%Y%m%d/%H/nobody_access_%Y%m%d%H%M.log &

//管道前后是两个命令,因此当我们关闭终端时，会发现cronolog也跟着消失了。所以需要两个nohup，而不是下面的命令：

nohup cat /var/log/nginx/nobody_access_min.pipe | /usr/local/sbin/cronolog /var/log/nginx/%Y%m%d/%H/nobody_access_%Y%m%d%H%M.log &

7.启动Nginx，若nginx已启动，可以通过/usr/local/webserver/nginx/sbin/nginx -s reload来重启

/usr/local/webserver/nginx/sbin/nginx -t  //测试nginx配置是否正确

/usr/local/webserver/nginx/sbin/nginx

8.设置开机启动，并指定后台执行

vim /etc/rc.local    //在末尾添加以下信息

nohup cat /var/log/nginx/nobody_access_min.pipe | nohup /usr/local/sbin/cronolog /var/log/nginx/%Y%m%d/%H/nobody_access_%Y%m%d%H%M.log &

ulimit -SHn 65535

echo 67108864 >/proc/sys/kernel/shmmax

/usr/local/webserver/php/sbin/php-fpm

/usr/local/webserver/ngnix/sbin/nginx

/data/mysql/3306/mysqld start

9.数据对比，确定日志记录是否有丢失

wc -l /var/log/nginx/20121112/16/nobody_access_201211121*

wc -l /var/log/nginx/20121112/16/nobody_access_hour_2012111216.log

10.重启nginx的日志进程

由于cronolog(pipe)是只有访问时，才会生成记录。因此可能需要重启nginx的日志进程，使其重新生成nobody_access_hour.log日志，便于统计。

kill -USR1 `cat /usr/local/webserver/ngnix/nginx.pid`

附录：

1. 管道必须在nginx启动前启动。如果nginx未运行，开启cronolog后（即管道），nginx –t做检测会中断管道。而cronolog不开启，nginx –t及启动全部会受影响。（可以通过strace 查看，没试过strace）

2. 如无特殊要求，还是建议按天通过常规计划任务reload nginx方法进行截断。如需按时甚至按分截断，可以考虑通过计划任务+脚本处理。

声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。