Nginx日志分析方案分享

第一步,日志的处理。

最好每天分割一下日志，一开始没注意这个工作，结果不久日志文件就上G了，很痛苦。分割日志很简单，首先把日志文件复制到别的地方，然后再通知 nginx重新生成日志就可以了。shell脚本如下：

#!/bin/bash

logs_path="/nginx/logs/"

mv ${logs_path}access.log ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").log

kill -USR1 `cat /nginx/logs/nginx.pid`

代码中的/nginx/logs指的是nginx的log日志文件所在目录，生成了以昨天日期命名的日志文件。

为了达到每天自动分割的目的，在crontab中加入以下部分：

1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh

这样就每天的0点1分把nginx日志重命名为日期格式，并重新生成今天的新日志文件。

第二步,Awstats的配置。

日志文件分割好了，接下来就是分析了，也就是Awstats的使用了。

Awstats的配置文件默认会存储在/etc/awstats/目录下，包括你安装时设置的域名 如：awstats.www.xxxxke.com.conf。在这个配置文件中修改这个地方：

LogFile="/nginx/logs/access_%YYYY-24%MM-24%DD-24.log"

这个意思是要去读取nginx昨天的日志文件，关于后边%YYYY-24%MM-24%DD-24的设置，规则如下：

# You can also use tags in this filename if you need a dynamic file name

# depending on date or time (Replacement is made by AWStats at the beginning

# of its execution). This is available tags :

#   %YYYY-n  is replaced with 4 digits year we were n hours ago

#   %YY-n    is replaced with 2 digits year we were n hours ago

#   %MM-n    is replaced with 2 digits month we were n hours ago

#   %MO-n    is replaced with 3 letters month we were n hours ago

#   %DD-n    is replaced with day we were n hours ago

#   %HH-n    is replaced with hour we were n hours ago

#   %NS-n    is replaced with number of seconds at 00:00 since 1970

#   %WM-n    is replaced with the week number in month (1-5)

#   %Wm-n    is replaced with the week number in month (0-4)

#   %WY-n    is replaced with the week number in year (01-52)

#   %Wy-n    is replaced with the week number in year (00-51)

#   %DW-n    is replaced with the day number in week (1-7, 1=sunday)

#                              use n=24 if you need (1-7, 1=monday)

#   %Dw-n    is replaced with the day number in week (0-6, 0=sunday)

#                              use n=24 if you need (0-6, 0=monday)

#   Use 0 for n if you need current year, month, day, hour

第三步,开始分析、生成结果。

最后，可以执行分析了。使用这个命令： 本博客已搬家，全部内容请看这里：http://blog.goyiyo.com/archives/197

第四步,自动化。

要是每天都去服务器上运行几条命令肯定是件令人烦燥的事情，所以呢，linux的世界里有crontab这样的好东东，很简单，下面是我的 crontab

1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh0 1 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxke.com0 2 * * * perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.xxxxke.com -lang=cn -dir=/html/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

-------------------------------------------------------------------------

大功告成，打完收功……

LogFile="/usr/local/nginx/logs/%YYYY-24/%MM-24/expotia2.access_%YYYY-24%MM-24%DD-24.log"

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。