在实际网站WebSite运营中我们经常需要了解到网站WebSite访问情况例如每天有多少 IP 在访问、PV 数是多少、哪个 URL 访问量最大、用户使用最多浏览器是哪个、都是通过什么方式知道这个网站WebSite以及有多少用户访问出错等等通过掌握这些信息来提高用户体验从而改善网站WebSite质量般我们可以通过些免费访问统计网站WebSite例如 Google Analytics 来或者这些信息但不足的处是这类网站WebSite只能对页面进行分析不包括静态文件；另外可能有很多站长不愿意使用这类工具来暴露自己数据种种这些原因使站长希望自己来分析访问日志而 awstats 就可以满足所有这些需求

Awstats 是在 SourceForge 上发展很快个基于 Perl WEB 日志分析工具个充分日志分析让 Awstats 显示您下列资料:

●访问次数、独特访客人数,
●访问时间和上次访问,
●使用者认证、最近认证访问,
●每周高峰时间(页数,点击率,每小时和周千字节),
●域名/国家主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测),
●主机名单,最近访问和未解析 IP 地址名单
●大多数看过进出页面,
●档案类型,
●网站WebSite压缩统计表(mod_gzip 或者 mod_deflate),
●使用操作系统 (每个操作系统页数,点击率 ,字节, 35 OS detected),
●使用浏览器,
●机器人访问(检测 319 个机器人),
●蠕虫攻击 (5 个蠕虫家族),
●搜索引擎利用关键词检索找到你地址,
●HTTP 协议(最近查阅没有找到页面),
●其他基于 URL 个性报导,链接参数, 涉及综合行销领域目.
●贵网站WebSite被加入"最喜爱书签".次数.
●屏幕大小(需要在索引页补充些 HTML 标签).
●浏览器支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader.
●负载平衡服务器比率集群报告.
Awstats 运行是需要 PERL 环境支持从 awstats 文档来看它对 Apache HTTP Server 支持是非常完美而当我们把 Web 服务器换成 Nginx 后要运行 awstats 变得很麻烦首先 Nginx 本身对 Perl 支持是比较弱甚至官方也不建议使用；另外在日志格式上有需要修改后才能运行

本文主要介绍通过让 awstats 对日志统计结果生成静态页面然后通过 Nginx 输出以达到统计 Nginx 访问日志效果其中还包括如何让 Nginx 自动切割日志文件

配置 Nginx 自动切割日志

跟 Apache HTTP Server(以下称 Apache)区别是Apache 可以将日志输出通过管道方式进行重新定向依此来进行自动日志切割Nginx 在现今版本上还没能跟 Apache 样通过%YY等参数按日期分批创建日志但是通过给 nginx 进程发送个特定信号可以使 nginx 重新生成日志文件我们可以定期执行个 Shell 脚本来切换日志重新命名或转移具体脚本如下:

# mv /opt/nginx/logs/access.log /opt/nginx/logs/access_`date +%Y%m%d`.log
# killall –s USR1 nginx #使用USR1参数通知Nginx进程切换日志文件


将以上脚本内容保存为文件名为 logcron.sh 存到自定目录中例如 /opt/nginx/sbin/logcron.sh

使用 Crontab 让该脚本在每天晚上 11 点 59 分自动执行即可做到按天创建日志

安装和配置 Awstats

安装的前必须确认你服务器上 Perl 环境已经就绪

查看当前环境 Perl 版本命令是 perl –version

我们还需要对 Nginx 日志格式做个小修改不然 awstats 将无法进行统计

例子如下(加粗部分):


# vi /opt/nginx/conf/nginx.conf

server {
listen 80;
server_name localhost;

location ~ ^/web/ {
root /data/web;
index index.html;
error_log off;
char gb2312;
}

log_format _log #格式代称 (注意如果有多个虚拟主机代称不能样)
'$remote_addr - $remote_user [$time_local] $request '
'"$status" $body_s_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log logs/access.log _log; #日志生成路径

}



下载最新版本 awstats 包下载地址请见文章最后参考资料把下载后 tar 包解压到任意目录中例: /usr/local/awstats 然后执行 tools 目录中 awstats_configure.pl 配置向导创建个新统计


-----> Check for web server

Enter full config file path of your Web server.
Example: /etc/httpd/httpd.conf
Example: /usr/local/apache2/conf/httpd.conf
Example: c:\Program files\apache group\apache\conf\httpd.conf
Config file path ('none' to skip web server up):
#> none #我们这里用是 Nginx所以写 none跳过



回车


Your web server config file(s) could not be found.
You will need to up your web server manually to declare AWStats
script as a CGI, you want to build reports dynamically.
See AWStats up documentation (file docs/index.html)

-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
File awstats.model.conf updated.

-----> Need to create a config file ?
Do you want me to build a AWStats config/profile
file (required first ) [y/N] ?
#> y #y 创建个新统计配置



回车

-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:


#> www.moabc.net #统计网站WebSite域名 例:
www.moabc.net



回车

-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):
#>


使用默认直接回车接下来便会出现以下提示

----> Add update process inside a scheduler
Sorry, configure.pl does not support automatic add to cron yet.
You can do it manually by adding the following command to your cron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.moabc.net
#回头把该命令填入crontab 按指定时间执行
Or you have several config files and prefer having _disibledevent=>You can also build report pages for 'www.moabc.net' with command:
> perl awstats.pl -output=pagetype -config=www.moabc.net

Press ENTER to finish...


回车完成向导接下来修改 www.moabc.net 统计配置

#vi /etc/awstats/awstats.www.moabc.net.conf

找到统计日志文件路径

LogFile="/var/log/httpd/mylog.log"

改为

LogFile="/opt/nginx/logs/access_%YYYY-0%MM-0%DD-0.log

对应上边 Nginx 日志切割所生成目录存放结构要注意 Awstats 年月日格式跟 Nginx 写法有所区别我们现在执行统计顺序是:

Nginx 产生日志 –> 日志切割 –> Nginx 继续产生日志 –> 另存切割日志 –> 交由Awstats统计 –> 生成结果

在本文中 Awstats 所统计日志是已切下来那部分也能调转顺序先统计完了再切不过这比较容易造成统计遗漏配置修改完成后保存退出然后我们可以开始试下手动执行

1.先执行日志切割脚本 logcron.sh 把 Nginx 日志切下来
2.然后执行 Awstats 日志更新开始统计分析

# /opt/nginx/sbin/logcron.sh
# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.moabc.net

Create/Update database for config "/etc/awstats/awstats.www.moabc.net.conf"
by AWStats version 6.7 (build 1.892)
From data in log file "/opt/nginx/logs/access_20080804.log"...
Phase 1 : First bypass old records, searching record...
Direct access after last parsed record (after line 450421)
Jumped lines in file: 450421
Found 450421 already parsed records.
Parsed lines in file: 120
Found 0 dropped records,
Found 0 corrupted records,
Found 0 old records,
Found 120 qualied records.



看到以上显示证明日志切割和 Awstats 都已经运行无误了统计分析完成后结果还在 Awstats 数据库中在 Apache 上可以直接打开 Perl 网页查看统计但本文开始时已经提到Nginx 对 Perl 支持并不好所以我们要换个思路方法利用 awstats 工具将统计结果生成静态文件具体步骤如下:

●首先在 webroot 目录下创建个文件夹例:/data/webroot/awstats
●然后让 Awstats 把静态页面生成到该目录中

# mkdir /data/webroot/awstats

# /usr/local/awstats/tools/awstats_buildpages.pl -update \
-config=www.moabc.net -lang=cn -dir=/data/admin_web/awstats \
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl



上述命令具体意思如下:

●/usr/local/awstats/tools/awstats_buildpages.pl Awstats 静态页面生成工具
●-update -config=www.moabc.net 更新配置项
●-lang=cn 语言为中文
●-dir=/data/admin_web/awstats 统计结果输出目录
●-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl Awstats 日志更新路径
接下来只需在nginx.conf 中把该目录配置上去即可例子如下:(加粗部分):

server {
listen 80;
server_name localhost;

location ~ ^/web/ {
root /data/web;
index index.html;
error_log off;
char gb2312;
}

location ~ ^/awstats/ { # html 静态页面目录
root /data/webroot/awstats;
index index.html;
access_log off;
error_log off;
char gb2312; #最好把默认编码改成 gb2312避免浏览器因自动编码出现乱码情况
}

location ~ ^/icon/ { # 图标目录
root /usr/local/awstats/wwwroot;
index index.html;
access_log off;
error_log off;
char gb2312;
}
}



用浏览器查看到统计详细结果 http://youhostname/awstats/awstats.www.moabc.net.html

至此使用 awstats 已能完全支持 Nginx 日志统计

配置 Awstats 自动运行

为了让整个日志统计过程自动完成我们需要设置 crontab 计划任务让 Nginx 日志切割以及 Awstats 自动运行定时生成结果页面



#vi /etc/crontab

11 59 * * * /opt/nginx/sbin/logcron.sh #半夜11:59 进行日志切割

00 1 * * * /usr/local/awstats/tools/awstats_buildpages.pl \
-update -config=www.moabc.net -lang=cn -dir=/data/admin_web/awstats \
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

#凌晨00:01 Awstats进行日志分析

:wq保存退出
#crontab /etc/crontab 指定cron所执行配置档路径


保护日志统计结果页面

般站长都不愿随便让人知道自己站真实流量所以要把 Awstats 统计结果页面进行密码保护Nginx 使用是跟 Apache 样密码加密格式这里需要用到 apache 自带工具 htpasswd

如果你在本机上默认装有 Apache这你就只需在它目录下运行

例:


#/usr/local/apache2/bin/htpasswd -c admin.pass admin #用户名为admin

New password: 输入密码
Re-type password: 重复输入
Adding password for user admin 创建成功

然后把 admin.pass 这个密码包找个地方藏起来.
修改 nginx.conf 在 location 中加入(加粗部分):

server {
listen 80;
server_name localhost;
location ~ ^/web/ {
root /data/web;
index index.html;
error_log off;
char gb2312;
}

location ~ ^/awstats/ { # html 静态页面目录
root /data/admin_web;
index index.html;
access_log off;
error_log off;
char gb2312;
auth_basic "admin"; #用户名
/opt/ngx/conf/admin.pass; #密码包路径
}

location ~ ^/icon/ { # 图标目录
root /usr/local/awstats/wwwroot;
index index.html;
access_log off;
error_log off;
char gb2312;
}
}

修改 Nginx 配置完毕后执行命令 killall –s HUP nginx 让 Nginx 重新加载配置即可



整理总结

尽管跟 Apache HTTP Server 相比较而言Nginx 功能是比较弱但是我们依然可以利用些窍门技巧来规避这些弱点Nginx 设计者肯定也是充分考虑到这个问题现在也越来越多第 3方开发模块在逐渐扩展 Nginx 功能但是从应用本身角度而言Nginx 更倾向于卓越性能而非大而全功能因而在些附加方面功能我们也不能对的要求过高