一、前言
二、awstats 簡介
三、awstats 特點
四、awstats 運行原理
五、awstats 安裝與配置詳解
六、awstats 執行日誌分析
七、awstats 進行多站點日誌分析
八、awstats 問題彙總
IP 地址國家、區域顯示問題
中文亂碼問題
九、awstats 總結
注，操作系統 CentOS 6.4 x86_64，軟件版本 awstats 7.2（穩定版），軟件下載http://sourceforge.net/projects/awstats/ 。
一、前言
在上一篇博客中我們講解了日誌切割工具cronolog，若有不清楚有博友可以先參考上一篇博客http://wanggaoli.blog.51cto.com/10422005/1770955，在這一篇博客中我們主要來講解日誌分析工具awstats，下面我們就和大家來詳細的說一說。
二、awstats 簡介
AWStats is a free powerful and featureful server logfile analyzer that shows you all your Web/Mail/FTP statistics including visits, unique visitors, pages, hits, rush hours, os, browsers, search engines, keywords, robots visits, broken links and more Drag screenshots to sort.
AWStats 軟件是一個免費的強大的服務器的日誌文件分析工具，顯示你所有的網頁/郵件/ FTP統計包括訪問，訪問者，頁面，點擊，高峯時間，操作系統，瀏覽器，搜索引擎，關鍵字，機器人訪問，斷開的鏈接和更多的阻力截圖排序。
三、awstats 特點
Awstats 是在 SourceForge 上發展很快的一個基於 Perl 的 WEB 日誌分析工具，一個充分的日誌分析讓 Awstats 顯示您下列資料：
訪問次數、獨特訪客人數,
訪問時間和上次訪問,
使用者認證、最近認證的訪問,
每週的高峯時間(頁數,點擊率,每小時和一週的千字節),
域名/國家的主機訪客(頁數,點擊率,字節,269域名/國家檢測, geoip 檢測),
主機名單,最近訪問和未解析的 IP 地址名單
大多數看過的進出頁面,
檔案類型,
網站壓縮統計表(mod_gzip 或者 mod_deflate),
使用的操作系統 (每個操作系統的頁數,點擊率 ,字節, 35 OS detected),
使用的瀏覽器,
機器人訪問(檢測 319 個機器人),
蠕蟲*** (5 個蠕蟲家族),
搜索引擎，利用關鍵詞檢索找到你的地址,
HTTP 協議錯誤(最近查閱沒有找到的頁面),
其他基於 URL 的個性報導,鏈接參數, 涉及綜合行銷領域目的.
貴網站被加入"最喜愛的書籤".次數.
屏幕大小(需要在索引頁補充一些 HTML 標籤).
瀏覽器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader.
負載平衡服務器比率集羣報告.
Awstats 的運行是需要 PERL 環境的支持，從 awstats 的文檔來看，它對 Apache HTTP Server 的支持是非常完美的，而當我們把 Web 服務器換成 Nginx 後，要運行 awstats 變得很麻煩。首先 Nginx 本身對 Perl 的支持是比較弱的，甚至官方也不建議使用；另外在日誌格式上有需要修改後才能運行。
四、awstats 運行原理
(1).工作原理
AWStats的功能很多，我在此主要用它來分析apache服務器的日誌。安裝使用之前還是說說大致的工作原理，AWStats提供一系列的perl腳本實現：服務配置，日誌讀取，報表生成等功能。而功能實現的具體執行過程是：首先，當然是apache將訪問情況記錄到日誌中，AWStats每次執行更新時讀取這些日誌，分析日誌數據，將結果存儲到數據庫中，(這個數據庫是AWStats自帶的（就是一文本文件），並不需要第三方軟件支持。)，最後AWStats提供一個cgi程序通過web頁面來顯示數據庫中所統計的數據。
(2).工作模式
AWStats的工作模式是這樣的：
分析日誌：運行後將這樣的日誌統計結果歸檔到一個AWStats的數據庫（純文本）裏；
輸出日誌：分兩種形式
一種是通過cgi程序讀取統計結果數據庫輸出（Linux中）；
一種是運行後臺腳本將輸出導出成靜態文件(Windows中)；
五、awstats 安裝與配置詳解
1.環境準備
(1).安裝yum源
[root@node6 src]# wget http://ftp.sjtu.edu.cn/fedora/epel/6/i386/epel-release-6-8.noarch.rpm [root@node6 src]# rpm -ivh epel-release-6-8.noarch.rpm warning: epel-release-6-8.noarch.rpm: Header V3 RSA/SHA256 Signature, key ID 0608b895: NOKEY Preparing... ########################################### [100%] 1:epel-release ########################################### [100%]
(2).安裝cronolog日誌切割工具
[root@node6 src]# wget http://cronolog.org/download/cronolog-1.6.2.tar.gz [root@node6 src]# tar xf cronolog-1.6.2.tar.gz [root@node6 src]# cd cronolog-1.6.2 [root@node6 cronolog-1.6.2]# ./configure [root@node6 cronolog-1.6.2]# make && make install [root@localhost ~]# which cronolog /usr/local/sbin/cronolog
2.時間同步
[root@node6 src]# yum install -y ntp [root@node6 src]# ntpdate 202.120.2.101 28 Dec 17:59:17 ntpdate[1413]: step time server 202.120.2.101 offset -25666.776448 sec
3.安裝awstats
(1).yum直接安裝
[root@node6 ~]# yum install -y awstats
(2).源碼包安裝
首先，我們要下載awstats軟件包，並將其放在常規目錄（/usr/local）下。
[root@node6 src]# wget http://jaist.dl.sourceforge.net/project/awstats/AWStats/7.2/awstats-7.2.tar.gz [root@node6 src]# tar xf awstats-7.2.tar.gz [root@node6 src]# mv awstats-7.2 /usr/local/awstats [root@node6 src]# cd /usr/local/awstats [root@node6 awstats]# ls docs README.TXT tools wwwroot
注，由於wget下載下來的包中權限是非root的，所以這裏要修改權限，否則稍後*.pl將無法運行。
[root@node6 awstats]# chown -R root.root /usr/local/awstats [root@node6 awstats]# ll 總用量 20 drwx------. 4 root root 4096 7月 10 04:01 docs -rw-------. 1 root root 6790 7月 10 03:50 README.TXT drwx------. 5 root root 4096 7月 10 04:01 tools drwx------. 7 root root 4096 7月 10 04:01 wwwroot [root@node6 awstats]# chmod +x /usr/local/awstats/tools/*.pl [root@node6 awstats]# cd tools/ [root@node6 tools]# ls awstats_buildstaticpages.pl awstats_exportlib.pl geoip_generator.pl logresolvemerge.pl nginx webmin awstats_configure.pl awstats_updateall.pl httpd_conf maillogconvert.pl urlaliasbuilder.pl xslt [root@node6 tools]# chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl [root@node6 tools]# cd .. [root@node6 awstats]# cd wwwroot/cgi-bin/ [root@node6 cgi-bin]# ls awdownloadcsv.pl awredir.pl awstats.model.conf awstats.pl lang lib plugins
(3).接下來，我們要執行/usr/local/awstats/tools下的awstats_configure.pl配置嚮導，用來生成awstats的配置文件，awstats配置文件的命名規則是awstats.website.conf。
[root@node6 ~]# cd /usr/local/awstats/tools/
[root@node6 tools]# ./awstats_configure.pl
此時會出現如下提示，
----- AWStats awstats_configure 1.0 (build 1.9) (c) Laurent Destailleur -----
This tool will help you to configure AWStats to analyze statistics for
one web server. You can try to use it to let it do all that is possible
in AWStats setup, however following the step by step manual setup
documentation (docs/index.html) is often a better idea. Above all if:
- You are not an administrator user,
- You want to analyze downloaded log files without web server,
- You want to analyze mail or ftp log files instead of web log files,
- You need to analyze load balanced servers log files,
- You want to 'understand' all possible ways to use AWStats...
Read the AWStats documentation (docs/index.html).
-----> Running OS detected: Linux, BSD or Unix
-----> Check for web server install
Enter full config file path of your Web server.
Example: /etc/httpd/httpd.conf
Example: /usr/local/apache2/conf/httpd.conf
Example: c:\Program files\apache group\apache\conf\httpd.conf
Config file path ('none' to skip web server setup):
> /usr/local/apache2/conf/httpd.conf #這裏讓你輸入apache配置文件的目錄，我這裏的apache是源碼安裝的，所以我的路徑是/usr/local/apache2/conf/httpd.conf
Your web server config file(s) could not be found.
You will need to setup your web server manually to declare AWStats
script as a CGI, if you want to build reports dynamically.
See AWStats setup documentation (file docs/index.html)
-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
File awstats.model.conf updated.
-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ? y #詢問是否創建一個新的配置文件，這裏填y即可。
-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:
> www.test.com #這裏讓填寫你的網站域名，虛擬主機名或者隨便一個配置名。
-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):
> #這裏要填寫你配置文件存放路徑，我們使用它默認的路徑/etc/awstats，所以直接回車即可。
-----> Create config file '/etc/awstats/awstats.www.test.com.conf'
Config file /etc/awstats/awstats.www.test.com.conf created.
-----> Add update process inside a scheduler
Sorry, configure.pl does not support automatic add to cron yet.
You can do it manually by adding the following command to your cron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.com
Or if you have several config files and prefer having only one command:
/usr/local/awstats/tools/awstats_updateall.pl now
Press ENTER to continue... #提示不能自動加入crontab定時任務，需要稍後自己添加，我們按回車繼續即可。
A SIMPLE config file has been created: /etc/awstats/awstats.www.test.com.conf
You should have a look inside to check and change manually main parameters.
You can then manually update your statistics for 'www.test.com' with command:
> perl awstats.pl -update -config=www.test.com
You can also build static report pages for 'www.test.com' with command:
> perl awstats.pl -output=pagetype -config=www.test.com
Press ENTER to finish... #提示配置文件創建完成和如何更新配置及建立靜態報告頁，這裏我們回車即可結束這個配置嚮導。(4).結束這個嚮導以後，我們對www.test.com站點的awstats配置文件已經配置好了。下面我們來查看並修改一下這個配置文件。
[root@node6 tools]# cd /etc/awstats/ [root@node6 awstats]# ls awstats.www.test.com.conf [root@node6 awstats]# vim awstats.www.test.com.conf #這個配置文件有很多配置，我們這裏只講解重點配置。 LogFile="/log/www/access_%YYYY-24%MM-24%DD-24.log" #日誌文件存放路徑，其中%YYYY-24%MM-24%DD是指年月日模式 DirData="/var/lib/awstats" #創建生成的數據路徑 Lang="cn" #默認語言中文 SkipHosts="127.0.0.1 REGEX[^192\.168\.]" #本地及內部的訪問不做分析統計 LevelForWormsDetection=2 #日誌等級，不對警告日誌進行統計
(5).下面我們來修改一下apache配置文件
[root@node6 www]# vim /usr/local/apache2/conf/httpd.conf #CustomLog logs/access_log combined CustomLog "|/usr/local/sbin/cronolog /log/www/access_%Y%m%d.log" combined
(6).新建apache日誌目錄
[root@node6 ~]# mkdir -pv /log/www/ mkdir: 已創建目錄 "/log" mkdir: 已創建目錄 "/log/www/" [root@node6 ~]# cd /log/www/ [root@node6 www]# chmod -R 755 /log/www/ [root@node6 www]# chown -R daemon /log/www/
(7).重新啓動apache服務器
[root@node6 www]# /usr/local/apache2/bin/apachectl restart
(8).創建awstats的數據存放目錄
[root@node6 www]# mkdir -pv /var/lib/awstats [root@node6 www]# chmod 755 /var/lib/awstats
好了，到這裏我們的awstats配置就全部完成了，下面我們來執行一下日誌分析。
六、awstats 執行日誌分析
在上面的我們講解了awstats的yum安裝與源碼安裝，同時配置了一個監控實例，下面我們就執行一下這個監控實例www.test.com。
1.現在我們需要用awstats來生成對apache日誌的統計分析信息。由於我們用的awstats是支持perl的FCGI動態化訪問頁面，所以此處我們只需要直接更新數據庫即可。FCGI程序會自動將數據庫以動態頁面的形式展現出來，無須再手動生成靜態頁面了。
[root@node6 ~]# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.com Create/Update database for config "/etc/awstats/awstats.www.test.com.conf" by AWStats version 7.2 (build 1.992) From data in log file "/log/www/access_20131228.log"... Phase 1 : First bypass old records, searching new record... Direct access to last remembered record has fallen on another record. So searching new records from beginning of log file... Phase 2 : Now process new records (Flush history on disk after 20000 hosts)... Jumped lines in file: 0 Parsed lines in file: 155446 Found 8 dropped records, Found 0 comments, Found 0 blank records, Found 1 corrupted records, Found 0 old records, Found 155437 new qualified records.
2.查看一下awstats數據庫文件
[root@web ~]# cd /var/lib/awstats/ [root@web awstats]# ls awstats122013.www.test.com.txt
3.接下來我們來查看一下分析結果
注，如果，你順利的執行了上面的所有操作。那麼OK，現在你已經可以通過訪問：http://www.test.com/awstats/awstats.pl?config=www.test.com ，效果如下圖：
好了，到這裏awstats工具對一個站點的監控（我們這裏是www.test.com站點，博友可以根據自己的實際情況進行自定義）就全部配置完成了，下面我們來演示一下awstats工具怎麼對多個Web站點進行監控。
七、awstats 進行多站點日誌分析
1.站點說明
www.test.com (主站點)
club.test.com （論壇）
2.配置多站點監控
注，配置club.test.com的配置文件，步驟和上面www.test.com一樣，只是在域名的地方做更改即可。下面我們就再來演示一下，
[root@node6 ~]# cd /usr/local/awstats/tools/
[root@node6 tools]# ./awstats_configure.pl
此時會出現如下提示，
----- AWStats awstats_configure 1.0 (build 1.9) (c) Laurent Destailleur -----
This tool will help you to configure AWStats to analyze statistics for
one web server. You can try to use it to let it do all that is possible
in AWStats setup, however following the step by step manual setup
documentation (docs/index.html) is often a better idea. Above all if:
- You are not an administrator user,
- You want to analyze downloaded log files without web server,
- You want to analyze mail or ftp log files instead of web log files,
- You need to analyze load balanced servers log files,
- You want to 'understand' all possible ways to use AWStats...
Read the AWStats documentation (docs/index.html).
-----> Running OS detected: Linux, BSD or Unix
-----> Check for web server install
Enter full config file path of your Web server.
Example: /etc/httpd/httpd.conf
Example: /usr/local/apache2/conf/httpd.conf
Example: c:\Program files\apache group\apache\conf\httpd.conf
Config file path ('none' to skip web server setup):
> /usr/local/apache2/conf/httpd.conf
Your web server config file(s) could not be found.
You will need to setup your web server manually to declare AWStats
script as a CGI, if you want to build reports dynamically.
See AWStats setup documentation (file docs/index.html)
-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
File awstats.model.conf updated.
-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ? y
-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:
> club.test.com #我們這裏配置域名就是club.test.com，其它地方與www.test.com沒有什麼不同。
-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):
> #這裏要填寫你配置文件存放路徑，我們使用它默認的路徑/etc/awstats，所以直接回車即可。
-----> Create config file '/etc/awstats/awstats.www.test.com.conf'
Config file /etc/awstats/awstats.www.test.com.conf created.
-----> Add update process inside a scheduler
Sorry, configure.pl does not support automatic add to cron yet.
You can do it manually by adding the following command to your cron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.com
Or if you have several config files and prefer having only one command:
/usr/local/awstats/tools/awstats_updateall.pl now
Press ENTER to continue... #提示不能自動加入crontab定時任務，需要稍後自己添加，我們按回車繼續即可。
A SIMPLE config file has been created: /etc/awstats/awstats.www.test.com.conf
You should have a look inside to check and change manually main parameters.
You can then manually update your statistics for 'www.test.com' with command:
> perl awstats.pl -update -config=www.test.com
You can also build static report pages for 'www.test.com' with command:
> perl awstats.pl -output=pagetype -config=www.test.com
Press ENTER to finish... #提示配置文件創建完成和如何更新配置及建立靜態報告頁，這裏我們回車即可結束這個配置嚮導。好了，下面我們看一下我們生成的配置文件。
3.查看一下生成的配置文件
[root@node6 ~]# cd /etc/awstats/ [root@node6 awstats]# ls awstats.club.test.com.conf awstats.
4.編輯awstats配置文件
vim /etc/awstats/awstats.www.xxx.com.conf LogFormat=1 #改成LogFormat=4
好了，下面步驟和上面www.test.com配置步驟一樣，我這裏就不重複說明。下面我們說一下，在使用awstats工具過程中出現的一些小問題。
八、awstats 問題彙總
1.IP 地址國家、區域顯示問題
Awstats默認安裝之後是不具有識別訪問者的國家和地區信息的，所以需要安裝插件支持Awstats列出訪問者的國家和地區，便於分析GeoIP免費的是國家/IP的數據表，GeoIPCityLite是地區的數據表。
(1).MaxMind目前免費提供了GeoIP和GeoIPCityLite數據包：可以定期每個月從以下地址下載
[root@node6 src]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz [root@node6 src]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz [root@node6 src]# ls GeoIP.dat.gz GeoLiteCity.dat.gz
注，下載下來用gunzip解壓即可。
[root@node6 src]# gunzip GeoIP.dat.gz [root@node6 src]# gunzip GeoLiteCity.dat.gz [root@node6 src]# ls GeoIP.dat GeoLiteCity.dat
(2).新建的目錄，把兩個文件移入新建的目錄
[root@node6 src]# mkdir /var/geoip [root@node6 src]# mv GeoIP.dat GeoLiteCity.dat /var/geoip
(3).安裝GeoIP與GeoIP perl庫
[root@node6 src] # yum install –y GeoIP perl-Geo-IP
(4).修改awstats配置文件
[root@node6 ~]# vim /etc/awstats/awstats.www.test.com.conf #LoadPlugin="geoip GEOIP_STANDARD /pathto/GeoIP.dat" #1429行 #LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /pathto/GeoIPCity.dat" #1438行 修改爲： LoadPlugin="geoip GEOIP_STANDARD /var/geoip/GeoIP.dat" LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /var/geoip/GeoLiteCity.dat"
(5).刪除舊的統計數據庫
[root@node6 ~] # rm -rf /var/lib/awstats/*
(6).重新生成一下數據庫
[root@node6 ~] # /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.com
(7).我們再次查看一下造成的分析結果
好了，到這裏我們的IP 地址國家、區域顯示問題解析，下面我們來解決一下中文亂碼問題。
2.中文亂碼問題
Awstats是一套非常好用的免費的日誌分析軟件,他是用perl實現的，支持web log、ftp log和mail log;而且它還能自動根據你瀏覽器的字符設置來選取語言(支持中文)。但是缺省安裝的話有個問題,就是用來搜索的關鍵字如果是中文的話顯示出來是亂碼的。 之所以搜索的關鍵字句會變成亂碼的原因，主要是因爲現在的搜索引擎都是使用UTF8，而Awstats是使用decodeUTFkeys這個plugin來處理搜索引擎的UTF8關鍵字，默認是沒有打開的，所以在顯示上會出現亂碼。要解決中文亂碼問題,方法也很簡單，
在配置文件中把decodeutfkeys這個plugin打開就可以了。在配置文件中找到：
#LoadPlugin="decodeutfkeys"
去掉前面的#就可以了。
[root@node6 ~]# vim /etc/awstats/awstats.www.test.com.conf #LoadPlugin="decodeutfkeys" #1300 行 LoadPlugin="decodeutfkeys"
好了，下面我們來重新訪問一下，效果圖如下：
這樣我們的中文就顯示完成了，但是打開LoadPlugin="decodeutfkeys"這個插件在一些機器上會報錯，下面我們來演示一下報錯的情況。
從上面的報錯可以看出這是缺少 Perl 的 URI:Escape模塊，下面我們解決一下這個問題：
[root@node6 src]# wget http://search.cpan.org/CPAN/authors/id/G/GA/GAAS/URI-1.60.tar.gz [root@node6 src]# tar xf URI-1.60.tar.gz [root@node6 src]# cd URI-1.60 [root@node6 src]# perl Makefile.PL [root@node6 src]# make && make install
下面我們再重新訪問一下，效果圖如下：
好了，到這裏我們的awstats中文亂碼問題就解決了。下面我們來總結一下awstats日誌分析工具!
九、awstats 總結 （來自於百度百科）
AWStats是在Sourceforge上發展很快的一個基於Perl的WEB日誌分析工具。相對於另外一個非常優秀的開放源代碼的日誌分析工具Webalizer，AWStats的優勢在於：
1.界面友好：可以根據瀏覽器直接調用相應語言界面（有簡體中文版）
2.基於Perl：並且很好的解決了跨平臺問題，系統本身可以運行在GNU/Linux上或Windows上（安裝了ActivePerl後）；分析的日誌直接支持Apache格式 (combined)和IIS格式(需要修改)。Webalizer雖然也有Windows平臺版，但目前已經缺乏 維護；AWStats完全可以實現用一套系統完成對自身站點不同WEB服務器：GNU/Linux/Apache和Windows/IIS服務器的統一統計。
3.效率比較高：AWStats輸出統計項目比Webalizer豐富了很多，速度仍可以達到Webalizer的1/3左右，對於一個日訪問量 百萬級的站點，這個速度都是足夠的；
4.配置/定製方便：系統提供了足夠靈活但缺省也很合理的配置規則，需要修改的缺省配置不超過3，4項就可以開始運行，而且修改和擴展的插件還是 比較多的；
5.AWStats的設計者是面向精確的"Human visits"設計的，因此很多搜索引擎的機器人訪問都被過濾掉了，因此有可能比其他日誌統計工具統計的數字要低，來自公司內部的訪問也可以通過IP過濾 設置過濾掉。
6.提供了很多擴展的參數統計功能：使用ExtraXXXX系列配置生成針對具體應用的參數分析會對產品分析非常有用。
AWStats 是一個免費的強大而有個性的工具,帶來先進的網絡,流量，FTP或郵件服務器統計圖. 本日誌分析器作爲CGI或從命令行在數個圖形網頁中顯示你日誌中包含的所有可能信息. 它利用一部分檔案資料就能經常很快地處理大量日誌檔案, 它能分析日誌文件來自從各大服務器工具 ，如 Apache日誌檔案 s (NCSA combined/XLF/ELF log format or common/CLF log format), WebStar, IIS (W3C的日誌格式)及許多其他網站,Proxy(代理服務器)、Wap、流量服務器、郵件服務器和一些 FTP服務器。
看一看這個比較表在最著名統計工具 (AWStats, Analog, Webalizer,...)之間有何特點和不同的想法。AWStats 是一個在GNU通用公共許可證下發行的免費軟件. 你可以看看這個許可證圖表而知道你可以/不可以做。由於AWStats工程來自網上信息，但也作爲CGI、 它可以與允許進入Perl、CGI與日誌的大型網站主辦提供商一起工作。