你完全不必耐心看完所有內容:簡要安裝說明如下
安裝
http://sourceforge.net/projects/awstats/ 下載安裝包後:
GNU/Linux:tar zxf awstats-version.tgz
awstats的腳本和靜態文件缺省都在wwwroot目錄下:將cgi-bin目錄下的文件都部署到 cgi-bin/目錄下:/home/apache/cgi-bin/awstats/
mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
把圖標等文件目錄複製到WEB的HTML文件發佈目錄下,例如:/home/apache/htdocs/ 下發布
更多的批量更新腳本等在tools 目錄下,可以一併放到cgi-bin/awstats/ 目錄下
升級國內主要搜索引擎和蜘蛛定義,安裝GeoIP的應用庫:C
http://www.maxmind.com/download/geoip/api/c/ 解包,編譯安裝
perl -MCPAN -e 'install "Geo::IP"' 或者使用純Perl包 perl -MCPAN -e 'install "Geo::IP::PurePerl"'
下載GeoIP/GeoIPCityLite包:解包並部署到awstats目錄下
http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
配置
將缺省awstats.model.conf 命名成common.conf
修改其中的一些配置選項:
LoadPlugin="decodeutfkeys"
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
創建awstats下創建:data 目錄用於統計數據輸出
按照一下樣例設置配置文件:
Include "common.conf"
LogFile="/home/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
SiteDomain="www.chedong.com"
HostAliases="chedong.com"
DefaultFile="index.html"
DirData="/home/apache/cgi-bin/awstats/data/"
內容摘要:AWStats的使用簡介和配置一些改進說明。很高興看到在AWStats 6.3版本開始:中文用戶基本上已經只需要將配置文件中將 LoadPlugin="decodeutfkeys" 啓用基本上就沒有什麼中文搜索引擎的統計問題了,目前增加了# Minor chinese search engines 'baidu\.com','search\.sina\.com','search\.sohu\.com',這3個搜索引擎。包含了針對國內主要搜索引擎和蜘蛛定義的補丁(解包後覆蓋lib\目錄下的原程序目錄即可)
日誌統計系統在站點的用戶行爲分析中扮演了重要的角色,尤其是對於來自搜索引擎的關鍵詞 訪問統計:是很有效的用戶行爲分析數據來源。隨着互聯網多年的發展,WEB日誌統計工具已經越來越成熟,功能也越來越豐富。其中有很多是開放源代碼的, AWStats就是其中非常優秀的一款。
AWStats: Advanced Web Statistics
AWStats是在Sourceforge上發展很快的一個基於Perl的WEB日誌分析工具。相對於另外一個非常優秀的開放源代碼的日誌分析工具Webalizer,AWStats的優勢在於:
- 界面友好:可以根據瀏覽器直接調用相應語言界面(有簡體中文版)
參考輸出樣例:http://www.chedong.com/cgi-bin/awstats/awstats.pl?config=chedong - 基於Perl:並且很好的解決了跨平臺問題,系統本身可以運行在GNU/Linux上或Windows上(安裝了ActivePerl後);分析的日誌直接支持Apache格式 (combined)和IIS格式(需要修改)。Webalizer雖然也有Windows平臺版,但目前已經缺乏 維護;
AWStats完全可以實現用一套系統完成對自身站點不同WEB服務器:GNU/Linux/Apache和Windows/IIS服務器的統一統計。 - 效率比較高:AWStats輸出統計項目比Webalizer豐富了很多,速度仍可以達到Webalizer的1/3左右,對於一個日訪問量 百萬級的站點,這個速度都是足夠的;
- 配置/定製方便:系統提供了足夠靈活但缺省也很合理的配置規則,需要修改的缺省配置不超過3,4項就可以開始運行,而且修改和擴展的插件還是 比較多的;
- AWStats的設計者是面向精確的"Human visits"設計的,因此很多搜索引擎的機器人訪問都被過濾掉了,因此有可能比其他日誌統計工具統計的數字要低,來自公司內部的訪問也可以通過IP過濾 設置過濾掉。
- 提供了很多擴展的參數統計功能:使用ExtraXXXX系列配置生成針對具體應用的參數分析會對產品分析非常有用。
更多與其他工具:Webalizer, analog的比較請參考:
http://awstats.sourceforge.net/#COMPARISON
AWStats安裝備忘
AWStats的運行模式是這樣的:
- 分析日誌:運行後將這樣的日誌統計結果歸檔到一個AWStats的數據庫(純文本)裏;
- 然後是輸出:分兩種形式
- 一種是通過cgi程序讀取統計結果數據庫輸出;
- 一種是運行後臺腳本將輸出導出成靜態文件;
以下是2個針對單個站點日誌統計例子:
一個是在GNU/Linux上通過CGI方式的輸出,
一個是在Windows 2000上的基於靜態頁面的導出
下載/安裝
http://sourceforge.net/projects/awstats/ 下載安裝包後:GNU/Linux:tar zxf awstats-version.tgz
awstats的腳本和靜態文件缺省都在wwwroot目錄下: 將cgi-bin目錄下的文件都部署awstats.pl程序到/home/apache/cgi-bin/awstats/ 下
mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
#把圖標等文件目錄複製到WEB的HTML文件發佈目錄下:/home/apache/htdocs/ 下發布
更多的批量更新腳本等在tools 目錄下,可以一併放到cgi-bin/awstats/ 目錄下,
Windows 2000:按照後臺腳本模式運行,直接解包,然後移動到D:\AWStats目錄下
把圖標icon目錄複製到IIS的發佈目錄下:inetpub/icon
數據源日誌格式和按天的截斷規則
- 對於Apache:日誌格式好設置:設置成combined格式即可,日誌截斷麻煩一點:需要安裝cronolog工具,將日誌設置成按天截斷:
CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d" combined
比如:logs/access_log.20030326
日誌是壓縮格式,可以使用gzip -d < /home/apache/logs/access_log.%YYYY-24%MM-24%DD-24.gz | 動態解壓縮統計。 - 對於IIS:缺省有比較好的日誌按天截斷規則,但是IIS的日誌格式比較不適合AWStats統計,
因此最好直接去掉所有日誌字段,然後嚴格按照以下列表設置- 日期 date
- 時間 time
- 客戶IP地址 c-ip
- 用戶名 cs-username
- 方法 cs-method
- URI資源 cs-uri-stem
- 協議狀態 sc-status
- 發送字節數 sc-bytes
- 協議版本 cs-version
- 用戶代理 cs(User-Agent)
- 參照 cs(Referer)
減少的有:- 服務器IP地址
- 服務器端口
- URI查詢
- 發送字節數
- 協議版本
- 參照
配置文件的命名規則:awstats.sitename.conf
AWStats的主程序awstats.pl會自動根據站點名調用相應站點的配置文件:awstats.sitename.conf
比如:運行./awstats.pl -config=chedong 調用的就是同目錄下的 awstats.chedong.conf 配置文件;
如果沒有指定-config,還會找當前目錄下的awstats.conf或者/etc/awstats.conf作爲缺省配置文件。
所以最好把缺省的awstats.model.conf 重命名成 awstats.yoursite.conf;比如:awstats.chedong.conf,
對於多個站點的統計,AWStats的配置文件包含功能還是非常有用的,我們可以把通用的配置放在一個文檔中,然後用(5.4版本以後開始支持) Include配置將通用配置包含在各個具體配置文件的頭部,然後用其他配置覆蓋通用配置中的相應屬性,比如:
Include="common.conf"
LogFile="/path/to/bbs/access_log"
SiteName="bbs.chedong.com"
最少的配置文件修改:LogFile SiteDomain LogFormat
對於在GNU/Linux上統計Apache日誌只需修改:LogFile SiteDomain這2個選項
- GNU/Linux LogFile="/path/to/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
Windows 2000 LogFile="d:\iis_logs\W3SV3\ex%YY-24%MM-24%DD-24.log"
這個配置的意思是用24小時前的年份,月份,日期拼出的日誌文件名; - SiteDomain="www.chedong.com"
站點的名稱,缺省是空的,如果爲空,AWStats將拒絕運行; - 對於統計IIS日誌需要多修改一個:
LogFormat=2
缺省值是1:Apache日誌,2是IIS日誌
其他需要注意的事項:
AWStats缺省不過濾swf文件,會把.swf算成PageView,所以如果站點上swf文件主要是廣告的話最好還是要過濾掉:
日誌分析
./awstats.pl -update -config=sitename -lang=cn
比如:./awstats.pl -update -config=chedong
會自動調用awstats.chedong.conf這個配置文件
統計輸出
GNU/Linux http://localhost/cgi-bin/awstats/awstats.pl?config=chedong
Windows 2000 http://localhost/awstats/awstats.chedong.html
日誌統計自動運行
GNU/Linux上:crontab -e: 每天8點10分運行
#update awstats
10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl -update -config=chedong)
Windows 2000上:設置每天8點10分運行
D:\Perl\bin\perl.exe d:\AWStats\tools\awstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:\inetpub\awstats\ -awstatsprog=d:\awstats\wwwroot\cgi-bin\awstats.pl
多站點日誌統計
AWStats自帶了一個批處理工具:tools/awstats_updateall.pl,可以批量地遍歷一個目錄下所有地配置文件並運行統 計。因此剩下的工作就主要是日誌的同步問題了。
針對多個站點,很多配置選項是重複的,如果每個配置文件都修改維護起來會很麻煩,AWStats從5.4版本開始提供了配置文件包含的功能,所以我們可 以配置一個通用配置,比如:common.conf
然後其他站點的配置設置爲:可以通過後面的選項覆蓋和缺省不一致的配置。
awstats.bbs.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/bbs_log"
SiteName "bbs.chedong.com"
awstats.www.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/www_log"
SiteName "www.chedong.com"
HostAliases="chedong.com"
統計指標說明
- 參觀者:按來訪者不重複的IP統計,一個IP代表一個參觀者;
- 參觀次數:一個參觀者可能1天之內參觀多次(比如:上午一次,下午一次),所以按一定時間內(比如:1個小時),不重複的IP數統計,參觀者 的訪問次數;
- 網頁數:不包括圖片,CSS, JavaScript文件等的純頁面訪問總數,但如果一個頁面使用了多個幀,每個幀都算一個頁面請求;
- 文件數:來自瀏覽器客戶端的文件請求總數,包括圖片,CSS,JavaScript等,用戶請求一個頁面是,如果頁面中包含圖片等,所以對服 務器會發出多次文件請求,文件數一般遠遠大於文件數;
- 字節:傳給客戶端的數據總流量;
- 來自REFERER中的數據:日誌中的參考(REFERER)字段,記錄了訪問相應網頁之前地址,因此如果用戶是通過搜索引擎的搜索結果點擊 進入網站的,日誌中就會有用戶在相應搜索引擎的查詢地址,這個地址中就可以通過解析將用戶查詢使用的關鍵詞提取出來:
比如:
2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0) http://www.google.com/search?q=chedong
AWStats在搜索引擎的關鍵短語和關鍵詞統計方面的功能還是比較完整的:可以對全世界3百多種機器爬蟲進行識別,並且可以識別大部分主流國際化搜索引 擎和很多地區的本地語言搜索引擎。
Hacking AWStats
基於地理信息的插件安裝:GeoIP 和 Geo::IPfree(awstats 5.5+)
GeoIP和Geo::IPfree都免費的是國家/IP的影射表,比通過DNS反相解析域名得到的統計準確,而且速度快。GeoIP的API都是免費 的,缺省庫是免 費的,收費的是它的數據更新服務。Geo::IPfree不僅代碼是公開的,而且庫數據也是公開的。
GeoIP安裝:
先下載C庫:GeoIP C解包後
%./configure; make
#make install
然後下載Perl庫:GeoIP Perl解包後
%perl MakeFile.PL; make
#make install
Geo::IPfree安裝:
下載Geo::IPfree解 包後
%perl Makefile
%make
#make install
配置:通過在配置文件中啓用GEOIP相關插件:
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
MaxMind目前免費提供了GeoIP和GeoIPCityLite數據包:可以定期每個月從以下地址下載
參考資料:
- AWStats開源項目: http://awstats.sourceforge.net/
- Webalizer開源項目:http://www.webalizer.org/
- 日 志分析工具:directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/
- 商 業日誌統計/分析工具: directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/Commercial/
- 多站點的日誌合併:www.chedong.com/tech/rotate_merge_log.html
- 日誌統計對於分析搜索引擎對站點的影響具 有非常重要的意義:www.chedong.com/tech/google.html
- AWStats插件說明:awstats.sourceforge.net/awstats_contrib.html