python又一力作,感受python的強大。用70行代碼實現日誌分析程序
功能介紹:可直接對文本日至進行分組和排序功能,完了輸出結果粘貼到excel裏就可以直接生成圖表,對於排查一些生產環境問題有很大的作用。
代碼:
#encoding=utf-8
from optparseimport OptionParser
import re
def get_args():
def get_parser():
usage= u"""%prog -f filename -r rule [-d] [-c]
用途:對文本文件按照指定模式進行分組並排序,主要分析文本日誌用
注意:如果正則表達式裏有分組,則提取第一分組,
如果不希望這樣,請使用正則的無捕獲分組(?:)
示例:統計日誌裏每分鐘的日誌量,默認按時間正序排列
python group.py -f log.txt -r "\d\d\d\d\-\d\d\-\d\d \d\d:\d\d"
統計日誌裏每個ip出現的次數,並按出現次數倒序排列
python group.py -f input.txt -r "\d+\.\d+.\d+.\d+" -c -d"""
return OptionParser(usage)
def add_option(parser):
parser.add_option("-f","--file", dest="filename",
help=u"需要分組的文本文件", metavar="FILE")
parser.add_option("-r","--rule", dest="rule",
help=u"分組的正則表達式", metavar="REGEX")
parser.add_option("-d", action="store_true",
dest="reverse", default=False,help=u"反序排列")
parser.add_option("-c", action="store_true",
dest="orderbycount", default=False,
help=u"按數量排序,默認按匹配字符串排序")
def get_options(parser):
options, args= parser.parse_args()
if not options.filename:
parser.error('沒有指定文件名')
if not options.rule:
parser.error('沒有指定分組規則')
return options
parser= get_parser()
add_option(parser)
return get_options(parser)
options = get_args()
filename = options.filename
rule = options.rule
reverse = options.reverse
orderbycount= options.orderbycount
regex = re.compile(rule, re.IGNORECASE)
keys = {}
def counter_key(key):
keys.setdefault(key,0)
keys[key]+= 1
def print_keys():
sort_key= (lambda d:d[1])if orderbycountelse (lambda d:d[0])
temp_items= sorted(keys.items(), key=sort_key, reverse=reverse)
for itemin temp_items:
key= item[0]
print key, keys[key]
def get_key(line):
m= regex.search(line)
if m:
return m.group()if regex.groups== 0 else m.group(1)
return '!NotMatch!'
withopen(filename) as f:
for linein f:
key= get_key(line)
counter_key(key)
print_keys()