最近在做日誌分析,linux C 的開發環境,在對每行日誌進行處理的時候,手下一個小夥用的是逐字節拆分成字段。
剛開始沒注意,後來每天10幾G的日誌上來後,發現除了速度特別慢以外,還經常出問題,遇到錯誤格式的日誌就直接崩潰。。。
拿過來幫他改的時候,覺得這裏完全可以用sscanf來進行處理,於是google+man 以及半天的測試以後,終於找到了一個比較合理的格式字符串
"%s - - %s %*[/"]%s %1000[^/"]/" %d %d %*[/"]%1000[^/"]/" %*[/"]%1000[^/"] %*[/"]%s %d/n"
原日誌格式爲
58.56.110.98 - - 1264348800 "GET http://www.xxxxxxx.cc/web/validate/captcha.php?cid=134&3307 HTTP/1.0" 404 534 "-" "Trend Micro WTP Add-On 1.2.1046" TCP_MISS:FIRST_UP_PARENT 13
這裏在處理URL用%1000是因爲sscanf遇到空格就會停止,而url中可能會包含空格,所以直接算一個最大值,存下來就行,後面的類似。。
另外在網上搜到關於sscanf的詳細說明,也不知道那個是原創了,也轉貼在這裏:
______________________________________________________________________________________
(轉)sscanf() - 從一個字符串中讀進與指定格式相符的數據
sscanf() - 從一個字符串中讀進與指定格式相符的數據.
函數原型:
Int sscanf( string str, string fmt, mixed var1, mixed var2 ... );
int scanf( const char *format [,argument]... );
說明:
sscanf與scanf類似,都是用於輸入的,只是後者以屏幕(stdin)爲輸入源,前者以固定字符串爲輸入源。
其中的format可以是一個或多個 {%[*] [width] [{h | l | I64 | L}]type | ' ' | '/t' | '/n' | 非%符號}
注:
1、 * 亦可用於格式中, (即 %*d 和 %*s) 加了星號 (*) 表示跳過此數據不讀入. (也就是不把此數據讀入參數中)
2、{a|b|c}表示a,b,c中選一,[d],表示可以有d也可以沒有d。
3、width表示讀取寬度。
4、{h | l | I64 | L}:參數的size,通常h表示單字節size,I表示2字節 size,L表示4字節size(double例外),l64表示8字節size。
5、type :這就很多了,就是%s,%d之類。
6、特別的:%*[width] [{h | l | I64 | L}]type 表示滿足該條件的被過濾掉,不會向目標參數中寫入值
支持集合操作:
%[a-z] 表示匹配a到z中任意字符,貪婪性(儘可能多的匹配)
%[aB'] 匹配a、B、'中一員,貪婪性
%[^a] 匹配非a的任意字符,貪婪性
例子:
1. 常見用法。
char buf[512] = ;
sscanf("123456 ", "%s", buf);
printf("%s/n", buf);
結果爲:123456
2. 取指定長度的字符串。如在下例中,取最大長度爲4字節的字符串。
sscanf("123456 ", "%4s", buf);
printf("%s/n", buf);
結果爲:1234
3. 取到指定字符爲止的字符串。如在下例中,取遇到空格爲止字符串。
sscanf("123456 abcdedf", "%[^ ]", buf);
printf("%s/n", buf);
結果爲:123456
4. 取僅包含指定字符集的字符串。如在下例中,取僅包含1到9和小寫字母的字符串。
sscanf("123456abcdedfBCDEF", "%[1-9a-z]", buf);
printf("%s/n", buf);
結果爲:123456abcdedf
5. 取到指定字符集爲止的字符串。如在下例中,取遇到大寫字母爲止的字符串。
sscanf("123456abcdedfBCDEF", "%[^A-Z]", buf);
printf("%s/n", buf);
結果爲:123456abcdedf
6、給定一個字符串iios/12DDWDFF@122,獲取 / 和 @ 之間的字符串,先將 "iios/"過濾掉,再將非'@'的一串內容送到buf中
sscanf("iios/12DDWDFF@122", "%*[^/]/%[^@]", buf);
printf("%s/n", buf);
結果爲:12DDWDFF
7、給定一個字符串““hello, world”,僅保留world。(注意:“,”之後有一空格)
sscanf(“hello, world”, "%*s%s", buf);
printf("%s/n", buf);
結果爲:world
%*s表示第一個匹配到的%s被過濾掉,即hello被過濾了
如果沒有空格則結果爲NULL。
sscanf的功能很類似於正則表達式, 但卻沒有正則表達式強大,所以如果對於比較複雜的字符串處理,建議使用正則表達式.
//-------------------------------------------------------
sscanf,表示從字符串中格式化輸入
上面表示從str中,輸入數字給x,就是32700
久以前,我以爲c沒有自己的split string函數,後來我發現了sscanf;一直以來,我以爲sscanf只能以空格來界定字符串,現在我發現我錯了。
sscanf是一個運行時函數,原形很簡單:
int sscanf(
const char *buffer,
const char *format [,
argument ] ...
);
它強大的功能體現在對format的支持上。
我以前用它來分隔類似這樣的字符串2006:03:18:
int a, b, c;
sscanf("2006:03:18", "%d:%d:%d", a, b, c);
以及2006:03:18 - 2006:04:18:
char sztime1[16] = "", sztime2[16] = "";
sscanf("2006:03:18 - 2006:04:18", "%s - %s", sztime1, sztime2);
但是後來,我需要處理2006:03:18-2006:04:18
僅僅是取消了‘-’兩邊的空格,卻打破了%s對字符串的界定。
我需要重新設計一個函數來處理這樣的情況?這並不複雜,但是,爲了使所有的代碼都有統一的風格,我需要改動很多地方,把已有的sscanf替換成我自己的分割函數。我以爲我肯定需要這樣做,並伴隨着對sscanf的強烈不滿而入睡;一覺醒來,發現其實不必。
format-type中有%[]這樣的type field。如果讀取的字符串,不是以空格來分隔的話,就可以使用%[]。
%[]類似於一個正則表達式。[a-z]表示讀取a-z的所有字符,[^a-z]表示讀取除a-z以外的所有字符。
所以那個問題也就迎刃而解了:
sscanf("2006:03:18 - 2006:04:18", "%[0-9,:] - %[0-9,:]", sztime1, sztime2);
在softmse (Jake) 的問題貼http://community.csdn.net/Expert/topic/4843/4843294.xml?temp=. 4321558中 ,周星星給出了一個很cool的sscanf用例,而後通過學習,發現sscanf真棒,現做一總結。
原問題:
iios/12DDWDFF@122
獲取/和@之間的字符串怎麼做
C程序裏面有什麼函數嗎?
周星星的代碼:
#include <stdio.h>
int main()
{
const char* s = "iios/12DDWDFF@122";
char buf[20];
sscanf( s, "%*[^/]/%[^@]", buf );
printf( "%s/n", buf );
return 0;
}
結果爲:12DDWDFF
sscanf與scanf類似,都是用於輸入的,只是後者以屏幕(stdin)爲輸入源,前者以固定字符串爲輸入源。
函數原型:
int scanf( const char *format [,argument]... );
其中的format可以是一個或多個 {%[*] [width] [{h | l | I64 | L}]type | ' ' | '/t' | '/n' | 非%符號},
注:{a|b|c}表示a,b,c中選一,[d],表示可以有d也可以沒有d。
width:寬度,一般可以忽略,用法如:
const char sourceStr[] = "hello, world";
char buf[10] = ;
sscanf(sourceStr, "%5s", buf); //%5s,只取5個字符
cout << buf<< endl;
結果爲:hello
{h | l | I64 | L}:參數的size,通常h表示單字節size,I表示2字節 size,L表示4字節size(double例外),l64表示8字節size。
type :這就很多了,就是%s,%d之類。
特別的:
%*[width] [{h | l | I64 | L}]type 表示滿足該條件的被過濾掉,不會向目標參數中寫入值。如:
const char sourceStr[] = "hello, world";
char buf[10] = ;
sscanf(sourceStr, "%*s%s", buf); //%*s表示第一個匹配到的%s被過濾掉,即hello被過濾了
cout << buf<< endl;
結果爲:world
支持集合操作:
%[a-z] 表示匹配a到z中任意字符,貪婪性(儘可能多的匹配)
%[aB'] 匹配a、B、'中一員,貪婪性
%[^a] 匹配非a的任意字符,貪婪性
是不是感覺眼熟了啊,不錯,這和正則表達式很相似,而且仍然支持過濾,即可以有%*[a-z].如:
星星大哥例子回顧:
const char* s = "iios/12DDWDFF@122";
char buf[20];
sscanf( s, "%*[^/]/%[^@]", buf );
printf( "%s/n", buf );
由例子3-》取到指定字符爲止的字符串。如在下例中,取遇到空格爲止字符串。
sscanf("123456 abcdedf", "%[^ ]", buf);
printf("%s/n", buf);
結果爲:123456
所以周星星的代碼總結應該爲:
const char* s = "iios/12DDWDFF@122";
char buf[20];
sscanf( s, "%*[^/]/%[^@]", buf );
printf( "%s/n", buf );
先將 "iios/"過濾掉,再將到字符'@'爲止的一串12DDWDFF(由例3可得此串到@爲止,把@122舍掉)內容即是:12DDWDFF送到buf中,得到結果。