原创 KFS部署配置說明及管理
[b][color=red]原創文章轉載請註明出處：http://wangwei3.iteye.com/blog/916476[/color][/b][b]基本機器配置[/b]此配置在 scripts/ma
2018-08-25 10:23:15
原创 如何讀取gzip壓縮網頁
最近在抓取搜狐的時候發現下載下來的頁面都是亂碼，開始以爲是解碼出了問題可是查找半天無果，很是鬱悶。返回的狀態碼是200，怎麼都是亂碼呢？難道是頁面做了加密？其實這是搜狐爲了加快網頁加載速度對頁面做了壓縮。哎
2018-08-25 10:23:15
原创 heritrix設計詳解(一) 總述
[b][color=red]原創文章:轉載請註明出處[/color][/b]讀了一段時間的源碼，結合網上的文檔和自己的理解來詳解下heritrix的體系結構，總體來說hertitrix是一個設計優良的框架，
2018-08-25 10:23:15
1
原创 Linux第一步配置靜態MAC和自動獲取
修改MAC地址的語句ifconfig eth0 down ifconfig eth0 hw ether MAC(例如：00：04：a2：d2：e2：12)ifconfig eth0 up 注意：MAC是16
2018-08-25 10:23:15
1
原创 hadoop第二步：將hadoop的HDFS替換成KFS
[color=red][b]原創文章：轉載請註明出處http://wangwei3.iteye.com/blog/895867[/b][/color]最近需要把hadoop的HDFS替換成KFS。其實具體性
2018-08-25 10:23:15
原创 MySQL函數
[b]一、 控制流程函數[/b] a) CASE WHEN THEN 函數 語法： CASE value WHEN [compare-value] THEN result [WHEN [com
2018-08-25 10:23:15
原创 Java 位運算符
Java 位運 算 符 位運算符用來對二進制位進行操作 ,Java中提 供 了 如 下所 示 的 位 運 算符 : 位 運 算 符 (＞＞,＜＜,＞＞＞,&,|,^,～ ) ,位運 算 符 中 ,除 ～ 以
2018-08-25 10:23:15
原创 Heritrix中的SURT和SurtPrefixedDecideRule
在Heritrix中，如果我們需要抓取指定host的網頁，需要用到SurtPrefixedDecideRule這個規則。這裏根據Heritrix的文檔，解釋一下SURT。SURT全稱是Sort-friend
2018-08-25 10:23:13
5