原创 JAVA抓取網頁的簡單實現

最近在做java的爬蟲,由於剛開始的時候使用的是httpclient,但是逐漸發現,有的功能不能實現,因此,自己利用java的net包做了一個爬蟲,實現網頁的基本抓取,其中考慮了瀏覽器的僞裝,gzip格式的解碼等困擾比較久的問題。代碼如下