本文爲原創博客，僅供技術學習使用。未經允許，禁止將其複製下來上傳到百度文庫等平臺。如有轉載請註明本文博客的地址(鏈接)。
- 網絡爬蟲的原理
- 寫網絡爬蟲的原因
- 網絡爬蟲的流程
- java網絡爬蟲要具備哪些基礎知識？
網絡爬蟲的原理
當我們在瀏覽器訪問一個網頁時，網頁接收到請求後返回一個HTML文件，瀏覽器對HTML文件進行解析，展示在用戶界面上。同樣的道理，爬蟲程序模仿人的操作訪問網站，給網站一個請求，網站會給爬蟲程序返回一個HTML文件，爬蟲程序再根據返回的數據進行抓取分析和數據存儲。
寫網絡爬蟲的原因
1、互聯網時代，各種各樣的數據都很多，每天還會增加，手動複製粘貼肯定不行了，網絡爬蟲解決這個問題再恰當不過了。
2、本人對數據分析、數據挖掘都挺感興趣的，採集數據是做這些工作的第一步。所以要用到網絡爬蟲。
3、研究所裏最近在做系統，需要採集數據，來做數據分析和個性化推薦，沒有數據不行啊。
網絡爬蟲的流程
給定一個待爬取的URL隊列，然後通過抓包的方式，獲取數據的真實請求地址，然後獲取URL的內容，再把獲取到的URL內容進行解析，得到我們所想要的價值數據。
java網絡爬蟲要具備哪些基礎知識？
首先要有一定的java基礎，比如集合的操作，泛型的使用，maven的使用，日誌的使用，輸入流輸出流，java操作數據庫之類的。
其次要有掌握網絡爬蟲的原理，網絡抓包，Jsoup和Httpclient的使用，json數據和html數據的解析。
這些基礎知識我會在後面的博客中寫到。