nodejs實現的爬蟲，從百度貼吧爬取小說

程序應該被用來改變生活

每天都得來回坐地鐵上下班，無聊的時候喜歡看些小說，還只看至尊系的。以前老用微信讀書，現在讀書送的書券都花完了，作爲一名程序猿怎麼可能去花錢買書券讀書。所以我想了寫個爬蟲爬小說的想法。

• 原理圖

  github項目地址: networkReptile

• 程序依賴

superagent  --發送http請求
cheerio  --分析請求得到的html
node-schedule --定時運行爬蟲
mongoose  --將爬到的最終數據存入mongo

• 程序目錄

networkReptile----connectDB //數據庫代碼
|---node_modules
|---tools //工具類
|---config.js //配置文件
|---networkReptile.js //主程序
|---package.json //依賴包
|---result.txt //存儲爬到的html
|---README.md //使用說明

看程序之前，請務必看下cnodejs社區的nodejs入門的lession5、lession6，詳情請見註釋，請看代碼註釋。