項目地址:https://github.com/qiyaTech/javaCrawling
項目介紹:奇伢爬蟲基於spring boot 、 WebMagic 實現 微信公衆號文章、新聞、csdn、info等網站文章爬取,可以動態設置文章爬取規則、清洗規則,基本實現了爬取大部分網站的文章。
項目截圖:
項目地址:https://github.com/qiyaTech/javaCrawling
項目介紹:奇伢爬蟲基於spring boot 、 WebMagic 實現 微信公衆號文章、新聞、csdn、info等網站文章爬取,可以動態設置文章爬取規則、清洗規則,基本實現了爬取大部分網站的文章。
項目截圖: