java開源爬蟲gecco發佈版本1.0.6,更靈活的配置downloader

1.0.6Release

1、修改request的原始流raw被關閉的bug

2、將downloader關聯到gecco上,@Gecco增加downloader和timeout選項

 

@Gecco(matchUrl="https://github.com/{user}/{project}", pipelines="consolePipeline", downloader="httpClientDownloader", timeout=1000)

 

每個@Gecco都能單獨配置downloader,這樣htmlUnitDownloader和httpClientDownlaoder可以靈活配置不再侷限於一個GeccoEngine配置一個downloader。

 

如果您還不瞭解gecco框架請移步:https://github.com/xtuhcy/gecco

 

 

 

發佈了35 篇原創文章 · 獲贊 1 · 訪問量 2萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章