Springboot項目RZSpider3.3.8版本發佈-網頁爬蟲後臺管理

一.項目介紹

此項目建立在開源項目bootdo和若依系統基礎上，如有侵權請及時與我聯繫，其詳情請見：https://gitee.com/lcg0124/bootdo.git，https://gitee.com/y_project/RuoYi
Springboot作爲基礎框架，使用mybatis作爲持久層框架，使用官方推薦的thymeleaf做爲模板引擎，shiro作爲安全框架詳情請見：https://github.com/search?utf8=%E2%9C%93&q=springboot&type=
在此基礎上，添加爬蟲目錄，工具目錄，遊戲目錄以及聊天系統，添加網址設置等
爲什麼不叫crawler而叫spider，因爲喜歡Spider-Man！
此項目源碼請見：https://github.com/ricozhou/RZSpider3.0

基本認知：此爬蟲系統內置5個已寫好爬蟲，後臺ID分別是10001-10005，請不要隨意修改，支持語言JAVA,JAVASCRIPT,PYTHON等，可自定義，但後臺安全需要另行配置
權限認知：超級管理員和管理員可以定義爬蟲類型和添加編寫自定義爬蟲，普通用戶可添加已有的爬蟲管理及爬蟲任務
自定義爬蟲：接口已寫好，源碼資源文件已內置文件流的jar包和源碼，以及連接數據庫的jar包和源碼，自定義爬蟲有示例代碼，後臺編譯運行，注意安全
爬蟲任務：添加爬蟲任務可修改默認參數，爬蟲管理自帶一個默認參數，請根據格式修改內容，可設置任務啓動頻次
啓動任務：定時任務和固有頻次任務會自動添加至任務詳情並啓動，只執行一次的任務需設置啓動時間並啓用任務，每次任務詳情ID表示一次任務，對應啓動會覆蓋原有數據
導出數據：數據格式以excel爲主，內置爬蟲及自定義爬蟲可解析則以excel輸出，無法解析的則以文本格式輸出，下載包括準確任務數據以及未篩選全數據，可選擇下載
其他認知：內置爬蟲使用htmlunit，後臺ID段是10001-19999，自定義爬蟲後臺ID段是20001-29999

基本認知：基本配置詳見bootdo和若依系統源碼
添加配置：主要是文件application.yml的filepath配置
詳情配置：uploadPath：上傳圖片文件所在位置，必填。uploadCachePath：緩存文件夾，必填。uploadToolPath：上傳工具文件所在位置，必填。 uploadGamePath：上傳遊戲文件所在位置。customSpiderPath：自定義爬蟲文件所在位置，必填。javaCompilerPath：java編譯器所在位置（tool.jar目錄），選填，不填則默認系統編譯器。jreRunPath：java運行環境（jre）所在位置（jre目錄），選填，不填則使用系統java環境。後期將簡化配置，使用默認文件夾

基礎設置包括主題設置，下載管理直鏈管理，包括登錄背景設置，首頁介紹，代碼包名前綴，示例代碼，手冊，音樂插件設置等等
登錄背景可設置內置特效，首頁介紹即首頁顯示內容，代碼包名前綴即自定義爬蟲代碼包名，示例代碼即創建自定義爬蟲時的默認代碼，手冊即介紹，音樂插件使用zplayer，鳴謝！
下載管理，可自定義下載文件並生成下載外鏈，設置下載限制次數時間等等
直鏈管理，可自定義音頻，視頻，圖片，zip，html等文件，生成直鏈，可在線瀏覽文件內容
系統工具有清理緩存功能，會將配置文件下無用文件清除，數據庫中自定義爬蟲測試數據清除等等