想利用爬蟲做一個web界面的信息諮詢服務平臺
一.界面
vue element ui 參考zheng-admin
二.技術架構
idea git maven spring boot spring cloud webmagic deeplearning4j activemq hadoop mysql vue jquery
三.數據庫
mysql power designer
四:目的
zheng-admin的ui結合,java爬蟲後臺,效率用集羣和分佈式,微服務,存儲這些用hadoop,數據分析用excel 和 mysql ,hadoop+deeplearning4j
條件->爬取數據-清理數據->分析數據–>提取有用信息–>得出結論
通過這個項目學到很多編程技術 ,重構,項目管理,excel,等東西,可以提升面試逼格,增強技術知識,學習,設計,需求,文檔,開發,測試,運維,運營,設計模式的運用,底層的涉及
是可擴展的,隨時可以擴展其他功能和其他系統兼容.利用webservice技術,做一些子系統進行交互擴展,最終目標,自己的大部分在網上的需求,都可以通過這個中樞系統配合其他專門的系統和服務來完成,通過瀏覽器,各個模塊同步進行,一邊做,一邊設計,一邊重構,一邊吸收其他的優秀項目