想利用爬虫做一个web界面的信息咨询服务平台
一.界面
vue element ui 参考zheng-admin
二.技术架构
idea git maven spring boot spring cloud webmagic deeplearning4j activemq hadoop mysql vue jquery
三.数据库
mysql power designer
四:目的
zheng-admin的ui结合,java爬虫后台,效率用集群和分布式,微服务,存储这些用hadoop,数据分析用excel 和 mysql ,hadoop+deeplearning4j
条件->爬取数据-清理数据->分析数据–>提取有用信息–>得出结论
通过这个项目学到很多编程技术 ,重构,项目管理,excel,等东西,可以提升面试逼格,增强技术知识,学习,设计,需求,文档,开发,测试,运维,运营,设计模式的运用,底层的涉及
是可扩展的,随时可以扩展其他功能和其他系统兼容.利用webservice技术,做一些子系统进行交互扩展,最终目标,自己的大部分在网上的需求,都可以通过这个中枢系统配合其他专门的系统和服务来完成,通过浏览器,各个模块同步进行,一边做,一边设计,一边重构,一边吸收其他的优秀项目