Prophecis 一站式云原生机器学习平台
Prophecis 是微众银行自研大数据平台套件 WeDataSphere 的核心应用工具之一，为用户提供了全栈的机器学习应用开发与部署解决方案。作为WeDataSphere 功能工具应用系统，Prophecis 不仅和已经开源的产品DataSphere Studio、Linkis无缝对接，同时也可以独立运行。
Prophecis Github地址：
https://github.com/WeBankFinTech/Prophecis
*详情可点击文末阅读原文
01
Prophecis是什么
Prophecis 是微众银行大数据平台团队开发的一站式机器学习平台，其采用云原生技术方案，提供生产环境全栈化容器部署与管理服务，致力于打通机器学习建模的整个生命周期的Pipeline。Prophecis提供多种模型训练调试方式，集成多种开源机器学习框架，具备机器学习计算集群的多租户管理能力。
02
为什么需要Prophecis
数据接入，数据是一切得以实现的前提。最简单的方式是通过上传来解决。企业内部往往会基于大数据平台，通过数据导入等方式接入。或者通过数据映射的方式，数据不需要导入，直接就可以通过外部访问；
开发环境，数据科学家基本对此达成了共识，都会选择类似 Jupyter 这样的工具；
分布式训练，类似Tensorflow、PyTorch 等都提供一些方法可以做分布式训练；
模型管理，这是现在比较个性化的模块，不同的公司会有不同的实现。明略科技的模型管理是涵盖模型生成、模型部署以及更新迭代的全流程实现。
03
Prophecis整体架构
-
Prophecis Machine Learning Flow：机器学习分布式建模工具，具备单机和分布式模式模型训练能力，支持Tensorflow、Pytorch、XGBoost等多种机器学习框架，支持从机器学习建模到部署的完整Pipeline； -
Prophecis MLLabis：机器学习开发探索工具，提供开发探索服务，是一款基于Jupyter Lab的在线IDE，同时支持GPU及Hadoop集群的机器学习建模任务，支持Python、R、Julia多种语言，集成Debug、TensorBoard多种插件； -
Prophecis Model Factory：机器学习模型工厂，提供机器学习模型存储、模型部署测试、模型管理等服务； -
Prophecis Data Factory：机器学习数据工厂，提供特征工程工具、数据标注工具和物料管理等服务； -
Prophecis Application Factory：机器学习应用工厂，由微众银行大数据平台团队和AI部门联合共建，基于青云(QingCloud)开源的KubeSphere定制开发，提供CI/CD和DevOps工具，GPU集群的监控及告警能力。
04
Prophecis核心特征
-
全生命周期的机器学习体验：Prophecis的Machine Learning Flow 通过 AppJoint 可以接入到 DataSphere Stdudio 的工作流中，支持从数据上传、数据预处理、特征工程、模型训练、模型评估到模型发布的机器学习全流程； -
一键式的模型部署服务：Prophecis MF 支持将Prophecis Machine Learning Flow、Prophecis MLLabis 生成的训练模型一键式发布为 Restful API 或者 RPC 接口，实现模型到业务的无缝衔接； -
机器学习应用部署、运维、实验的综合管理平台：基于社区开源方案定制，提供完整的、可靠的、高度灵活的企业级机器学习应用发布、监控、服务治理、日志收集和查询等管理工具，全方位实现对机器学习应用的管控，满足企业对于机器学习应用在线上生产环境的所有工作要求。
05
Prophecis和WeDataSphere
Linkis TFOS Engine： Prophecis 通过构建 Linkis TFOS Engine，支持从任务提交到 YARN，为平台提供了SparkML、TensorflowOnSpark、XGBoost On PySpark、LightGBM On PySpark等分布式建模能力；
Machine Learning Flow Pipeline：Prophecis通过对接Linkis的Flow Engine、DataSphere Studio的Appjoint插件集成能力，实现了机器学习实验工作流调度功能；
-
集成DSS工作流 ：在复用DSS和Linkis能力的同时，Prophecis也构建了对应的DSS Prophecis AppJoint，为DSS的工作流模块提供了云原生机器学习建模能力； -
LinkisMagic ：Prophecis构建Linkis相应Magic函数，目前主要对接了Spark相关引擎类型，完善了Jupyter Notebook的大数据开发功能，为用户提供了一站式、交互式的AI开发环境。
06
Prophecis和KubeSphere
KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器管理平台，作为面向云原生应用的容器混合云，其愿景是打造一个以 Kubernetes 为内核的云原生分布式操作系统，它的架构可以非常方便地使第三方应用与云原生生态组件进行即插即用（plug-and-play）的集成，支持云原生应用在多云与多集群的统一分发和可视化运维管理。
更多关于KubeSphere的介绍，请访问：
KubeSphere 官网中国站 (https://kubesphere.com.cn)
KubeSphere GitHub（https://github.com/kubesphere）
Prophecis在Application Factory的建设中引入了 KubeSphere，对其进行了定制开发，实现了机器学习容器应用从镜像发布、实例部署、多租户资源隔离、服务监控到日志收集的自动化管理，极大的降低了机器学习应用的运维成本。同时，WeDataSphere和KubeSphere 两大社区也达成了开源合作的意向，朝着共建云原生大数据生态前进，为中国的新基建事业添砖加瓦。
07
Prophecis近期版本规划
当前Webank的Prophecis已经完成与DataSphereStudio对接，打通了整个MLFlow的数据链路Pipeline，后续我们会按照Roadmap逐步放出剩下功能，Prophecis RoadMap规划：
Prophecis v0.1.x
服务部署脚本
用户管理台
Namespace、存储、资源管理
多租户隔离的个人开发环境(Jupyter Lab)
大数据开发方案(Livy&原生方案)
LinkisMagic
MLLabis
Control Center & UI
Prophecis v0.2.x
基础平台自动化部署脚本（Kubernetes/Docker/GPU）
分布式建模
批量任务计算、告警
CLI
MLFlow
Base
Prophecis v0.3.x
资源管理、监控
模型部署
Model Factory（模型工厂）
Application Factory（应用工厂）
08
总结
WeDataSphere，BIG DATA MADE EASY.
用心做一个有温度的开源社区
~欢迎关注~
扫码关注我们
微信号公众号 : WeDataSphere
GitHub：WeDataSphere
如果喜欢我们的产品或文章，请给我们的GitHub点上你宝贵的star和fork哦~~
本文分享自微信公众号 - WeDataSphere（gh_273e85fce73b）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。