Spark的Notebook工具汇总


工具汇总

当前Spark的Notebook工具主要有四个,


优缺点

上述四个工具都可以作为Spark代码的notebook工具,但特点不同。

Jupyter是轻量级别的,打开关闭都很快,并且开启的是相当于是一个最小Spark集群,故适合代码快速测试。

Zeppelin发展迅速,特别时候数据分析,数据可视化。

Spark-notebook的资源最为丰富,提供适用于所有环境的所有版本,并且自带很多机器学习等示例。唯一的缺点是有时候界面加载特别慢。

HUE的notebook发展比较慢,比如即使是最新的3.10版,其虽然支持spark notebook,但还需自己手动配置,比较麻烦。但HUE中整合了其它的许多大数据资源,比如HDFS,Job,Hive等,提供了数据提取、分析的一站式平台,所以其非常适合作为生产环境的Notebook工具。


总结

上述软件不同的定位使得其有了各自的不同的应用场景,大家根据自己的需要来自己选取。

当然,上述四个工具还在飞速发展中,软件的功能也不仅仅只是作为Spark Notebook。


更多

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章