Flink-Zeppelin On FlinkSql

Flink-Zeppelin On FlinkSql

摘要

最近在调研流平台,发现各大公司流平台的Web界面都是自己一个团队开发,相当完备。苦于人力、时间有限,想找现成的能提交FlinkSql的Web代码,没找到合适的开源的。但是想起了之前看过的Zeppelin,现在已经支持Flink 1.0且支持DataStream、Table & SQL 等,遂赶紧尝试。如果能走通,后续计划在原数据这块儿看看有什么好办法管理起来。

1 Zeppelin

1.1 简介

Zeppelin基于界面化的笔记本,可实现数据驱动,使用SQL、Scala(没看错,能指直接写Scala代码!)等进行交互式数据分析。

可视化的笔记本是指:

  • 数据摄取
  • 数据发现
  • 数据分析
  • 数据可视化、协作

1.2 Interpreter

Zeppelin interpreter是个重要的组件,可将任何语言和数据处理后端以插件化的方式接入Zeppelin,目前支持的技术栈如下:
在这里插入图片描述
如果没有你需要的,那还可以自定义一个how to create a new interpreter

1.3 数据可视化

1.3.1 概述

已经支持一些基本图标,任意后端输出都可以以图表方式展现!(不用后端人员再去学什么echarts了)
在这里插入图片描述
在这里插入图片描述

1.3.2 聚合指标运算

直接可以拖拽方式生成。

在这里插入图片描述
还想了解更多或二次开发就参考:

1.3.3 动态表格

Dynamic Forms 是Zeppelin的一个高级功能,允许用户在代码中插入UI控件来允许用户定制化你的代码。Jdbc Interpreter支持这一功能,用户可以定制SQL,下面是一个下拉框的例子。

1.3.4 发布Zeppelin笔记本

可以直接将你的Zeppelin笔记本url分享给其他写作者,则大家都可以看到实时更新。

2 安装、部署和配置

2.1 下载

Download Apache Zeppelin

有三种方式:下载完整已编译二进制包、通过网络安装指定interpreter的包或者源码自己编译安装

图方便就用第一种吧。

2.2 安装

可参考

必须是JDK 1.8(171)以上

下载完后直接解压zeppelin-0.9.0-preview1-bin-all.tgz

tar -zxvf zeppelin-0.9.0-preview1-bin-all.tgz

2.3 配置

2.3.1 常用配置

可修改两个配置文件,都配置了同key属性时以环境变量文件为准:

  • conf/zeppelin-env.sh
    一些环境变量
  • conf/zeppelin-site.xml
    一些java属性

2.3.2 Zeppelin On Yarn

z

2.4 启动

进入安装好的zeppelin目录后,执行

参考文档

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章