Zeppelin Interpreter 模式设置 shared', 'scoped', 'isolated

问题场景:再运行spark任务的时候一直是一个yarn资源,如果允许多个任务的时候会有影响!

怎么样变成每个note允许有单独的资源了。这就是Zeppelin Interpreter 模式设置 shared', 'scoped', 'isolated

 

Zeppelin Interpreter 模式设置 shared', 'scoped', 'isolated

ANSWER

根据提供的上下文,Zeppelin Interpreter 设置有三种模式:shared、scoped 和 isolated。每个 Interpreter Setting 可以选择其中一种模式,它们的意义和优缺点如下:

  • shared mode:在此模式下,每个绑定到该 Interpreter 的 notebook 共享同一个 Interpreter 实例。这意味着如果多个 notebook 都在使用相同的 Interpreter 实例,它们之间可以共享数据,并且如果一个 notebook 修改了 Interpreter 实例的状态,其他 notebook 也会受到影响。这种模式可以提高 Interpreter 的启动速度和内存使用效率,但可能会导致 notebook 之间的状态耦合。
  • scoped mode:在此模式下,每个 notebook 都有一个独立的 Interpreter 实例。这意味着不同的 notebook 之间彼此独立,一个 notebook 中的 Interpreter 实例状态不会影响到其他 notebook。这种模式可以提高 notebook 之间的隔离性,但可能会导致每个 notebook 都需要启动一个新的 Interpreter 实例,从而增加了启动时间和内存使用量。
  • isolated mode:在此模式下,每个 notebook 都有一个独立的 Interpreter 实例,并且该实例在一个单独的进程中运行。这意味着不同的 notebook 之间彼此独立,且如果一个 notebook 中的 Interpreter 实例崩溃了,不会影响到其他 notebook 中的 Interpreter 实例。这种模式可以提高 notebook 之间的隔离性和稳定性,但需要更多的系统资源。

这三种模式可以根据需要设置为 per user 或 per note 模式。per user 模式意味着对于每个用户,所有的 notebook 共享同一个 Interpreter 实例;per note 模式意味着每个 notebook 都有一个独立的 Interpreter 实例。 [4]

在 Zeppelin 中,Interpreter 主要分为 Local Interpreter 和 Remote Interpreter 两种类型。Local Interpreter 运行在 Zeppelin Server 主进程中,而 Remote Interpreter 运行在一个单独的进程中,并通过 Thrift 接口与 Zeppelin Server 主进程通信。Remote Interpreter 的本质是用一个新的进程来运行一个 Local Interpreter(即 ClassloaderInterpreter)。 [3]

要自定义一个 Interpreter 解析器,需要遵循以下步骤:[3]

  1. 在 Maven 构建工程时选择与当前所使用的 Zeppelin 同版本的依赖包 zeppelin-interpreter。
  2. 创建一个实现类,并继承 org.apache.zeppelin.interpreter.Interpreter 并实现相应的抽象方法。
  3. 添加内部开发的 Interpreter 的相关依赖包。例如,如果要连接 Hive,则需要添加 hive-metadata\hive-cli 等相关依赖。
  4. 将打好的所有依赖包拷贝至 {ZEPPELIN_HOME}/interpreter/ 下创建的 Interpreter 文件夹中。
  5. 重启 Zeppelin Server。

要部署自定义的 Interpreter 插件,需要遵循以下步骤:[3]

  1. 拷贝自定义的 Interpreter 插件包至 {ZEPPELIN_HOME}/interpreter/ 下创建的 Interpreter 文件夹中。
  2. 重启 Zeppelin Server。

Zeppelin Interpreter 的模式设置和调优可以在 Interpreter Setting 页面中进行。在此页面中,可以设置 Interpreter 的模式、Interpreter 绑定的主机地址、Interpreter 的依赖项等。 [0]

 

改了之后运行不同的note变成2个了,yarn:

 

 

一直没有释放,头大,按道理应该有参数控制执行完释放吧,再找找

https://zeppelin.apache.org/docs/0.8.2/usage/interpreter/interpreter_binding_mode.html

 

https://www.cnblogs.com/shenh062326/p/6195064.html

https://www.phind.com/search?cache=fdd32d54-8159-40c7-b03a-b1b3e7e7aaa9

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章