Zeppelin Interpreter 模式設置 shared', 'scoped', 'isolated

問題場景:再運行spark任務的時候一直是一個yarn資源,如果允許多個任務的時候會有影響!

怎麼樣變成每個note允許有單獨的資源了。這就是Zeppelin Interpreter 模式設置 shared', 'scoped', 'isolated

 

Zeppelin Interpreter 模式設置 shared', 'scoped', 'isolated

ANSWER

根據提供的上下文,Zeppelin Interpreter 設置有三種模式:shared、scoped 和 isolated。每個 Interpreter Setting 可以選擇其中一種模式,它們的意義和優缺點如下:

  • shared mode:在此模式下,每個綁定到該 Interpreter 的 notebook 共享同一個 Interpreter 實例。這意味着如果多個 notebook 都在使用相同的 Interpreter 實例,它們之間可以共享數據,並且如果一個 notebook 修改了 Interpreter 實例的狀態,其他 notebook 也會受到影響。這種模式可以提高 Interpreter 的啓動速度和內存使用效率,但可能會導致 notebook 之間的狀態耦合。
  • scoped mode:在此模式下,每個 notebook 都有一個獨立的 Interpreter 實例。這意味着不同的 notebook 之間彼此獨立,一個 notebook 中的 Interpreter 實例狀態不會影響到其他 notebook。這種模式可以提高 notebook 之間的隔離性,但可能會導致每個 notebook 都需要啓動一個新的 Interpreter 實例,從而增加了啓動時間和內存使用量。
  • isolated mode:在此模式下,每個 notebook 都有一個獨立的 Interpreter 實例,並且該實例在一個單獨的進程中運行。這意味着不同的 notebook 之間彼此獨立,且如果一個 notebook 中的 Interpreter 實例崩潰了,不會影響到其他 notebook 中的 Interpreter 實例。這種模式可以提高 notebook 之間的隔離性和穩定性,但需要更多的系統資源。

這三種模式可以根據需要設置爲 per user 或 per note 模式。per user 模式意味着對於每個用戶,所有的 notebook 共享同一個 Interpreter 實例;per note 模式意味着每個 notebook 都有一個獨立的 Interpreter 實例。 [4]

在 Zeppelin 中,Interpreter 主要分爲 Local Interpreter 和 Remote Interpreter 兩種類型。Local Interpreter 運行在 Zeppelin Server 主進程中,而 Remote Interpreter 運行在一個單獨的進程中,並通過 Thrift 接口與 Zeppelin Server 主進程通信。Remote Interpreter 的本質是用一個新的進程來運行一個 Local Interpreter(即 ClassloaderInterpreter)。 [3]

要自定義一個 Interpreter 解析器,需要遵循以下步驟:[3]

  1. 在 Maven 構建工程時選擇與當前所使用的 Zeppelin 同版本的依賴包 zeppelin-interpreter。
  2. 創建一個實現類,並繼承 org.apache.zeppelin.interpreter.Interpreter 並實現相應的抽象方法。
  3. 添加內部開發的 Interpreter 的相關依賴包。例如,如果要連接 Hive,則需要添加 hive-metadata\hive-cli 等相關依賴。
  4. 將打好的所有依賴包拷貝至 {ZEPPELIN_HOME}/interpreter/ 下創建的 Interpreter 文件夾中。
  5. 重啓 Zeppelin Server。

要部署自定義的 Interpreter 插件,需要遵循以下步驟:[3]

  1. 拷貝自定義的 Interpreter 插件包至 {ZEPPELIN_HOME}/interpreter/ 下創建的 Interpreter 文件夾中。
  2. 重啓 Zeppelin Server。

Zeppelin Interpreter 的模式設置和調優可以在 Interpreter Setting 頁面中進行。在此頁面中,可以設置 Interpreter 的模式、Interpreter 綁定的主機地址、Interpreter 的依賴項等。 [0]

 

改了之後運行不同的note變成2個了,yarn:

 

 

一直沒有釋放,頭大,按道理應該有參數控制執行完釋放吧,再找找

https://zeppelin.apache.org/docs/0.8.2/usage/interpreter/interpreter_binding_mode.html

 

https://www.cnblogs.com/shenh062326/p/6195064.html

https://www.phind.com/search?cache=fdd32d54-8159-40c7-b03a-b1b3e7e7aaa9

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章