當Spark遇上Zeppelin

  本文將會發表在GitChat上面,主要探討Spark with Zeppelin。Zeppelin是一個基於Web的交互式數據分析工具,裏面有很多解釋器,透過這些解釋器便可以利用相應的引擎完成數據計算與分析,Spark便是其中一種。實際工作中,通常會在兩種情況下使用Spark with Zeppelin。

  • 需要對一批數據做探索性分析,所謂探索性即尚且沒有明確的思路,需要不斷的嘗試,這時你無法形成完整方案寫到代碼文件、打包、正式部署等,Zeppelin便是最好的工具。
  • 臨時有個任務需要驗證一下,特別針對研發人員,你爲這個任務寫個正式代碼文件、打包、部署顯然過於繁瑣,並且很多線上環境是不允許隨便傳代碼的,而利用Zeppelin恰好可以快速處理這些臨時任務。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章