原创 HIVE Metastore中Local/Embedded Metastore Server的配置分析

*初學者個人體會,主要作爲筆記使用,如有錯誤歡迎指正。 根據現在的官方指引(modified by Shannon Ladymon on Jul 22, 2016)所述,HIVE的Metastore有四種配置,其中又分爲兩種形式——數據

原创 基於Spark 2.0.0搭建Hive on Spark環境

一、運行環境 CentOS 7.2 Hadoop 2.7 Hive 2.2.0 Spark 2.0.0 JDK 1.7 Scala 2.11.8 Maven 3.3.9 說明:Scala 2.11.8以後的版本只支持JDK1.8,如果環境

原创 利用conda在Hadoop-stream中使用定製python解釋器

在利用hadoop-stream工具發佈python任務時很容易出現'subprocess failed with code 1'錯誤,一般這種錯誤都是因爲Datanode在執行python腳本時發生異常導致。比較常見的是python腳本