原创 由sqlContext.implicits._帶來的一場血案 原
先來看看Spark裏關於implicit的實現，如下： object implicits extends SQLImplicits with Serializable { protected override def _sqlConte
2018-12-02 21:12:14
2
原创 DataNode磁盤平衡器[代碼分享] 原 薦
項目地址： disk-balancer-hadoop2.6 關於磁盤數據平衡 當現有HDFS遇到存儲空間瓶頸時，我們可以通過往DN上加磁盤來緩解，而由於DN上的原有磁盤數據快滿，新加的磁盤又是空的，就導致磁盤間的數據不平衡。在Hadoop3
2018-12-02 21:12:14
4
原创 你想了解的Hive Query生命週期--鉤子函數篇！ 原 薦
前言 無論Hive Cli還是HiveServer2，一個HQl語句都要經過Driver進行解析和執行，粗略如下圖： Driver處理的流程如下： HQL解析(生成AST語法樹) => 語法分析(得到QueryBlock) => 生成邏輯
2018-12-02 21:12:14
4