原创 Linux下調整根目錄的空間大小

一、目的 在使用Linux系統的時候,發現根目錄(/)的空間不是很充足,而其他目錄空間有很大的空閒,所以本文主要是針對現在已有的空間進行調整。首先,先來查看一下系統的空間分配情況: [plain] view plain c

原创 CDH集羣中maptask的日誌文件的位置整理

笨小蔥這周寫了一個讀取hbase中的數據到map中的很簡單的mr。然後放到cdh集羣中跑了一下,結果出現了一系列問題。其中最重要的一個問題竟然是,笨小蔥想去找我在mr程序中打的日誌,竟然苦苦找不到。所以這裏記錄下笨小蔥從頭到尾的一個過程。

原创 hadoop MR多目錄動態輸出配置

在寫MR時,如果需要根據記錄內容進行,每條記錄的動態目錄輸出可以使用MultipleOutputs類配置。 public static class hdfs2HiveMap extends Mapper<LongWritable,Tex

原创 CDH5.X完全卸載步驟

//CDH5.X完全卸載步驟 # by coco # 2015-01-14 1. 關閉集羣中的所有服務。  這個可以通過clouder manger 主頁關閉集羣。 2. 卸載 [root@master ~]# /usr/

原创 lua的一些簡單函數

--字符串分割函數 --傳入字符串和分隔符,返回分割後的table function string.split(str, delimiter) if str==nil or str=='' or delimiter==nil th

原创 CDH安裝中遇到的問題解決

--------------------------cdh中重裝hbase後之前的腳本殘留解決--------------------- 1.切換到zookeeper的bin目錄;  //zookeeper-client status