原创 Linux下調整根目錄的空間大小
一、目的 在使用Linux系統的時候,發現根目錄(/)的空間不是很充足,而其他目錄空間有很大的空閒,所以本文主要是針對現在已有的空間進行調整。首先,先來查看一下系統的空間分配情況: [plain] view plain c
原创 CDH集羣中maptask的日誌文件的位置整理
笨小蔥這周寫了一個讀取hbase中的數據到map中的很簡單的mr。然後放到cdh集羣中跑了一下,結果出現了一系列問題。其中最重要的一個問題竟然是,笨小蔥想去找我在mr程序中打的日誌,竟然苦苦找不到。所以這裏記錄下笨小蔥從頭到尾的一個過程。
原创 hadoop MR多目錄動態輸出配置
在寫MR時,如果需要根據記錄內容進行,每條記錄的動態目錄輸出可以使用MultipleOutputs類配置。 public static class hdfs2HiveMap extends Mapper<LongWritable,Tex
原创 CDH5.X完全卸載步驟
//CDH5.X完全卸載步驟 # by coco # 2015-01-14 1. 關閉集羣中的所有服務。 這個可以通過clouder manger 主頁關閉集羣。 2. 卸載 [root@master ~]# /usr/
原创 lua的一些簡單函數
--字符串分割函數 --傳入字符串和分隔符,返回分割後的table function string.split(str, delimiter) if str==nil or str=='' or delimiter==nil th
原创 CDH安裝中遇到的問題解決
--------------------------cdh中重裝hbase後之前的腳本殘留解決--------------------- 1.切換到zookeeper的bin目錄; //zookeeper-client status