原创 Python同時安裝兼容多版本
Linux下python升級步驟 Python2 ->Python3 多數情況下，系統自動的Python版本是2.x 或者yum直接安裝的也是2.x 但是，現在多數情況下建議使用3.x 那麼如何升級呢？ python安裝 pyth
2018-12-14 01:54:30
1
原创 hadoop-streaming調用Python腳本解析ua
1.從環境中找到hadoop-streaming-2.3.0-mr1-cdh5.1.2.jar的包 [root@ayu python]$ cd $HADOOP_HOME && find ./ -name "*streaming*" .
2018-10-26 22:12:33
原创 mapreduce自定義分區及分箱
分區 –數據發送給哪個reduce 分箱 –結果輸出到哪個目錄 mapreduce分區/Partition mapreduce默認使用HashPartitioner進行分區。 源碼如下： public class HashPar
2018-08-26 11:40:57
2
原创 Hadoop_JavaAPI編程
MyEclipse或Eclipse軟件編程通過API操作hadoop上的HDFS文件系統 1.導入HDFS的jar包 解壓hadoop_2.6.0.tar.gz的安裝包， 選中所有放在lib中的jar包，右鍵，bui
2018-08-26 11:40:55
2
原创 Hadoop僞分佈式配置
135Hadoop2.6.0僞分佈式設置 準備工作：把JDK和Hadoop安裝包上傳到linux系統（oracle(home中的用戶)用戶的根目錄） hadoop用戶安裝操作，主要是因爲安全性問題，root用戶的權限太大，而集羣建通信又需
2018-08-26 11:40:55
原创 Json格式化輸出
/** * 輸入json數據 * 得到格式化json數據 退格用\t 換行用\r */ public static String format(String jsonStr) { int level = 0; Stri
2018-08-26 11:40:55
原创 hadoop啓動及使用
一.開啓Hadoop 開啓Hadoop命令，進入Hadoop的安裝目錄， 執行./start-all.sh 正常狀態下的JPS 都出來了，並不代表所有節點全起來了，當怎麼都有問題時，可以看一下集羣的日誌信息，看有沒有報錯 單獨啓
2018-08-26 11:40:37
2
原创 JobControl的使用及獲取計數器
JobControl的使用 1.JobControl配置 //1.首先聲明一個JobControl JobControl jobControl = new JobControl("groupName"); //2.然後寫conf的配置
2018-08-26 11:40:36
1
原创 Hadoop_HDFS_Shell操作
一.hadoop 命令 Shell命令 Hadoop包括一系列的類shell的命令，可直接和HDFS以及其他Hadoop支持的文件系統進行交互。bin/hadoop fs -help 命令列出所有Hadoop Shell支持的命令。而
2018-08-26 11:40:35
2
原创 JAVA郵件發送
郵件發送接口 定時發送郵件 郵件報警 程序運行成功／失敗通知 統計報表發送 輸入參數說明 ： 參數 類型 說明 例子 title String 郵件標題 郵件測試 content String 郵件內容 該郵件由代碼自
2018-08-26 11:40:35
1