原创 hadoop2企業級集羣部署（DNS域名解析+NFS密鑰共享+AWK批量複製）
注意：apache提供的hadoop-2.6.0的安裝包是在32位操作系統編譯的，如果在64位的操作上安裝hadoop-2.6.0就需要重新在64操
2020-02-22 07:40:49
原创 Hadoop2.6.0完全分佈式集羣搭建實操筆記
注意： apache提供的hadoop-2.6.0的安裝包是在32位操作系統編譯的，如果在64位的操作上安裝hadoop-2.6.0就需要重新在64操作系統上重新編譯。 前期準備工作： 1.修改Linux主機名：/etc/hostname
2020-02-22 07:40:49
原创 FAILED Task attempt_xx_r_000000_0 failed to report status for 600 seconds
執行mapreduce任務時，執行拋出以下錯誤：FAILED Task attempt_201509030947_0001_r_000000_0 failed to report status for 600 seconds 原因分析：執
2020-02-22 07:40:49
原创 Sqoop學習筆記——關係數據庫與hdfs間數據遷移
一、安裝： 上傳到hadoop集羣的某一個節點上，將sqoop壓縮包解壓即可直接使用； 二、配置： 將需要連接的數據庫（比如Oracle、MySQL）的連接驅動拷貝到 sqoop目錄的lib裏； 三、配置mysql遠程連接 GR
2020-02-22 07:40:49
原创 hive實現多行轉成1行
--場景描述：將查詢結果記錄每行內容的列先按逗號（，）分割，然後再將多行內容用&符號存爲一行內容 例如： id name age 8 liu 19 9 zhang 20 10 li 25 要求轉化爲： 8,liu,19&9,z
2018-09-04 12:37:16
原创 hive 空值的處理
hive的使用中不可避免的需要對null、‘’（空字符串）進行判斷識別。但是hive有別於傳統的數據庫。 下面一一說明： （1）不同數據類型對空值的存儲規則 int與string類型數據存儲，null默認存儲爲 \N； string類型的
2018-09-04 12:37:15
原创 hive json數據生成和處理
場景：查詢結果封裝成json格式 實現：封裝記錄爲json格式可以編寫自定義函數，也可以直接使用concat函數直接拼接，下面直接使用concat函數拼接實現將數據行轉化爲json數據 select concat('{\"id\":\"'
2018-09-04 12:37:15
原创 hive數據去重，並取指定的一條數據
hive數據去重，並根據需求取其中一條 數據案例： name adx tran_id cost ts ck 5 125.168.10.
2018-09-04 12:37:14
原创 Oozie的input-events和done-flag使用
需求場景：使用Oozie時 coordinator job間的執行順序控制 但隨着業務的擴充，新加了一些 coordinator job，也都是放在凌晨的時候去執行，但有的job依賴於早先存在的 coordinator job，所以不
2018-09-04 12:37:14
原创 MapReduce案例學習(9) 將全體員工按照總收入（工資+提成）從高到低排列，要求列出姓名及其總收入
設計思路：該題處理方案和MapReduce案例學習(8) 列出工資最高的頭三名員工姓名及其工資 類似的，只要將employee類中的compareTo方法改寫比較規則即可 map階段：將employee對象作爲key，value直接設置爲
2018-09-04 12:37:14
原创 MapReduce案例學習(6) 列出工資比公司平均工資要高的員工姓名及其工資
設計思路： map階段：這裏需要彙總所有員工的工資計算平均工資，所以用了一個統一的名稱作爲key以便把所有員工都彙總到起來，然後將員工姓名和工資用逗號分隔拼接爲字符串作爲value輸出； reduce階段：所有員工都在彙總到一起，遍歷傳入
2018-09-04 12:37:14
原创 關係型數據庫導出至Hive倉庫腳本
業務場景： 工作中經常需要將關係型數據庫（Oracle、MySQL）中的表導入到hive中進行大數據運算，故編寫快捷的腳本實現，腳本名爲：RDBtoHive.sh。 實際案例： 將Oracle中表tbl_o_test 數據導入到hive
2018-09-04 12:37:14
原创 MapReduce案例學習(8) 列出工資最高的頭三名員工姓名及其工資
設計思路：因爲mapreduce對key能實現自動排序，當key爲數字時就按自然順序排序，是字母時按字典順序排序。所以處理這個案例時巧妙的使用mapreduce對key值的自動排序功能，將employee對象直接作爲key，並重新定義當k
2018-09-04 12:37:13
原创 MapReduce案例學習（4) 求各個城市的員工的總工資
設計思路： map階段：將城市作爲key，員工工資作爲value輸出； reduce階段：將相同key彙總，遍歷value獲得工資進行疊加處理計算總工資。 package week06; import java.io.IOExcepti
2018-09-04 12:37:13
原创 Linux_vi常用指令
1. vi 1.1 一般模式 1.1.1 一般模式： 移動光標的方法 [Ctrl] + [f] 屏幕『向下』移動一頁，（記憶forward） [Ctrl] + [b] 屏幕『向上』移動一頁，（記憶back
2018-09-04 12:37:13
2