新增訪客數量MR統計之Reduce和Runner相關準備

關注公衆號:分享電腦學習
回覆"百度雲盤" 可以免費獲取所有學習文檔的代碼(不定期更新)
雲盤目錄說明:
tools目錄是安裝包
res 目錄是每一個課件對應的代碼和資源等
doc 目錄是一些第三方的文檔工具

 

承接上一篇文檔《新增訪客數量MR統計之NewInstallUserMapper相關準備

創建NewInstallUserReducer

新增訪客數量MR統計之Reduce和Runner相關準備

 

編寫NewInstallUserReducer

新增訪客數量MR統計之Reduce和Runner相關準備

 

需要創建一個MapWritableValue對象

新增訪客數量MR統計之Reduce和Runner相關準備

 

編寫代碼

新增訪客數量MR統計之Reduce和Runner相關準備

 

需要創建一個BaseStatsValueWritable對象

新增訪客數量MR統計之Reduce和Runner相關準備

 

完成代碼

新增訪客數量MR統計之Reduce和Runner相關準備

 

繼續完成MapWritableValue

添加屬性

新增訪客數量MR統計之Reduce和Runner相關準備

 

添加常用方法

新增訪客數量MR統計之Reduce和Runner相關準備

 

實現父類方法

新增訪客數量MR統計之Reduce和Runner相關準備

 

繼續完成NewInstallUserReducer

添加屬性和reduce方法

新增訪客數量MR統計之Reduce和Runner相關準備

 

創建一個集合,用於數據的去重,並統計數量

循環變量value,將數據保存到集合中

獲取去重後uuid的數量

構建輸出對象

新增訪客數量MR統計之Reduce和Runner相關準備

 

構建輸出對象

新增訪客數量MR統計之Reduce和Runner相關準備

 

創建NewInstallUsersRunner類

新增訪客數量MR統計之Reduce和Runner相關準備

 

編寫NewInstallUsersRunner

新增訪客數量MR統計之Reduce和Runner相關準備

 

RunMethod方法

新增訪客數量MR統計之Reduce和Runner相關準備

 

設置配置文件(附在文檔後)

新增訪客數量MR統計之Reduce和Runner相關準備

 

處理參數,一般處理時間參數

新增訪客數量MR統計之Reduce和Runner相關準備

 

設置從hbase讀取數據的相關代碼

新增訪客數量MR統計之Reduce和Runner相關準備

 

獲取job的上下文

獲取給定的參數,是執行那天的數據

構建scan應用的filter

構建只獲取需要字段的filter

新增訪客數量MR統計之Reduce和Runner相關準備

 

需要完成getColumnFilter方法

新增訪客數量MR統計之Reduce和Runner相關準備

 

繼續編寫setHBaseInputConfig

構建filter過濾,非launch事件的數據

應用過根據column對應的value值進行過濾, 如果hbase對應表中沒有給定的列,那麼數據不過濾,全部返回

新增訪客數量MR統計之Reduce和Runner相關準備

 

由於我們需要獲取天、周、月的數據進行統計,所以需要獲取多張表的數據

新增訪客數量MR統計之Reduce和Runner相關準備

 

創建HBaseAdmin進行表是否存在進行判斷(注意高低版本)

新增訪客數量MR統計之Reduce和Runner相關準備

 

構建scan的集合

新增訪客數量MR統計之Reduce和Runner相關準備

 

低版本的方式

新增訪客數量MR統計之Reduce和Runner相關準備

 

高版本的話改一下

新增訪客數量MR統計之Reduce和Runner相關準備

 

過濾

新增訪客數量MR統計之Reduce和Runner相關準備

 

完成run方法

新增訪客數量MR統計之Reduce和Runner相關準備

 

新增訪客數量MR統計之Reduce和Runner相關準備

 

代碼放到雲盤裏了下載就可以了

新增訪客數量MR統計之Reduce和Runner相關準備

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章