關注公衆號:分享電腦學習
回覆"百度雲盤" 可以免費獲取所有學習文檔的代碼(不定期更新)
雲盤目錄說明:
tools目錄是安裝包
res 目錄是每一個課件對應的代碼和資源等
doc 目錄是一些第三方的文檔工具
承接上一篇文檔《新增訪客數量MR統計之NewInstallUserMapper相關準備》
創建NewInstallUserReducer
編寫NewInstallUserReducer
需要創建一個MapWritableValue對象
編寫代碼
需要創建一個BaseStatsValueWritable對象
完成代碼
繼續完成MapWritableValue
添加屬性
添加常用方法
實現父類方法
繼續完成NewInstallUserReducer
添加屬性和reduce方法
創建一個集合,用於數據的去重,並統計數量
循環變量value,將數據保存到集合中
獲取去重後uuid的數量
構建輸出對象
構建輸出對象
創建NewInstallUsersRunner類
編寫NewInstallUsersRunner
RunMethod方法
設置配置文件(附在文檔後)
處理參數,一般處理時間參數
設置從hbase讀取數據的相關代碼
獲取job的上下文
獲取給定的參數,是執行那天的數據
構建scan應用的filter
構建只獲取需要字段的filter
需要完成getColumnFilter方法
繼續編寫setHBaseInputConfig
構建filter過濾,非launch事件的數據
應用過根據column對應的value值進行過濾, 如果hbase對應表中沒有給定的列,那麼數據不過濾,全部返回
由於我們需要獲取天、周、月的數據進行統計,所以需要獲取多張表的數據
創建HBaseAdmin進行表是否存在進行判斷(注意高低版本)
構建scan的集合
低版本的方式
高版本的話改一下
過濾
完成run方法
代碼放到雲盤裏了下載就可以了