新增訪客數量MR統計之數據庫準備

關注公衆號:分享電腦學習
回覆"百度雲盤" 可以免費獲取所有學習文檔的代碼(不定期更新)
雲盤目錄說明:
tools目錄是安裝包
res 目錄是每一個課件對應的代碼和資源等
doc 目錄是一些第三方的文檔工具

 

承接上一篇文檔《新增訪客數量MR統計之Reduce和Runner相關準備

創建StatsUserNewInstallUserCollector類和StatsDeviceBrowserNewInstallUserCollector類

新增訪客數量MR統計之數據庫準備

 

編寫StatsDeviceBrowserNewInstallUserCollector類

新增訪客數量MR統計之數據庫準備

 

需要創建一個ICollector

新增訪客數量MR統計之數據庫準備

 

編寫代碼

新增訪客數量MR統計之數據庫準備

 

需要創建IDimensionConverter和一個實現類DimensionConverterImpl

新增訪客數量MR統計之數據庫準備

 

編寫IDimensionConverter

新增訪客數量MR統計之數據庫準備

 

編寫DimensionConverterImpl

新增訪客數量MR統計之數據庫準備

 

填寫緩存器

新增訪客數量MR統計之數據庫準備

 

構造函數,默認無參構造函數

新增訪客數量MR統計之數據庫準備

 

完成繼承方法

新增訪客數量MR統計之數據庫準備

 

填寫代碼

新增訪客數量MR統計之數據庫準備

 

完成buildCacheKey方法

根據不同數據類型創建對於的cache key值

新增訪客數量MR統計之數據庫準備

 

如果cache值爲空,那麼直接拋出異常

返回cache key值

新增訪客數量MR統計之數據庫準備

 

繼續編寫getDimensionIdByValue

創建sql語句數組,包括查詢語句和插入數據語句,第一條爲查詢語句,第二條爲插入數據語句

新增訪客數量MR統計之數據庫準備

 

編寫上面那四個方法

buildDateSql

新增訪客數量MR統計之數據庫準備

 

buildPlatformSql

新增訪客數量MR統計之數據庫準備

 

buildBrowserSql

新增訪客數量MR統計之數據庫準備

 

buildKpiSql

新增訪客數量MR統計之數據庫準備

 

繼續完成getDimensionIdByValue

獲取數據庫連接

併發控制,每次只允許一個維度進行id獲取操作

返回結果

新增訪客數量MR統計之數據庫準備

 

完成getConnection方法

獲取數據庫連接

如果在當前線程的緩存中沒有找到對於的數據庫連接,那麼進行新建操作

從緩存中獲取對應的數據庫連接值

創建hadoop上下文,上下文中保存了jdbc的數據庫連接信息

新增訪客數量MR統計之數據庫準備

 

開始獲取數據庫連接

將新生成的連接保存到當前線程所屬的cache中

新增訪客數量MR統計之數據庫準備

 

添加close方法

新增訪客數量MR統計之數據庫準備

 

添加setArgs方法

新增訪客數量MR統計之數據庫準備

 

下面的部分

新增訪客數量MR統計之數據庫準備

 

添加executeSql方法

新增訪客數量MR統計之數據庫準備

 

下面的部分

新增訪客數量MR統計之數據庫準備

 

接着的部分

新增訪客數量MR統計之數據庫準備

 

接着部分

新增訪客數量MR統計之數據庫準備

 

繼續完成StatsDeviceBrowserNewInstallUserCollector

新增訪客數量MR統計之數據庫準備

 

完成collect方法

新增訪客數量MR統計之數據庫準備

 

完成後續的部分

新增訪客數量MR統計之數據庫準備

 

完成StatsUserNewInstallUserCollector

新增訪客數量MR統計之數據庫準備

 

完成collect方法

新增訪客數量MR統計之數據庫準備

 

下面的部分

新增訪客數量MR統計之數據庫準備

 

output-collector.xml

新增訪客數量MR統計之數據庫準備

 

query-mapping.xml

新增訪客數量MR統計之數據庫準備

 

新增訪客數量MR統計之數據庫準備

 

導入數據庫文件

新增訪客數量MR統計之數據庫準備

 

代碼已上傳到雲盤

新增訪客數量MR統計之數據庫準備

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章