新增访客数量MR统计之数据库准备

关注公众号:分享电脑学习
回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)
云盘目录说明:
tools目录是安装包
res 目录是每一个课件对应的代码和资源等
doc 目录是一些第三方的文档工具

 

承接上一篇文档《新增访客数量MR统计之Reduce和Runner相关准备

创建StatsUserNewInstallUserCollector类和StatsDeviceBrowserNewInstallUserCollector类

新增访客数量MR统计之数据库准备

 

编写StatsDeviceBrowserNewInstallUserCollector类

新增访客数量MR统计之数据库准备

 

需要创建一个ICollector

新增访客数量MR统计之数据库准备

 

编写代码

新增访客数量MR统计之数据库准备

 

需要创建IDimensionConverter和一个实现类DimensionConverterImpl

新增访客数量MR统计之数据库准备

 

编写IDimensionConverter

新增访客数量MR统计之数据库准备

 

编写DimensionConverterImpl

新增访客数量MR统计之数据库准备

 

填写缓存器

新增访客数量MR统计之数据库准备

 

构造函数,默认无参构造函数

新增访客数量MR统计之数据库准备

 

完成继承方法

新增访客数量MR统计之数据库准备

 

填写代码

新增访客数量MR统计之数据库准备

 

完成buildCacheKey方法

根据不同数据类型创建对于的cache key值

新增访客数量MR统计之数据库准备

 

如果cache值为空,那么直接抛出异常

返回cache key值

新增访客数量MR统计之数据库准备

 

继续编写getDimensionIdByValue

创建sql语句数组,包括查询语句和插入数据语句,第一条为查询语句,第二条为插入数据语句

新增访客数量MR统计之数据库准备

 

编写上面那四个方法

buildDateSql

新增访客数量MR统计之数据库准备

 

buildPlatformSql

新增访客数量MR统计之数据库准备

 

buildBrowserSql

新增访客数量MR统计之数据库准备

 

buildKpiSql

新增访客数量MR统计之数据库准备

 

继续完成getDimensionIdByValue

获取数据库连接

并发控制,每次只允许一个维度进行id获取操作

返回结果

新增访客数量MR统计之数据库准备

 

完成getConnection方法

获取数据库连接

如果在当前线程的缓存中没有找到对于的数据库连接,那么进行新建操作

从缓存中获取对应的数据库连接值

创建hadoop上下文,上下文中保存了jdbc的数据库连接信息

新增访客数量MR统计之数据库准备

 

开始获取数据库连接

将新生成的连接保存到当前线程所属的cache中

新增访客数量MR统计之数据库准备

 

添加close方法

新增访客数量MR统计之数据库准备

 

添加setArgs方法

新增访客数量MR统计之数据库准备

 

下面的部分

新增访客数量MR统计之数据库准备

 

添加executeSql方法

新增访客数量MR统计之数据库准备

 

下面的部分

新增访客数量MR统计之数据库准备

 

接着的部分

新增访客数量MR统计之数据库准备

 

接着部分

新增访客数量MR统计之数据库准备

 

继续完成StatsDeviceBrowserNewInstallUserCollector

新增访客数量MR统计之数据库准备

 

完成collect方法

新增访客数量MR统计之数据库准备

 

完成后续的部分

新增访客数量MR统计之数据库准备

 

完成StatsUserNewInstallUserCollector

新增访客数量MR统计之数据库准备

 

完成collect方法

新增访客数量MR统计之数据库准备

 

下面的部分

新增访客数量MR统计之数据库准备

 

output-collector.xml

新增访客数量MR统计之数据库准备

 

query-mapping.xml

新增访客数量MR统计之数据库准备

 

新增访客数量MR统计之数据库准备

 

导入数据库文件

新增访客数量MR统计之数据库准备

 

代码已上传到云盘

新增访客数量MR统计之数据库准备

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章