京东算法大赛-高潜用户购买意向预测(一) 资料整理

    初学者可以参考daoliker提供的资料:https://github.com/daoliker/JData,这是一位热心的参赛者提供的一份入门程序,涵盖了数据清洗、数据(统计)分析、特征抽取、搭建模型、模型评估,这些机器学习通用的完整流程,对于初学者来说可以作为参考。

    上面的连接中有相关的说明,如:

data_cleaning.ipynb       数据清洗
data_analysis.ipynb         数据分析
exlpore_potential_user.ipynb 探索高潜用户行为

其他都是.py的python文件,无需额外说明,上面这几个.ipynb是可导入jupyter notebook的文件,如果没有安装的话需要先安装jupyter notebook,然后upload上面几个文件即可。


一 基础数据介绍:

官网上其实已经有了描述,这里为了方便查看,再次列出:

1. 用户数据 - JData_User.csv
 user_id 用户ID 脱敏
 age 年龄段 -1表示未知
 sex 性别 0表示男,1表示女,2表示保密
 user_lv_cd 用户等级有顺序的级别枚举,越高级别数字越大
 user_reg_tm 用户注册日期粒度到天

 2. 商品数据 - JData_Product.csv
 sku_id 商品编号 脱敏
 a1 属性1 枚举,-1表示未知
 a2 属性2 枚举,-1表示未知
 a3 属性3 枚举,-1表示未知
 cate 品类ID 脱敏
 brand 品牌ID 脱敏

3. 评价数据 - JData_Comment.csv
 dt 截止到时间 粒度到天
 sku_id 商品编号 脱敏
 comment_num 累计评论数分段0表示无评论,1表示有1条评论,
 2表示有2-10条评论,
 3表示有11-50条评论,
 4表示大于50条评论
 has_bad_comment 是否有差评0表示无,1表示有
 bad_comment_rate 差评率差评数占总评论数的比重

4. 行为数据 - JData_Action_201602.csv,JData_Action_201604.csv,JData_Action_201603.csv
 user_id 用户编号 脱敏
 sku_id 商品编号 脱敏
 time 行为时间  
 model_id 点击模块编号,如果是点击脱敏
 type 1.浏览(指浏览商品详情页); 2.加入购物车;3.购物车删除;4.下单;5.关注;6.点击
 
 cate 品类ID 脱敏
 brand 品牌ID 脱敏


二 任务描述:
参赛者需要使用京东多个品类下商品的历史销售数据,构建算法模型,预测用户在未来5天内,对某个目标品类下商品的购买意向。对于训练集中出现的每一个用户,参赛者的模型需要预测该用户在未来5天内是否购买目标品类下的商品以及所购买商品的SKU_ID。评测算法将针对参赛者提交的预测结果,计算加权得分。

三 https://github.com/daoliker/JData程序详解

这里对这位作者的程序进行一下简单解析,可供初学者参考,因为是自己的理解,可能有不当之处,欢迎大家批评指出。

3.1 数据清洗 data_cleaning.ipynb

数据与程序在相同目录,/data文件夹下,如下图,比大赛提供的数据多了JData_Action_201603_extra.csv【作者在git中已经说明,这个是前面一版的数据,从代码中删除这个文件相关的代码即可】,JData_User_New.csv,user_table.csv,item_table.csv四个文件,这是其他程序生成的。其中,item_table.csv由create_item_table.py生成,user_table.csv由create_user_table.py生成;JData_User_New.csv由explore_data.py生成。

文件执行顺序:

1、 生成缺失的三个文件,这一步的目的,是把文件中的数据按照商品和用户两个维度进行聚合

执行顺序:

python create_item_table.py

python explore_data.py 

python create_user_table.py

执行时间较长,但完成后,可以在data/目录下看到新生成的三个文件,注意检验数据条数是否一致


2、缺失文件生成完成后,就可以进行数据清洗和分析了

(2-1)数据分析

进入到我们下载上面程序的目录,在这个目录下启动jupyter notebook:

直接点击data_analysis.ipynb查看即可,这里是在notebook中通过pandas,numpy和matplotlib查看数据的统计特征,进行初步分析


(2-2)数据清洗

查看data_cleaning.ipynb,这里面有原作者的详细描述,介绍了一种数据清洗方法,大家可以在这里改为自己的清洗策略


3、高潜用户行为分析,查看explore_potential_user.ipynb即可,这里是原作者对高潜用户的一些定义,大家可以根据自己的理解修改或调整阈值


4、挖掘过程和结果:

python potential_user.py


简要说明:

find_buy_user函数,查找2,3,4月有购买行为的用户记录(type=4,已去重),保留"user_id", "sku_id"字段,含义分别为用户id,商品id,结果数据存储到了buy_user_list.csv

find_potential_user,查找潜在用户,使用策略为:先读取buy_user_list.csv,取出有购买行为的用户;然后通过ui_record_in_batch_data方法,拿到用户的行为序列(不只是购买行为);more_than_a_day方法:最后购买日期:行为序列中,购买类型行为的最后日期(last_buy_day);最早行为日期(earliest_behave_day):对某商品有浏览等行为的最早日期,这里对用户的意向打了一个标签,当last_buy_day>earliest_behave_day时,则标记potential_flag 为1;否则标记为0

意义:这里标签的定义方式为,如果用户对某个商品,有从浏览,到最终购买的行为链条,则可以说明用户对该商品有购买意向;否则说明没有。

当然,上述标签只是原作者的一种定义方式,可能并不符合我们的设想,我们可以针对这里进行改进。例如,多次浏览同一商品,有关注,或加入购物车行为都可以认为是有意向,只是强弱不同,这样,可以构造特征集合,并使用逻辑回归进行分类。

具体的策略,暂时不进行描述。以上就是对daoliker资料的介绍了。



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章