![]()
日萌社
人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）
1.1 推荐系统简介
学习目标
- 了解推荐系统概念及产生背景
- 记忆推荐系统工作原理及作用
- 了解推荐系统与web项目区别
1 推荐系统概念及产生背景
个性化推荐(推荐系统)经历了多年的发展，已经成为互联网产品的标配，也是AI成功落地的分支之一，在电商(淘宝/京东)、资讯(今日头条/微博)、音乐(网易云音乐/QQ音乐)、短视频(抖音/快手)等热门应用中,推荐系统都是核心组件之一。
-
什么是推荐系统
没有明确需求的用户访问了我们的服务, 且服务的物品对用户构成了信息过载, 系统通过一定的规则对物品进行排序,并将排在前面的物品展示给用户,这样的系统就是推荐系统
-
信息过载 & 用户需求不明确
- 分类⽬录（1990s）：覆盖少量热门⽹站。典型应用：Hao123 Yahoo
- 搜索引擎（2000s）：通过搜索词明确需求。典型应用：Google Baidu
- 推荐系统（2010s）：不需要⽤户提供明确的需求，通过分析⽤ 户的历史⾏为给⽤户的兴趣进⾏建模，从⽽主动给⽤户推荐能 够满⾜他们兴趣和需求的信息。
-
推荐系统 V.S. 搜索引擎
搜索 推荐 行为方式 主动 被动 意图 明确 模糊 个性化 弱 强 流量分布 马太效应 长尾效应 目标 快速满足 持续服务 评估指标 简明 复杂
2 推荐系统的工作原理及作用
-
推荐系统的工作原理
- 社会化推荐 向朋友咨询, 社会化推荐, 让好友给自己推荐物品
- 基于内容的推荐 打开搜索引擎, 输入自己喜欢的演员的名字, 然后看看返回结果中还有什么电影是自己没看过的
- 基于流行度的推荐 查看票房排行榜,
- 基于协同过滤的推荐 找到和自己历史兴趣相似的用户, 看看他们最近在看什么电影
-
推荐系统的作用
- 高效连接用户和物品
- 提高用户停留时间和用户活跃程度
- 有效的帮助产品实现其商业价值
-
推荐系统的应用场景
3 推荐系统和Web项目的区别
- 通过信息过滤实现目标提升 V.S. 稳定的信息流通系统
- web项目: 处理复杂业务逻辑，处理高并发，为用户构建一个稳定的信息流通服务
- 推荐系统: 追求指标增长, 留存率/阅读时间/GMV (Gross Merchandise Volume电商网站成交金额)/视频网站VV (Video View)
- 确定 V.S. 不确定思维
- web项目: 对结果有确定预期
- 推荐系统: 结果是概率问题
1.2 推荐系统设计
学习目标
- 了解推荐系统要素
- 记忆推荐系统架构
1 推荐系统要素
- UI 和 UE(前端界面)
- 数据 (Lambda架构)
- 业务知识
- 算法
2 推荐系统架构
-
推荐系统整体架构
大数据Lambda架构
-
Lambda架构是由实时大数据处理框架Storm的作者Nathan Marz提出的一个实时大数据处理框架。
-
Lambda架构的将离线计算和实时计算整合，设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。
-
分层架构
- 批处理层
- 数据不可变, 可进行任何计算, 可水平扩展
- 高延迟 几分钟~几小时(计算量和数据量不同)
- 日志收集： Flume
- 分布式存储： Hadoop
- 分布式计算： Hadoop、Spark
- 视图存储数据库
- nosql(HBase/Cassandra)
- Redis/memcache
- MySQL
- 实时处理层
- 流式处理, 持续计算
- 存储和分析某个窗口期内的数据（一段时间的热销排行，实时热搜等）
- 实时数据收集 flume & kafka
- 实时数据分析 spark streaming/storm/flink
- 服务层
- 支持随机读
- 需要在非常短的时间内返回结果
- 读取批处理层和实时处理层结果并对其归并
- 批处理层
-
Lambda架构图
推荐算法架构
- 召回阶段 (海选)
- 召回决定了最终推荐结果的天花板
- 常用算法:
- 协同过滤
- 基于内容
- 排序阶段 （精选）
- 召回决定了最终推荐结果的天花板, 排序逼近这个极限, 决定了最终的推荐效果
- CTR预估 (点击率预估 使用LR算法) 估计用户是否会点击某个商品 需要用户的点击数据
- 策略调整
- 推荐系统的整体架构
