这就是推荐系统：核心技术原理与企业应用

　　推荐系统作为近年来非常热门的AI技术落地场景，已广泛应用于各行业的互联网应用，从衣食住行到娱乐消费，以及无处不在的广告，背后都依赖推荐系统的决策。本书贴合工业级推荐系统，以推荐系统的整体技术框架为切入点，深入剖析推荐系统中的内容理解、用户画像、召回、排序、重排等核心模块，介绍每个模块的核心技术和业界应用，并展开介绍了推荐冷启动、推荐偏置与消偏等常见问题和解决方案。此外，还对当前推荐系统领域的热门前沿技术进行了介绍，包括强化学习、因果推断、端上智能等。

　　胡澜涛，毕业于清华大学计算机系，快手推荐算法技术总监。曾任字节跳动高级算法工程师，腾讯高级研究员。在推荐系统领域有丰富的实践经验，负责过包括Tikok、快手、微信看一看在内的多个大规模工业级推荐系统的核心研发工作。主要研究方向为推荐系统，发表相关领域的学术论文6篇，拥有专利5项。李？h亭，毕业于大连理工大学计算机专业。曾先后就职于百度、小米等公司，参与百度凤巢广告CTR预估模型的研发，负责小米音乐、阅读、应用商店、游戏中心等多个产品推荐服务从0到1的搭建，在搜索、广告、推荐领域有丰富的实战经验。目前转战智能家居领域，探索智能感知、智能决策等AI技术在新场景的落地。崔光范，毕业于中国科学院软件研究所，爱奇艺助理研究员，负责短视频信息流推荐业务。曾任小米推荐算法工程师，负责应用商店、游戏中心、有品等业务的推荐工作，从零构建了小米垂域业务的深度推荐引擎。主要研究方向是推荐系统、计算广告、搜索等，发表过多篇论文和专利。易可欣，毕业于北京大学，先后在爱奇艺、快手担任推荐系统算法工程师，主要研究方向为召回策略与模型、数据挖掘、样本优化等。

第1章　初识推荐系统 1
1.1　推荐系统大时代 1
1.1.1 推荐系统的定义 2
1.1.2 推荐系统的价值 3
1.1.3 推荐系统的天时地利 4
1.1.4 推荐系统架构概览 5
1.2 推荐系统的核心模块 7
1.2.1 内容理解：理解和刻画推荐内容 7
1.2.2 用户画像：理解和刻画用户 7
1.2.3 召回：为用户初筛内容 8
1.2.4 排序：为用户精选内容 9
1.2.5 重排：从业务角度进行内容调整 10
1.2.6 推荐系统质量评估体系 11
总结 11
第2章　多模态时代的内容理解 13
2.1 内容标签体系建设 14
2.1.1 标签体系的作用 14
2.1.2 标签体系设计和建设 14
2.1.3 标签提取和生成 16
2.2 文本内容理解 18
2.2.1 文本分类 18
2.2.2 文本标签提取 21
2.2.3 文本聚类 22
2.2.4 文本Embedding 22
2.2.5 知识图谱 26
2.3 多模态内容理解 28
2.3.1 图像分类 28
2.3.2 视频分类 30
2.3.3 视频多模态内容Embedding 31
2.4 内容理解在推荐系统中的应用 32
总结 33
第3章　比你更了解自己的用户画像 34
3.1 初识用户画像 34
3.1.1 什么是用户画像 35
3.1.2 用户画像的作用 35
3.1.3 用户画像系统架构 36
3.2 用户画像标签体系 37
3.2.1 用户基础属性标签 37
3.2.2 用户社交属性标签 39
3.2.3 用户行为属性标签 39
3.2.4 用户兴趣标签 40
3.2.5 用户分层标签 41
3.2.6 其他常用维度标签 41
3.3 用户画像标签开发 42
3.3.1 标签的基础数据 42
3.3.2 标签计算整体流程 42
3.3.3 规则类标签 44
3.3.4 统计类标签 44
3.3.5 模型类标签 45
3.4 用户画像实践案例 46
总结 51

第4章　包罗万象的召回环节 52
4.1 召回的基本逻辑和方法论 52
4.1.1 召回的重要性 52
4.1.2 召回与排序的区别 53
4.1.3 主要的召回策略与算法 54
4.2 传统召回策略 55
4.2.1 基于内容的召回 55
4.2.2 经典协同过滤召回 56
4.2.3 探索类召回 58
4.3 向量化模型召回 59
4.3.1 向量化模型召回原理 59
4.3.2 从KNN到ANN 60
4.3.3 经典向量化召回模型 62
4.4 基于用户行为序列的召回 65
4.4.1 SASRec——经典行为序列召回模型 65
4.4.2 BERT4Rec与BST——NLP技术与用户行为序列结合 66
4.4.3 MIND及其衍生——多兴趣召回模型 68
4.4.4 超长序列召回——建模用户全期兴趣 70
4.5 图Embedding在召回中的应用 72
4.5.1 图Embedding技术 73
4.5.2 DeepWalk——经典图Embedding方法 74
4.5.3 Node2Vec——DeepWalk更进一步 75
4.5.4 PinSAGE——GCN在推荐系统领域的工业化应用 76
4.5.5 MetaPath2Vec——异构图Embedding方法 77
4.6 前瞻性召回策略与模型 79
4.6.1 TDM——模型与索引结合的艺术 79
4.6.2 对比学习——样本的魔法 81
4.7 召回质量评估方法 82
4.7.1 召回评估方法概述 83
4.7.2 召回率、精确率、F1值——基准评估指标 83
4.7.3 HR、ARHR——TopN推荐评价指标 84
4.7.4 CG、DCG、nDCG——信息增益维度的评估指标 84
4.7.5 长尾覆盖评估 85
总结 86
第5章　投你所好的排序环节 87
5.1 排序环节的意义和优化方向 87
5.1.1 排序环节的意义 87
5.1.2 排序环节的优化方向 88
5.2 从Embedding看排序模型的演进 89
5.2.1 什么是Embedding 90
5.2.2 Embedding的产生过程 91
5.2.3 特征组合在深度排序模型中的应用 94
5.2.4 用户历史行为建模在深度排序模型中的应用 101
5.2.5 超大规模Embedding在实际中的应用 107
5.3 推荐系统粗排阶段及其发展历程 113
5.3.1 粗排定位与技术路线选择 114
5.3.2 粗排模型架构的演变 116
5.3.3 使用知识蒸馏增强粗排与精排的一致性 120
5.3.4 缓解样本选择偏差 128
5.3.5 粗排效果的评价 130
5.4 多目标排序建模 131
5.4.1 多目标排序建模的意义和挑战 131
5.4.2 多目标排序建模方法概览 132
5.4.3 多目标融合寻参 142
5.5 推荐系统排序阶段的评估 142
5.5.1 排序评估的两个阶段 143
5.5.2 常用的效果评估指标 144
5.5.3 常用的系统评估指标 145
5.5.4 离线和线上效果的一致性问题 146
总结 147
第6章　权衡再三重排序 148
6.1 重排序的必要性和作用 148
6.2 重排模型 150
6.2.1 重排模型建模的出发点 150
6.2.2 序列重排模型 151
6.2.3 基于强化学习的重排模型 157
6.3 重排多样性策略 160
6.3.1 重排多样性的出发点 160
6.3.2 多样性评估指标 161
6.3.3 规则多样性打散 162
6.3.4 多样性模型策略 164
6.4 重排中的业务规则 167
总结 169
第7章　如若初见冷启动 170
7.1 推荐冷启动的定义与挑战 170
7.2 冷启动一般解决思路 171
7.3 新用户推荐冷启动 173
7.3.1 新用户召回策略 173
7.3.2 新用户排序模型 175
7.3.3 新用户重排策略 177
7.4 新物品分发冷启动 178
7.4.1 新物品冷启动召回策略 179
7.4.2 新物品冷启动排序策略 180
7.4.3 新物品冷启动流量分配机制 181
总结 184
第8章　推荐系统中的魔术手 185
8.1 特征工程 185
8.1.1 特征的理解和分类 186
8.1.2 特征挖掘维度 186
8.1.3 工程视角下的特征工程开发 187
8.1.4 特征工程的流程和方法 190
8.2 样本加工艺术 193
8.2.1 如何提取有效样本 193
8.2.2 负样本优化 195
8.2.3 样本迁移 197
8.2.4 其他样本优化技巧 198
8.3 推荐系统实效性 198
8.3.1 推荐数据实效性 199
8.3.2 推荐模型实效性 201
8.3.3 在线学习整体机制 202
8.4 推荐中的偏差与消偏策略 202
8.4.1 推荐偏差的缘由 203
8.4.2 推荐系统常见偏差 203
8.4.3 常用的消偏技术和策略 205
总结 209
第9章　系统进化的利器——AB实验平台 210
9.1 什么是AB实验 210
9.2 AB实验平台框架 212
9.3 AB实验分流机制＆实验类型 214
9.4 AB实验效果评估 217
9.4.1 推荐系统常见的AB指标 218
9.4.2 AB实验的假设检验 219
9.4.3 AB实验的流量大小 221
9.5 AB实验并不是的 221
总结 225
第10章　推荐系统中的前沿技术 226
10.1 强化学习 226
10.2 因果推断 230
10.3 端上智能 235
10.4 动态算力分配 238
10.5 增益模型 241
总结 246