业务驱动的推荐系统：方法与实践

　　这是一本从业务视角解读推荐系统架构设计、评估方法、数据工程和算法原理的著作。市面上推荐系统方面的著作，内容多以推荐技术、算法和模型为主，让读者误以为掌握了推荐算法就能用好推荐系统并提升业务指标，其实推荐算法只是工具，要真正发挥推荐系统的价值，需要将推荐系统植根于业务之上。本书从业务视角出发，描绘了当下主流推荐系统的设计思想和架构全貌，重点突出系统每个模块所需要解决的问题，进而介绍一到两种实践检验普遍有效、在学术界具备里程碑性质的算法。帮助读者练成识别算法的火眼金睛，从每年大量产出的新算法研究中去粗取精，真正解决实际问题。阅读本书，你将有如下收获：从商业、运营、算法、工程视角理解推荐系统，对推荐系统的认知更加立体化；从业务视角理解推荐系统的顶层设计，掌握业务驱动的推荐系统设计思想；掌握业务驱动型推荐系统的评估方法，涵盖B端、C端和平台等多个维度；了解推荐系统的数据工程，掌握获取各类数据、构建特征体系的方法；从业务视角理解召回、排序和决策智能方面的经典算法和学术界有里程碑意义的算法；从技术和业务的双重视角去规划推荐算法工程师的成长路径，以达到事半功倍的效果。

　　付 聪博士，毕业于浙江大学计算机学院，美国南加州大学访问学者，前阿里巴巴算法专家。工业级高性能高维数据检索算法NSG、SSG的发明人，致力于推荐系统、搜索引擎前沿技术的研究和应用。曾作为团队负责人，在千万级DAU的电商及视频业务场景下，成功实现了推荐系统、搜索引擎、搜推融合等技术方向的项目落地，积累了丰富的实战经验。学生时代师从国家优秀青年学者蔡登教授与国家杰出青年学者、前滴滴研究院院长何晓飞教授。在人工智能、推荐系统、数据库、数据挖掘、自然语言处理、神经网络、知识图谱等多个领域有丰富的研究成果。在顶级会议或期刊TPAMI、KDD、VLDB、IJCAI、EMNLP、CIKM等发表过多篇论文，并担任TKDE、IJCAI、EMNLP、AAAI、Neuron Computing等国际会议审稿人。

CONTENTS
目　　录
前言
第一部分　业务驱动下的推荐系统总览
第1章　从业务视角看推荐系统2
　1.1　推荐系统的定义与商业价值2
1.1.1　推荐系统的基本概念
与业务驱动思想3
1.1.2　浅谈个性化推荐带来的
商业价值7
　1.2　从运营、算法与工程视角
看推荐系统7
1.2.1　推荐业务运营思维：
货找人8
1.2.2　推荐算法建模思维：
人找货10
1.2.3　推荐引擎工程展望：
服务产品化11
第2章　从业务视角看推荐系统的
顶层设计12
　2.1　业务驱动下的推荐系统
设计思想12
2.1.1　业务无关的推荐系统
抽象13
2.1.2　推荐算法模块核心能力
的建设15
　2.2　从系统框架透视业务生态
循环17
2.2.1　系统大图剖析17
2.2.2　监察者：埋点日志
服务17
2.2.3　业务大脑：数据计算、
分析及仓储服务18
2.2.4　主循环系统：召回与
排序模块19
2.2.5　副循环系统：运营管控
与作业模块21
2.2.6　新陈代谢：运维与实验
平台22
　2.3　迭代效率大化：图化服务和
配置化迭代25
第3章　评估推荐系统的方式
与维度27
　3.1　业务驱动型推荐系统的评估
要点27
3.1.1　体验优先准则和量化
方式28
3.1.2　评估推荐系统的
方法论29
3.1.3　从3种业务价值出发
设计评估体系31
　3.2　B端业务：B端用户体验的
评估维度31
3.2.1　平台玩法的
可解释性31
3.2.2　投放效果的
可预测性32
3.2.3　投入产出比33
3.2.4　基尼指数34
　3.3　C端业务：C端用户体验
的评估维度34
3.3.1　兴趣相关性35
3.3.2　内容质量35
3.3.3　结果多样性35
3.3.4　推荐惊喜性36
　3.4　平台成长：平台价值评估
维度36
3.4.1　产品调性和品牌
印象37
3.4.2　消费与转化率37
3.4.3　高、中、低活用户
留存37
3.4.4　活跃用户量38
　3.5　评估方法概览38
3.5.1　用户调研39
3.5.2　离线评估39
3.5.3　在线评估42
　3.6　AB实验42
3.6.1　AB实验中的流量切分
设计43
3.6.2　AB实验的通用流程44
3.6.3　实验结果的显著性校验
和关联分析44
3.6.4　实验报表与监控
报警45
第二部分　推荐系统的数据工程
第4章　业务标签体系48
　4.1　业务标签体系概述48
4.1.1　业务标签体系的
含义48
4.1.2　业务标签体系的
价值49
4.1.3　标签体系为什么要业务
定制化49
　4.2　业务标签体系的设计思路50
4.2.1　业务标签体系的概念
设计50
4.2.2　业务标签体系的系统
设计52
　4.3　业务标签的挖掘方法53
4.3.1　提取式标签挖掘54
4.3.2　生成式标签挖掘55
4.3.3　基于主动学习的人机
协同标注系统56
4.3.4　标签改写、纠错与
聚合56
4.3.5　标签权重计算57
　4.4　业务标签体系的评估方法58
4.4.1　离线评估58
4.4.2　在线评估59
第5章　用户画像：业务层面
的人格抽象60
　5.1　用户画像概述60
5.1.1　用户画像的含义60
5.1.2　用户画像的业务价值
和算法价值61
　5.2　用户画像设计61
5.2.1　用户画像概念体系
设计61
5.2.2　用户画像数据系统
设计64
　5.3　用户画像的构建与迭代65
5.3.1　人工挖掘方法65
5.3.2　基于机器学习的挖掘
方法66
5.3.3　用户画像的优化
迭代68
5.3.4　用户画像权重计算70
　5.4　用户画像的评估方法71
5.4.1　离线评估71
5.4.2　在线评估72
第6章　生态循环的血液：
数据获取与处理73
　6.1　埋点日志服务与埋点体系的
设计思想73
6.1.1　埋点日志服务简介74
6.1.2　业务驱动的埋点体系
设计思想75
　6.2　可扩展的业务埋点体系77
6.2.1　SPM埋点体系77
6.2.2　SCM埋点体系77
6.2.3　扩展埋点体系EXT78
6.2.4　会话级埋点设计与
消费路径跟踪78
　6.3　基于埋点数据的处理和分析79
6.3.1　常见重要数据指标
释义79
6.3.2　漏斗效应和优化
分析81
第7章　业务定制化特征和
样本工程设计83
　7.1　推荐特征体系概览83
7.1.1　推荐特征体系简介84
7.1.2　特征体系的设计
思想85
　7.2　推荐系统特征设计及案例86
7.2.1　用户描述性特征86
7.2.2　用户特征的人群
泛化87
7.2.3　内容描述性特征87
7.2.4　内容统计类特征88
7.2.5　内容统计类特征
泛化88
7.2.6　用户与内容的交叉特征
设计89
7.2.7　用户历史行为序列
特征设计91
7.2.8　实时特征的定义和
价值92
7.2.9　实时统计特征设计和
数据流程92
7.2.10　基于机器学习的特征
构造94
　7.3　特征应用常见问题95
7.3.1　多值特征处理95
7.3.2　在线、离线特征的
一致性96
　7.4　特征去噪96
7.4.1　威尔逊置信区间
方法96
7.4.2　对数平滑方法97
7.4.3　百分位点离散化
方法97
　7.5　特征样本构造和模型训练97
　7.6　时间穿越及处理98
7.6.1　时间穿越的定义及
影响98
7.6.2　样本现场还原98
　7.7　特征与样本消偏99
　7.8　特征评估方法100
第三部分　推荐系统的算法原理
　　　　　　与实践
第8章　业务驱动视角下的
召回技术104
　8.1　推荐系统召回技术概览104
8.1.1　推荐系统召回技术的
业务定位104
8.1.2　业务驱动下的召回
技术建模思维106
　8.2　召回中的策略框架108
8.