书籍详情
强化学习实战：强化学习在阿里的技术演进和业务创新
作者：笪庆，曾安祥 著
出版社：电子工业出版社
出版时间：2018-11-01
ISBN：9787121338984
定价：¥89.00
购买这本书可以去
内容简介
《强化学习实战：强化学习在阿里的技术演进和业务创新》汇集了阿里巴巴一线算法工程师在强化学习应用方面的经验和心得，覆盖了阿里巴巴集团多个事业部的多条业务线。《强化学习实战：强化学习在阿里的技术演进和业务创新》系统地披露在互联网级别的应用上使用强化学习的技术细节，更包含了算法工程师对强化学习的深入理解、思考和创新。作为算法工程师，你将了解到强化学习在实际应用中的建模方法、常见的问题以及对应的解决思路，提高建模和解决业务问题的能力；对于强化学习方向的研究人员，你将了解到在游戏之外更多实际的强化学习问题，以及对应的解决方案，扩宽研究视野；对于机器学习爱好者，你将了解到阿里巴巴的一线机器学习算法工程师是如何发现问题、定义问题和解决问题的，激发研究兴趣以及提升专业素养。 《强化学习实战：强化学习在阿里的技术演进和业务创新》适合算法工程师、强化学习方向的专业人员阅读，也可供机器学习爱好者参考。
作者简介
笪庆，花名达卿阿里巴巴高级算法专家，硕士毕业于南京大学机器学习与数据挖掘研究所，增多次获得国内外数据挖掘/人工智能类竞赛冠军，发表多篇领域顶会论文。在阿里主要从事搜索算法排序的工作，并率先在集团内开展强化学习在电商业务中的应用，实现了线上决策引擎的智能化决策升级。曾安祥，花名仁重阿里巴巴资深算法专家。于2009年加入阿里巴巴，作为淘宝搜索的创始人之一，先后参与组建了Query分析团队和排序团队等算法团队，和伙伴们一起创造了领先的商品搜索技术。专注于大规模机器学习在线学习、深度学习及强化学习等技术在电商环境中的大规模实际应用。发表了多篇顶会论文，申请了多个国内外专利。
目录
序
第1 章 强化学习基础 1
1.1 引言 2
1.2 起源和发展 3
1.3 问题建模 5
1.4 常见强化学习算法 8
1.4.1 基于值函数的方法 9
1.4.2 基于直接策略搜索的方法 12
1.5 总结 14
第2 章 基于强化学习的实时搜索排序策略调控 15
2.1 研究背景 16
2.2 问题建模 17
2.2.1 状态定义 17
2.2.2 奖赏函数设计 18
2.3 算法设计 19
2.3.1 策略函数 19
2.3.2 策略梯度 20
2.3.3 值函数的学习 21
2.4 奖赏塑形 22
2.5 实验效果 25
2.6 DDPG 与梯度融合 27
2.7 总结与展望 28
第3 章 延迟奖赏在搜索排序场景中的作用分析 30
3.1 研究背景 31
3.2 搜索交互建模 31
3.3 数据统计分析 33
3.4 搜索排序问题形式化 36
3.4.1 搜索排序问题建模 36
3.4.2 搜索会话马尔可夫决策过程 38
3.4.3 奖赏函数 39
3.5 理论分析 40
3.5.1 马尔可夫性质 40
3.5.2 折扣率 41
3.6 算法设计 44
3.7 实验与分析 48
3.7.1 模拟实验 48
3.7.2 搜索排序应用 51
第4 章 基于多智能体强化学习的多场景联合优化 54
4.1 研究背景 55
4.2 问题建模 57
4.2.1 相关背景简介 57
4.2.2 建模方法 58
4.3 算法应用 65
4.3.1 搜索与电商平台 65
4.3.2 多排序场景协同优化 66
4.4 实验与分析 69
4.4.1 实验设置 69
4.4.2 对比基准 70
4.4.3 实验结果 70
4.4.4 在线示例 73
4.5 总结与展望 75
第5 章 虚拟淘宝 76
5.1 研究背景 77
5.2 问题描述 79
5.3 虚拟化淘宝 80
5.3.1 用户生成策略 81
5.3.2 用户模仿策略 83
5.4 实验与分析 85
5.4.1 实验设置 85
5.4.2 虚拟淘宝与真实淘宝对比 85
5.4.3 虚拟淘宝中的强化学习 87
5.5 总结与展望 90
第6 章 组合优化视角下基于强化学习的精准定向广告OCPC 业务优化92
6.1 研究背景 93
6.2 问题建模 94
6.2.1 奖赏设计 94
6.2.2 动作定义 94
6.2.3 状态定义 95
6.3 模型选择 100
6.4 探索学习 102
6.5 业务实战 103
6.5.1 系统设计 103
6.5.2 奖赏设计 105
6.5.3 实验效果 106
6.6 总结与展望 106
第7 章 策略优化方法在搜索广告排序和竞价机制中的应用 108
7.1 研究背景 109
7.2 数学模型和优化方法 110
7.3 排序公式设计 112
7.4 系统简介 113
7.4.1 离线仿真模块 114
7.4.2 离线训练初始化 114
7.5 在线策略优化 117
7.6 实验与分析 118
7.7 总结与展望 120
第8 章 TaskBot——阿里小蜜的任务型问答技术 121
8.1 研究背景 122
8.2 模型设计 123
8.2.1 意图网络 123
8.2.2 信念跟踪 124
8.2.3 策略网络 124
8.3 业务应用 126
8.4 总结与展望 127
第9 章 DRL 导购——阿里小蜜的多轮标签推荐技术 128
9.1 研究背景 129
9.2 算法框架 130
9.3 深度强化学习模型 133
9.3.1 强化学习模块 133
9.3.2 模型融合 134
9.4 业务应用 135
9.5 总结与展望 136
第10 章 Robust DQN 在淘宝锦囊推荐系统中的应用 137
10.1 研究背景 138
10.2 Robust DQN 算法 140
10.2.1 分层采样方法 140
10.2.2 基于分层采样的经验池 141
10.2.3 近似遗憾奖赏 142
10.2.4 Robust DQN 算法 143
10.3 Robust DQN 算法在淘宝锦囊上的应用 144
10.3.1 系统架构 144
10.3.2 问题建模 145
10.4 实验与分析 147
10.4.1 实验设置 148
10.4.2 实验结果 148
10.5 总结与展望 152
第11 章 基于上下文因子选择的商业搜索引擎性能优化 153
11.1 研究背景 154
11.2 排序因子和排序函数 156
11.3 相关工作 157
11.4 排序中基于上下文的因子选择 158
11.5 RankCFS：一种强化学习方法 162
11.5.1 CFS 问题的 MDP 建模 162
11.5.2 状态与奖赏的设计 163
11.5.3 策略的学习 165
11.6 实验与分析 166
11.6.1 离线对比 167
11.6.2 在线运行环境的评价 170
11.6.3 双11 评价 171
11.7 总结与展望 172
第12 章 基于深度强化学习求解一类新型三维装箱问题 173
12.1 研究背景 174
12.2 问题建模 175
12.3 深度强化学习方法 177
12.3.1 网络结构 178
12.3.2 基于策略的强化学习方法 179
12.3.3 基准值的更新 180
12.3.4 随机采样与集束搜索 180
12.4 实验与分析 181
12.5 小结 182
第13 章 基于强化学习的分层流量调控 183
13.1 研究背景 184
13.2 基于动态动作区间的DDPG 算法 186
13.3 实验效果 189
13.4 总结与展望 189
第14 章 风险商品流量调控 190
14.1 研究背景 191
14.2 基于强化学习的问题建模 192
14.2.1 状态空间的定义 192
14.2.2 动作空间的定义 193
14.2.3 奖赏函数的定义 193
14.2.4 模型选择 194
14.2.5 奖赏函数归一化 196
14.3 流量调控系统架构 196
14.4 实验效果 197
14.5 总结与展望 197
参考文献 199
第1 章 强化学习基础 1
1.1 引言 2
1.2 起源和发展 3
1.3 问题建模 5
1.4 常见强化学习算法 8
1.4.1 基于值函数的方法 9
1.4.2 基于直接策略搜索的方法 12
1.5 总结 14
第2 章 基于强化学习的实时搜索排序策略调控 15
2.1 研究背景 16
2.2 问题建模 17
2.2.1 状态定义 17
2.2.2 奖赏函数设计 18
2.3 算法设计 19
2.3.1 策略函数 19
2.3.2 策略梯度 20
2.3.3 值函数的学习 21
2.4 奖赏塑形 22
2.5 实验效果 25
2.6 DDPG 与梯度融合 27
2.7 总结与展望 28
第3 章 延迟奖赏在搜索排序场景中的作用分析 30
3.1 研究背景 31
3.2 搜索交互建模 31
3.3 数据统计分析 33
3.4 搜索排序问题形式化 36
3.4.1 搜索排序问题建模 36
3.4.2 搜索会话马尔可夫决策过程 38
3.4.3 奖赏函数 39
3.5 理论分析 40
3.5.1 马尔可夫性质 40
3.5.2 折扣率 41
3.6 算法设计 44
3.7 实验与分析 48
3.7.1 模拟实验 48
3.7.2 搜索排序应用 51
第4 章 基于多智能体强化学习的多场景联合优化 54
4.1 研究背景 55
4.2 问题建模 57
4.2.1 相关背景简介 57
4.2.2 建模方法 58
4.3 算法应用 65
4.3.1 搜索与电商平台 65
4.3.2 多排序场景协同优化 66
4.4 实验与分析 69
4.4.1 实验设置 69
4.4.2 对比基准 70
4.4.3 实验结果 70
4.4.4 在线示例 73
4.5 总结与展望 75
第5 章 虚拟淘宝 76
5.1 研究背景 77
5.2 问题描述 79
5.3 虚拟化淘宝 80
5.3.1 用户生成策略 81
5.3.2 用户模仿策略 83
5.4 实验与分析 85
5.4.1 实验设置 85
5.4.2 虚拟淘宝与真实淘宝对比 85
5.4.3 虚拟淘宝中的强化学习 87
5.5 总结与展望 90
第6 章 组合优化视角下基于强化学习的精准定向广告OCPC 业务优化92
6.1 研究背景 93
6.2 问题建模 94
6.2.1 奖赏设计 94
6.2.2 动作定义 94
6.2.3 状态定义 95
6.3 模型选择 100
6.4 探索学习 102
6.5 业务实战 103
6.5.1 系统设计 103
6.5.2 奖赏设计 105
6.5.3 实验效果 106
6.6 总结与展望 106
第7 章 策略优化方法在搜索广告排序和竞价机制中的应用 108
7.1 研究背景 109
7.2 数学模型和优化方法 110
7.3 排序公式设计 112
7.4 系统简介 113
7.4.1 离线仿真模块 114
7.4.2 离线训练初始化 114
7.5 在线策略优化 117
7.6 实验与分析 118
7.7 总结与展望 120
第8 章 TaskBot——阿里小蜜的任务型问答技术 121
8.1 研究背景 122
8.2 模型设计 123
8.2.1 意图网络 123
8.2.2 信念跟踪 124
8.2.3 策略网络 124
8.3 业务应用 126
8.4 总结与展望 127
第9 章 DRL 导购——阿里小蜜的多轮标签推荐技术 128
9.1 研究背景 129
9.2 算法框架 130
9.3 深度强化学习模型 133
9.3.1 强化学习模块 133
9.3.2 模型融合 134
9.4 业务应用 135
9.5 总结与展望 136
第10 章 Robust DQN 在淘宝锦囊推荐系统中的应用 137
10.1 研究背景 138
10.2 Robust DQN 算法 140
10.2.1 分层采样方法 140
10.2.2 基于分层采样的经验池 141
10.2.3 近似遗憾奖赏 142
10.2.4 Robust DQN 算法 143
10.3 Robust DQN 算法在淘宝锦囊上的应用 144
10.3.1 系统架构 144
10.3.2 问题建模 145
10.4 实验与分析 147
10.4.1 实验设置 148
10.4.2 实验结果 148
10.5 总结与展望 152
第11 章 基于上下文因子选择的商业搜索引擎性能优化 153
11.1 研究背景 154
11.2 排序因子和排序函数 156
11.3 相关工作 157
11.4 排序中基于上下文的因子选择 158
11.5 RankCFS：一种强化学习方法 162
11.5.1 CFS 问题的 MDP 建模 162
11.5.2 状态与奖赏的设计 163
11.5.3 策略的学习 165
11.6 实验与分析 166
11.6.1 离线对比 167
11.6.2 在线运行环境的评价 170
11.6.3 双11 评价 171
11.7 总结与展望 172
第12 章 基于深度强化学习求解一类新型三维装箱问题 173
12.1 研究背景 174
12.2 问题建模 175
12.3 深度强化学习方法 177
12.3.1 网络结构 178
12.3.2 基于策略的强化学习方法 179
12.3.3 基准值的更新 180
12.3.4 随机采样与集束搜索 180
12.4 实验与分析 181
12.5 小结 182
第13 章 基于强化学习的分层流量调控 183
13.1 研究背景 184
13.2 基于动态动作区间的DDPG 算法 186
13.3 实验效果 189
13.4 总结与展望 189
第14 章 风险商品流量调控 190
14.1 研究背景 191
14.2 基于强化学习的问题建模 192
14.2.1 状态空间的定义 192
14.2.2 动作空间的定义 193
14.2.3 奖赏函数的定义 193
14.2.4 模型选择 194
14.2.5 奖赏函数归一化 196
14.3 流量调控系统架构 196
14.4 实验效果 197
14.5 总结与展望 197
参考文献 199
猜您喜欢
