计算广告：互联网商业变现的市场与技术（第3版）

　　计算广告是一项新兴的研究课题，它涉及大规模搜索和文本分析、信息获取、统计模型、机器学习、分类、优化以及微观经济学等诸多领域的知识。本书从实践出发，系统地介绍计算广告的产品、问题、系统和算法，并且从工业界的视角对这一领域进行具体技术的深入剖析。本书立足于广告市场的根本问题，从计算广告各个阶段所遇到的市场挑战出发，以广告系统业务形态的需求和变化为主线，依次介绍合约广告系统、竞价广告系统、程序化交易市场等重要课题，并对计算广告涉及的关键技术和算法做深入的探讨。这一版中更是加入了深度学习的基础方法论及其在计算广告中的应用。无论是互联网公司商业化部门的产品技术人员，还是对个性化系统、大数据变现或交易有兴趣的产品技术人员，传统企业互联网化进程的决策者，传统广告业务的从业者，互联网创业者，计算机相关专业研究生，都会从阅读本书中受益匪浅。

　　刘鹏（@北冥乘海生），现任科大讯飞副总裁，大数据研究院院长。他在清华大学获得博士学位后，加入微软亚洲研究院，从事人工智能研究，后参与创建雅虎北京研究院，出任高级科学家。他还曾任MediaV首席科学家、360商业化首席架构师等职。在多年从业经历中，他一直致力于将人工智能方法与海量数据相结合来解决工业界问题，负责过多个大型互联网商业产品体系。他的微信公众号为“计算广告”。他特别重视计算广告和大数据技术的普及，他讲授的“计算广告”在网易云课堂有超过3万名学生，已经成为业界进行相关培训的基础教程。他还曾担任北京大学、中国传媒大学等高校客座教授，讲授计算广告相关课程，为推动中国广告产业的数字化、智能化做出了贡献。王超（@德川），于北京大学获得硕士学位后，曾就职于微博、汽车之家等公司的广告部门，从事计算广告领域的研究和实践工作。现任百度主任研发架构师，从事个性化推荐领域相关的工作。内页插图

第 一部分 在线广告市场与背景
第 1章 在线广告综述\t3
1．1免费模式与互联网核心资产\t4
1．2大数据与广告的关系\t5
1．3广告的定义与目的\t7
1．4在线广告表现形式\t9
1．5在线广告简史\t15
第 2章 计算广告基础\t20
2．1广告有效性原理\t21
2．2互联网广告的技术特点\t23
2．3计算广告的核心问题\t24
2．3．1广告收入的分解\t25
2．3．2结算方式与eCPM估计的关系\t26
2．4在线广告相关行业协会\t29
2．4．1交互广告局\t29
2．4．2美国广告代理协会\t30
2．4．3美国国家广告商协会\t30
第二部分 在线广告产品逻辑
第3章 在线广告产品概览\t33
3．1商业产品的设计原则\t34
3．2广告系统的产品接口\t35
3．2．1广告主层级组织与投放管理\t35
3．2．2供给方管理接口\t38
3．2．3供需之间多种接口形式\t39
第4章 合约广告\t41
4．1广告位合约\t42
4．2受众定向\t43
4．2．1受众定向方法概览\t43
4．2．2受众定向标签体系\t46
4．2．3标签体系的设计思路\t47
4．3展示量合约\t48
4．3．1流量预测\t49
4．3．2流量塑形\t50
4．3．3在线分配\t50
4．3．4产品案例\t51

\t5．4．2\t交易终端 …………………………………………………………………\t75
\t5．4．3\t产品案例 …………………………………………………………………\t75
5．5\t竞价广告与合约广告的比较 ……………………………………………………\t77
第6章\t程序化交易广告 ……………………………………………………………………\t78
6．1\t实时竞价 …………………………………………………………………………\t79
6．2\t其他程序化交易方式 ……………………………………………………………\t82
\t6．2．1\t优选 ………………………………………………………………………\t82
\t6．2．2\t私有市场 …………………………………………………………………\t83
\t6．2．3\t程序化直投 ………………………………………………………………\t84
\t6．2．4\t广告交易方式谱系 ………………………………………………………\t84
6．3\t广告交易平台 ……………………………………………………………………\t85
6．4\t需求方平台 ………………………………………………………………………\t87
\t6．4．1\t需求方平台产品策略 ……………………………………………………\t87
\t6．4．2\t出价策略 …………………………………………………………………\t88
\t6．4．3\t出价和定价过程 …………………………………………………………\t89
\t6．4．4\t重定向 ……………………………………………………………………\t89
\t6．4．5\t新客推荐 …………………………………………………………………\t91
\t6．4．6\t产品案例 …………………………………………………………………\t92
6．5\t供给方平台 ………………………………………………………………………\t94
\t6．5．1\t供给方平台产品策略 ……………………………………………………\t94
\t6．5．2\tHeader Bidding ……………………………………………………………\t95
\t6．5．3\t产品案例 …………………………………………………………………\t96
第7章\t数据加工与交易 ……………………………………………………………………\t99
7．1\t有价值的数据来源\t100
7．2\t数据管理平台\t102
7．2．1\t三方数据划分\t102
7．2．2\t第 一方数据管理平台\t102
7．2．3\t第三方数据管理平台\t103
7．2．4\t产品案例\t104
7．3数据交易的基本过程\t107
7．4隐私保护和数据安全\t109
7．4．1隐私保护问题\t109
7．4．2程序化交易中的数据安全\t111
7．4．3欧盟的通用数据保护条例\t113
第8章 信息流与原生广告\t115
8．1移动广告的现状与挑战\t116
8．1．1移动广告的特点\t117
8．1．2移动广告的传统创意形式\t117
8．1．3移动广告的挑战\t119
8．2信息流广告\t121
8．2．1信息流广告的定义\t121
8．2．2信息流广告产品关键\t123
8．3其他原生广告相关产品\t124
8．3．1搜索广告\t125
8．3．2软文广告\t125
8．3．3\t联盟\t125
8．4原生广告平台\t126
8．4．1表现原生与场景原生\t126
8．4．2场景的感知与应用\t127
8．4．3植入式原生广告\t128
8．4．4产品案例\t130
8．5原生广告与程序化交易\t134
第三部分 计算广告关键技术
第9章 计算广告技术概览\t137
9．1个性化系统框架\t138
9．2各类广告系统优化目标\t139
9．3计算广告系统架构\t140
9．3．1\t广告投放引擎\t……………………………………………………………142
9．3．2\t数据高速公路\t……………………………………………………………143
9．3．3\t离线数据处理\t……………………………………………………………143
9．3．4\t在线数据处理\t……………………………………………………………144
9．4计算广告系统主要技术\t144
9．5用开源工具搭建计算广告系统\t146
9．5．1Web服务器Nginx\t146
9．5．2分布式配置和集群管理工具ZooKeeper\t148
9．5．3全文检索引擎Lucene\t148
9．5．4跨语言通信接口Thrift\t149
9．5．5数据高速公路Flume\t150
9．5．6分布式数据处理平台Hadoop\t150
9．5．7特征在线缓存Redis\t151
9．5．8流计算平台Storm\t152
9．5．9高效的迭代计算框架Spark\t152
第 10章 基础知识准备\t154
10．1信息检索\t155
10．1．1倒排索引\t155
10．1．2向量空间模型\t157
10．2最优化方法\t158
10．2．1拉格朗日法与凸优化\t159
10．2．2下降单纯形法\t160
10．2．3梯度下降法\t160
10．2．4拟牛顿法\t162
10．3统计机器学习\t167
10．3．1最大熵与指数族分布\t168
10．3．2混合模型和EM算法\t169
10．3．3贝叶斯学习\t171
10．4统计模型分布式优化框架\t174
10．5深度学习\t175
10．5．1\t深度神经网络优化方法\t………………………………………………176
10．5．2\t卷积神经网络（CNN）\t………………………………………………177
10．5．3\t递归神经网络（RNN）\t………………………………………………178
10．5．4\t生成对抗网络（GAN）\t………………………………………………180
第 11章 合约广告核心技术\t181
11．1广告排期系统\t182
11．2担保式投送系统\t183
11．2．1流量预测\t185
11．2．2频次控制\t186
11．3在线分配\t188
11．3．1在线分配问题\t188
11．3．2在线分配问题举例\t190
11．3．3极限性能研究\t192
11．3．4实用优化算法\t193
第 12章 受众定向核心技术\t201
12．1受众定向技术分类\t202
12．2上下文定向\t203
12．3文本主题挖掘\t205
12．3．1LSA模型\t206
12．3．2PLSI模型\t206
12．3．3LDA模型\t207
12．3．4词嵌入word2vec\t208
12．4行为定向\t209
12．4．1行为定向建模问题\t210
12．4．2行为定向特征生成\t211
12．4．3行为定向决策过程\t214
12．4．4行为定向的评测\t215
12．5人口属性预测\t217
12．6数据管理平台\t218
第 13章 竞价广告核心技术\t220
13．1竞价广告计价算法\t220
13．2搜索广告系统\t222
13．2．1查询扩展\t223
13．2．2广告放置\t226
13．3广告网络\t227
13．4广告检索\t229
13．4．1布尔表达式的检索\t230
13．4．2相关性检索\t234
13．4．3基于DNN的语义建模\t238
13．4．4最近邻语义检索\t241
第 14章 点击率预测模型\t247
14．1点击率预测\t248
14．1．1点击率基本模型\t248
14．1．2LR模型优化算法\t249
14．1．3点击率模型的校正\t256
14．1．4点击率模型的特征\t257
14．1．5点击率模型评测\t262
14．1．6智能频次控制\t264
14．2其他点击率模型\t264
14．2．1因子分解机\t264
14．2．2GBDT\t265
14．2．3深度学习点击率模型\t267
14．3探索与利用\t268
14．3．1强化学习与E&E\t268
14．3．2UCB方法\t270
14．3．3考虑上下文的 bandit\t271
第 15章 程序化交易核心技术\t272
15．1广告交易平台\t273
15．1．1cookie 映射\t273
15．1．2询价优化\t277
15．2需求方平台\t278
15．2．1定制化用户标签\t280
15．2．2DSP中的点击率预测\t282
15．2．3点击价值估计\t283
15．2．4出价策略\t284
15．3供给方平台\t284
第 16章 其他广告相关技术\t286
16．1创意优化\t287
16．1．1程序化创意\t287
16．1．2点击热力图\t288
16．1．3创意的发展趋势\t289
16．2实验框架\t291
16．3广告监测与归因\t292
16．3．1广告监测\t292
16．3．2广告安全\t294
16．3．3广告效果归因\t295
16．4作弊与反作弊\t296
16．4．1作弊的方法分类\t296
16．4．2常见的作弊方法\t297
16．5产品技术选型实战\t301
16．5．1媒体实战\t302
16．5．2广告主实战\t304
16．5．3数据提供方实战\t306
第四部分 附录
附录 主要术语及缩写索引\t311
参考文献\t317