网络智能化中的深度强化学习技术

　　随着人工智能技术的广泛应用，网络智能化近年来受到广泛的关注，已经成为下一代移动通信与未来网络的重要技术。阿尔法围棋（AlphaGo）之后，深度强化学习不断推陈出新，为网络中的决策问题提供了有效的潜在解决方案。本书系统介绍了网络智能化中深度强化学习的基本理论、算法及应用场景。全书共8章，针对互联网、移动通信网、边缘网络、数据中心等典型网络，阐述了网络管理、网络控制、任务调度等决策需求，深入论述了深度强化学习的模型构建与应用技术。第1章介绍了网络智能的需求与挑战；第2章介绍了先进的深度强化学习模型与方法；第3～6章论述了无线接入优化、网络管理、网络控制与任务调度等普遍网络管控任务中，深度强化学习技术的应用方法；第7章和第8章论述了深度强化学习在流媒体控制以及自组织网络等典型场景中的新研究进展。 本书可为高等院校计算机和通信相关专业的本科生、研究生提供参考，也可供对网络智能化与深度强化学习领域感兴趣的研究人员和工程技术人员参考。

　　戚琦，博士，网络与交换国家重点实验室副教授、硕士生导师、博士生导师。长期从事业务网络智能化和移动云计算方向的科研工作，近年来重点关注深度强化学习、分布式机器学习、联邦学习、轻量化神经网络等方面的前沿研究，取得了知识定义网络、边缘智能、手部姿态估计、草图检索等一系列研究成果。发表高水平学术论文70余篇，SCI索引期刊论文40余篇。先后主持2项国家自然科学基金目，1项北京市自然科学基金，3项基地自主科研项目，以及多项企事业单位合作项目，作为主研人承担重点研发计划、创新团队、创新群体、973等多个国家及省部级重大项目。

第 1章 网络智能概述 1
1.1 概述 2
1.1.1 网络架构的持续演进 2
1.1.2 网络管理与控制的挑战 3
1.1.3 网络智能的兴起 4
1.2 网络智能的基础 7
1.2.1 大数据 7
1.2.2 算力支持 7
1.2.3 集中式控制 9
1.3 网络智能的现状 10
1.3.1 意图网络 10
1.3.2 自动驾驶网络 12
1.3.3 知识定义网络 14
1.3.4 标准化工作 17
1.4 网络智能的实现途径 18
1.4.1 监督学习 18
1.4.2 无监督学习 20
1.4.3 强化学习 21
1.5 网络智能的愿景与挑战 22
1.5.1 网络智能的愿景 22
1.5.2 网络智能的挑战 24
参考文献 25
第 2章 深度强化学习方法 29
2.1 强化学习方法概述 30
2.1.1 马尔可夫决策过程 30
2.1.2 多臂赌博机 32
2.1.3 蒙特卡洛树搜索与时间差分方法 33
2.1.4 值迭代与策略迭代 35
2.2 深度强化学习 37
2.2.1 深度Q网络 38
2.2.2 策略梯度方法 40
2.2.3 策略梯度单调提升优化算法 44
2.2.4 最大熵算法 50
2.3 多智能体强化学习 52
2.3.1 独立强化学习及其涌现行为分析 53
2.3.2 多智能体通信 55
2.3.3 多智能体合作机制 56
2.3.4 多智能体建模与策略推断 59
2.4 分层强化学习 61
2.5 迁移强化学习 64
2.5.1 迁移强化学习框架 65
2.5.2 根据迁移设置的分类 66
2.5.3 根据迁移知识类型的分类 67
2.5.4 根据迁移目标的分类 68
2.6 多任务强化学习 69
2.6.1 多任务学习基本概念 69
2.6.2 多任务强化学习 70
2.6.3 基于多任务学习的迁移强化学习 71
2.7 逆强化学习 73
2.8 分布式强化学习 75
参考文献 77
第3章 基于强化学习的无线接入优化 81
3.1 多信道无线接入 81
3.1.1 多信道无线接入概述 82
3.1.2 基于DRL的动态多信道无线接入 83
3.1.3 异构无线网络的多信道接入 87
3.2 异构无线网络的调制和编码 91
3.2.1 调制和编码问题概述 91
3.2.2 基于DRL的调制和编码 93
3.3 基站自适应能量控制 99
3.3.1 基站自适应能量控制内容概述 99
3.3.2 基站自适应能量控制问题引入 100
3.3.3 基于DRL的自适应能量控制 100
参考文献 105
第4章 基于强化学习的网络管理 108
4.1 智能服务编排 108
4.1.1 NFV的资源配置 108
4.1.2 服务功能链映射 110
4.1.3 服务功能链选路 117
4.1.4 无线网络VNF的资源编排 122
4.2 智能网络切片 124
4.2.1 网络切片的需求与概念 124
4.2.2 网络切片的资源管理 127
4.2.3 无线接入网切片 128
4.2.4 核心网切片 133
参考文献 136
第5章 基于强化学习的网络控制 141
5.1 智能路由控制 141
5.1.1 时间相关QoS的路由控制 143
5.1.2 边缘网络路由控制 147
5.1.3 带缓存的DCN路由控制 151
5.2 智能拥塞控制 158
5.2.1 多路径TCP控制 160
5.2.2 智能拥塞控制模型Aurora 164
5.3 智能流量调度 167
5.3.1 流量工程概述 168
5.3.2 智能流量调度 169
5.3.3 分布式流量调度 170
参考文献 172
第6章 基于强化学习的任务调度 175
6.1 并行计算的任务调度 175
6.1.1 问题定义 176
6.1.2 基于RL的并行任务调度方法 177
6.1.3 基于DRL的并行任务调度方法 178
6.2 基于有向无环图的任务调度 182
6.2.1 分布式系统任务模型 182
6.2.2 边缘计算任务调度 183
6.2.3 云计算的任务调度 185
6.2.4 数据处理集群的任务调度 188
6.3 混合任务调度 192
6.3.1 多类型任务调度 192
6.3.2 任务调度相关的联合优化 195
参考文献 198
第7章 基于强化学习的流媒体控制 200
7.1 超低时延的流媒体传输 201
7.1.1 超低时延的流媒体传输框架 201
7.1.2 码率自适应算法 204
7.1.3 基于强化学习的超低时延传输算法 206
7.2 个性化的流媒体传输 210
7.2.1 个性化用户体验 210
7.2.2 基于强化学习的个性化QoE设计 212
7.3 新场景下的流媒体传输展望 214
参考文献 215
第8章 基于强化学习的自组织网络 218
8.1 网联自动驾驶 218
8.1.1 车载通信任务 218
8.1.2 车载资源分配 221
8.2 无人机网络概述 226
8.2.1 无人机通信资源调度 227
8.2.2 无人机公平效率覆盖 231
8.2.3 无人机传感数据收集 235
参考文献 238
名词索引 241