深度强化学习：云计算中作业与资源协同自适应调度的理论及应用

　　本文围绕两个云工作流执行过程中的关键步骤——云工作流任务分配和虚拟化资源供给，研究以容器为新型虚拟化基本单元的云计算环境下，以协同方式进行多工作流自适应调度的理论问题、关键技术和方法；在确保满足用户服务等级协议前提下，**程度实现云服务供需双方的利益均衡。 在多项国家自然科学基金项目、广东省自然科学基金项目、广东省科技计划项目等课题的支持下，课题组长期从事云计算关键技术、机器学习算法、多agent系统等领域的基础理论和应用研究，长期的积累为本课题的研究打下坚实的基础，使解决本课题关键科学问题，完成预期成果具有较高的可行性。 本项目研究成果可为相关科研领域人员提供参考和借鉴。

　　彭志平博士，教授。广东石油化工学院副校长（2015-2021年），江门职业技术学院校长（2021-今）。中国系统仿真学会智能仿真优化与调度专委会常务委员，广东省高等学校“千百十工程”省级培养对象。目前主要从事人工智能、智能系统等方向的科研与教学研究工作。作为负责人先后主持2项国家自然科学基金面上项目、1项广东省应用型科技研发专项重点项目及20多项企业技术攻关委托项目。先后获得广东省南粤优秀教师、师德标兵、广东省精神文明建设先进个人等荣誉称号，获得中国石油和化工自动化应用行业科技进步一等奖、省部级科技进步奖二等奖、吴文俊人工智能科技进步奖各1项。在国内外学术期刊上发表30余篇SCI检索论文，30余篇EI检索论文， 15项发明专利获得授权。

第1篇基 础 理 论
第1章云计算概述
1.1云计算技术概述
1.1.1云计算的3种服务模式
1.1.2云计算的4种署模型
1.2云计算的核心技术
1.3云计算资源配置与任务调度模型
1.4云计算提出的挑战
1.4.1虚拟化技术带来的挑战
1.4.2虚拟机资源和应用系统参数提出的挑战
1.4.3工作流任务和虚拟化资源进行协同自适应调度提出的挑战
1.4.4资源利用率和服务等级协议提出的挑战
第2章深度强化学概述
2.1深度卷积经网络
2.2强化学
2.3深度强化学
2.3.1DQN算法主要用到的关键技术
2.3.2DQN模型训练过程
第2篇云作业调度算法
第3章随机作业化调度策略
3.1引言
3.2国内外研究现状
3.2.1理论分析
3.2.2能耗管理
3.2.3资源分配
3.3系统模型
3.3.1作业调度子模块
3.3.2作业执行子模块
3.3.3作业传输子模块
3.4基于强化学的作业调度算法
3.4.1强化学
3.4.2基于强化学的用户作业调度算法
3.4.3状态简约
3.5性能评估
3.5.1云平台实验验证
3.5.2真实云平台实验验证
3.6小结
第4章混合作业调度机制
4.1引言
4.2国内外发展现状
4.2.1静态调度法
4.2.2动态调度法
4.2.3混合调度法
4.2.4局限性分析
4.3云平台模型
4.4混合作业调度算法
4.5基于强化学的混合作业调度算法
4.6实验结果与分析
4.7小结
第5章基于多智能体系统的云工作流作业化调度
5.1研究背景
5.2相关工作
5.3系统模型
5.3.1云工作流系统
5.3.2云工作流模型组件介绍
5.4基于多智能体系统的粒子群遗传化算法
5.4.1粒子群化算法
5.4.2云工作流环境下的粒子群算法
5.4.3多智能体系统下粒子群的自组织模型
5.4.4MASPSOGA算法步骤
5.5算法与分析
5.5.1实验数据和参数设置
5.5.2实验结果及分析
5.6小结
第6章基于深度强化学的云环境下的多资源云作业调度策略
6.1引言
6.2系统模型及表示
6.3算法说明与伪代码
6.4实验环境与参数设置
6.5实验结果与分析
6.6小结
第7章基于深度强化学的多数据中心云作业调度
7.1引言
7.2系统模型
7.3作业调度
7.4实验平台设计
7.5实验及结果分析
7.6小结
第3篇虚拟化资源调度
第8章基于强化学的云计算资源分配研究
8.1引言
8.2研究现状
8.3系统模型
8.3.1云计算平台架构
8.3.2作业响应时间
8.3.3分段SLA
8.3.4有效单位时间花费
8.4基于强化学的云资源调度机制
8.4.1相关概念
8.4.2基于基本强化学的资源调度算法
8.4.3化的资源分配策略
8.5实验结果
8.5.1云平台验证
8.5.2真实云平台上进行性能验证
8.6小结
第9章基于DQN的多目标化的资源调度框架
9.1引言
9.2国内外发展现状
9.2.1基于启发式算法的资源调度研究
9.2.2基于强化学的资源调度研究
9.2.3基于深度强化学的资源调度研究
9.3系统模型
9.3.1作业负载层
9.3.2调度控制层
9.3.3数据中心层
9.4问题分析
9.4.1用户作业负载模型
9.4.2能源消耗模型
9.4.3数学描述
9.5算法说明与伪代码
9.6实验与结果分析
9.6.1实验步骤和参数设置
9.6.2实验结果与分析
9.7小结
第10章容器云环境虚拟资源配置策略的化
10.1引言
10.2容器云资源配置
10.2.1虚拟机资源配置
10.2.2容器资源配置
10.2.3虚拟机/容器迁移
10.3问题描述与数学建模
10.3.1问题描述
10.3.2数据中心的能耗模型
10.4主机选择策略及改进
10.4.1常用物理机选择策略
10.4.2物理机选择策略的改进
10.4.3算法的复杂度分析
10.5实验结果及分析
10.5.1实验环境
10.5.2实验场景
10.6小结
第11章两段虚拟资源协同自适应调度
11.1引言
11.2国内外发展现状
11.2.1静态调度法
11.2.2动态调度法
11.2.3混合调度法
11.2.4局限性分析
11.3系统模型
11.3.1虚拟机租用段系统子模型
11.3.2虚拟机使用段系统子模型
11.4数据中心选择算法
11.4.1深度强化学
11.4.2虚拟机租用段的数据中心选择
11.4.3虚拟机租用段的数据中心选择算法
11.4.4虚拟机使用段的数据中心选择
11.4.5虚拟机使用段的数据中心选择算法
11.5实验验证
11.5.1虚拟机租用段实验结果与分析
11.5.2虚拟机使用段实验结果与分析
11.6小结
第4篇云作业和虚拟化资源协同自适应调度
第12章基于异构分布式深度学的云任务调度与资源配置框架
12.1引言
12.2系统框架与问题阐述
12.2.1系统框架
12.2.2问题阐述
12.3异构分布式深度学模型
12.4实验与结果分析
12.4.1实验设计与参数说明
12.4.2网络模型验证实验
12.4.3算法比较实验
12.5小结
第13章云工作流任务与虚拟化资源协同自适应调度机制
13.1引言
13.2自适应协同调度研究现状及其局限性分析
13.3系统模型
13.4多智能体社会下工作流任务与虚拟化虚拟机资源自适应调度机制
13.5多智能体社会下工作流任务与虚拟化虚拟机资源协同调度机制
13.6实验验证
13.7小结
 
参考文献