分布式优化与常微分方程

　　近年来，随着云计算、大数据、人工智能等新兴技术的蓬勃发展，分布式优化在大规模计算、机器学习等领域得到了广泛应用。针对算法中关于步长的严格约束和理论收敛速度局限性导致算法收敛速度慢的科学问题。本专著主要研究内容包括：分布式优化与常微分方程之间的关系、加速分布式优化算法设计与分析。基于梯度的加速分布式优化算法存在收敛速度慢的现象。一方面，当目标函数为光滑强凸函数时，现有加速算法的步长严格依赖于目标函数条件数，使得步长充分小时才能保证算法收敛，而算法收敛速度与步长正相关，从而导致了算法收敛速度较慢。另一方面，当目标函数为光滑凸函数时，现有加速算法优收敛速度为（k是迭代次数）。本文针对上述小步长、理论收敛速度局限性导致算法收敛速度慢的问题展开深入研究。

　　陈蕊娟，河南开封人，中共党员，汉族，博士，讲师。2014年本科毕业于许昌学院，2016年硕士毕业于华中科技大学，2021年博士毕业于华中科技大学，期间于2017年10月至2018年10月获国家留学基金委资助公派到加拿大滑铁卢大学开展博士联合培养，2021年12月进入武汉纺织大学工作。 主要从事分布式优化算法设计与分析、机器学习算法分析及应用。以一/通讯作者在国内外期刊如Science China-Technological Sciences、Journal of the Franklin Institute -Engineering and Applied Mathematics、Advances in Mathematical Physics等国际学术期刊上发表学术论文4篇。

目　录
第1 章　绪论 001
1 1　研究背景与意义 001
1 2　国内外研究现状 006
1 3　本书主要内容 012
第2 章　隐式Euler 加速分布式优化算法 015
2 1　问题描述 015
2 2　线性微分方程收敛性分析 022
2 3　算法Im-DGD 设计与分析 029
2 4　算法实现与分析 034
2 5　本章小结 038
第3 章　辛格式加速分布式梯度下降算法 040
3 1　问题描述 041
3 2　非线性微分方程 042
3 3　算法Sym-DGD 设计与分析 053
3 4　算法实现与分析 059
3 5　本章小结 064
第4 章　校正加速分布式优化算法 065
4 1　问题描述 066
4 2　算法CoAcc-DGD 设计与分析 067
4 3　算法实现与分析 076
4 4　本章小结 079
第5 章　隐式Runge-Kutta 加速分布式优化算法 080
5 1　问题描述 081
5 2　Runge-Kutta 加速优化算法 087
5 3　算法D-ImRK 设计与分析 100
5 4　算法实现与分析 104
5 5　本章小结 108
第6 章　总结与展望 109
6 1　本书主要内容及结论109
6 2　本书的主要创新点110
6 3　展望 111
参考文献 113