数据科学优化方法

　　首先，本书在内容选择上坚持“经典”与“前沿”并重。一方面，系统全面地讲述了无约束和有约束 化问题的常用求解方法，包括负梯度方法、牛顿方法、拟牛顿方法、共轭梯度方法、罚函数方法等。另一方面，加入近几年在数据科学领域受到广泛关注的一些新型一阶 化方法，例如随机梯度下降方法、小批量随机梯度下降、动量方法、Nesterov加速梯度方法、Adam方法等。特别地，本书着重讲述了在数据科学中广泛使用的正则 化问题，并介绍其求解方法，包括坐标下降方法、近端方法和交替方向乘子方法。 其次，本书注重理论和实践相结合。主要的 化方法均配有详细例子加以解释和阐述，并在章的 一节进行数值实验，通过几个典型的 化问题展示 化方法的实际数值表现，有助于读者对方法性能建立起直观感受。

　　孙怡帆，中国人民大学统计学院教授，博士生导师，数理统计系系主任，全国工业统计学教学研究会常务理事，中国统计教育学会理事。主要从事高维数据分析、分布式计算理论和方法领域研究，以主要作者身份在Statistics in Medicine、Briefing in Bioinformatics、Physical Review X等 知名学术期刊公开发表论文30余篇，参与编写教材 《非结构化大数据分析》 。主持 自然基金、 人文社科等省部级科研课题8项，曾获北京市高等教育教学成果一等奖、北京市高校本科毕业论文 指导教师等多项省部级教学奖励。

第 1 章 导 论
1.1 本书考虑的 化问题
1.2 优化方法的特点和要求
1.3 本书主要内容
第 2 章 无约束优化方法基础
2.1 性条件
2.2 方法框架
2.3 收敛准则
第 2 章习题
第 3 章 线搜索方法
3.1 线搜索方法
3.2 线搜索方法的收敛性
3.3 非 线搜索方法
3.4 非 线搜索方法的收敛性
第 3 章习题
第 4 章 负梯度方法
4.1 梯度下降方法
4.2 速下降方法
4.3 梯度下降方法的变体
4.4 梯度下降方法的改进
4.5 数值实验
第 4 章习题
第 5 章 牛顿方法
5.1 基本牛顿方法
5.2 基本牛顿方法的改进
5.3 牛顿方法在非线性 小二乘问题中的应用
5.4 数值实验
第 5 章习题
第 6 章 拟牛顿方法
6.1 拟牛顿条件
6.2 对称秩 1 方法
6.3 DFP 方法
6.4 BFGS 方法
6.5 Broyden 族方法
6.6 拟牛顿方法的收敛性及收敛速度
6.7 L-BFGS 方法
6.8 数值实验
第 6 章习题
第 7 章 共轭梯度方法
7.1 共轭方向方法
7.2 针对正定二次函数的共轭梯度方法
7.3 非线性共轭梯度方法
7.4 数值实验
第 7 章习题
第 8 章 约束 化问题的 性理论
8.1 约束 化问题的一般形式和定义
8.2 约束 化问题的一阶 性条件
8.3 约束 化问题的二阶 性条件
8.4 约束 化的对偶问题
第 8 章习题
第 9 章 罚函数方法
9.1 二次罚函数方法
9.2 障碍函数方法
9.3 增广 Lagrange 函数方法
9.4 数值实验
第 9 章习题
第 10 章 近端方法
10.1 近端算子
10.2 近端极小化方法
10.3 近端梯度方法
10.4 加速近端梯度方法
第 11 章 坐标下降方法
11.1 随机坐标下降方法
11.2 加速随机坐标下降方法
11.3 循环坐标下降方法
11.4 求解可分正则 化问题的随机坐标下降方法
第 12 章 交替方向乘子方法
12.1 方法基础
12.2 ADMM 方法的一般形式和理论性质
12.3 一致性问题
12.4 共享问题
12.5 数值实验
附录 A 数学基础
A.1 线性代数
A.2 微积分
A.3 凸分析
附录 B 符号说明
参考文献