分布式机器学习：交替方向乘子法在机器学习中的应用

　　本书探究交替方向乘子法在图像处理中的应用，选取了运动模糊图像复原和遥感图像融合两个领域来作细致研究。通过 MATLAB进行仿真实验，利用交替方向乘子法高效求解复杂的凸优化问题，研究遮挡人脸识别的鲁棒性算法，以及人脸图像的类内变化和类间变化与鲁棒性算法的关系。同时，本书还探索高效的分布式优化求解方法。将分布式计算框 CoCoA 应用于机器学习和信号处理的各种问题。本书适合作用从事机器学习研究的科技工作者、专业技术人员、研究生及高年级本科生的参考书。

　　雷大江，重庆邮电大学数据科学与大数据技术教授，博士，IET学会会员、ICST学会会员、中国计算机学会会员、儿童医疗大数据智能应用重庆市高校工程研究中心技术委员会委员。2006年毕业于武汉科技大学计算机应用技术专业，获工学硕士学位；2012年毕业于重庆大学计算机科学与技术专业，获工学博士学位。2014-2015年在挪威奥斯陆大学Simula研究院从事高性能计算博士后研究，2018年获得重庆市留学归国人员创新创业项目支持人选称号。

目录
第1章引言

1.1大数据对机器学习的挑战

1.2分布式优化算法国内外研究现状

1.3本书研究内容

1.4参考文献

第2章交替方向乘子法

2.1凸优化

2.1.1凸集

2.1.2凸函数

2.1.3优化问题

2.1.4凸优化问题

2.2对偶

2.2.1拉格朗日对偶函数

2.2.2对偶函数和共轭函数

2.2.3对偶问题

2.2.4鞍点

2.2.5对偶上升法

2.2.6对偶分解性

2.3交替方向乘子法

2.3.1增广拉格朗日乘子法

2.3.2交替方向乘子法

2.3.3全局变量一致性优化

2.4参考文献









第3章稀疏回归

3.1Lasso问题

3.2ADMM求解Lasso问题

3.3Lasso问题的一般求解

3.4Lasso问题的全局一致性求解

3.4.1基于样本划分的Lasso问题

3.4.2基于特征划分的Lasso问题

3.5参考文献

第4章Huber回归

4.1Huber损失在稀疏鲁棒性编码中的应用

4.1.1基于回归分析的一般分类框架

4.1.2稀疏编码

4.1.3Huber损失函数

4.2Huber损失的一般化求解

4.3Huber损失的并行求解

4.3.1基于特征划分的Huber函数

4.3.2基于样本划分的Huber函数

4.4参考文献

第5章交替方向乘子法在图像处理中的应用

5.1基于交替方向乘子法的全变差模糊图像恢复

5.1.1图像退化模型

5.1.2ADMM算法图像恢复推导过程

5.2基于交替方向乘子法的遥感图像融合

5.2.1基于变分框架的图像融合方法

5.2.2基于增强稀疏结构一致性的遥感图像融合

5.2.3实验结果与分析

5.3参考文献

第6章加权Huber约束稀疏表达的鲁棒性算法

6.1Sigmoid权重

6.2加权Huber约束稀疏编码

6.2.1权重的初始值

6.2.2迭代条件

6.2.3查询样本类别判断

6.3算法鲁棒性分析

6.4算法的迭代步骤及其子问题划分

6.4.1ADMM求解子问题

6.4.2计算复杂度分析

6.4.3收敛性和收敛率分析

6.5加权Huber约束稀疏编码算法实验

6.5.1实验设置

6.5.2弱遮挡的人脸识别

6.5.3强遮挡的人脸识别

6.5.4图像的重构

6.5.5运行时间

6.5.6参数与识别率

6.5.7实验结果与分析

6.6本章小结

6.7参考文献

第7章自适应加权Huber约束稀疏表达的鲁棒性算法

7.1自适应权重

7.2自适应加权Huber约束编码的模型

7.3自适应加权Huber约束稀疏编码的模型

7.3.1自适应权重更新

7.3.2自适应权重初始值

7.3.3迭代条件

7.3.4查询样本分类

7.4算法鲁棒性分析

7.5算法的迭代步骤及子问题分析

7.5.1ADMM求解子问题

7.5.2计算复杂度分析

7.5.3收敛性和收敛率分析

7.6自适应加权Huber约束稀疏编码算法实验

7.6.1实验设置

7.6.2弱闭塞的人脸识别

7.6.3强闭塞的人脸识别

7.6.4运行时间

7.6.5参数分析

7.6.6实验结果与分析

7.7本章小结

7.8参考文献

第8章极大不相关多元逻辑回归

8.1引入极大不相关约束的意义

8.2极大不相关多元逻辑回归算法

8.2.1基于多元逻辑回归算法的改进

8.2.2求解算法时间复杂度分析

8.3极大不相关多元逻辑回归算法实验

8.3.1数据集介绍

8.3.2人工数据集和公开数据集实验结果

8.3.3极大不相关神经网络算法实验

8.4大规模极大不相关多元逻辑回归算法

8.4.1极大不相关多元逻辑回归的一致性求解算法

8.4.2极大不相关多元逻辑回归的共享求解算法

8.4.3求解算法时间复杂度分析

8.5分布式极大不相关逻辑回归算法实验

8.5.1运行环境与数据集介绍

8.5.2一致性求解算法的实验对比

8.5.3共享求解算法的实验对比

8.6本章小结

8.7参考文献

第9章快速稀疏多元逻辑回归

9.1稀疏多元逻辑回归串行求解算法

9.1.1迭代重加权最小二乘法

9.1.2快速稀疏多元逻辑回归算法

9.2快速稀疏多元逻辑回归算法实验

9.2.1实验设置



9.2.2优化算法实验及分析

9.2.3传统算法实验及分析

9.3稀疏多元逻辑回归并行求解算法

9.3.1多元逻辑回归的一致性优化求解

9.3.2多元逻辑回归的共享优化求解

9.3.3求解算法收敛性分析

9.3.4求解算法计算复杂度分析

9.4SPSMLR算法和FPSMLR算法实验

9.4.1实验设置

9.4.2样本划分实验及分析

9.4.3特征划分实验及分析

9.4.4大规模算法实验及分析

9.5本章小结

9.6参考文献

第10章CoCoA框架下的Lasso回归分布式求解

10.1CoCoA框架介绍

10.1.1框架应用的两种问题形式

10.1.2各节点求解的子问题

10.1.3CoCoA总体计算框架

10.2CoCoA框架下求解Lasso回归

10.3CoCoA框架下求解Lasso回归实验

10.3.1实验设置

10.3.2实验结果与分析

10.4本章小结

10.5参考文献

第11章CoCoA框架下的稀疏多元逻辑回归分布式求解

11.1稀疏多元逻辑回归

11.2稀疏多元逻辑回归分布式求解

11.3CoCoA框架下求解稀疏多元逻辑回归实验

11.3.1实验设置

11.3.2实验结果与分析

11.4本章小结

11.5参考文献