机器学习的数学理论

　　《机器学习的数学理论》重点研究机器学习的数学理论。第一部分探讨了在非凸优化问题中，选择梯度下降步长来避免严z格鞍点的自适应性。第二部分提出了在非凸优化中寻找局部极小值的算法，并利用牛顿第二定律在一定程度上得到无摩擦的全局极小值。第三部分研究了含有噪声和缺失数据的子空间聚类问题，这是一个由随机高斯噪声的实际应用数据和含有均匀缺失项的不完全数据激发的问题；还提出了一种新的具有粘性网正则化的VAR模型及其等价贝叶斯模型，该模型既考虑了稳定的稀疏性，又考虑了群体选择。《机器学习的数学理论》可作为本科生或研究生的入门教材。对于希望进一步加强对机器学习的理解的教授、行业专家和独立研究人员来说，该书也是好的选择。

　　史斌（Bin Shi）博士目前是加州大学伯克利分校的博士后研究员。他的研究重点是机器学习理论，特别是机器学习中的优化理论。史斌博士2006年毕业于中国海洋大学应用数学专业，获理学学士学位；2008年至2011年师从复旦大学袁小平教授学习现代常微分方程理论，并接受严格的数学训练；2011年获复旦大学数学专业和麻省大学达特茅斯分校理论物理专业理学双硕士学位。他的研究兴趣集中在统计机器学习和优化，以及一些理论计算机科学，他的研究成果已发表在NIPS OPT-2017研讨会和INFORMS Jour-nal on Optimization（机器学习特刊）上。S.S.艾扬格（S.S.lyengar）博士，是迈阿密佛罗里达国际大学杰出的大学教授、杰出的Ryder教授和计算与信息科学学院院长，是分布式传感器网络／传感器融合、机器人技术计算领域以及高性能计算领域的先驱。他曾是印度科学理工学院（IISC）班加罗尔分校的Satish Dhawan教授，以及泰米尔纳德邦Kalpakkam IGCAR的Homi Bhabha教授，还曾是巴黎大学、清华大学、KAIST等的客座教授。他发表研究论文600余篇，在MIT出版社、John Wiley & Sons出版社、Prentice Hall出版社、CRC出版社、Springer Verlag出版社等出版22部专著，这些出版物已在世界各地的重点大学使用。他拥有许多专利，其中一些专利还出现在得克萨斯州达拉斯市举办的世界技术论坛上。他的研究出版物涉及高效算法、并行计算、传感器网络和机器人的设计与分析。在过去的40年里，他指导了55名博士生、100名硕士生和许多本科生，这些学生现在遍布世界各地，有的是重点大学的教师，有的是国家实验室／工业领域的科学家或工程师。他的许多本科生仍在从事他的研究项目。最近，艾扬格博士获得了Times Network媒体集团评选的2017年度非居民印度人奖，这是一个为全球印度领导人设立的著名奖项。艾扬格博士是欧洲科学院成员，IEEE、ACM、AAAS、美国国家发明家科学院（NAI）、美国设计与工艺学会（SPDS）、美国工程师学会（FIE）、美国医学与生物工程学会（AIMBE）的高级或资深会员。由于对传感器融合算法和并行算法的贡献，他获得了班加罗尔印度科学研究所的杰出校友奖和IEEE计算机协会技术成就奖。他还在喷气推进实验室获得了IBM杰出教师奖和NASA夏季奖学金。他是2010年得克萨斯州奥斯汀市跨学科学习与高级研究学院的研究员。他获得了各种国内和国际奖项，包括Times Network媒体集团评选的2017年度非居民印度人奖、2013年美国国家发明家科学院院士奖、2013年伦敦上议院的NRI圣雄甘地·普拉瓦西奖章，以及国际敏捷制造协会（ISAM）授予的终身成就奖，以表彰他在教学、研究和管理领域的杰出成就以及对印度理工学院（BHU）在工程和计算机科学领域做出的毕生贡献。2012年，他和Nulogix荣获2012年佛罗里达创新一产业奖（i2i）。因在传感器网络、计算机视觉和图像处理领域的研究，他获得了厦门大学颁发的杰出研究奖。他与他的研究小组的里程碑式的贡献，包括在分布式传感器网络中开发用于监视和目标定位的网格覆盖与Brooks-Iyengar融合算法。他获得了富布赖特杰出研究奖，以及2019年IEEE智能和安全信息学研究领导奖；在第25届国际IEEE高性能计算会议（2019年）上，因其对分布式传感器网络的贡献而获得终身成就奖，该奖由Infosys的联合创始人Narayana Murthy博士颁发；获得佛罗里达州青光眼装置创新技术工业创新奖、LSU Rainmaker奖，以及杰出研究硕士奖。他还被授予荣誉理工科博士学位。他在世界上许多公司和大学的顾问委员会任职，还曾在许多国家科学委员会任职，如美国国立卫生研究院生物信息学国家医学图书馆、国家科学基金会评审小组、美国宇航局空间科学、国土安全部、海军安全办公室等。他对美国海军研究实验室的贡献是一项开拓性工作的核心，该项工作旨在为科学技术发展图像分析，并扩大美国海军研究实验室的目标。他的研究成果可以在多家公司和多个国家实验室中看到，如雷神公司、Telcordia公司、摩托罗拉公司、美国海军、DARPA和其他美国机构。他在DARPA与BBN、剑桥、马萨诸塞、MURI、PSU／ARL、杜克大学、威斯康星大学、加州大学洛杉矶分校（UCLA）、康奈尔大学和LSU的研究人员项目演示中做出了重要贡献。他也是International Journal of Distributed Sen-sor Networks的创刊编辑。他曾是多家期刊的编委会成员，也是多所大学的博士委员会成员，包括卡内基梅隆大学（CMU）、杜克大学和世界各地的许多其他大学。他目前是ACM Computing Surveys等期刊的编辑。他还是FIU发现实验室的创始主任。他的研究成果被广泛引用。他的基础工作已经转化为独特的技术。在长达40年的职业生涯中，艾扬格博士以一种独特的方式致力于运用数学形态学来定量地理解计算过程，并将其应用于许多领域。

译者序
序言
致谢
前言
作者简介
第一部分 引言
第1章 绪论
11 神经网络
12 深度学习
13 梯度下降法
14 小结
15 本书结构
第2章 通用数学框架
21 机器学习与计算统计学
22 小结
第3章 优化理论简述
31 机器学习所需的优化理论
32 在线算法：机器学习的顺序更新
33 小结
第4章 改进的CoCoSSC方法
41 问题描述
42 梯度加速下降法
43 CoCoSSC方法
44 在线时变粘性网算法
45 小结
第5章 关键术语
51 一些定义
52 小结
第6章 关于非凸规划几何的相关研究
61 多元时间序列数据集
62 粒子学习
63 在气候变化中的应用
64 小结
第二部分 机器学习的数学框架：理论部分
第7章 收敛到最小值的梯度下降法：最优和自适应的步长规则
71 引言
72 符号与预备知识
73 最大允许步长
74 自适应步长规则
75 定理71的证明
76 定理72的证明
77 辅助定理
78 技术证明
79 小结
第8章 基于优化的守恒定律方法
81 准备：直观的解析演示
82 辛方法与算法
83 局部高速收敛现象的渐近分析
84 实验演示
85 小结与展望
第三部分 机器学习的数学框架：应用部分
第9章 含有噪声和缺失观测值的稀疏子空间聚类的样本复杂度的改进
91 CoCoSSC算法的主要结果
92 证明
93 数值结果
94 技术细节
95 小结
第10章 多元时间序列中稳定和分组因果关系的在线发现
101 问题表述
102 粘性网正则化
103 在线推理
104 实验验证
105 小结与展望
第11章 后记
参考文献