高维数据非负矩阵分解方法

　　本书从算法框架入手，建立系列非负矩阵分解模型的抽象数学模型，即非负块配准模型，从统一的角度分析现有的非负矩阵分解模型，并用以开发新的非负矩阵分解模型。根据非负块配准模型的分析，本书提出非负判别局部块配准模型，克服了经典非负矩阵分解模型的缺点，提高了非负矩阵分解模型的分类性能。为了克服经典非负矩阵分解的优化算法收敛速度慢的缺点，本书提出在线搜索中利用牛顿法快速搜索步长，提出非负块配准的快速梯度下降算法。为了克服经典非负最小二乘问题的求解算法的缺点，本书利用最优梯度法在无需线搜索的情况下以二阶收敛速度求解非负最小二乘问题，提出非负矩阵分解的高效求解算法。在此基础上提出非负矩阵分解的高效求解算法，并开发非负块配准的最优梯度法。为了克服经典优化算法应用于流数据处理时计算开销过大的缺点，本书提出非负矩阵分解在线优化算法，利用鲁棒随机近似算法更新基矩阵，提出在线算法，提高在线优化算法的鲁棒性。本书结合非负矩阵分解的低秩表示特性和残差矩阵的稀疏特性，指出曼哈顿非负矩阵分解模型可以有效地抑制数据中的噪音和野值，并指出其与低秩和稀疏矩阵分解模型的等价关系。本书提出高效优化算法求解模型，即秩一残差迭代算法和加速梯度下降算法，前者将模型求解问题分解成若干加权中值问题并用快速算法求解，后者将模型求解问题分解成若干非负最小一乘问题并用平滑技术将其目标函数近似为可微函数，然后利用最优梯度法进行求解。

　　无

目 录
第1章 绪论 001
1.1 本书研究背景及意义 001
1.2 国内外研究现状 006
1.2.1 非负矩阵分解发展历史 006
1.2.2 国内外研究机构 008
1.2.3 非负数据降维研究现状 009
1.3 本书主要工作 012
1.4 本书组织结构 014
第2章 非负矩阵分解基础 016
2.1　非负矩阵分解模型 016
2.1.1　相似性度量 017
2.1.2　先验信息 024
2.1.3　扩展模型 032
2.2 非负矩阵分解理论问题 035
2.2.1 数据表示特性 035
2.2.2 维数选择 036
2.2.3 非负矩阵分解与聚类分析算法的等价关系 038
2.3　优化算法 040
2.3.1　初始化方法 040
2.3.2　不精确块迭代方法 041
2.3.3 精确块迭代方法 045
2.3.4　随机规划方法 048
2.3.5 多层分解方法 048
2.3.6 在线优化算法 049
2.3.7　并行与分布式算法 050
2.4 应用领域 052
2.4.1 数据挖掘 052
2.4.2 模式识别 054
2.5 本章小结与讨论 055
第3章 非负块配准框架 057
3.1 引言 057
3.1.1 局部优化 060
3.1.2　全局配准 060
3.2 非负块配准框架 061
3.2.1 基于KL距离的NPAF 063
3.2.2 基于欧几里得距离的NPAF 070
3.2.3 计算复杂性分析 076
3.2.4 非负数据降维算法框架比较 076
3.3 非负数据降维算法的分析 077
3.3.1 非负矩阵分解 078
3.3.2 局部非负矩阵分解 078
3.3.3 判别非负矩阵分解 080
3.3.4 图罚分非负矩阵分解 081
3.4 非负块配准框架派生模型实例 082
3.4.1 非负PCA模型 082
3.4.2 非负LLE模型 083
3.4.3 非负LTSA模型 084
3.5 本章小结与讨论 085
第4章 非负判别局部块配准模型 087
4.1 引言 087
4.2 模型定义 089
4.2.1 数学描述 090
4.2.2 两类NDLA模型 092
4.2.3 流形学习角度的解释 093
4.3 改进NDLA模型 094
4.4 模型求解算法 095
4.4.1 乘法更新规则 095
4.4.2 计算复杂性 098
4.5 试验结果 098
4.5.1 人脸识别 098
4.5.2 手写体识别 103
4.5.3 局部特征提取 105
4.5.4 结果分析 107
4.6 本章小结与讨论 109
第5章 非负块配准框架快速梯度下降算法 111
5.1　引言 111
5.2　改进乘法更新规则 113
5.3　快速梯度下降算法 118
5.3.1　单步长快速线搜索 119
5.3.2　多步长快速线搜索 122
5.3.3　平衡多步长快速线搜索 128
5.4　基于欧几里得距离的NPAF优化 131
5.4.1　NPAFE快速梯度下降算法 131
5.4.2　NPAFE投影梯度下降算法 137
5.4.3　计算复杂性分析 138
5.5　非负块配准框架派生模型优化 139
5.6　数值试验 139
5.6.1　单步长快速梯度下降算法 140
5.6.2　多步长快速梯度下降算法 143
5.7　本章小结与讨论 146
第6章 非负矩阵分解最优梯度下降算法 147
6.1 引言 147
6.1.1 非负矩阵分解优化算法研究现状 150
6.1.2　最优梯度下降算法 154
6.2 非负矩阵分解最优梯度下降算法 155
6.2.1　非负最小二乘优化算法 156
6.2.2 非负矩阵分解优化算法 164
6.2.3　扩展模型优化算法 166
6.3 非负块配准最优梯度下降算法 168
6.3.1 派生模型优化算法 171
6.4 试验结果 172
6.4.1 非负矩阵分解优化 172
6.4.2 图正则非负矩阵分解优化 182
6.5 本章小结与讨论 183
第7章 非负矩阵分解在线优化算法 185
7.1 引言 185
7.1.1 在线非负矩阵分解研究现状 186
7.1.2 INMF-VC算法 189
7.1.3 OMF-DA算法 190
7.1.4 鲁棒随机近似算法 191
7.2 基于RSA的在线非负矩阵分解算法 193
7.2.1 缓冲池策略 197
7.2.2 计算复杂性 199
7.2.3 收敛性分析 199
7.3 非负矩阵分解扩展模型的在线优化 203
7.3.1 滑动窗口更新扩展 204
7.3.2 距离度量扩展 204
7.3.3 稀疏约束扩展 205
7.3.4 平滑约束扩展 206
7.3.5 盒约束扩展 206
7.4 数值试验 207
7.4.1 在线非负矩阵分解效率比较 208
7.4.2 人脸识别 215
7.5 本章小结与讨论 217
第8章 非负矩阵分解典型应用实例 218
8.1　引言 218
8.2　模式识别 219
8.2.1　人脸识别 220
8.3　数据挖掘 229
8.3.1　文本聚类 230
8.4　信息检索 234
8.4.1　图像标注 234
8.5　本章小结与讨论 240
附录A 辅助函数技术 242
A.1 辅助函数的定义 242
A.2 辅助函数应用 242
附录B 一阶优化方法与收敛速度 244
B.1 收敛速度的定义 244
B.2 一阶优化方法假设 245
B.3 一阶优化方法的最优收敛速度 245
参考文献 246
后记 277