模式识别（第4版修订版）

　　模式识别是信息科学和人工智能的重要组成部分，主要应用领域包括图像分析、光学字符识别、信道均衡、语言识别和语音分类等。本书全面介绍了模式识别的基础理论、最新方法及各种应用，讨论了贝叶斯分类、贝叶斯网络、线性和非线性分类器设计、上下文相关分类、特征生成、特征选择技术、学习理论的基本概念及聚类的概念与算法，新增了与大数据集和高维数据相关的算法，详细论述了非线性降维、非负矩阵因数分解、关联性反馈、鲁棒回归、半监督学习、频谱聚类和组合集聚技术。书中的各章提供习题与练习，并在配套网站上提供习题解答。

　　Sergios Theodoridis希腊雅典大学物理学学士，英国伯明翰大学信号处理与通信专业硕士和博士，希腊雅典大学信息与通信系教授，IET和IEEE高级会员，发表的4篇论文曾获IEEE神经网络会刊卓越论文奖。Konstantinos Koutroumbas希腊佩特雷大学计算机工程与信息学院计算机科学硕士，英国伦敦大学计算机科学硕士，希腊雅典大学计算机科学博士，希腊雅典国家天文台应用与遥感研究所研究员。李晶皎，东北大学信息学院教授、博士生导师。2006―2010年教育部电子电气基础教学指导委员会委员。自1988年以来一直从事教学与科研工作。主要研究方向是模式识别、语音信号处理、计算机系统结构、嵌入式系统。

目 录
第1章 导论 1
1.1 模式识别的重要性 1
1.2 特征、特征向量和分类器 3
1.3 监督、无监督和半监督学习 4
1.4 MATLAB程序 6
1.5 本书的章节安排 6
第2章 基于贝叶斯决策理论的分类器 8
2.1 引言 8
2.2 贝叶斯决策理论 8
2.3 判别函数和决策面 12
2.4 正态分布的贝叶斯分类 13
2.5 未知概率密度函数的估计 23
2.6 *近邻准则 41
2.7 贝叶斯网络 44
习题 48
MATLAB编程与练习 54
参考文献 58
第3章 线性分类器 61
3.1 引言 61
3.2 线性判别函数和决策超平面 61
3.3 感知器算法 62
3.4 *小二乘法 68
3.5 均方估计回顾 73
3.6 逻辑斯蒂判别 78
3.7 支持向量机 79
习题 94
MATLAB编程和练习 96
参考文献 97
第4章 非线性分类器 101
4.1 引言 101
4.2 异或问题 101
4.3 两层感知器 102
4.4 三层感知器 105
4.5 基于训练集准确分类的算法 106
4.6 反向传播算法 107
4.7 反向传播算法的变体 112
4.8 代价函数的选择 114
4.9 神经网络大小的选择 116
4.10 仿真实例 119
4.11 共享权重的网络 120
4.12 广义线性分类器 121
4.13 线性二分分类器中l维空间的容量 123
4.14 多项式分类器 124
4.15 径向基函数网络 125
4.16 通用逼近器 128
4.17 概率神经网络 129
4.18 支持向量机：非线性情形 130
4.19 其他SVM范式 134
4.20 决策树 142
4.21 组合分类器 146
4.22 增强组合分类器的方法 151
4.23 类别不平衡问题 156
4.24 讨论 157
习题 157
MATLAB编程和练习 160
参考文献 163
第5章 特征选择 173
5.1 引言 173
5.2 预处理 173
5.3 峰值现象 175
5.4 基于统计假设检验的特征选择 177
5.5 接收机工作特性曲线 182
5.6 类别可分性判据 183
5.7 特征子集选择 188
5.8 *优特征生成 191
5.9 神经网络和特征生成/选择 198
5.10 关于泛化理论的提示 199
5.11 贝叶斯信息准则 205
习题 206
MATLAB编程和练习 208
参考文献 211
第6章 特征生成I：数据变换和降维 216
6.1 引言 216
6.2 基向量和图像 216
6.3 Karhunen-Loève变换 218
6.4 奇异值分解 224
6.5 独立成分分析 229
6.6 非负矩阵因子分解 234
6.7 非线性降维 235
6.8 离散傅里叶变换 243
6.9 离散余弦和正弦变换 245
6.10 哈达玛变换 246
6.11 哈尔变换 247
6.12 重新审视哈尔展开式 248
6.13 离散时间小波变换 251
6.14 多分辨率解释 258
6.15 小波包 259
6.16 二维推广简介 260
6.17 应用 262
习题 265
MATLAB编程和练习 267
参考文献 269
第7章 特征生成II 276
7.1 引言 276
7.2 区域特征 276
7.3 形状和尺寸特征 292
7.4 分形简介 298
7.5 语音和声音分类的典型特征 303
习题 313
MATLAB编程和练习 315
参考文献 318
第8章 模板匹配 324
8.1 引言 324
8.2 基于*优路径搜索技术的度量 324
8.3 基于相关的度量 335
8.4 可变形模板模型 339
8.5 基于内容的信息检索：相关反馈 342
习题 345
MATLAB编程和练习 345
参考文献 347
第9章 上下文相关分类 350
9.1 引言 350
9.2 贝叶斯分类器 350
9.3 马尔可夫链模型 350
9.4 Viterbi算法 351
9.5 信道均衡 354
9.6 隐马尔可夫模型 357
9.7 基于状态持续时间建模的HMM 365
9.8 使用神经网络训练马尔可夫模型 370
9.9 马尔可夫随机场的讨论 371
习题 373
MATLAB编程和练习 373
参考文献 375
**0章 监督学习：尾声 380
10.1 引言 380
10.2 错误计数法 380
10.3 利用有限大小的数据集 381
10.4 医学成像实例研究 384
10.5 半监督学习 386
习题 394
参考文献 395
**1章 集聚：基本概念 399
11.1 引言 399
11.2 邻近度 403
习题 417
参考文献 418
**2章 集聚算法I：顺序算法 420
12.1 引言 420
12.2 集聚算法的分类 421
12.3 顺序集聚算法 423
12.4 改进的BSAS 426
12.5 双阈值顺序算法 427
12.6 细化阶段 429
12.7 神经网络实现 430
习题 432
MATLAB编程和练习 434
参考文献 435
**3章 集聚算法II：层次算法 438
13.1 引言 438
13.2 合并算法 438
13.3 同型矩阵 455
13.4 分裂算法 456
13.5 用于大数据集的层次算法 457
13.6 选择*优的聚类数 462
习题 464
MATLAB编程和练习 465
参考文献 466
**4章 集聚算法III：基于函数优化的方法 469
14.1 引言 469
14.2 混合分解方法 470
14.3 模糊集聚算法 476
14.4 可能性聚类 491
14.5 硬集聚算法 495
14.6 向量量化 501
附录 503
习题 503
MATLAB编程和练习 505
参考文献 507
**5章 集聚算法IV 512
15.1 引言 512
15.2 基于图论的集聚算法 512
15.3 竞争学习算法 522
15.4 二值形态学集聚算法 528
15.5 边界检测算法 534
15.6 寻谷集聚算法 536
15.7 代价优化集聚回顾 538
15.8 核集聚算法 543
15.9 处理大数据集的基于密度的算法 546
15.10 高维数据集的集聚算法 550
15.11 其他集聚算法 560
15.12 组合集聚 561
习题 565
MATLAB编程和练习 567
参考文献 569
**6章 聚类有效性 578
16.1 引言 578
16.2 假设检验回顾 578
16.3 聚类有效性中的假设检验 580
16.4 相对准则 587
16.5 单个聚类的有效性 598
16.6 集聚趋势 600
习题 606
参考文献 608
附录A 概率论与数理统计的相关知识 613
附录B 线性代数基础 622
附录C 代价函数优化 624
附录D 线性系统理论的基本定义 636
词汇表 638