神经网络原理（原书第2版）

　　神经网络是计算智能和机器学习研究、开发和应用最活跃的分支之一。本书是神经网络方面的标准教材，从理论和实际应用出发，全面、系统地介绍神经网络的基本模型、基本方法和基本技术，对神经网络的基本模型和主要学习理论都作了深入研究，特别在学习理论和学习算法的推导方面有极为详尽而系统地分析，对神经网络的最新发展趋势和主要研究方向都进行了全面而综合的介绍。理论和实际应用紧密结合，为神经网络的具体应用打下坚实的基础，是一本可读性极强的教材。SimonHaykin是加拿大McMaster大学教授，创办了通信研究实验室，并长期担任主任。他是国际电子电气工程界的著名学者，于1953年获得英国伯明翰大学博士学位。曾获得IEEEMcNaughton金奖。他是加拿大皇家学会院士，IEEE会士，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多种标准教材。神经网络是计算智能和机器学习研究的最活跃的分支之一。本书全面系统地介绍神经网络的基本概念、系统理论和实际应用。本书包含四个组成部分：导论，监督学习，无监督学习，神经网络动力学模型。导论部分介绍神经元模型、神经网络结构和机器学习的基本概念和理论。监督学习讨论感知机学习规则，有监督的Hebb学习，Widrow-Hoff学习算法，反向传播算法及其变形，RBF网络，正则化网络，支持向量机以及委员会机器。无监督学习包括主分量分析，自组织特征映射模型的竞争学习形式，无监督学习的信息理论，植根于统计力学的随机学习机器，最后是与动态规划相关的增强式学习。神经网络动力学模型研究由短期记忆和分层前馈网络构成的动态系统，反馈非线性动态系统的稳定性和联想记忆，以及另一类非线性动态驱动的递归网络系统。本书注重对数学分析方法和性能优化的讨论，强调神经网络在模式识别、信号处理和控制系统等实际工程问题中的应用。书中包含大量例题和习题，并配有13个基于MATLAB软件的计算机实验程序。本书适于作研究生或大学高年级学生的教材，也可作希望深入学习神经网络的科技人员的参考书。

　　SimonHaykin是加拿大McMaster大学教授，创办了通信研究实验室，并长期担任主任。他是国际电子电气工程界的著名学者，于1953年获得英国伯明翰大学博士学位。曾获得IEEEMcNaughton金奖。他是加拿大皇家学会院士，IEEE会士，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多种标准教材。相关图书编译原理软件需求组合数学（原书第4版）JAVA编程思想（第2版）3D游戏卷1实时渲染与软件技术数据库系统导论信息系统原理：原书第6版并行程序设计数据库与事务处理操作系统现代操作系统（第2版）计算机网络：自顶向下方法与Internet特色（原书第3版）高级编译器设计与实现C程序设计语言（第2版·新版）习题解答人工智能：英文可扩展并行计算技术、结构与编程Java面向对象程序设计教程C++编程思想。第2卷：实用编程技术模式分析的核方法数据仓库（原书第3版）C++语言的设计和演化并行计算导论（原书第2版）离散数学导学数据库设计教程（第２版）信息论、编码与密码学3D游戏卷2动画与高级实时渲染技术数字图像处理疑难解析现代信息检索CAXA数控铣CAD/CAM技术C语言的科学和艺术计算机视觉UNIX系统编程计算机网络系统方案（原书第3版）3D计算机图形学（原书第3版）计算机网络与因特网（原书第4版）计算机科学概论（原书第2版）数据库原理、编程与性能嵌入式微控制器微机接口技术实验教程

出版者的话
专家指导委员会
译者序
前言
缩写和符号
第1章 导言
1.1 什么是神经网络
1.2 人脑
1.3 神经元模型
1.4 看作有向图的神经网络
1.5 反馈
1.6 网络结构
1.7 知识表示
1.8 人工智能和神经网络
1.9 历史注释
注释和参考文献
习题
第2章 学习过程
2.1 简介
2.2 误差修正学习
2.3 基于记忆的学习
2.4 Hebb学习
2.5 竞争学习
2.6 Boltamann学习
2.7 信任赋值问题
2.8 有教师学习
2.9 无教学学习
2.10 学习任务
2.11 记忆
2.12 自适应
2.13 学习过程的统计性质
2.14 统计学习理论
2.15 可能近似正确的学习模型
2.16 小结和讨论
注释的参考文献
习题
第3章 单层感知器
3.1 简介
3.2 自适应滤波问题
3.3 无约束最优化技术
3.4 线性最小二乘滤波器
3.5 最小均方算法
3.6 学习曲线
3.7 学习率退火进度
3.8 感知器
3.9 感知器收敛定理
3.10 Gauss环境下感知器与Bayes分类器的关系
3.11 小结和讨论
注释和参考文献
习题
第4章 多层感知器
4.1 简介
4.2 预备知识
4.3 反向传播算法
4.4 反向传播算法小结
4.5 异或问题
4.6 改善反身传播算法性能的试探法
4.7 输出表示和决策规则
4.8 计算机实验
4.9 特征检测
4.10 反向传播和微分
4.11 Hessian矩阵
4.12 泛化
4.13 函数逼近
4.14 交叉确认
4.15 网络修剪技术
4.16 反向传播学习的优点和局限
4.17 反向传播学习的加速收敛
4.18 作为最优化问题看待的有监督学习
4.19 卷积网络
4.20 小结和讨论
注释和参考文献
习题
第5章 径向基函数网络
5.1 简介
5.2 模式可分性的Cover定理
5.3 插值问题
5.4 作为不适定超曲面重建问题的监督学习
5.5 正则化理论
5.6 正则化网络
5.7 广义径向基函数网络
5.8 XOR问题(再讨论)
5.9 正则化参数估计
5.10 RBF网络的逼近性质
5.11 RBF网络与多层感知器的比较
5.12 核回归及其与RBF网络的关系
5.13 学习策略
5.14 计算机实验:模式分类
5.15 小结和讨论
注释和参考文献
习题
第6章 支持向量机
6.1 简介
6.2 线性可分模式的最优超平面
6.3 不可分模式的最优超平面
6.4 怎样建立用于模式识别的支持向量机
6.5 例子: XOR问题(再讨论)
6.6 计算机实验
6.7 ε-不敏感损失函数
6.8 用于非线性回归的支持向量机
6.9 小结和讨论
注释和参考文献
习题
第7章 委员会机器
7.1 简介
7.2 总体平均
7.3 计算机实验I
7.4 推举
7.5 计算机实验II
7.6 联想Gauss混合模型
7.7 分层混合专家模型
7.8 使用标准决策树的模型选择
7.9 先验和后验概率
7.10 最大似然估计
7.11 HME模型的学习策略
7.12 EM算法
7.13 EM算法在HME模型中的应用
7.14 小结和讨论
注释和参考文献
习题
第8章 主分量分析
8.1 简介
8.2 自组织的一些直观原则
8.3 主分量分析
8.4 基于Hebb的最大特征滤波器
8.5 基于Hebb的主分量分析
8.6 计算机实验: 图像编码
8.7 使用侧向抑制的自适应主分量分析
8.8 两类PCA算法
8.9 计算的集中式方法和自适应方法
8.10 核主分量分析
8.11 小结和讨论
注释和参考文献
习题
第9章 自组织映射
9.1 简介
9.2 两个基本的特征映射模型
9.3 自组织映射
9.4 SOM算法小结
9.5 特征映射的性质
9.6 计算机仿真
9.7 学习向量量化
9.8 计算机实验: 自适应模式分类
9.9 分层向量量化
9.10 上下文映射
9.11 小结和讨论
注释和参考文献
习题
第10章 信息论模型
10.1 简介
10.2 熵
10.3 最大熵原则
10.4 互信息
10.5 Kullback-Leibler散度
10.6 互信息作为最优化的目标函数
10.7 最大互信息原则
10.8 最大互信息和冗余减少
10.9 空间相干特征
10.10 空间非相干特征
10.11 独立分量分析
10.12 计算机实验
10.13 最大似然估计
10.14 最大熵方法
10.15 小结和讨论
注释和参考文献
习题
第11章 植根于统计力学的随机机器和它们的逼近
11.1 简介
11.2 统计力学
11.3 Markov链
11.4 Metropolis算法
11.5 模拟退火
11.6 Gibbs抽样
11.7 Boltzmann机
11.8 sigmoid信度网络
11.9 Helmholtz机
11.10 平均场理论
11.11 确定性的Boltzmann机
11.12 确定性的sigmoid信度网络
11.13 确定性退火
11.14 小结和讨论
注释和参考文献
习题
第12章 神经动态规划
12.1 简介
12.2 Markov决策过程
12.3 Bellman最优准则
12.4 策略迭代
12.5 值迭代
12.6 神经动态规划
12.7 逼近策略迭代
12.8 Q-学习
12.9 计算机实验
12.10 小结和讨论
注释和参考文献
习题
第13章 使用前馈网络的时序处理
13.1 简介
13.2 短期记忆结构
13.3 用于时序处理的网络体系结构
13.4 集中式时滞前馈网络
13.5 计算机实验
13.6 通用短视映射定理
13.7 神经元的时空模型
13.8 分布式时滞前馈网络
13.9 时序反向传播算法
13.10 小结和讨论
注释和参考文献
习题
第14章 神经动力学
14.1 简介
14.2 动态系统
14.3 平衡状态的稳定性
14.4 吸引子
14.5 神经动态模型
14.6 作为递归网络范例的吸引子操作
14.7 Hopfield模型
14.8 计算机实验I
14.9 Cohen-Grossberg定理
14.10 盒中脑状态模型
14.11 计算机实验II
14.12 奇异吸引子和混沌
14.13 动态重构
14.14 计算机实验III
14.15 小结和讨论
注释和参考文献
习题
第15章 动态驱动的递归网络
15.1 简介
15.2 递归网络体系结构
15.3 状态空间模型
15.4 有外部输入的非线性自回归模型
15.5 递归网络的计算能力
15.6 学习算法
15.7 通过时间的反向传播
15.8 实时递归学习
15.9 Kalman滤波器
15.10 解藕扩展的Kalman滤波器
15.11 计算机实验
15.12 递归网络的消失梯度
15.13 系统辨识
15.14 模型参考自适应控制
15.15 小结和讨论
注释和参考文献
习题
后记
参考文献
索引