大规模人工神经网络理论基础

　　本书从构造大规模人工神经网络系统的角度讨论了有关的系统理论和方法，主要内容包括人工神经网络的分布系统论（热力学方法）、信息论方法、基于信息几何的神经场方法。这些内容对于进一步构造实用的大规模人工神经网络，以及深入研究人工神经网络和大规模分布系统都是重要的理论基础。本书的编写内容包含了作者及其所指导博士生的研究成果，同时也结合了作者多年给研究生讲授该研究领域课程的最新内容。本书叙述深入浅出、条理分明，突出全书连贯性，便于读者理解与掌握。本书适合作为计算机或信号处理专业的研究生课程教材，或作为从事该领域研究的科学技术人员的参考书。

　　罗四维，1967年毕业于中国科学技术大学，获博士学位。现任北方交通大学计算机科学技术系系主任、教授、博士生导师。中国软件行业协会理事、中国计算机学会计算机系统结构专业委员会副主任、北京铁道学会计算机应用专业委员会副主任。自1987年以来一直从事人工神经网络方面的教学和科学研究工作，在人工神经网络科研方面得到国家自然基金委的三次资助，主要著作有《人工神经网络建造》。

第1章 绪论
1. 1 人工神经网络介绍
1. 1. 1 人工神经网络的概述和发展史
1. 1. 2 神经元的形式化描述和人工神经网络模型
1. 2 人工神经网络的发展趋势
1. 2. 1 生物智能的启发
1. 2. 2 泛化能力
1. 2. 3 人工神经网络的发展趋势
1. 3 神经场学习理论
1. 3. 1 神经场理论的目的和意义
1. 3. 2 神经场理论的研究现状
1. 4 知识可增殖人工神经网络
参考文献
第2章 系统熵
2. 1 信息论的原理
2. 1. 1 熵
2. 1. 2 联合熵与条件熵
2. 1. 3 相对熵
2. 1. 4 互信息
2. 1. 5 微分熵
2. 1. 6 随机变量序列下的链式规则
2. 1. 7 信息论中的一些基本不等式
2. 2 系统熵
2. 2. 1 最大熵原理
2. 2. 2 最小相对信息原理
2. 2. 3 最小平均能量原理
2. 2. 4 有序和无序平衡原理
2. 2. 5 系统平衡态的熵
2. 2. 6 平衡状态的平均能量
2. 2. 7 最大熵分布
参考文献
第3章 神经场研究的数学基础
3. 1 微分流形的基本概念
3. 1. 1 微分流形
3. 1. 2 切向量和切向量空间
3. 1. 3 Riemannian流形与仿射联络
3. 1. 4 子流形
3. 2 信息几何理论
3. 2. 1 对偶平坦流形
3. 2. 2 统计模型流形的几何结构
3. 2. 3 指数流形上的几何
3. 3 流形上的拓扑结构分析理论
参考文献
第4章 传统学习算法
4. 1 感知器算法
4. 1. 1 感知器基本性质
4. 1. 2 感知器梯度算法
4. 1. 3 感知器算法的收敛性
4. 1. 4 线性阈值部件感知器
4. 2 误差反传递算法
4. 2. 1 两层网的缺点
4. 2. 2 扩展误差 △ 规则
4. 2. 3 模拟结果
4. 3 竞争学习算法
4. 3. 1 竞争学习
4. 3. 2 形式分析
4. 3. 3 实验结果
4. 4 Hopfield模型
4. 4. 1 Ising模型
4. 4. 2 平均场近似模型
4. 4. 3 Hopfield模型
4. 4. 4 Hopfidd权值公式证明
4. 4. 5 连续Hopfield网络模型
4. 4. 6 Hopfidd网络的应用
4. 5 径向基神经网络算法
4. 5. 1 RBF的介绍
4. 5. 2 径向基函数网络介绍
4. 5. 3 RBF网络训练的准则和常用算法
4. 5. 4 RBF网络的交替梯度算法
4. 5. 5 一维梯度算法
4. 5. 6 在线自然交替梯度算法
4. 5. 7 共轭梯度算法
4. 6 本章相关知识
参考文献
第5章 概率网络模型
5. 1 网络
5. 2 玻耳兹曼机器
5. 2. 1 玻耳兹曼机器的相关理论
5. 2. 2 玻耳兹曼机器
5. 3 玻耳兹曼机器的互信息最大化原则
5. 4 玻耳兹曼机器的冗余度最小化和信息最大化
5. 5 EM算法
5. 5. 1 分层前馈网络的概率模型
5. 5. 2 EM算法的基本思想
5. 5. 3 EM算法的具体步骤
5. 5. 4 编程公式推导
5. 6 本章相关知识
参考文献
第6章 神经网络的指数簇表示
6. 1 神经网络的表示与学习
6. 1. 1 前馈网络的变换机理
6. 1. 2 反馈网络模型动力学系统模型
6. 1. 3 自组织神经网络结构的竞争特性和机理
6. 1. 4 神经网络的统计模型表示
6. 2 人工神经网络系统的流形表示
6. 2. 1 指数簇流形与人工神经网络
6. 2. 2 弯曲指数簇流形与人工神经网络
6. 3 神经场学习理论
6. 3. 1 神经场表示
6. 3. 2 神经场学习模型的形式化表示
6. 3. 3 神经场学习理论的几何观点
6. 3. 4 神经场学习算法
参考文献
第7章 增殖神经网络
7. 1 增殖性问题
7. 1. 1 增殖性研究
7. 1. 2 神经网络集成
7. 1. 3 增量学习
7. 2 神经场增殖性研究的可行性理论分析
7. 2. 1 神经场结构描述空间
7. 2. 2 神经场复杂结构可分解机理
7. 3 基于结构的神经场学习逼近理论
7. 3. 1 功能模块化的结构表示机理
7. 3. 2 知识增殖学习的结构表示机理
7. 4 复形
参考文献
第8章 层次化混合模型的知识增殖性
8. 1 混合专家模型
8. 1. 1 混合专家模型的结构
8. 1. 2 混合模型结构的流形编码表示
8. 2 分层混合神经网络 HME 模型
8. 2. 1 工作原理
8. 2. 2 HME模型的EM学习算法
8. 2. 3 改进的EM学习算法
8. 3 HME模型增殖性分析
8. 4 动态多叉树算法
8. 4. 1 算法原理
8. 4. 2 算法实现
8. 4. 3 系统扩展实现
8. 4. 4 算法分析与比较
参考文献