神经网络系统理论

　　神经网络系统理论是近年来得到迅速发展的一个国际前沿研究领域，它的发展对计算机科学、人工智能、认知科学、脑神经科学、数理科学、信息科学、微电子学、自动控制与机器人、系统工程等领域都有重要影响。本书系统地论述了神经网络系统的基本理论、方法，系统的综合与应用及有关最新研究成果，主要内容有：神经元的MP模型及Hebb学习规则、动力系统的稳定性及其判别方法;前向网络、反向网络、自组织网络及随机网络四个范式;神经网络的通有迭代模型、性质及其Systolic实现方法;新的神经网络模型及其时空结构功能及有关性能;神经网络的设计与综合;神经网络理论的应用;神经网络计算机的基本结构与实现方法。本书可作为理工科大学计算机、自动控制、信号与信息处理、电路与系统、系统工程等专业博士生、硕士生及高年级大学生的教材，同时对有关领域的研究人员和工程技术人员有重要参考价值。

　　焦李成，1959年10月出生于陕西省白水县。1982年1月毕业于上海交通大学，获学士学位；1984年7月和1990年4月在西安交通大学研究生院分别获硕士和博士学位，现为西安电子科技大学博士后。现任IEEE高级会员，中国神经网络委员会委员，中国电子学会泞订委员会委员，国爱“863”专家评审组成员，陕西小电子学会学术委员会副主任，西安电子科技大学神经网络研究中心主任。出版著作有《神经网络系统理论》、《非线性传递函数理论与应用》、《神经网络的应用与实现》等。作为第一作者已发表有关学术论文80余篇。主要研究领域包括：非线性科学、智能信息处理、非线性电路与系统、神经网络与大规模并行处理等。

序言
前言
第一章绪论
1.1神经网络的研究历史(1)
1.2生物神经元模型(4)
1.2.1神经元的结构(5)
1.2.2神经元的功能(5)
1.3神经网络的基本特征和通有性质(6)
1.3.1神经网络的形式化描述(6)
1.3.2神经网络模型(7)
1.3.3神经网络的信息处理能力(8)
1.3.4神经网络的互连结构形态(10)
1.3.5神经网络的分类与工作方式(10)
1.3.6神经网络的学习规则与分类(13)
1.4神经网络的研究方法与主要内容(14)
1.4.1神经网络的宏观研究方法(14)
1.4.2神经网络未来发展方向与研究课题(15)
第二章神经网络理论与基础
2.1MP模型和Hebb学习规则17)
2.1.1MP模型(17)
2.1.2Hebb学习规则(17)
2.1.3延时MP模型(18)
2.1.4改进的MP模型(18)
2.2动力系统的稳定性(19)
2.2.1稳定性分析的数学基础(19)
2.2.2V函数的性质的判别(20)
2.2.3定号函数的几何解释(20)
2.2.4稳定性的基本定义(20)
2.3稳定性的Lyapunov第二方法(22)
第三章神经网络模型Ⅰ:前向网络
3.1线性阈值单元(26)
3.1.1基本性质(26)
3.1.2用线性阈值单元实现布尔函数(26)
3.1.3线性可分性与学习(26)
3.2感知器(27)
3.2.1感知器学习算法(28)
3.2.2多层感知器(29)
3.2.3梯度算法(30)
3.2.4多层感知器学习的定量分析(32)
3.3BP算法(反向传播算法)(34)
3.4前向网络的映射作用与容量分析(36)
3.4.1映射作用(36)
3.4.2前向网络的容量分析(39)
3.5自适应线性元件(Adaline)(41)
3.5.1线性可分性(42)
3.5.2非线性可分性——非线性输入函数(42)
3.5.3MADALINES网络(43)
3.5.4Widrow-Hoffδ规则(44)
3.6交替投影神经网络(APNN)(45)
3.6.1凸集投影理论(46)
3.6.2交替投影神经网络(46)
3.6.3稳态收敛性(49)
3.6.4学习和训练(50)
3.6.5多层APNN(50)
第四章神经网络模型Ⅱ:反馈网络
4.1离散的Hopfield神经网络(52)
4.2联想记忆与神经计算(57)
4.2.1联想记忆(AssociativeMemory)(57)
4.2.2神经计算(58)
4.3连续时间Hopfield神经网络模型(59)
4.3.1非线性连续时间Hopfield神经网络(59)
4.3.2Hopfield神经网络的设计与稳定性(64)
4.4高阶关联神经网络模型(67)
4.5联想存贮器分析(70)
4.6双向联想记忆(BAM)(73)
4.6.1离散BAM(BidrectionAssociativeMemory)(73)
4.6.2连续和自适应BAM网络(76)
4.6.3高阶自适应BAM网络(77)
4.6.4四种无导师联想学习规则(78)
4.6.5竟争自适应BAM网络(78)
4.6.6随机自适应BAM网络(79)
4.7高阶自相关器和异相关器(79)
4.7.1一阶自相关器(79)
4.7.2高阶自相关器(81)
4.7.3一阶异相关器(81)
4.7.4高阶异相关器(82)
4.7.5一阶IBAM(85)
4.7.6高阶IBAM(88)
第五章自组织神经网络
5.1自适应共振理论(ART)(89)
5.1.1ART的基本原理(89)
5.1.2ART学习算法(90)
5.2自组织特征映射(92)
5.3CPN模型(94)
5.3.1CPN的训练(97)
5.3.2CPN的计算(97)
5.4神经认知机(98)
第六章随机神经网络
6.1模拟退火算法(101)
6.1.1模拟退火算法(101)
6.1.2改进的模拟退火法(103)
6.1.3SA算法的收敛性(105)
6.2Boltzmann机(106)
6.2.1Boltzmann机模型(106)
6.2.2能量函数(106)
6.2.3学习算法(108)
6.2.4Boltzmann机学习算法推导(110)
6.3NN的概率统计法(111)
6.4并行分布Cauchy机(114)
6.5神经网络的熵理论(116)
6.５.１NN计算能量与熵(116)
6.５.２同步并行计算(117)
6.５.３异步串行计算(118)
6.6动力系统的分维学(121)
6.６.１Hausdorff维数(121)
6.６.２分维的量度(122)
6.7分维神经网络(124)
6.７.１分维NN结构(124)
6.７.２信息的存贮(124)
第七章神经网络的统一描述与Systolic阵列实现
7.1Systolic阵列(127)
7.1.1Systolic阵列基本概念(127)
7.1.2Systolic阵列结构(128)
7.1.3Systolic实用算法(131)
7.1.4Systolic阵列的应用(132)
7.2波前阵列处理器(134)
7.3神经网络的通有迭代模型(135)
7.3.1回忆阶段的通有公式(135)
7.3.2学习阶段的通有公式(137)
7.4回归BP和HMM的统一描述(142)
7.4.1回归BP神经网络(142)
7.4.2隐元Markov模型(HMM)(144)
7.5算法到Systolic阵列/波前阵列结构的映射(145)
7.6通有迭代ANN模型的Systolic设计(148)
7.6.１回忆阶段系统的环形Systolic设计(148)
7.6.2学习阶段的环形Systolic设计(151)
第八章连续时间非线性神经网络模型及其时空特征
8.1通有连续时间神经网络模型(159)
8.1.1通有ＮＮ模型(160)
8.1.2通有NN的稳定性(160)
8.1.3通有NN的计算能量函数(163)
8.1.4包含有不稳定子系统的大规模神经网络稳定性分析(164)
8.2通有神经网络模型的关联稳定性(167)
8.2.1有向图(167)
8.2.2大规模动力系统的结构与结构扰动(168)
8.2.3神经网络的关联稳定性(170)
8.3通有神经网络的时空结构与延时动力学(182)
8.3.1通有神经网络模型的渐近行为和延时稳定性(182)
8.3.2通有神经网络模型的延时关联稳定性(188)
第九章神经网络的设计与综合
9.1联想记忆设计要求(192)
9.2神经网络综合的基本方法(193)
9.2.1外积法(OuterProductMethod-OPM)(193)
9.2.2投影学习规则(194)
9.2.3特征结构法(EigenstructureMethod)(196)
9.2.4非对称连接矩阵网络综合(198)
9.2.5小结(199)
9.3Hopfield型同步离散神经网络用于AM的综合(200)
9.3.1神经网络模型(200)
9.3.2离散Hopfield型神经网络的稳定性分析(201)
9.3.3神经网络综合(205)
9.4Hopfield连续时间联想记忆的综合(208)
9.4.1Hopfield模型(208)
9.4.2AM设计(208)
9.4.3渐近稳定性(209)
9.4.4设计约束(210)
9.4.5综合程序(211)
9.5超闭正立体上线性神经网络的综合(212)
9.5.1综合问题(212)
9.5.2综合策略(213)
9.5.3综合过程(213)
9.6不连续神经网络系统的综合(216)
9.6.1基本综合问题(217)
9.6.2综合策略(217)
9.6.3综合过程(218)
9.6.4举例(222)
第十章神经优化计算〖ＪY〗
10.1Hopfield模型理论分析(227)
10.1.1Hopfield模型的特征向量表示(227)
10.1.2CAM性质(228)
10.2TSP问题(230)
10.2.1TSP问题描述(230)
10.2.2连接矩阵特征值与网络的动力学分析(231)
10.3神经优化计算的一种新方法(237)
10.3.1神经网络广义收敛定理(237)
10.3.2神经优化计算的新算法(240)
第十一章神经网络专家系统
11.1专家系统的发展与现状(242)
11.2神经网络专家系统基本原理与结构(243)
11.2.1神经网络专家系统的基本原理(243)
11.2.2神经网络专家系统的基本结构(244)
11.3基于神经网络系统的知识表示.获取与推理(245)
11.3.1神经网络及其矩阵表示(245)
11.3.2知识表示的神经网络方法(245)
11.3.3基于神经网络系统的知识获取(246)
11.3.4基于神经网络系统的并行推理(248)
11.4组合神经网络专家系统的实现(249)
11.5小结(251)
第十二章神经网络计算机及其VLSI实现
12.1神经网络计算机(252)
12.1.1神经网络计算机的分类(252)
12.1.2直接基于硬件的神经网络计算机实现(253)
12.1.3基于现代数字计算机的神经网络计算机实现(254)
12.2神经网络的数字VLSI实现(256)
12.3神经网络的电压模式模拟VLSI实现(259)
12.3.1模拟神经网络电路基本原理(259)
12.3.2MOSFET-C神经网络(260)
12.3.3开关电容神经网络(261)
12.4神经网络的电流模式模拟VLSI设计与实现(263)
12.4.1电流模式VSLI设计(263)
12.4.2电流模式VLSI神经网络设计(264)
12.4.3高阶OTA-C神经元模型(265)
12.4.4电流模式VLSI神经网络的自动调谐(267)
12.5全集成模拟神经网络优化处理器(267)
12.5.1全集成优化处理器的提出(267)
12.5.2非线性规划神经网络计算机(268)
12.5.3全集成线性规划神经网络计算机(269)
12.5.4二次规划神经网络模拟电路(269)
12.5.5大规模非线性规划的全集成神经网络模拟(270)
展望
参考文献