神经网络学习方法篇1

[摘要]该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。

[关键词]遗传算法灰色系统专家系统模糊控制小波分析

一、前言

神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点：

(1)具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。

(2)并行处理方法，使得计算快速。

(3)自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。

(4)可以充分逼近任意复杂的非线性关系。

(5)具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。

二、神经网络应用现状

神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下：

(1)图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。

(2)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。

(3)模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。

(4)机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。

(5)卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。

(6)焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。

(7)经济。能对商品价格、股票价格和企业的可信度等进行短期预测。

(8)另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。

三、神经网络发展趋势及研究热点

1.神经网络研究动向

神经网络虽已在许多领域应用中取得了广泛的成功，但其发展还不十分成熟，还有一些问题需进一步研究。

(1)神经计算的基础理论框架以及生理层面的研究仍需深入。这方面的工作虽然很困难，但为了神经计算的进一步发展却是非做不可的。

(2)除了传统的多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振理论网络、模糊神经网络、循环神经网络之外，一些新的模型和结构很值得关注，例如最近兴起的脉冲神经网络(spikingneuralnetwork)和支持向量机(supportvectormachine)。

(3)神经计算技术与其他技术尤其是进化计算技术的结合以及由此而来的混合方法和混合系统，正成为一大研究热点。

(4)增强神经网络的可理解性是神经网络界需要解决的一个重要问题。这方面的工作在今后若干年中仍然会是神经计算和机器学习界的一个研究热点。

(5)神经网络的应用领域将不断扩大，在未来的几年中有望在一些领域取得更大的成功，特别是多媒体技术、医疗、金融、电力系统等领域。

2.研究热点

(1)神经网络与遗传算法的结合。遗传算法与神经网络的结合主要体现在以下几个方面：网络连接权重的进化训练；网络结构的进化计算；网络结构和连接权重的同时进化；训练算法的进化设计。基于进化计算的神经网络设计和实现已在众多领域得到应用，如模式识别、机器人控制、财政等，并取得了较传统神经网络更好的性能和结果。但从总体上看，这方面研究还处于初期阶段，理论方法有待于完善规范，应用研究有待于加强提高。神经网络与进化算法相结合的其他方式也有待于进一步研究和挖掘。

(2)神经网络与灰色系统的结合。灰色系统理论是一门极有生命力的系统科学理论，自1982年华中理工大学的邓聚龙教授提出灰色系统后迅速发展，以初步形成以灰色关联空间为基础的分析体系，以灰色模型为主体的模型体系，以灰色过程及其生存空间为基础与内的方法体系，以系统分析、建模、预测、决策、控制、评估为纲的技术体系。目前，国内外对灰色系统的理论和应用研究已经广泛开展，受到学者的普遍关注。灰色系统理论在在处理不确定性问题上有其独到之处，并能以系统的离散时序建立连续的时间模型，适合于解决无法用传统数字精确描述的复杂系统问题。

神经网络与灰色系统的结合方式有：(1)神经网络与灰色系统简单结合；(2)串联型结合；(3)用神经网络增强灰色系统；(4)用灰色网络辅助构造神经网络；(5)神经网络与灰色系统的完全融合。

(3)神经网络与专家系统的结合。基于神经网络与专家系统的混合系统的基本出发点立足于将复杂系统分解成各种功能子系统模块，各功能子系统模块分别由神经网络或专家系统实现。其研究的主要问题包括：混合专家系统的结构框架和选择实现功能子系统方式的准则两方面。由于该混合系统从根本上抛开了神经网络和专家系统的技术限制，是当前研究的热点。把粗集神经网络专家系统用于医学诊断，表明其相对于传统方法的优越性。

(4)神经网络与模糊逻辑的结合

模糊逻辑是一种处理不确定性、非线性问题的有力工具。它比较适合于表达那些模糊或定性的知识，其推理方式比较类似于人的思维方式，这都是模糊逻辑的优点。但它缺乏有效的自学习和自适应能力。

而将模糊逻辑与神经网络结合，则网络中的各个结点及所有参数均有明显的物理意义，因此这些参数的初值可以根据系统的模糊或定性的知识来加以确定，然后利用学习算法可以很快收敛到要求的输入输出关系，这是模糊神经网络比单纯的神经网络的优点所在。同时，由于它具有神经网络的结构，因而参数的学习和调整比较容易，这是它比单纯的模糊逻辑系统的优点所在。模糊神经网络控制已成为一种趋势，它能够提供更加有效的智能行为、学习能力、自适应特点、并行机制和高度灵活性，使其能够更成功地处理各种不确定的、复杂的、不精确的和近似的控制问题。

模糊神经控制的未来研究应集中于以下几个方面：

(1)研究模糊逻辑与神经网络的对应关系，将对模糊

控制器的调整转化为等价的神经网络的学习过程，用等价的模糊逻辑来初始化神经网络；

(2)完善模糊神经控制的学习算法，以提高控制算法的速度与性能，可引入遗传算法、BC算法中的模拟退火算法等，以提高控制性能；

(3)模糊控制规则的在线优化，可提高控制器的实时性与动态性能；(4)需深入研究系统的稳定性、能控性、能观性以及平衡吸引子、混沌现象等非线性动力学特性。

关于神经网络与模糊逻辑相结合的研究已有很多，比如，用于氩弧焊、机器人控制等。

(5)神经网络与小波分析的结合

小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。

利用小波变换的思想初始化小波网络，并对学习参数加以有效约束，采用通常的随机梯度法分别对一维分段函数、二维分段函数和实际系统中汽轮机压缩机的数据做了仿真试验，并与神经网络、小波分解的建模做了比较，说明了小波网络在非线性系统黑箱建模中的优越性。小波神经网络用于机器人的控制，表明其具有更快的收敛速度和更好的非线性逼近能力。

四、结论

经过半个多世纪的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功，但其理论分析方法和设计方法还有待于进一步发展。相信随着神经网络的进一步发展，其将在工程应用中发挥越来越大的作用。

参考文献：

[1]张曾科.模糊数学在自动化技术中的应用[M].清华大学出版社，1997.

[2]李士勇.模糊控制·神经控制和智能控制论[M].哈尔滨工业大学出版，1996.250-387.

[3]谢联峻.模糊控制在列车自动驾驶中的应用[J].自动化与仪器仪表，1999，(4).

[4]CollierWC，Weiland，RJSmartCarts，SmartHighways[J].IEEESpec-trum，1994，31(4)：27-33.

[5]HatwalH，MikulcikEC.someInverseSolutionstoanAutomobilePathTrackingProblemwithInputControlofSteeringandBreaks，Ve-hiclesystemDynamics，1986，(15)：61-71.

[6]KosugeK，FukudaT，AsadaH.AcquisitionifHumanSkillsforRoboticSystem[C].In：ProcIEEEIntSympOnIntelligenControl，1991.469-489.

[7]王小平，曹立明.遗传算法—理论、应用与软件实现.西安交通大学出版社，2002.

[8]ManiezzoV.Geneticevolutionofthetopologhandweightdistribution

ofneuralnetwork[J].IEEETransonNeuralNetwork，1994，5(1)35-67.

[9]HarraldPG，KamstraM.Evolvingartificialneuralnetworkstocombinefinancialforecase[J].IEEETransonEvolComputer，1997，1(1)：39-54.

[10]邓聚龙.灰色系统理论教程.华中理工大学出版社，1990.

[11]吕宏辉，钟珞，夏红霞.灰色系统与神经网络融合技术探索.微机发展，2000，23(4)：67-109.

神经网络学习方法篇2

【关键词】GPS；高程异常；BP神经网络；拟合模型

ResearchontheModelsofGPSHeightFittingBasedonBPNeuralNetwork

LiYongquan

【Abstract】InternationalanddomesticmultifariouscontrolnetsinuseofGPS’spositioningtechniquesareonlytosolvethehorizontalcoordinates,buttheheightstillfollowtousethegeometricleveling.Therefore,ThebasictheoryofneuralnetworkandalgorithmofBParedescribed,DiscusstheproblemofGPSheightfittingbasedonBPneuralnetworkbytrials.BPneuralnetworkisakindofnonlinearmappingforitsinputsandoutputs，BPneuralnetworkisahighprecisemethodfortranslatingheight.

【Keywords】GPS；heightanomaly；backpropagationneuralnetworks；fittingmodels

1.引言

GPS平面定位的精度目前已经可以达到毫米级，但相对于平面定位精度，GPS在高程方面的定位精度较低。神经网络是一种高度自适应的非线性动力系统，神经网络的数学理论本质上是非线性数学理论，通过BP神经网络学习可以得到输入和输出之间的高度非线性映射，因此，使用神经网络可以建立起输入和输出之间的非线性关系。BP神经网络本身也是一种高精度的高程转换方法。

2.神经网络的模型及BP算法

2.1神经网络的模型

（1）生物神经元模型。神经元模型是基于生物神经元的特点提出的，人脑由大量的生物神经元组成，神经元之间互相有连接，从而构成一个庞大而复杂的神经元网络。神经元是大脑处理信息的基本单元，结构如图1。神经元由细胞体、树突和轴突三部分组成，其中突触是神经元之间的连接。细胞体是由很多分子形成的综合体，内部含有细胞核、细胞质和细胞膜。细胞体的作用是接受和处理信息。树突是细胞体向外延伸的纤维体，是接受从其他神经元传入信息的入口。轴突是神经元的信息通道，是细胞体向外延伸最长、最粗的树枝纤维体，也叫神经纤维。（2）神经元模型。神经元一般表现为一个多输入（多个树突和细胞体与其他多个神经元轴突末梢突触连接）、单输出（每个神经元只有一个轴突作为输出通道）的非线性器件，整理的结构模型如图2所示。

(3）神经网络模型。神经网络的神经元之间的互连模式有前向网络、有反馈的前向网络、层内有相互结合的前向网络和相互结合型网络四种。

前向网络神经元分层排列，组成输入层、中间层（隐含层）和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。输入模式经过各层次的顺序传播，最后在输出层上得到输出。目前对前向网络得出的一致的结论是：甚至是单中间层网络，只要隐节点数目足够多，前向网络就可以通过训练学习样本，以任意精度逼近(或表达)期望目标。

2.2神经网络BP算法

(1）BP（BackPropagation）网络模型结构。BP网络的结构如图4所示，BP网络具有三层或三层以上神经元的神经网络，包括输入层、中间层（隐层）和输出层。上下层之间实现全连接，而每层神经元之间没有连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出和实际输出之间的方向，从输出层反向经过各中间层回到输入层，从而逐层修正各连接权值，这种算法称为“误差反向传播算法”，即BP算法。

（2）BP算法的数学描述。BP算法基本原理是利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。

BP网络学习规则的指导思想是：对网络权值和阈值的修正要沿着表现函数下降最快的方向――负梯度方向。

xk+1=xk-akgk(1)

其中xk是当前的权值和阈值矩阵，gk是当前表现函数的梯度，ak是学习速率。

三层BP网络，输入节点xi，中间层节点yi，输出节点zl。输入节点与中间层节点间的网络权值为wji，中间层节点与输出节点间的网络权值为vlj。当输出节点的期望值为tl时，模型计算公式如下。

中间层节点的输出：

yi=f(∑iwjixi-θj)=f(netj)(2)

输出节点的计算输出：

zl=f(∑jvljyj-θl)=f(netl)(3)

3.BP神经网络用于GPS高程拟合

3.1山区高程异常拟合实例:以本溪GPS和水准资料作为样本来源，进行BP高程异常拟合。

通过山区高程异常拟合实例，对数据分析可以得到如下结论，学习样本数与测试样本数之比在1/4之间时网络稳定性较好。高程拟合的精度与学习样本数量有关，学习样本数越多，拟合精度就越高。

3.2平原地区高程异常拟合实例:以某市D级GPS部分数据进行实验研究

通过平原地区高程异常拟合实例，对数据分析可以得到如下结论，学习样本数与测试样本数之比在1/3之间时网络稳定性较好。学习样本数对测试对象的精度也有着重要的影响，一般随着学习样本数的增多，中误差会有所改善。这主要是更多的学习样本就更能表述出所研究问题的一些基本特征，进而仿真的效果就能更好。

4.结束语

重点研究基于BP神经网络的GPS高程异常拟合算法，详细介绍了人工神经网络基本理论，重点讨论了基于BP神经网络的GPS高程拟合，包括BP神经网络的基本原理、主要特点。分析了神经网络的BP算法，包括其数学模型、网络结构。构造了基于BP神经网络的GPS高程拟合模型，结合具体工程数据进行了神经网络性能分析。

参考文献

[1]国家测绘局测绘发展研究中心.测绘发展研究动态[R].北京：国家测绘局，2008，8：1-7

[2]李征航、黄劲松.GPS测量与数据处理[M].武汉：武汉大学出版社，2005，277-278

[3]曹先革.基于人工神经网络的GPS高程异常拟合方法研究[D]，北京：中国地质大学，2008

[4]徐绍铨．GPS高程拟合系统的研究[J]，武汉：武汉测绘科技大学学报，1999，24(4),11-15

[5]阎平凡.人工神经网络与模拟进化计算[M]，北京:清华大学出版社，2000，5-6

[6]徐丽娜.神经网络控制[M].哈尔滨：哈尔滨工业大学出版社，1999，1-40

神经网络学习方法篇3

关键词：多方神经网络学习规则神经网络模型

中图分类号：TP309.7文献标识码：A文章编号：1007-9416（2013）11-0017-01

在密码学中，密钥交换一直是学者们研究的热点。2000年，有学者发现两个神经网络之间的相互学习可以用于密钥交换[1]。此后，这种神经密码被广泛研究。2002年，有学者提出了树形奇偶机模型[2]。此后证明，该模型对神经密码学的发展极为重要。许多专家学者在研究神经密码动态过程中做出了贡献，文献[3]深入研究了神经密码的动态同步过程。2009年，有学者提出了PPM模型[4]。可是，我们仍然有必要去扩展神经密码学的同步对象，使得一组对象都可以共享相同的密钥。文献[5]提出了两种基于神经密码的组密钥协商协议。并且由于神经密码计算复杂度低的特点，很适合应用到无线网络领域。文献[6]提出了一种轻量级的无线传感器网络的密钥建立协议。

1树形奇偶机模型

1.1树形奇偶机的学习规则

树形奇偶机（TPM）是由K个隐藏单元组成。每一个隐藏单元的输出，是由输入向量和权值向量的积的符号来表示的。传统的树形奇偶机之间的学习是通过Hebbian学习规则、Anti-Hebbian学习规则和Random-walk学习规则来完成的。

2使用树形奇偶机相互学习进行多神经网络同步

多神经网络同步方法来自于一种经典的数据结构完全二叉树。完全二叉树是指在第i+1层有个节点的二叉树。在这种神经组密钥交换算法中，N个TPMs需要一起完成同步并且这N个TPMs都作为一个完全二叉树的叶子节点。这种完全二叉树型的神经组密钥交换协议的代表是选举二叉树算法（BTWE）。改进这种BTWE算法，使TPMs进行权值更新时，使用公式（1）所表示的基于队列的学习规则，我们称这种算法为NLBTWS。

2.1使用BTWE进行多神经网络同步

在这种BTWE方法中，N个TPMs是由完全二叉树中的N个叶子节点表示。在该算法的第j步（从j=1开始）中，这个完全二叉树都可以分解成个子树，每一个子树有个叶子节点。具有相同双亲的叶子节点之间进行相互学习。然后，j自增1，并且在每个子树中，其中的一个节点被选出作为代表，用来继续进行互相学习，其他的点则跟随被选出来的代表点进行学习。如果算法进行到根节点，那么算法结束。此时，所有的TPMs都已经完成了同步，并且都具有了相同的权值向量。

2.2使用NLBTWS进行多神经网络同步

NLBTWS进行同步的不同之处在于改变了节点之间相互学习时的学习规则，使具有想吐双亲的叶子节点之间使用公式（1）表示的学习规则来进行学习。仿真实验说明了，使用该学习规则之后的NLBTWS算法比原来的BTWS算法在同步效率上有明显提高，并且能够根据无线网络环境的不同，通过调节学习规则中的参数m能容易的改变通信次数和安全度，可以充分适应无线网络复杂的通信环境和各种级别的安全需求。

3结语

两方神经网络同步过程已经得到了充分的研究，但多神经网络同步的研究和无线网络神经密钥交换协议的研究还需要更多的研究，才能使神经密码用于我们的生产生活中。随着现实生活中对无线网络安全重视程度的提高，神经密码学具有广阔的市场前景。

参考文献

[1]KinzelW，KanterI.Interactingneuralnetworksandcryptography[M].AdvancesinSolidStatePhysics.SpringerBerlinHeidelberg，2002：383-391.

[2]KanterI，KinzelW，KanterE.Secureexchangeofinformationbysynchronizationofneuralnetworks[J].EPL（EurophysicsLetters），2002，57（1）：141.

[3]Rosen-ZviM，KanterI，KinzelW.Cryptographybasedonneuralnetworks—analyticalresults[J].JournalofPhysicsA：MathematicalandGeneral，2002，35（47）：L707.

[4]SeoaneLF，RuttorA.Successfulattackonpermutation-parity-machine-basedneuralcryptography[J].PhysicalReviewE，2012，85（2）：025101.

神经网络学习方法篇4

关键词神经网络控制系统控制科学模型机器人

中图分类号：TP183文献标识码：A

1神经网络控制的发展现状

神经网络控制是模仿人类感觉器官和脑细胞工作原理的控制方法，它是由一些简单的阈值逻辑单元根据平行结构的重量可调节的连接在一起，可以接受大量的信息，处理结果和并行输出信息。系统的硬件仿照神经细胞网络，而软件模拟神经细胞的工作，即每个神经元接收信号，根据相应的规律输出信号。它的优点是能快速处理复杂的控制任务。如图1所示是一种三层的神经网络模型

美国的科学家从大脑中的信息处理的角度来研究一些基本的生理特性方法，利用数学模型来研究大脑细胞的运动与结构和生物神经元，提出了第一个神经网络模型（MP模型），开辟了神经科学研究的时代。心理学家赫布通过大脑在学习后形成的条件反射来对神经细胞进行研究，提出了Hebb规则的神经元连接强度的变化规律。人工智能神经网络系统的研究是从第二十世纪50年代和60年代初开始进行的。计算机科学家提出了感知器模型，模拟动物和人类的认知能力和学习能力，提出了三层感知器隐藏层处理单元的新概念。科学家们还提出了自适应线性神经元模型，这是一个学习研究规律的有效方法。这些新的科研创举使神经网络从理论研究进入实施阶段，从而在人工神经网络的研究领域中引发了第一个高潮。

人工智能起初是一个基于感知器作为函数的数学研究学科，深入分析后开发出了具有局限性的简单网络系统，并有科学家指出：感知器只有单一的求解线性问题，解决简单的非线性问题，就必须采用多层神经网络的隐单元。在当时的条件下，用有效的学习算法来找到一个多层神经网络是非常困难的，从而使许多神经网络研究人员都失去了信心，使神经网络理论进入了停滞阶段。之后，科学家们提出了新的神经网络模型，神经网络的研究取得了突破性的进展。科学家们提出了能量函数的概念以及神经网络的稳定性判据。他们在非线性动力学的几种神经网络模型中的优化问题的解决方案是成功的，对神经网络理论的发展产生了深远的影响。这使得神经网络的研究的重新点燃了复兴之火。不久之后，就有其他科学家提出了用BP算法来代替多层前馈反向传播算法来训练神经网络，从实践上证明了神经网络具有很强的操作能力，其应用已经渗透到各个领域，并取得了令人鼓舞的进展，如在智能控制，模式识别，自适应滤波和信号处理，非线性优化，传感和机器人，生物医学工程等领域都取得了令人瞩目的伟大成就。这些成果深化了人们对神经网络的了解。

2神经网络控制的应用背景

具有自学习能力的人工神经网络非线性映射能力，联想记忆能力，并行信息处理能力和容错性能都很优异，在科学和技术领域都引起了广泛的关注。相比于复杂系统的控制模型，特别是在系统不确定性的情况下，神经网络控制体现出了无与伦比的优势。

上世纪60年代，科学家们首先正式介绍了神经网络控制系统。第二十世纪60年代初，在美国“阿波罗登月计划中，科学家们还提出了根据在脊椎动物神经系统的网状结构中研究出的一种渐进模型的工作原理，使月球车在复杂的环境中能够具备一定的自控能力。在美国空军技术研究领域，神经网络滤波已经得到了广泛的应用。概率神经网络也被成功地用于解决两个单独电子发射器的相关问题。对神经网络控制的研究主要集中在自适应控制与智能机器人，以及后来的专家系统和模糊神经系统，在这些学术领域中都取得了大量的成果。

神经网络处理非线性和不确定性系统有着巨大的发展空间。可以说，在各种实际问题中，凡是可以采用传统的控制理论来解决的问题，几乎都可以利用神经网络技术来解决问题，而传统的控制技术无法解决的也可以用神经网络来解决。神经网络控制的许多成功案例让人们看到了智能控制时代的到来。当然，由于目前的神经网络硬件的发展，神经网络控制的大规模应用时代尚未到来，具有简单功能的神经元芯片的成功研制却使人对其发展前景信心倍增。

参考文献

神经网络学习方法篇5

摘要目前，神经计算及其应用已经渗透到多个学科，并在信号处理、智能控制、模式识别、机器视觉、非线性优化、自动目标识别、知识处理、遥感技术等领域取得了丰硕的成果。神经计算不仅是科学家的兴趣所在，还受到了各国政府和军队等权力部门的密切关注，世界上许多国家和地区的政府及工业界都十分关注并积极投资神经计算技术的研究，其进展不仅将促进科学和技术的进步，还会对各国的国力产生一定的影响。

本文针对神经计算中亟需解决的5个问题进行了研究，包括加快神经网络的学习速度、增强神经网络的可理解性、设计出易于使用的工程化神经计算方法、更好地模拟生物神经系统以及将神经计算与传统人工智能技术相结合。本文的创造性研究成果主要有：

(1)提出了一个快速神经分类器FAC和一个快速神经回归估计器FANRE，实验结果表明，这两个算法学习速度快、归纳能力强，在性能上明显优于目前常用的一些神经网络分类学习算法和回归估计算法。在此基础上，成功地将FAC应用于石油勘探岩性识别领域。

(2)提出了一个神经网络规则抽取算法STARE，实验结果表明，STARE可以从训练好的神经网络中抽取出保真度高、精确、简洁的符号规则，从而较好地增强神经网络的可理解性。在此基础上，提出了一个基于神经计算的分类规则挖掘框架NEUCRUM，并成功地将其应用于台风预报领域。

(3)提出了一种基于遗传算法的选择性神经网络集成方法GASEN，实验结果表明，GASEN的性能优于目前常用的一些方法。设计了一种多视角神经网络集成方法VS，将神经网络集成应用于多视角人脸识别，不需进行偏转角度预估计就能取得很高的识别精度。设计了一种新型结论组合方法和一种二级集成结构，将神经网络集成应用于肺癌细胞识别，并嵌入到肺癌早期诊断系统LCDS中，大大降低了肺癌细胞的漏识率。

(4)针对前馈网络的单点断路故障，提出了一种基于遗传算法的进化容错神经网络方法EFANET，实验结果表明，该方法不仅可以进化出容错性好、泛化能力强的网络，还较好地保持了网络结构、训练算法与容错处理的独立性。针对前馈网络的多点断路故障，提出了一种三阶段方法T3，并将其应用于FAC网络，实验结果表明，T3方法可以较好地在网络容错能力与结构复杂度之间达成折衷。

(5)提出了一种结合决策树与前馈神经网络的混合决策树方法HDT，描述了树的生长算法和神经处理机制。对增量学习和构造性归纳进行了研究，界定了三种不同的增量学习问题的概念，并给出了HDT的增量学习和构造性归纳算法。实验结果表明，HDT及其增量学习、构造性归纳算法都具有很好的性能。此外，还成功地将HDT应用于情报软件故障诊断。

关键词：神经计算，神经网络，机器学习，快速学习，规则抽取，集成，容错神经网络，混合学习，增量学习，构造性归纳，决策树，知识获取，数据挖掘，遗传算法，进化计算，断路故障，人脸识别，计算机辅助医疗诊断，岩性识别，故障诊断

ContributiotoSeveralIuesofNeuralComputing

Neuralcomputinganditsalicatiohavealreadycomeintomanydisciplinesandachievedplentifulfruitsindiversifiedfields,includingsignalproceing,intelligentcontrolling,patternrecognition,machinevision,nonlinearoptimization,automatictargetidentification,knowledgeproceing,remoteseing,etc.Ithasbecomenotonlythetastesofscientistsbutalsotheinterestsofgovernmentsandforces.Thegovernmentsandindustrialcommunitiesofmanycountries/regioaresokeenonneuralcomputingtechniquesthattheyhaveinvestedalargeamountofmoneyoncorreondingresearch.Thereforetheprogreofneuralcomputingwillnotonlypromotethedevelopmentofscienceandtechnologybutalsoinfluencethenationalpowers.

Inthisdiertation,5problemsstandinginneedofsolutioareinvestigated,whichincludesexpeditingthelearningeedofneuralnetworks,improvingthecompreheibilityofneuralnetworks,designingengineeringneuralcomputingmethodsthatareeasytouse,simulatingbiologicalneuralsystemsmorebetterthanever,andcombiningneuralcomputingwithtraditionalartificialintelligencetechniques.Themaincontributioofthisdiertationaresummarizedasfollows:

Firstly,afastneuralclaifiernamedFACandafastneuralregreionestimatornamedFANREareproposed.Experimentalresultsshowthatthosetwoalgorithmsthathavefastlearningabilityandstronggeneralizationabilityreectivelyoutperformsomeprevailingneuralclaificationalgorithmsandneuralregreionestimationalgorithmsatpresent.Besides,FACissuccefullyaliedinlithologyidentificationofoilexploration.

Secondly,aneuralnetworkruleextractionalgorithmnamedSTAREisproposed.ExperimentalresultsshowthatSTAREcanextractaccurateandcompactsymbolicrulesthathavehighfidelity,sothatthecompreheibilityoftrainedneuralnetworksareimproved.Additionally,aneuralcomputingbasedclaificationruleminingframeworknamedNEUCRUMisproposedandsuccefullyaliedtotyphoonforecastingdomain.

Thirdly,ageneticalgorithmbasedselectiveneuralnetworkeemblearoachnamedGASENisproposed.ExperimentalresultsshowthatGASENoutperformspopulareemblearoachesatpresent.Then,aviewecificeemblearoachnamedVSisdevelopedtoalyneuralnetworkeembletoviewinvariantfacerecognition,whichhastheabilityofperforminghighqualityrecognitionwithoutviewpre-estimation.Moreover,bothanoveloutput-combiningmethodandauniquetwo-layer-eemblearchitecturearedesigned,sothatneuralnetworkeembleisembeddedinthelungcancerearlystagediagnosissystemLCDStoperformlungcancercellidentification,whichgreatlylowerstherateofmiedidentificationoflungcancercells.

Fourthly,ageneticalgorithmbasedaroachnamedEFANETthatevolvesfault-tolerantneuralnetworksforsingle-nodeopenfaultisproposed.ExperimentalresultsshowthatEFANETcanevolveneuralnetworkswithbothrobustfault-tolerantabilityandstronggeneralizationabilitywhilekeepingtheindependenceamongnetworktopology,trainingalgorithm,andfault-tolerantproceing.Besides,athree-phrasearoachnamedT3isproposedformulti-nodeopenfault,whichhasbeenaliedtoFAC.ExperimentalresultsshowthatT3cantradeoffthefault-tolerantabilityandstructuralcomplexityoftheneuralnetwork.