神经网络的训练算法范文篇1

关键词：模式识别；Bp神经网络

中图分类号：TP18文献标识码：A文章编号：1009-3044(2011)07-1543-03

OnBPNeuralNetworkinPatternRecognitionApplication

LINJia-xiang,GEYuan

(InformationEngineeringCollege,ShanghaiMaritimeUniversity,Shanghai200135,China)

Abstract:Patternrecognitiontechnology,widelyusedinallworks.Automaticdetectionofindustrialandmedicalequipmentontheinspectionofsamples,militarysatellitesdetectPolice,intelligencehasapivotalrole.ThisarticledescribesthepatternrecognitionbasedonBPneuralnetworkmethod.BasedontheuseofBPImprovedneuralnetworkalgorithm,willbebasedlearningisintroducedintopatternrecognition,dataonthesamplestudyandtraining,toformagoodnetworkContact,andfinallywiththealreadytrainednetworktotestthewholeprocess,becausetoacertainaccuracy,toavoidthetraditionalmethodofcalculatingpropertyWeightproblems.

Keywords:patternrecognition;BPneuralnetwork

模式识别作为一门新的学科，从1960年代开始逐渐应用于各科技及工业领域。尤其，人脸识别、声音识别、指纹识别、医学诊断领域的研究应用，使模式识别成为一门热门的学科。模式识别，研究的内容是让机器通过学习自动识别事物。但传统的模式识别方法，很难完成人脸识别、声音识别等需要直接感知外界信息领域的识别任务。因此，近些年来结合神经网络来研究模式识别成为一个新的课题。

神经科学作为一门科学起始于19世纪末。近几十年来，神经科学和脑功能研究的发展极为迅速。人工神经网络由于其自组织和非算法特性，在模式识别应用方面有很大的发展潜力。在神经网络模式识别系统中，用得最广泛的要算是BP神经网络。1986年，Rumelhart等人在多层神经网络模型的基础上，提出了多层神经网络模型的反向传播学习算法，它是基于误差前向传播(ErrorBackPropagation，简称BP)算法的一种具有非线性连续转移函数的多层前馈网络。BP算法，解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决了许多实际的问题。

本文主要介绍BP神经网络在模式识别中的应用，并结合实例予以说明。

1模式识别概述

1.1模式识别研究内容

人类在长期的生活实践和科学研究中，逐渐积累起来了通过感觉器官辨别不同事物的能力。例如，人们可以根据物体的形状、颜色、质地、组成以及各部分的结构关系把不同物体区别开来；可以根据人的高矮、胖瘦、性别、年龄、肤色、脸型把不同的人区分开来。人们之所以能进行这样的辨别，重要的原因在于不同事物具有不同的特征，包括物理特征及结构特征。由此使人们想到，如果能把事物的关键特征抽取出来，以不同的特征组合代表不同的事物，并且用适当的让计算机能接受的形式表示出来，这样就有可能使计算机具有识别能力，使它能区分不同的事物。像这样用事物的特征所构成的数据结构就成为相应事物的模式，或者说模式是对事物定量的或结构的描述。由具有共同属性的模式所构成的集合称为模式类，它是一个抽象出各有关模式的共同属性而废弃各具体模式不同属性的分类概念。识别能力原本是人类和其他生物的一种基本属性，人们通过模式感知外部世界的各种事物，这是获取知识、概念和作出反应的基础，是一种思维和抽象过程。而在人工智能或信息科学范畴内，模式识别是指用数学、物理方法和技术实现对模式的自动处理、描述、分类和解释，目的在于用机器部分实现人的这种智能活动，所以在目前模式识别所研究的内容可以分为两类：一是对人类和其他生物识别能力及其机理的研究。二是对满足某些应用需要的识别装置的理论和技术的研究。

前者研究的内容主要涉及神经机理和认知心理等方面，往往是它的研究为后者提供理论基础和模仿的依据。而第二个课题主要是通过工程、计算机和其他信息科学等方面的技术和知识，达到以机器模拟或局部超过人的识别能力的目的。它在技术上的提高不但验证了前者的结论，而且为其进一步的研究提供了手段。可以看出在人工智能或信息科学范畴内，所谓的模式识别（PattenRecognition)是研究一种自动技术，依靠这种技术，机器将自动地把待识别模式根据其特征分到各自的模式类中去。

1.2模式识别系统的结构

计算机对识别对象进行识别的过程实际上是一个决策过程，它根据一定的识别规则对识别模式的特征进行判定，从而决定它所属的模式类。一个典型的模式识别系统，分别由数据获取、预处理、特征提取、分类决策、和分类器设计五步骤组成。通常一个完整的系统分为两个部分，第一部分是用来完成未知类别的模式分类。第二部分是训练分类器设计，确定分类器各项参数。模式识别系统结构如图1所示。

以下简要说明模式识别系统各组成部分功能：

1）数据提取：计算机提取的数据通常有三种类型。第一种是一维波型信息，如心电图、气象信息图等。第二种是二维图像信息，如图片、指纹、文字等。每三种是物理参数，如气温参数、水文参数等。

2）数据预处理：计算机对初步提取的数据信息进行去除噪声、复原、提取相关参数信息。

3）数据特征提取：对预处理提取的数据信息，进行变换处理，获取反映分类本质的特征。对原始数据的高维数测量空间，进行转换，形成反映分类识别的低维数特征空间。

4）分类器设计：对特征空间的识别对象进行分类。训练样本，确定分类器判别函数，并不断改进判别函数和误差检验。

2BP神经网络的模型

2.1BP神经网络的结构

BP神经网络(Back-Propagation)，又称误差反向传递神经网络。它是人工神经网络(ANN)中的一种模型，是利用率很高的一种神经网络，约有80%的神经网络属于BP神经网络。BP神经网络是一种依靠反馈值来不断调整节点之间的连接权值而构建的一种网络模型。图2显示了一个3层BP神经网络的体系结构，它分为输入层、隐含层和输出层，其中隐含层根据具体情况的需要，可以是一层结构也可以为多层结构。

设输入层有n个神经元节点，隐含层有q个神经元节点，输出层有m个神经元节点。利用该网络可实现n维输入向量Xn=(X1,…,Xn)T到m维输出向量Ym=(Y1,…,Ym)T的非线性映射。输入层和输出层的单元数n、m根据具体问题确定，而隐含层单元数q的确定尚无成熟的方法，一般可设定不同的q值根据训练结果来进行选择。

BP神经网络结构(n、q、m)确定后，神经网络还包括的参数有：

wij：输入层第i单元到隐含层第i单元的权重，其中i=1,…,n;j=1,…,q。

wjk：隐含层第j单元到输出层第k单元的权重，其中j=1,…,n;k=1,…,m。

θj：隐含层第j单元的激活阈值，j=1,…,q。

θk：输出层第k单元的激活阈值，k=1,…,m。

以上权重和阈值的初值在网络训练之前随机生成。

f(x)：激活函数一般采用Sigmoid型函数，即f(x)1/[1+exp(-x)]。

2.2BP神经网络的学习算法

2.2.1BP神经网络的学习过程

1）输入模式正向传播：输入模式由输入层经中间层向输出层的模式正向传播过程。

2）输出误差反向传播：网络的期望输出与网络实际输出之间的误差,由输出层经中间层传向输入层的误差反向传播过程。

3）循环记忆训练：模式正向传播与误差反向传播的计算过程反复交替循环进行。

4）学习结果判别：判定网络的全局误差是否趋向极小值的学习收敛过程。

2.2.2BP算法

3层BP神经网络，输入节点xi，隐层节点yj，输出节点zk。输入节点与隐层节点间的网络权值为wij，隐层节点与输出节点间的网络权值为wjk，如图3所示。

当输出节点的期望值为dk时，BP算法如下：

1）隐含层节点的计算输出：

2）输出层节点的计算输出：

输出节点误差为：

3）输出单元的权值对误差的影响：

4）隐含层节点对误差函数的影响：

5）由于权值的修正Δwij，Δwij正比于误差函数沿梯度下降，则有:

6）阈值的修正。阈值θ也是变化值，在修正权值的同时也需要修正，原理同权值修正一样。

输出层阈值修正：θk(t+1)=θk(t)+ηδk

隐含层阈值修正：θj(t+1)=θj(t)+η'δj

传递函数f(x)的导数：采用S型函数f(x)=1/(1+e-x)

f'(netk)=zk(1-zk),f'(netj)=yj(1-yj)

以上式子中出现的η（η>0）为学习参数。

3应用BP神经网络进行字符特征识别的仿真实验

运用matlab7.0建立BP神经网络，并通过样本训练，完成对26个英文字母的识别仿真实验。

3.1建立BP网络

通过5*7像素的二值数字图像来表示英文字母的对应图像。以字符的35个布尔数值作为BP网络输入。以26个字符的所在位置作为输出向量。现实中的字符图像不一定很精确，所以要求BP网络要有一定的容错能力。

利用newff函数设计一个两层的BP神经网络。以logsig传递函数，建立第一、第二层的神经元。

3.2训练BP神经网络

设定训练函数和训练样本。先使用无噪声的信号对BP网络进行训练，一直到1000个时间单位和误差小于0.1时，完成BP网络训练。BP网络训练的误差变化情况如图4所示。

再对BP网络进行含噪声的样本训练，重复训练10次。使含噪声样本训练后的BP网络可以准确识别无噪声或含噪声的输入样本。

3.3进行仿真实验并测试输出

利用输入样本，对BP网络进行仿真。仿真实验测试结果如图5所示。

图5中，虚线表示无噪声样本训练的网络，实线表示含噪声样本训练的网络。从图可以看到，输入噪声指标低于0.1情况时，两个网络对字符识别的能力都很高。当输入噪声指标大于0.1的情况下，经过含噪声样本训练的网络，容错能力比较高。因此，网络训练中增加噪声样本的比重可以提高网络的容错能力。

4小结

BP(BackPropagation)神经网络,是能实现映射变换的前馈网络中最常用的一类网络，它是一种典型的误差修正方法，具有理论上能逼近任意非线性连续函数的能力，且结构简单，易于编程，在众多的领域得到了广泛的应用。本文应用matlab建立BP神经网络,并通过样本训练，仿真对字符的识别。从中可知，相对于传统模式识别方法，BP神经网络对字符识别准确度高，容错能力强。BP神经网络在模式识别中应用十分广泛，但也存在一些问题有待解决：1）局部极小点问题。BP神经网络不能保证使权值收敛于全局最小点；2）收敛速度问题。对于复杂的问题，网络训练时间较长；3）稳定性问题。增加训练样本，网络对训练好的权值和阈值无记忆能力，要重新开始训练。

参考文献：

[1]TheodoridisS,KoutrourmbasK.模式识别[M].北京:机械工业出版社,2009.

[2]边肇祺,张学工.模式识别[M].北京:清华大学出版社,2000.

[3]丁永生.计算智能－理论、技术与应用[M].北京:科学出版社,2004.

[4]褚蕾蕾,陈绥阳,周梦.计算智能的数学基础[M].北京:科学出版社,2002

神经网络的训练算法范文篇2

关键词：人脸朝向识别学习向量量化神经网络特征向量提取

中图分类号：TP391文献标识码：A文章编号：1007-9416（2016）05-0000-00

Abstract：Aimingatthelowaccuracydisadvantageoftraditionalfacialorientationrecognitionalgorithm，thepaperemploystherecognitionmethodbasedontheLearningVectorQuantizationneuralnetwork.Bymeansofextractingthefeaturevectorofeyespositionsinthefaceimagesandstudyingthedifferentfacialimagesamples，thepaperoptimizestheweightingparametersoftheLVQneuralnetwork，whichachievesgoodrecognitionresult.Thesimulationresultsindicatesthatthefacialorientationrecognitionbasedonthelearningvectorquantizationneuralnetworkisfeasibleandeffective，andthecorrectrecognitionratecanreachmorethan95%.Besides，thepaperultimatelyproofstheaccuracyandthevalidityofthelearningvectorquantizationneuralnetworkisbetterthantheBack-Propagationneuralnetwork.

KeyWords：Facialorientationrecognition，Learningvectorquantization，Neuralnetwork，Featurevectorextraction

人脸识别作为一个复杂的模式识别问题，是生物特征识别领域最困难的研究课题之一，其目的是从图像中剔除背景、提取人脸区域。人脸识别系统主要包括图像数据库采集、人脸图像预处理、人脸特征建模及识别匹配。计算机技术的告诉发展使人脸图像在人机交互中发挥着越来越重要的作用，由于实际应用中，人脸外形的不稳定性以及光照条件的多样性使人脸视觉图像在位置、朝向以及旋转角度等方面产生巨大的差异，因此对人脸进行准确识别变得异常困难。

学习向量量化（LVQ）神经网络是一种用于训练竞争层的有监督学习方法的输入前向神经网络，其算法是从Kohonen竞争算法演化而来的[1]。与其他模式识别和映射方法相比，它的优势在于网络结构简单，并且不需要对输入向量进行归一化、正交化处理，只通过计算输入向量与竞争层之间的距离，从而完成复杂的分类处理[2]。当人脸朝向与旋转角度不同时，眼睛局部特征与人脸图像的几何关系有较强的可区分性，因此提取人眼位置信息的特征向量并获得有助于人脸朝向分类的特征数据，将该特征信息作为LVQ神经网络的输入，可实现对任意给出的人脸图像进行朝向的识别，通过仿真可证明该方法的有效性。

1学习向量量化（LVQ）神经网络

学习向量量化神经网络是在竞争网络结构的基础上提出的，是自组织（SOFM）神经网络的一种有监督形式的扩展。在网络学习过程中加入教师信号作为分类信息对权值进行微调，并对输出神经元预先指定类别，LVQ神经网络实现了二者有效的结合，能够更好发挥竞争学习与有监督学习的优点。

1.1LVQ神经网络结构与工作原理

广义学习向量量化神经网络由三层神经元组成，即输入层、隐藏的竞争层和线性输出层[3]，其网络结构如图1所示。输入层与竞争层之间采用全连接方式，竞争层与输出层之间采用部分连接方式[4]。竞争层神经元个数通常取输出层神经元个数的整数倍，每个竞争层神经元有且只有一个输出层神经元与之相连接且连接权值固定为1，而每个线性输出层神经元可以与多个竞争层神经元相连接[5]。在学习向量量化神经网络训练过程中，当某个输入模式被送入网络时，竞争层的神经元通过竞争学习规则产生获胜神经元，获胜神经元调整权值的结果是使权值进一步向当前的输入向量靠近。当下次出现相似的输入模式时，获胜神经元更容易得到修改权值的机会。在反复的竞争学习中，竞争层的各神经元对应的权值逐步被调整为输入样本空间的聚类中心[6]。该神经元被激活后输出状态为“1”，而其他竞争层神经元的状态均为“0”。因此，与被激活神经元相连的线性输出层神经元状态为“1”。其余输出层神经元状态为“0”，从而实现模式分类与识别。

LVQ各层的数学描述如下：设神经网络输入向量，其中为输入层神经元个数；竞争层输出，表达式为；输出层实际输出为，表达式为，网络期望输出为。输入层与竞争层之间的权系数矩阵，其中列向量为竞争层第个神经元对应的权值向量；同理可得，竞争层与输出层之间的权系数矩阵为，其中列向量为竞输出层第个神经元对应的权值向量。

1.2LVQ神经网络学习算法

向量量化是利用输入向量的固有机构进行数据压缩的技术，学习向量量化是在向量量化基础上将输入向量分类的监督学习方法[7]。LVQ网络在训练前指定好线性输出层的神经元类别，在学习训练过程中不再改变竞争层与输出层之间的权系数矩阵，而是通过改变进行学习。该算法实质是根据训练样本的特征进行“奖励与惩罚”的一种迭代学习算法，即对分类正确的样本，“奖励”与其距离最近的权值点。经过若干次训练后，得到的权值不再变化，说明网络达到收敛状态[8]。而竞争层神经元的数目输入待分类的模式样本测试，根据最近邻法则得到输入样本模式的类别属性。

LVQ1具体算法步骤为：

（1）初始化输入层与竞争层间的权值，确定初始学习速率与训练次数；

（2）将输入向量输入网络，计算竞争层神经元与输入向量的距离并寻找获胜神经元：

（3）根据分类是否正确调整获胜神经元的权值：当网络分类结果与教师信号一致时，向输入样本方向调整权值；反之，其他非获胜神经元的权值保持不变。

算法直接利用最小欧式距离选择与输入向量最接近的矢量，因此不需要对权值向量和输入向量进行归一化处理。

在上述LVQ学习算法中，有且只有一个神经元获胜并得到更新调整权值的机会。为了改善分类效果，Kohonen对该算法进行了改进，并命名为LVQ2算法[9]。改进算法基于光滑的移动决策边界逼近贝叶斯极限，其特点是引入“次获胜”神经元，使得“获胜”神经元与“次获胜”神经元的权值向量都被更新[10]。

LVQ2具体计算步骤如下：

（1）初始化参数、计算竞争层神经元与输入向量距离同LVQ1算法；

（2）选择与输入向量距离最小的两个竞争层神经元；

（3）若神经元对应于不同类别且与当前输入向量的距离满足，其中为输入向量可能落进的接近于两个向量中段平面的窗口宽度，经验值为左右，那么若神经元对应的类别=输入向量类别，则，若神经元对应的类别=输入向量类别，则。

（4）若神经元不满足上述条件，则按照LVQ1步骤（3）中进行更新即可。

2基于学习向量量化神经网络的人脸朝向识别方法

2.1输入向量与目标向量的设计

观察大量人脸图像容易察觉，当人脸图像旋转角不一样时，眼睛局部特征在图像中的位置差异明显，因此仅需提取描述眼睛局部位置信息的特征向量并作为LVQ神经网络的输入，分别用数字1，2，3，4，5表示五个朝向左方、左前方、前方、右前方、右方，并作为神经网络的输出。搜集10人共50幅不同朝向的人脸图像，随机选取其中30幅图像作为训练集，剩余20幅作为测试集，因此目标向量为305的向量，其中每列只有一个“1”，其余均为“0”。

2.2人脸特征向量的提取

如上文所述，文中将420420的图像划分为6行8列，人物双眼的局部特征信息通过第二行的8个子矩阵描述，在利用Sobel算子对图像进行边缘检测后第二行8个子矩阵中值为“1”的像素点个数可较为准确的表示人脸朝向。

2.3LVQ神经网络的创建与训练

LVQ网络设计的关键因素包括训练样本是否具有普遍性与代表性，训练样本容量能否满足需要，竞争层神经元数量、初始权值等网络参数取值是否得到优化。根据特征向量与训练图像数量可知输入和输出节点分别为30和5，竞争层神经元的个数通常取决于输入输出关系的复杂性。为防止因竞争层神经元数过多产生“死”神经元，竞争层节点数经验值为线性输出层节点数的24倍，本文选取15作为竞争层节点数；其次是选择合适的学习率，为保证算法的收敛性与稳定性，学习率取恒定值或随时间单调减小，通常取。本文期望误差取值0.001，学习函数用LVQ1，最大训练步数设为100，初始化参数后对LVQ神经网络进行训练，训练算法达到预先指定的误差容限后停止。训练过程曲线如图2所示，由图可知网络收敛性较好，满足误差要求。

3实验结果与分析

3.1网络测试识别率与训练次数、学习算法关系

将测试的20幅不同朝向的人脸图像输入网络，网络识别率如表1所示。由表1结果可知，LVQ神经网络识别人脸朝向可行且有效，总体上取得了较好的识别结果。从训练次数分析，在一定范围内训练次数的增加会提高分类识别正确率，所需训练时间也会增加，识别错误主要因为样本数据较为复杂。当训练集较少时识别率会相对较低，因此在防止出现过拟合的同时应尽量增加训练集的样本数目，可有效改善网络识别结果。

从算法角度分析，结果显示LVQ2算法虽然是对LVQ1算法的改进但同时引入了新的误差，因此识别结果较差；同时LVQ1算法运用简单，识别率较高，具体应用时应开发更好的优化学习算法，综合考虑性能指标作折衷处理。

3.2LVQ神经网络与BP神经网络识别效果对比

由于BP神经网络的输出为非二值数据，因此采用四舍五入方法：若网络输出小于0.5则认为是0，反之为1；并提前利用三位二进制数编码对五个朝向进行表述，如表2所示。

设置训练次数为100次，BP神经网络仿真结果识别率仅为85%，并出现错误预测值[0；0；0]，该状态不属于表2中任何一种，从结果判断不出图像中人脸朝向，而LVQ神经网络不仅可以很好的规避这一缺点，同时算法识别准确率明显较高。

4结语

本文提出了一种基于学习向量量化神经网络的人脸朝向识别方法，该方法第一步提取人脸图像中双眼的局部位置特征向量，并将提取的向量送入网络进行训练测试实现人脸朝向的准确识别，然后通过仿真实验证明利用LVQ神经网络进行人脸朝向识别方法的有效性，该方法能够发挥竞争学习和有监督学者的优点，且网络结构简单，有效提高了识别率。

参考文献

[1]秦恺，曹龙汉等.基于LVQ神经网络集成的柴油机气门故障诊断[J].UPS应用，2014：47-50.

[2]董妍慧.基于LVQ神经网络模型的企业财务危机预警[J].大连海事大学学报，2008，7（1）：92-94.

[3]胡波，王文娟.基于向量量化网络的煤矿瓦斯监控系统改造[J].电力学报，2010，25（2）：162-164

[4]朱玉斌，李华聪.基于LVQ网络的航空发动机气路故障特征提取方法研究[J].测控技术，2014，33（6）：24-27.

[5]律方成，张波.LVQ神经网络在GIS局部放电类型识别中的应用[J].电测与仪表，2014，51（18）：112-115.

[6]戴金辉.基于混合神经网络的入侵检测技术的研究[D].东北大学硕士论文，2010：37-39.

[7]程剑锋，徐俊艳.学习矢量量化的推广及其典型形式的比较[J].计算机工程与应用，2006（17）：64-66.

[8]李琳，张永祥.学习向量量化（LVQ）神经网络在周期信号识别方面的扩展应用[J].机械设计与制造，2006，6：120-122.

神经网络的训练算法范文篇3

关键词人工；神经网络；机器学习方法

中图分类号Q1文献标识码A文章编号1674-6708（2011）40-0111-02

0引言

机器学习方法经常被应用到解决医学和生物信息学的问题。在这个报告中我列举了一些把机器学习方法应用到生物信息学领域的实例。比如：组建多重神经网络，运用该神经网络对4种不同形势的肿瘤患者进行分类。

1介绍

人工神经网络属于机器学习领域。关于人工神经网络的概念最早提出于1940年代。后来在1980年代后被推广应用，尤其是在医学领域。

其中一个非常有用的用途是对疾病进行分类，达到诊断的目的，或者对基因表达进行分类。在这类神经网络里面，k点最近邻居算法是最常被采用的算法。

人工神经网络的优点是：不需要人们蛆关注神经网络里面的细节信息；人工神经网络可以很容易地被重新训练来应对不同地分类数据。人工神经网络可以用来解决有监督学习和无监督学习，比如：自组织特征映射（self-organizedfeaturemap）就可以用来解决无监督学习的问题。

它的不足之处在于：人工神经网络往往需要大量的训练数据，而这些训练数据往往不是很容易获得。人工神经网络可以被看作是一个黑盒，它的细节隐藏在点点之间的权值里面。这些权值的意义是人类无法理解的。同时，人工神经网络需要被仔细的训练以避免过拟合的情况出现。我们常常需也要降低高维数据的维度。下面，我将分析介绍人工神经网络的具体应用。

人工神经网络的结构如图1所示：

X1,X2,X3是该神经网络的输入值，w0,w1,w2,w3是该神经网络的输入结点到内部节点的路径权值，每个神经元的激活函数是如上图右侧所示的函数图像。

这个函数被称作为sigmoid函数，表达式如下：

多重神经网络通常有3层，事实上，3层神经网络以能进行很好的分类效果。这三个层包括输入层，隐藏层，输出层。在每个神经元内部我们可以选择sigmoid激活函数或其他种类的激活函数。

如图2所示：

单个神经元仅能提供线性的分割面，所以多层神经网络可以提供非线性的分类函数（即：若干个线性分割面的复杂组合）。这并不意味着4层神经网络就一定比3层神经网络能一共更好的分类效果，因为层数越多，需要的训练集就越庞大，得到的效果也不会提高。

既然有训练问题，就会涉及到训练算法。较为早的和著名的训练算法是delta规则。它于20世纪60年代被提出。它的原理是计算理论输出值和世纪输出值的均方差。tp为理论输出值，yp为实际输出值，表示为：

训练的开始阶段，我们通常设定一个随机选取值，令该值等于：

该公式里，α是学习速率，学习速率越大，学习的过程就越快，完成学习的时间短。但如果学习的速率过大，可能导致网络的理想权值在合理结果的附近游摆而永远无法获得理想的权值。

神经网络被训练好了以后，它就被用到解决目标问题。原始的数据集可以被分为两部分：一部分用来训练，一部分用来测试。

有时候神经网络会把训练数据集里面的噪音点的特征纳入自己的权值表达里，从而该神经网络无法真正体现该点集的真实特征。我们把这种情况叫做过拟合。过拟合是由于网络比待估函数复杂造成的。比如一个可以同3层网络解决的问题，我们用4层网络或者由更多神经元的三层网络去解决该问题，就容易造成过拟合。为了更好的明确训练时所采用的神经网络的隐藏层的层数，Livingstone和Manalack提出了如下计算公式：

D=m*o/w

该公式里m是训练样本的数目，o是该网络的输出值，w是网络权值的数目，D就是隐藏层的数目。

得到了隐藏层的数目之后，我们可以以这个数目创建神经网络，边训练边削减，直到我们获得一个一半化的网络。对于没有隐藏网络层或只有一个隐藏网络层的神经网络，我们需要先确定它要解决的问题是否是线性的。

适当的训练方案是能也可以使网络的复杂性和数据的复杂性得到合适的匹配。一个合适的训练方案应该是如下步骤：首先选择一个很大的网络并且把它的每个权值都设到一个很小的值上。通过训练，这些权值可以逐渐游摆到一个合理的值。

由于初始数据集通常要被分为训练集和测试集。在医学领域，我们能获得的数据集往往很小，比如某种病的病人数目不会很大。所以我门需要采用交叉验证的技巧来是较小的数据集在被分为训练集和测试集之后能较好的训练神经网络。