神经网络的特性篇1

摘要:常规PID控制器以其算法简单、可靠性高等优点,在工业生产得到了广泛应用。但是,PID控制器存在控制参数不易在线实时整定、难于对复杂对象进行有效控制等不足。利用神经网络自学习、自适应和非线性映射等特点,将神经网络和PID控制相结合,形成一种PID神经网络控制系统,可对工业中使用的具有大时滞、慢时变、非线性特点的电炉系统进行有效辨识与控制。

关键词:PID神经网络;智能控制器;滞后系统;时变系统;电炉控制系统

中图分类号:TP18文献标识码:A文章编号:1009-3044(2009)28-8028-03

ApplicationofPIDNeuralNetworkinElectricCookerControllingSystems

RENHui,WANGWei-zhi

(InstituteofAutomation,FuzhouUniversity,Fuzhou350002,China)

Abstract:GeneralPIDcontroller,becauseitsalgorithmissimpleandhighreliability,sohasbeenwidelyusedinindustrialproduction.However,PIDcontroller,thereisnoteasytolinereal-timecontrolparametertuning,isdifficultforcomplexobjectssuchaslackofeffectivecontrol.Usingneuralnetworkself-learning,adaptiveandnonlinearmappingcharacteristicsofneuralnetworkandPIDcontrolcombinedtoformaPIDneuralnetworkcontrolsystemcanbeusedinindustrywithalargetimelag,slowtime-varying,nonlinearcharacteristicsofelectricsystemsforeffectiveidentificationandcontrol.

Keywords:PIDneuralnetwork;intelligentcontroller;timelagsystem;time-varyingsystem;electriccookersystems

近年来,随着神经网络理论的发展,将控制中应用最广泛的PID的控制器与具有自学习功能的神经网络相结合,已成为智能控制研究的一个新方向。并且,在这个方向上已取得了一些研究成果。其主要的结合方式是在常规PID控制器的基础上增加一个神经网络模块,利用神经网络来在线调节PID参数,但缺点是结构较复杂。本文介绍的PID神经网络是将PID控制规律融进神经网络之中构成的,实现了神经网络和PID控制规律的本质结合。它属于多层前向网络,但是它与一般的多层前向网络又不完全相同,一般的多层前向网络中的全部神经元的输入输出特性都是相同的,而PID-NN的隐含层是由比例、积分、微分三个单元组成,是一种动态前向网络,更适合于控制系统。各层神经元个数、连接方式、连接权值是按控制规律的基本原则和已有的经验确定的,保证了系统稳定和快速收敛。由于PID神经网络控制器是将神经网络和PID控制规律融为一体,所以其既具有常规PID控制器结构简单、参数物理意义明确之优点,同时又具有神经网络自学习、自适应的功能,可将PID神经网络应用于对工业控制领域的复杂非线性对象的控制。

本文提出一种基于PID神经网络的控制方案,用来对大时滞、慢时变、非线性的电炉系统进行辨识与控制。

1PID神经网络控制系统

1.1PID神经网络的结构

PID神经网络是一个3层的前向网络,包括输入层、隐含层和输出层,其结构如图1所示。网络的输入层有2个神经元,分别对应系统的输人和输出;隐含层有3个神经元,各神经元的输出函数互不相同,分别对应比例(P)、积分(I)、微分(D)3个部分;网络的输出层完成PID-NN控制规律的综合。网络的前向计算实现PID神经网络的控制规律,网络的反向算法实现PID神经网络参数的自适应调整。

1.2控制系统结构及其工作原理

PID神经网络控制系统结构如图2所示。控制系统包含PID神经网络辨识器(PID-NNI)和PID神经网络控制器((PID-NNC)。其中r(k)为系统的设定输入,y(k)为被控对象的实际输出,y~(k)为PID-NNI的输出,u(k)为PID-NNC的输出。系统的工作原理是:利用神经网络的非线性函数逼近能力和学习记忆功能,由PID-NNI在线对被控对象模型进行辨识。它利用输出偏差(e1(k)=y(k)-y~(k)),修正网络权值,使之逐步适应被辨识对象的特性。当它学习到与被控对象基本一致时,PID-NNC利用系统偏差(e2(k)=r(k)-y~(k)),通过反传算法实时调整自身权值,以跟上系统的变化,达到有效控制的目的。

2PID神经网络学习算法

神经网络的特性篇2

内容摘要:本文采用神经网络的方法,利用消费者物价指数、工业增加值和货币供给等数据,分别以BP神经网络、RBF神经网络和Elman神经网络建立通货膨胀预测模型。三个模型预测结果表明,采用神经网络方法建立的模型能够较好地预测通货膨胀的变动。通过比较BP神经网络和Elman神经网络预测结果可以看出,带有反馈机制的神经网络模型预测性能优于一般神经网络模型。

关键词:通货膨胀预测神经网络

通货膨胀预测对于一个国家的经济运行非常重要。宏观政策制定者往往密切关注未来的通货膨胀趋势,以作为制定宏观经济政策的参考因素之一。

国外学者对通货膨胀预测做了相关研究。如GabrielMoser(2007)比较了预测澳大利亚通货膨胀的因素模型、VAR模型和ARIMA模型三种模型,实证结果表明因素模型优于VAR及ARIMA模型。KirstinHubrich(2005)的研究利用RandomWalk方法、VAR方法、AR方法、菲利普斯曲线方法等方法预测欧洲地区的通货膨胀。PrasadS.B(2008)研究发现,考虑汇率因素会提高通货膨胀的预测精度。CludiaDuarte(2007)将总的通货膨胀指标看作不同层次的分解变量组合,如分解为教育、食品等不同的成分,并将分解后不同层次的成分使用不同的模型进行研究。

国内学者研究了我国通货膨胀的预测问题。如张德生等(2007)利用非参数回归模型建立了我国通货膨胀模型,预测结果良好。陈慎思(2005)研究了我国通货膨胀和GDP增长率之间的关系,研究表明通货膨胀率与GDP增长率之间存在着三次回归模型的非线性关系。

近年来,人工智能和神经网络技术的快速发展使得神经网络在金融及经济学中应用越来越广泛。神经网络对非线性关系模拟预测具有的特有优势,对金融时间序列数据具有很好的预测能力。SaeedMoshirietal(1999)研究了静态、动态及混合型的神经网络在通货膨胀预测方面的应用。EmiNakamura(2005),S.Adnan(2007)利用神经网络对不同国家的通货膨胀建立了相关模型,结果显示利用神经网络方法建立的模型预测结果优于传统的一些模型,如AR模型。本文将使用误差反传(BP)神经网络、径向基函数(RBF)神经网络及反馈型神经网络(Elman)三种不同的神经网络建立我国通货膨胀模型,并比较三种模型的预测能力。

数据选取和神经网络的应用特点

(一)数据选取

数据选取区间从2002年至2008年月度数据,数据来源:锐思数据库(省略)。通货膨胀主要与国内生产总值(GDP)和货币供给情况有关,因此本文建立模型考虑的因素包括消费者物价指数(CPI),以2000年12月为基期;由于我国没有GDP的月度数据,参考相关文献及研究惯例使用工业增加值增长率月度数据代替GDP增长率指标;货币供给情况选择货币(M2)供给增长率月度数据。以CPI代表通货膨胀水平。数据处理采用Matlab软件。

(二)神经网络的应用特点

BP神经网络结构如图1所示。图1表示有N1个输入单元,中间有一个或多个隐含层,输出层有Nm个输出数据。各层之间互相连接,每个连接的权值不同,BP神经网络学习过程就是通过学习样本数据中的信息来修正权值的过程。BP网络是目前应用最为广泛和成功的神经网络,是一种多层网络的“逆推”学习算法。学习过程由信号的前向传播和误差的反向传播两个过程组成。

BP网络学习过程首先根据样本输入,通过前向传播计算方法得到网络输出,然后计算网络输出与期望输出之差,也就是样本实际输出的误差,按照误差反向传播计算的方法修正相关权值,直到网络输出达到误差要求(朱大奇、史慧,2006)。

基本的RBF神经网络有三层,其结构如图2所示。

RBF神经网络学习过程主要是调整βj的过程,其中βj为隐含层到输出层的连接权重,主要原则是根据输出数据与期望数据之间的误差做相应调整。过程如下:

其中,βj(t)是隐含层单元j在t时刻与输出层的连接权重,η表示学习效率。

Elman神经网络的特点是隐含层的输出通过承接层的延迟与存储自联到隐含层的输入,这种自联方式使其对历史状态的数据具有敏感性,内部反馈网络的加入增加了网络本身处理动态信息的能力,从而达到了动态建模的目的(飞思科技产品开发中心,2005),其结构如图3所示。

模型构建及实证分析

下面分别采用上述三种神经网络建立通货膨胀预测模型。三种神经网络各具特点,BP神经网络是应用最早也是目前应用最广泛的一种神经网络;RBF网络是一种采用局部逼近技术的神经网络,利用了多维空间中传统的严格插值法的研究成果;Elman是一种反馈型的网络,其隐含层节点的输出通过承接层再反馈到隐含层,作为隐含层输入的一部分。

为了具有可比性并参考现有相关研究文献,三种模型的输出变量均为下个月的CPI值,输入变量均使用CPI的前滞后6期数据、工业增加值增长率滞后3期数据、货币供给增长率滞后3期数据。根据现有数据,得到共78组输入输出样本数据,将前72组数据作为训练样本数据,用来训练建立的神经网络模型;后6组数据作为测试样本,不参与神经网络模型的构建及训练,用来测试比较不同网络的预测性能。

(一)神经网络模型结构

根据相关研究成果,BP网络模型和RBF网络模型采用三层结构,即具有一个隐含层;Elman网络模型采用基本结构,即具有输入层、隐含层、承接层、输出层。采用这样的结构主要是因为目前研究经验表明这样的层次结构已经具有足够能力捕获数据序列的特性,而不需要采用更复杂的神经网络结构。

(二)数据的归一化处理

为了避免因数据不同单位对建立模型的影响,训练神经网络模型之前应对样本数据进行归一化处理,公式如下:

其中X是要归一化的数据序列,min(X)、max(X)分别为X中的最小值和最大值。将模型预测结果采用相反的过程处理得到预测的实际值。

(三)建立预测模型

建立BP神经网络模型主要是确定隐含层节点数目,训练函数采用trainlm,学习算法采用learngdm,经过试验选择结果最优的结构隐含层节点数为10;建立RBF神经网络主要是确定其径向基函数分布密度参数,试验后选择最优值;建立Elman网络模型与BP网络模型类似,选择第一层传递函数为tansig,第二层传递函数为logsig,其中间层节点数根据试验结果选择最优的一个。确定模型结构后,使用前72组样本数据训练所建立的神经网络,训练完毕后将测试样本的数据输入神经网络,得到神经网络的预测值。预测结果及实际值如图4所示。

从图4可以看出,BP网络模型的预测性能比RBF网络模型和Elman网络模型较差,而RBF网络模型和Elman网络模型二者性能上比较接近。在短期内Elman网络模型预测结果较好,但是在2-4期间内,RBF网络模型预测性能比Elman网络模型好,4-6期间内二者性能基本相当。

(四)模型比较及结果分析

为了更准确地比较不同模型之间的优劣,本文用具体误差指标数据来对比不同模型的性能。选取指标有平方误差和(SSE)、平方误差均值(MSE)、平方误差均方根(RMSE)、绝对误差均值(MAE)、绝对百分比误差均值(MAPE)。模型误差指标比较如表1所示。

从表1可以看出,三种网络模型预测的误差指标均较小,与现有关于我国通货膨胀预测结果相比预测精度较高,主要原因是神经网络针对非线性关系具有较好的预测能力,神经网络可以以任何精度模拟非线性,这个预测结果表明通过神经网络方法建立模型预测通货膨胀是一种可行的方案。由于神经网络具有学习能力,通过加大训练样本的数量,让神经网络具有更多的学习数据,可以获得更好的预测性能。

比较三种模型指标可以发现,BP网络模型的各项误差指标均高于另外两种模型。BP网络模型和Elman网络模型的主要区别是后者加入了承接层,具有了反馈机制,属于动态建模方法,误差结果显示其性能优于BP网络模型,这反映出CPI具有一定的记忆性和反馈性,并且动态建模方法比较适合通货膨胀预测。

比较Elman网络模型和RBF网络模型可以看出,Elman网络模型的SSE、MSE、RMSE三项指标均低于RBF网络模型,而Elman网络模型的MAE、MAPE两项指标均高于RBF网络模型,从这些指标看两个模型性能基本相当,但预测性能均比BP网络模型好。

预测结果显示:三种神经网络模型用于预测通货膨胀升降时,RBF网络模型最好,其6次预测值升降与实际值升降完全一致;Elman网络模型预测结果中5次与实际相符;BP网络模型有3次相符。这表明采用RBF或Elman网络模型能够很好的预测未来通货膨胀的变动方向。在制定宏观经济政策时,不仅要考虑通货膨胀的大小,还要考虑通货膨胀变动方向,即下期的CPI是升还是降,这对制定相关经济政策具有重要意义。

结论

综上所述,神经网络在金融数据分析中得到广泛应用,本文采用三种不同的神经网络模型针对我国的通货膨胀问题建立了不同的预测模型。实证结果显示,虽然不同模型之间性能不尽相同,但总体上预测结果均较好,表明采用神经网络的方法可以很好的捕获通货膨胀数据序列的特性。同时对比BP网络模型和Elman网络模型可以看出,具有反馈机制的神经网络具有更好的预测功能,说明通货膨胀预测时采用动态建模的方法较好。采用神经网络模型能很好预测通货膨胀的变动方向,可为制定宏观经济政策提供重要依据。

参考文献:

1.朱大奇,史慧.人工神经网络原理及应用[M].科学出版社,2006

神经网络的特性篇3

通信技术和计算机技术得到不断的发展和进步过程中，网络资源也逐渐实现了共享，全球信息化顺势成为当今社会的发展潮流。计算机网络是信息传播的主要形式，也是全球范围内数据通信的主要方式，具有方便、快捷，经济等特点。除了日常的信息交流和沟通之外，重要部门需要加密的内部文件、资料、执行方案和个人隐私等信息内容也会通过网路系统实现传输，但是网络数据给人们带来方便的同时，自身也存在极大的风险，因此，如何有效应用信息网络，并保证网络信息传输的安全，是网络安全建设的主要内容之一。

1BP神经网络中间形式通信方式

文中主要对安全通信的中间形式以达到信任主机间安全通信的目的，在系统中的位置属于安全通信层，该通信层位于系统中网络结构组织的最底层，位置越低，具备的安全性能越高，稳定性更强，不轻易受到干扰，从而在一定程度上增加了技术的实行难度。

如图1所示。安全通信层的插入点是与网卡相接近的位置，即NDIS层。安全通信层中具有明显的优势对数据包进行截获，数据包的类型有FDDI、EtherNetS02.3或者EtherNetS02.5等，建立其完整的网络协议，数据包实行过滤、加解密或者分析等。并保证上层的协议得到完整的处理。安全通信的中间形式具有的主要功能包括：

(1)根据上层协议发出的数据实行加密处理后，将特征进行提取，并根据网卡从信任主机所接收到的数据实行解密后，对待数据进行还原。

(2)以相关的安全准则为基础，对各种存在的网络协议数据实行具体的过滤和分析。

(3)不同的用户实行相应的身份识别和校验。当前网络环境中，对数据包的过滤分析的技术和身份认证技术相对成熟，进而有效提升安全准则的定义。文中将省略安全通信中间形式的协议的过滤分析、安全准则定义和用户认证工作等内容，注重对BP神经网络模型在实行数据特征提取和数据还原等方面进行分析，并与其他的加密算法相结合，从而达到增大数据通信保密性的目的。

2BP神经网络模型

人工神经网络是近年来逐渐兴起的一门学科，该网络主要是由具有适应性的简单单位组成，且具备广泛特点，实现互相连接的网络系统，且能够模仿人的大脑进行活动，具备超强的非线形和大数据并行处理、自训练与学习、自组织与容错等优势。尤其是由Rumelhart指出的多层神经网络，即BP算法，得到多数的研究学者所重视。

BP网络是利用多个网络层相结合而成，其中有一个输入层和输出层、一个或者多个隐层，每一层之间的神经单位并不存在相关的连接性。

BP网络是通过前向传播和反向传播相结合形成，前向传播表现为：输入模式通过输入层、隐层的非线形实行变换处理;而传向输出层，如果在输出层中无法达到期望的输出标准，则需要通过转入反向传播的过程中，把误差值沿着连接的通路逐一进行反向传送，进而修正每一层的连接权值。

实现规范的训练方式，通过同一组持续对BP网络实行训练，在重复前向传播与误差反向传播的过程中，需要保证网络输出均方误差与给定值相比下，数值较小。

以第四层的BP网络系统进行分析，即具体的算法实现和学习过程。假设矢量X=(X0，X1…Xn-1)T;第二层有n1个神经元，即X’=(X’0，X’1，…X’n1-1)T第三层有n2个神经元，Xn=(Xn0，Xn1，…，Xnn2-1)T;输出m个神经元，y=(y0，y1，…，ym-1)T。设输入和第二层之间的权值为Wab，阈值为θb;第二层与第三层的权值为Wbc，阀值为θc;第三层与输出层的权为Wcd，阈值为θd。正常情况下会使用非线性连续函数作为转移函数，将函数设为：

3BP神经网络的数据安全通信设计

当前，数据包过滤和分析的技术、安全准则制定和身份认证技术均达到一定发展程度，因此，文中主要对安全通信的中间形式，以BP神经网络为实验模型，对网络数据特征的提取和原有数据还原等方面内容实行分析。在BP神经网络发展的基础上，与相关的认证系统，安全准则和加密算法等技术相结合，能在一定程度上提升数据通信保密性、整体性和有效性，从而达到促进数据传输速度的目的。

BP网络中含有多个隐层，经过相关的研究证明，无论是处于哪一个闭区间之间的连接函数都能利用一个隐层的BP网络来靠近，因此，一个3层的BP网络能够随意完成n维到m维的映射变化。如果网络中含有的隐层单位数较多，具有较多的可选择性，则需要进行慎重考虑;如果隐层中的单元数过少，极有可能会导致训练失败，影响到网络系统训练的发展，因此网络训练所拥有的容错性不强;如果隐层中的单元数过多，则需要花费更长的时间进行学习，得到误差结果也较大，因此为了有效提升训练结果误差的准确性，建议在实际操作过程中，可以依照公式n1=log2n，公式中的n是输入神经的元数值，n1表示的是隐层的单位元数值。

对网络传输数据实行特征提取和数据的还原过程中，详见图2所示。

如图2中所示，三层神经元结合而成的BP网络，所具有的输入层和输出层每个神经元的个数全部相同，设定个数为n个，中间所隐藏的单元个数为n1=log2n，当输入了学习的样本内容后，利用BP网络的学习，让输入和输出层保持一致，因为隐层的神经元个数明显小于进入输入层的原始网络数据，而将隐层神经元作为原始网络数据特征的样本。在实行网络传输过程中，只需要将隐层神经元的数据进行传输。作为数据的接收方，收到的数据应该是隐层的神经元数值，如果在此基础上，将数据乘上隐层至输出层的权值即可根据发送方提供的原始网络数据实行还原。通过这一计算法积累的经验，合理与相关的加密算法相结合进行计算，具体如：RSA、DES等，最大限度降低了网络的总流量，进而提升了数据通信的保密性。

4结论

将特定的网络数据作为具体的训练样本，开展BP网络训练，把一串8个bit位的代码作为输入样本，在隐层中含有3个神经元，通过BP网络的学习过程中，需要保证输出与输入数据相一致。实行网络数据传输过程中，接收方应该以事前获得的隐层与输出层之间存在的不同的权系数，使用该系数与接收的隐层神经元数据相乘计算，就能有效恢复原先的网络数据，以及8个bit位的输入层。

因为人工神经网络拥有明显的自学习和自适应、联想与记忆、并行处理以及非线形转换等优势，无需进行复杂数学过程，并能够在样本缺损、资料不完备和参数出现漂移的状态下继续保持稳定的输出模式，基于此，文中主要使用一个3层的BP网络有效对网络数据实行特征提取和数据还原工作，并以该工作为基础，与相应的加密算法和认证体系相联系结合，通过中间件的形式贯穿在整体系统的主要核心内容，从而不仅能够实现对网络通信技术的过滤和分析，还能够在另一方面保障了数据通讯的完整安全性。

神经网络的特性篇4

花生仁的外衣完整性检测是一种模式识别。根据影响花生仁外衣完整性的颜色特征参数,对花生仁外衣完整性进行识别。在神经网络运用领域里,算法的确定无法用一个完全标准,主要是靠经验来选择的。基于以上原因,花生仁外衣完整性检测神经网络的设计算法选择BP算法[9],该算法能实现输入与输出之间的非线性映射,对于样本数量有限的情况也同样适用。一个典型的BP网络结构如图3所示。BP神经网络通常具有多个隐含层。本文中,隐层神经元采用Sigmoid型传递函数,输出层采用logsig型传递函数。花生仁的外衣完整性检测是一种模式识别。根据影响花生仁外衣完整性的颜色特征参数,对花生仁外衣完整性进行识别。在神经网络运用领域里算法的确定无法用一个完全标准的算法确定,主要是靠经验来选择的。基于以上原因,花生仁外衣完整性检测神经网络的设计算法选择BP算法。一个典型的BP网络结构(如图3所示)通常具有一个或多个隐层。其中,隐层神经元通常采用Sigmoid型传递函数,而输出层神经元则采用logsig型传递函数。

BP识别系统是以BP神经网络分类器[10]为核心的系统,系统设计如图4所示。BP神经网络分类器由一个BP网络训练子系统生成得到,图像由CCD摄像头获得后,由图像采集卡数字化输入计算机,提取特征区域获得颜色特征参数,这些参数输入BP网络即可得到分类结果。影响花生完整性的颜色特征参数为H,I和S,因此输入层节点数等于3;网络的输出有两种情况,即完好与破损,因此输出层有2个节点;对应于完整和破损这两种判断结果,分别用2位二进制编码为10和01。隐含层的节点数的确定非常重要,数目过少,网络将不能建立正确的判断界,使网络训练不出来或不能识别以前没有的样本,且容错性差;而节点数目过多,学习时间长,使网络的泛化能力降低。本文通过多次反复训练网络,确定隐含层节点数目为40。本研究采用Matlab软件及其神经网络工具箱来实现网络建模。在神经网络工具箱中,对神经网络的名称、类型、结构和训练函数等参数进行设置,如表1所示。

建立了BP神经网络并对网络进行初始化后,就可对网络进行训练了。将训练步数设为500步,将训练目标误差goal参数设置为0.01,结果如图5所示。图5中,横坐标表示本网络的预置训练步数,纵向坐标表示本网络的预置训练误差,水平横线表示期望的目标误差,误差变化曲线如图5所示。由图5可知,当网络训练到170步时,网络误差已经达到期望的目标值0.01,训练即可停止。

本文采用BP神经网络与计算机视觉技术相结合的手段,建立了一个花生外衣完整性判别系统。实验证明,判别准确率达到87.1%。此系统很容易推广在其他农产品的检测中,只需要改变输入和输出样本数据,重新训练一下BP网络,即可投入使用。因此,将BP神经网络运用到农产品的品质检测过程中,具有巨大的潜力和广阔的应用前景。但必须指出的是,此方法高效可行,整个训练过程只用了6s,且本研究建立在静态实验环境下,生产效率依然很低。如果要将此实验结果运用生产实际,必须设计出配套的硬件分级设备,这将是后续研究的重点。

神经网络的特性篇5

【关键词】图像分类深度卷积神经网络加权压缩近邻

1研究背景

手写数字识别是一个经典的模式识别问题。从0到9这10个阿拉伯数字组成。由于其类别数比较小，它在些运算量很大或者比较复杂的算法中比较容易实现。所以，在模式识别中数字识别一直都是热门的实验对象。卷积神经网络（ConvolutionalNeuralNetworks，CNN），在手写体识别中有着良好的性能。卷积神经网络的神经元是局部连接，神经元之间能够共享权值。深度卷积神经网络不但可以解决浅层学习结构无法自动提取图像特征的问题，并且提高了分类的泛化能力和准确度。

2深度卷积神经网络

深度卷积神经网络是一种具有多层监督的神经网络，隐含层中的卷积层和池采样层是实现深度卷积神经网络提取特征的核心模块，并通过使用梯度下降算法最小化损失函数来进行权重参数逐层反向调节，再经过迭代训练提高分类精确度。

深度卷积神经网络的首层是输入层，之后是若干个卷积层和若干个子采样层和分类器。分类器一般采用Softmax，再由分类器去输出相应的分类结果。正常情况下，一个卷积后面都跟一个子采样层。基于卷积层里权值共享和局部连接的特性，可以简化网络的样本训练参数。运算之后，获得的结果通过激活函数输出得到特征图像，再将输出值作为子采样层的输入数据。为了实现缩放、平移和扭曲保持不变，在子采样层中将之前一层对应的特征图中相邻特征通过池化操作合并成一个特征，减少特征分辨率。这样，输入的数据就可以立即传送到第一个卷积层，反复进行特征学习。将被标记的样本输入到Softmax分类器中。

CNN能够简化网络的样本训练参数，降低计算难度。这些良好的性能是网络在有监督方式下学会的，网络的结构主要有局部连接和权值共享两个特点：

2.1局部连接

深度卷积神经网络中，层与层之间的神经元节点是局部连接，不像BP神经网络中的连接为全连接。深度卷积神经网络利用局部空间的相关性将相邻层的神经元节点连接相邻的上一层神经元节点。

2.2权重共享

在深度卷积神经网络中，卷积层中每一个卷积滤波器共享相同参数并重复作用，卷积输入的图像，再将卷积的结果变为输入图像的特征图。之后提取出图像的部分特征。

在得到图像的卷积特征之后，需要用最大池采样方法对卷积特征进行降维。用若干个n×n的不相交区域来划分卷积特征，降维后的卷积特征会被这些区域中最大的或平均特征来表示。降维后的特征更方便进行分类。

3实验结果

为了验证卷积神经网络的有效性，本实验中使用以最经典的MNIST和USPS库这两个识别库作为评测标准。手写数字MNIST数据库有集60000个训练样本集，和10000个测试，每个样本向量为28×28=784维表示。手写数字USPS数据库含有7291个训练样本和2007个测试样本，每个样本向量为16×16=256维。

表1给出了卷积神经网络在MNIST和USPS库上的识别结果。从表1中可知，深度卷积神经网络对MNSIT库识别率能够达到97.89%，与用BP算法得到的识别率94.26%相比，提高了两个多百分点。对USPS库识别率能够达到94.34%，与用BP算法得到的识别率91.28%相比，也提高了三个多百分点。

因此，使用深度卷积神经网络算法训练在图像识别中获得更高识别率。因此，深度卷积神经网络在识别手写体字符时有着较好的分类效果。

4总结

本文介绍深度卷积神经网络的理论知识、算法技术和算法的结构包括局部连接、权重共享、最大池采样以及分类器Softmax。本文通过深度卷积神经网络对两组手写识别库实验来验证CNN有着较低的出错率。

参考文献

[1]赵元庆，吴华.多尺度特征和神经网络相融合的手写体数字识别简介[J].计算机科学，2013，40（08）：316-318.

[2]王强.基于CNN的字符识别方法研究[D].天津师范大学，2014.

[3]KrizhevskyA，SutskeverI，HintonGE.ImageNetClassificationwithDeepConvolutionalNeuralNetworks.AdvancesinNeuralInformationProcessingSystems，2012，25（02），1097-1105.

[4]郝红卫，蒋蓉蓉.基于最近邻规则的神经网络训练样本选择方法[J].自动化学报，2007，33（12）：1247-1251.

作者简介

关鑫（1982-），男，黑龙江省佳木斯市人。硕士研究生学历。现为中国电子科技集团公司第五十四研究所工程师。研究方向为计算机软件工程。