神经网络反向传播原理范文

【关键词】BP神经网络；函数逼近

1.绪论

人工神经网络（artificialneuralnetwork，ANN）是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激，其反应又从输出端传到相联的其它神经元，输入和输出之间的变换关系一般是非线性的。

1.1BP神经网络定义

BP（BackPropagation）神经网络是一种神经网络学习算法。相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。

1.2BP神经网络模型及其基本原理

网络的输入层模拟的是神经系统中的感觉神经元，它接收输入样本信号。输入信号经输入层输入，通过隐含层的复杂计算由输出层输出，输出信号与期望输出相比较，若有误差，再将误差信号反向由输出层通过隐含层处理后向输入层传播。在这个过程中，误差通过梯度下降算法，分摊给各层的所有单元，从而获得各单元的误差信号，以此误差信号为依据修正各单元权值，网络权值因此被重新分布。此过程完成后，输入信号再次由输入层输入网络，重复上述过程。这种信号正向传播与误差反向传播的各层权值调整过程周而复始地进行着，直到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。权值不断调整的过程就是网络的学习训练过程。

2.BP网络在函数逼近中的应用

2.1基于BP神经网络逼近函数

步骤1：假设频率参数k=1，绘制要逼近的非线性函数的曲线。

步骤2：网络的建立

应用newff（）函数建立BP网络结构。隐层神经元数目n可以改变，暂设为n=3，输出层有一个神经元。选择隐层和输出层神经元传递函数分别为tansig函数和purelin函数，网络训练的算法采用LevenbergMarquardt算法trainlm。

同时绘制网络输出曲线，并与原函数相比较，结果如图3.3所示。

其中“――”代表要逼近的非线性函数曲线；

“……”代表未经训练的函数曲线；

因为使用newff（）函数建立函数网络时，权值和阈值的初始化是随机的，所以网络输出结构很差，根本达不到函数逼近的目的，每次运行的结果也有时不同。

步骤3：网络训练

应用train（）函数对网络进行训练之前，需要预先设置网络训练参数。训练后得到的误差变化过程如图2.1所示。

步骤4：网络测试

对于训练好的网络进行仿真：

其中“――”代表要逼近的非线性函数曲线；

“”代表未经训练的函数曲线；

“”代表经过训练的函数曲线；

从图中可以看出，得到的曲线和原始的非线性函数曲线很接近。这说明经过训练后，BP网络对非线性函数的逼近效果比较好。

3.结束语

神经网络在近几年的不断发展，在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等众多方面都取得了不错的成绩，给人们带来了很多应用上的方便，和一些解决问题的方法，期待神经网络可以应在在更多的领域，为人类做出更大的贡献。

参考文献：

[1]刘焕海，汪禹.《计算机光盘软件与应用》.北京：高等教育出版社，2011.10：15-30.

神经网络反向传播原理范文

关键词：BP神经网络；入境旅游；预测

收稿日期：2006-06-07

基金项目：国家自然科学基金项目(40371044)。

作者简介：邓祖涛(1972-)，男，湖北经济学院旅游学院讲师，博士。研究方向：区域发展与旅游规划。陆玉麒（1963-），男，南京师范大学地理科学学院教授，博导。研究方向：空间结构与区域规划研究。

中图分类号F59文献标识码A文章编号1006-575(2006)-04-0049-05

一、BP神经网络原理及预测模型

1.BP神经网络原理

BP（Back-Propagation）神经网络，是人工神经网络中最具代表性和应用广泛的一种，通常由具有多个节点的输入层（inputlayer）、隐含层（hiddenlayer）和多个或一个输出节点的输出层（outputlayer）组成，其学习过程分为信息的正向传播过程和误差的反向传播过程两个阶段。外部输入的信号经输入层、隐含层的神经元逐层处理，向前传播到输出层，给出结果。如果在输出层得不到期望输出，则转入逆向传播过程，将实际值与网络输出之间的误差沿原连接通路返回，通过修改各层神经元的连接权重，减少误差，然后再转入正向传播过程，反复迭代，自到误差小于给定的值为止[1][2]。BP神经网络以3层最为常用，也最为成熟。理论上已证明，一个3层的BP网络能够实现任意的连续映射[3]，可以以任意精度逼近任何给定的连续函数。其拓扑结构如下图所示（见图1）。

2.入境旅游人数神经网络模型的建立

根据我国入境旅游人数的实际情况，建立由一个输入层、一个隐含层、一个输出层构成的三层BP网络模型（见图2）。

（1）网络层节点数的确定

TourismScience旅游科学BP神经网络在我国入境旅游人数预测中的应用时间序列数据输入层节点数是人为确定的，输入层节点数过多，造成网络学习次数较大；输入层节点数过少，不能反映后续值与前驱值的相关关系。经反复试验最终确定为4个，且输出层节点数为1[4]。隐含层节点数的选择在所有BP网络中目前还没有理论上公认的推导方法。考虑到单隐含层网络的非线性映射能力较弱，为了达到预定的映射关系，隐含层节点宜适量增加，以增加网络的可调参数，最终确定隐含层节点数为6个。

（2）网络函数的确定

传递函数的第一层选用TANSIG函数，第二层则选用PURELIN函数；训练函数采用trainlm函数，仿真网络函数采用simuff函数。目标误差Err定为0.00001，学习率lr定为0.01。

二、样本数据的归一化处理和网络训练

1.样本数据的归一化处理

由于BP神经网络要求输入的数据范围一般在[01]。因此对1986-2005年样本数据进行归取一个比较大的值，保证预测年的数据小于该数值，取一个小于样本数据序列中最小值的值，保证归一化后的数据不太接近于0。

2.训练样本和检验样本的确定

由于历年入境旅游人数是一维时间序列，但BP神经网络要求用多维输入来训练网络，为此，根据上述已确立的网络层节点数以及BP神经网络一般所遵循的原则（即输入层和输出层节点数分别和输入和输出神经元数相等），确定我国入境旅游人数网络模型的输入神经元为4个，输出神经元为1个。具体操作如下：输入神经元P=[p'(t-4)，p'(t-3)，p'(t-2)，p'(t-1)]；输出神经元T=[p'(t)]，其中t=1990年，1991年，…2005年，p'(t)表示t年归一化的入境旅游人数（见表1）。为了检验该网络的精确性和有效性，选择第1组―第11组的数据作为学习样本集，第12组―第16组的数据作为检验样本集，且利用完成训练的神经网络进行模拟。

三、BP模型的实现及几种模型的对比分析

1.网络模拟预测结果分析

采用MATLAB6.5人工神经网络工具箱，将第1组―第11组学习样本输入网络进行训练学习，训练结果为Epoch25/120，SSE1.05994e-005，表明网络能较快的收敛，然后再将第12组－第16组样本代入训练好的网络进行检验，模拟结果表明BP网络可信度高。图3为网络输出值与实际值的比较，图4为BP网络拟合误差曲线图。可以看出，BP神经网络能以较高的精度对原来的数据进行拟合。图3BP网络拟合结果图4BP网络拟合误差曲线图根据训练好的网络，可输入P=[p(2002)p(2003);p(2003)p(2004);p(2004)p(2005);p(2005)p(2006)]，即P=[0.5992950.551247;0.5512470.684923;0.6849230.769231;0.7692310.810377]，便可得到2006年和2007年入境旅游人数预测值为0.810377和0.874423，经还原，2006年、2007年入境旅游人数分别为12942.70万人和14156.80万人。

2.几种模型模拟结果的比较

借助SPSS软件，对1990-2005年我国入境旅游人数[5][6][7]分别采用Logistic、指数平滑和自回归模型进行模拟和预测[8][9][10]（见表2）。从相对平均误差（AARE）、泰尔（THEIL）不等系数（μ）、误差平方和（SSE）3个角度来比较几种模型的精确度（见表3）。它们分别可以用下列公式求得。

由表3可以看出，BP神经网络的相对平均误差为0.00840，泰尔不等系数为0.000951，误差平方和为1619131.17，比上述几种模型模拟的结果都要小得多，这表明，采用BP神经网络算法进行预测的精确度较其他方法高，能为实际工作提供更准确的信息。

四、结论

1.BP神经网络模型是由输入层、隐含层和输出层组成。一旦网络建立后，只需输入相应的神经元，便可得到输出神经元（即入境旅游人数网络输出值）。所以，BP神经网络的最大优点是操作简单，应用广泛，便于监测。

2.基于MATLAB平台，采用BP神经网络方法对20世纪90年代以来我国入境旅游人数进行了模拟和预测。经比较，证明BP神经网络预测方法具有比Logistic、指数平滑和自回归模型等传统人口预测方法更好的效果。这一方法的运用为旅游学的模拟预测研究提供了一种新的思路，为今后旅游业的可持续发展（包括旅游基础设施的建设和旅游产品的开拓）提供了一种更为科学的预测方法，同时，也对旅游管理部门、政府部门有一定的参考与借鉴作用。

3.尽管BP神经网络在入境旅游人数的预测中效果最好，但也不排除偶然因素对其预测趋势的较大影响。如2003年，受SARS的影响，我国入境旅游人口为9166.21万人，但通过网络模拟的结果却达到了10350.0万人，误差达0.129％。

参考文献

[1]张建民，王涛，王忠礼.智能控制原理及应用[M].北京：冶金工业出版社，2003：90-105.

[2]魏海坤.神经网络结构设计的理论与方法[M].北京：国防工业出版社，2005：25-36.

[3]KitaharaM,AchenbachJD,GuoQC.NeuralnetworkforCrack-depthDeterminationfromUltrasonicBack-ScatteringData[J].ReviewofProgressinQuantitativeEvaluation,1992(11):701-708.

[4]罗荣桂，黄敏镁.基于BP神经网络的长江流域人口预测研究[J].武汉理工大学学报，2004（10）:91-92.

[5]中国旅游年鉴（1991年-2004年）[M].北京：中国旅游出版社，1991-2004.

[6]2004年中国入境旅游人数首次突破一亿人次[EB/OL]..cn/2005fbh/article.phpid=9281.

[7]2005年中国入境旅游人数达1.2亿人次[EB/OL]./ReadNews.aspNewsID=4510&BigClassID=11&SmallClassID=31.

[8]HillT,MarquezO'ConnorM,RemusW.ArtificialNeuralnetworkModelsforForecastingandDecisionMaking[J].InternationalJournalofForecasting,1993(3):5-15.

[9]CareyK.EstimationofCaribbeanTourismDemand:IssuesinMeasurementandMethodology[J].AtlanticEconomicJournal,1991(3):57-80.

神经网络反向传播原理范文篇3

关键词:室内定位;RSS;BP神经网络;IEEE802.11b

中图分类号:TN911.23文献标识码:A

1引言

目前,室内定位算法主要有以下几种｡

1)Timeofarrival(TOA)

TOA定位的基本原理是通过测量节点间电波传播的时间来确定节点的位置｡

TOA算法要求参加定位的各个基站在时间上实现严格同步｡在室内环境中,由于已知点到待测点的距离通常不远,无线电波的传播速度太快,且存在严重的多径干扰,因此无法利用无线电波进行测距｡目前,基于TOA的室内定位技术通常是利用超声波传播速度较慢的特点(在20摄氏度时超声波的传播速度为343.38m/s),来测量出已知点和待测点间的距离,进而求出待测点的位置[1]｡

2)GPSL1Re-radiating

GPS(GlobalPositioningSystem)是70年代初由美国开发的卫星导航定位系统,本质上它也是一个基于TOA的定位系统｡

GPSL1Re-radiating是将GPS在L1频段上的信号,通过户外天线接收后,增益放大为室内可接收信号,进而基于GPS实现室内定位｡

3)Receivedsignalstrength,RSS

RSS定位的基本原理是利用移动装置侦测所接收到的无线电波信号强弱,然后根据经验模型或RSS随距离衰减的模型来推断节点间的距离,进而实现定位[2]｡

该技术主要使用无线网络本身的无线电信号来定位,不需额外添加硬件,是一种低功率､廉价的定位技术[3]｡

基于信号强度的室内定位方法分为经验模型法和信号衰减模型法｡

(1)经验模型法

在经验模型法中,将RSSI数据转换为位置信息的方法主要有判定法和概率法两种｡

(2)信号衰减模型法

信号衰减模型法则无需实地测量位置和RSSI,而是依据信号强度和距离的特定关系,结合三角测量法,根据来自三个(或以上)AP的RSSI来计算出待测点的位置｡

基于TOA的定位模型在开放的室外环境中非常有效,但在室内环境却存在一些问题｡使用超声波虽可克服无线电波传输速度快的问题,但需构建专门的超声波系统｡GPS也主要是针对户外目标设计的定位系统,应用于室内存在定位精度不高等问题｡基于RSS的定位模型中,经验法需进行大量的实地测量,同时无法保护定位用户的隐私;而信号衰减法在室内受NLOS(非视距传播)等因素影响,也使得定位精度较低｡

因此,本文提出了一种基于BP神经网络的室内定位模型并借助MATLAB7.0加以实现｡采用该方法进行室内定位,不需要WLAN以外的其他资源｡由于不需要知道定位节点和建筑物的详细特性,用户的隐私将随之得到完全的保护｡

2基于BP神经网络的室内定位模型

BP神经网络通常是指基于误差反向传播算法(Backpropagation)的多层前向神经网络,目前,该算法已成为应用最为广泛的神经网络学习算法[4]｡

BP神经网络采用的是并行网络结构,包括输入层､隐含层和输出层,经作用函数后,再把隐节点的输出信号传递到输出节点,最后给出输出结果｡该算法的学习过程由信息的前向传播和误差的反向传播组成｡在前向传播的过程中,输入信息从输入层经隐含层逐层处理,并传向输出层｡第一层神经元的状态只影响下一层神经元的状态｡如果在输出层得不到期望的输出结果,则转入反向传播,将误差信号(目标值与网络输出之差)沿原来的连接通道返回,通过修改各层神经元权值,使得误差均方最小｡神经网络理论已经证明BP神经网络具有强大的非线性映射能力和泛化功能,任一连续函数或映射均可采用三层网络加以实现｡

计算技术与自动化2007年6月第26卷第2期李瑛等:一种基于BP神经网络的室内定位模型2.1样本数据的采集和处理

输入向量为待测点收到的来自至少三个不同位置AP的RSSI值,输出向量为待测点的坐标值(X,Y)｡

样本采集在一个10mX10m的室内场地中进行｡使用3个来自SMC公司的AP和1台配置了ORiNOCOPCCARD的笔记本电脑｡AP及无线网卡符合并工作在IEEE802.11b标准下｡笔记本电脑所使用的操作系统为RedHatLinux9.0｡样本均匀分布在6mx6m的中心区域中｡

2.2网络结构的确定

Kolmogorov定理已经证明[5],任意一连续函数可由一个三层BP网络来实现｡虽然研究表明三层以上的BP网络可以减少隐含层节点数,提高计算效率,但在缺乏理论指导的BP网络设计中这样做容易使问题趋向复杂化｡因此选择三层BP神经网络,即只有1个隐含层的BP神经网络｡

该网络输入层的节点数由输入向量的维数决定,输入向量的维数是3,所以输入层节点数确定为3个｡输出层节点数由输出向量的维数决定,这里输出节点数为2｡

隐含层节点数的选择在BP网络设计中是一个难点,目前还没有理论上的指导｡过多的网络节点会增加训练网络的时间,也会使网络的泛化能力减弱,网络的预测能力下降｡然而网络节点过少则不能反映后续值与前驱值的相关关系,建模不充分｡经反复试验,将隐含层节点数定为30,这样形成了一个3-30-2结构的BP神经网络,如图1所示｡

2.3学习算法的选择

基本BP算法采用梯度下降法使得误差均方(mse)趋向最小,直至达到误差要求｡但在实际应用中,存在收敛速度慢､局部极值等缺点｡Matlab7.0神经网络工具箱中提供了十多种快速学习算法,一类是采用启发式学习方法,如引入动量因子的traingdm算法､变速率学习算法traingda､“弹性”学习算法trainrp等;另一类采用数值优化方法,如共轭梯度学习算法traincgf等｡本研究选择traincgf算法｡该算法在不增加算法复杂性的前提下,可以提高收敛速度,并且可沿共扼方向达到全局最小点,较好地解决了经典BP算法所存在的收敛速度慢和可能出现局部最优解的问题｡

2.4BP神经网络的初始化､训练与仿真

1)建立网络

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()为建立BP神经网络的函数;P3为6维矩阵,表示3维输入向量中每维输入的最小值和最大值之间的范围｡[30,2]表示隐层节点数是30,输出层节点数是2,{′tansig′,′purelin′}表示隐含层中的神经元采用tansig转换函数,输出层采用purelin函数,′traincgf′表示选择的学习算法｡

2)权重和阈值初始化

net==init(net)

给各连接权重LW{1,1}､LW{2,1}及阈值b{1}､b{2}赋予(-1,+1)间的随机值｡

3)训练

[net,tr]=train(net,P,T)

P为输入向量,T为目标向量,根据网络学习误差逆传递算法,利用阻尼最小二乘算法迭代,由前一次训练得到的网络权重及阈值训练得到新的网络权重及阈值｡

为了使生成的BP网络对输入向量有一定的容错能力,最好的方法是既使用理想的信号又使用带有噪声的信号对网络进行训练｡具体做法是先用理想的输入信号对网络进行训练,直到起平方和误差足够小;然后,使用20组理想信号和带有噪声的信号对网络进行训练｡经过上述训练后,网络对无误差的信号也可能会采用对付带有噪声信号的办法,这样会导致很大的代价,因此,需要采用理想的向量对网络再次训练,以保证网络能对理想信号作出最好的反应｡

使用函数traincgf对网络进行训练时,当网络平方和误差小于3时停止网络的训练｡训练过程中的误差变化情况如图2所示｡

根据训练后的网络及输入向量进行仿真输出｡

3实验结果及分析

利用训练后的BP神经网络进行了36次定位,并统计了36次定位的平均误差,结果如图3所示｡

与利用信号衰减模型定位相比(如图4所示),利用BP神经网络定位具有更高的统计精度｡

与信号衰减模型相比,虽然BP神经网络的模型解释直观性略有不足,但却可获得更精确的定位结果｡

利用BP神经网络,虽然可解决传统处理方法所不能处理的非线性映射问题,但在实际应用中,对如何选择和确定一个合适的神经网络结构没有确切的理论指导,只能通过试验―调整―再试验的过程来确定一个合适的网络结构｡同时,BP神经网络的隐含层作用机理和隐含层节点个数的选择是BP神经网络的难点问题｡隐含层的节点个数的选择需反复进行试验,当多次输出结果在一定误差范围内时才可确定｡

4结束语

本文提出了一种基于BP神经网络的室内定位模型,并在基于IEEE802.11b标准的WLAN环境中对此模型进行了测试｡一个基于信号衰减模型的定位算法也在同样的环境中进行了测试｡对比结果表明,利用BP神经网络进行室内定位能取得更好的定位精度｡