如何学好神经网络篇1

关键词：LM-BP网络；粮食产量；预测

中图分类号：S11+4；TP183文献标识码：A文章编号：0439-8114（2012）23-5479-03

ForecastingCornProductionBasedonLM-BPNeuralNetwork

GUOQing-chun1，3，4，HEZhen-fang2，4，LILi3

（1.TeachingAffairsOffice，ShaanxiRadio&TVUniversity，Xi’an710068，China；2.ColdandAridRegionsEnvironmentalandEngineeringResearchInstitute，ChineseAcademyofSciences，Lanzhou730000，China；3.InstituteofEarthEnvironmentResearch，ChineseAcademyofSciences，Xi’an710075，China；4.GraduateUniversity，ChineseAcademyofSciences，Beijing100049，China）

Abstract：AcornproductionporecastingmethodbasedonimprovedLM-BPwasproposed.Accordingtomeasurementandagriculturalsignificanceprinciple，9factorsofgrain-sownarea，fertilizerinput，effectivegrainirrigatedarea，strickenarea，ruralelectricityconsumption，totalagriculturemechanismpower，thepopulationengagedinagriculture，ruralresidentsfamilyproductiveassets，theaveragenetincomeofruralhouseholdswereextractedasthenetworkinput；cornproductionwasextractedasthenetworkoutput.TheLMalgorithmcouldminimizetheerror，andthemodelingresultswereevaluatedwiththecorrelationcoefficients，relativeerror，etc.Fortrainingsampleset，thecorrelationcoefficientbetweenthesimulatedvalueandtheactualvaluewas0.996，theaveragerelativeerrorwas0.47%；fortestingsampleset，thecorrelationcoefficientbetweentheforecastedvalueandtheactualvaluewas0.994，theaveragerelativeerrorwas0.56%.TheresultsshowedthattheimprovedLM-BPmodelcouldimprovesimulationprecisionandstabilityofthemodel.Thismethodiseffectiveandfeasibleforcornproductionprediction.

Keywords：LM-BPnetwork；cornproduction；forecast

粮食产量预测是复杂的农学和统计学问题，受自然环境、政策、资源投入等多因素的影响。国内外的相关研究中，不少学者构建了许多很有价值的理论假说和预测模型，主要有4类：投入产出模型、遥感技术预测模型、气候生产力模型及多元回归和因子分析模型，这些模型从不同角度对粮食产量预测进行了研究[1，2]。但这些模型多数采用传统的统计预测技术，如时间序列统计模型、定性与推断技术、因果关系方法。而粮食产量是受不确定性因素影响的，是一个复杂的非线性系统。

人工神经网络具有很强的处理大规模复杂非线性系统的能力。近年来，许多学者已将人工神经网络成功地应用于实际问题的预测中，取得了令人满意的结果[3-12]。为此，采用改进算法的神经网络建立了粮食产量预测系统，结果表明，基于改进算法的BP神经网络预测模型具有良好的预测精度、训练时间短、收敛速度快等特点。

1仿真试验数据

1.1预测因子的选择

根据能够计量及具有农学意义的原则，结合农业专家的意见，通过前期大量的影响因子分析[13-15]，选取1994-2009年的粮食总产量为输出因子，初步选取粮食作物播种面积、化肥施用量、粮食作物有效灌溉面积、受灾面积、农村用电量、农业机械总动力、从事农业的人口、农村居民家庭生产性固定资产原值、农村居民家庭平均纯收入9个因子作为输入因子构筑模型，原始数据来源于2010年《中国统计年鉴》。

1.2网络输入的初始化

为了消除不同因子之间由于量纲和数值大小的差异而造成的误差，以及由于输入数值过大造成溢出，首先需要对数据进行标准化处理，即把输入数据转化为[0，1]或[-1，1]的数。通过公式y=（x-min（x））/（max（x）-min（x））对粮食产量进行处理，得到了符合网络要求的数据。减少了识别数据的动态范围，使预测成功的可能性得以提高。然后将数据分成两部分：网络的训练样本集（前11年的数据）和检测样本集（后5年的数据）。

2预测仿真模型的建立

BP网络是误差反向传播（BackPropagation）人工神经网络的简称，是目前计算方法比较成熟、应用比较广泛、效果比较好、模拟生态经济系统的神经网络模型，但传统BP网络存在学习过程收敛慢，局部极小、鲁棒性不好、网络性能差等缺点。为了改进算法，引入Levenberg-Marquardt优化算法，其基本思路是使其每次迭代不再沿着单一的负梯度方向，而是允许误差沿着恶化的方向进行搜索，同时通过在最速梯度下降法和高斯-牛顿法之间自适应调整来优化网络权值，使网络能够有效收敛，大大提高网络的收敛速度和泛化能力，它能够降低网络对误差曲面局部细节的敏感性，有效抑制网络陷入局部极小。

Levenberg-Marquardt算法实际上是梯度下降法和拟牛顿法的结合，该算法期望在不计算Hessian矩阵的情况下获得高阶的训练速度，其公式表达为XK+1=XK-[JTJ+μI]-1JTe，其中，JT为雅克比矩阵，e是网络误差向量。如果μ=0的话，就变成采用近似Hessian矩阵的拟牛顿法；如果μ很大，即成为小步长的梯度下降法，由于牛顿法在误差极小点附近通常能够收敛得更快更准确，因此算法的目的就是尽快转换为牛顿法。如果某次迭代成功，误差性能函数减小，那么就减小μ值，而如果迭代失败，就增加μ值。如此可以使得误差性能函数随着迭代的进行而下降到极小值。Matlab工具箱提供了Trainlm函数Levenberg-Marquardt算法的计算。

网络结构的选择是应用BP网络成功与否的关键因素之一，一个规模过大的神经网络容易造成网络容错性能下降、网络结构复杂、泛化能力较差等缺陷；而规模过小的神经网络往往对训练样本的学习较为困难，学习过程可能不收敛，影响网络的表现能力，降低网络应用的精度。理论研究表明，只要具有足够的隐层神经元，3层人工神经网络可以无限地逼近任何时间序列和函数，因此这里采用含有一个隐含层的3层神经网络结构。隐含层神经元数的选择较为复杂，它关系到整个BP网络的精确度和学习效率，但目前，它的选取尚无一般的指导原则，只能根据一些经验法则或通过试验来确定，如Hecht-Nielsen提出的“2N+1”法，由输入矩阵可以确定输入层节点数为9，根据“2N+1”这一经验，可确定隐含层节点数为19；输出层节点数为1，这样就构成了一个9-19-1的BP神经网络模型，其中，训练函数为Trainlm，输入层到隐含层以及隐含层到输出层的传递函数分别为Logsig和Purelm，最大训练次数Epochs为50000次；训练误差精度Goal为0.001；训练时间间隔Show为5，学习步长Lc为0.5，动量因子Me为0.95，其他参数均选用缺省值。

3仿真结果

取1994-2004年的11个实际产量作为训练样本集，将2005-2009年的5个实际产量作为预测效果检测样本集。将1994-2004年9个指标的原始数据作为BP神经网络的输入样本，粮食产量实际值作为输出样本，然后对网络进行训练，可得相应结点的权值与阈值，将2005-2009年9个指标的原始数据（检测样本）作为网络的仿真输入，得到最终预测结果，表1是1994-2009年中国粮食实际产量和神经网络方法模拟值对比分析结果。

从表1可以看出，训练样本集中拟合精度平均相对误差为0.47%，最大值为2004年的1.13%，模拟值和实际值的相关系数为0.996；检测样本集中，BP神经网络预测模型得到的预测值和实际值具有较好的拟合效果，平均相对误差为0.56%，最大相对误差为1.11%，最小相对误差仅为0.04%，模拟值和实际值的相关系数为0.994；2005-2009年的粮食产量预测值的相对误差均较小。这种改进后的方法比较有效，利用该算法获得的预测数据结果较好。

总之，由以上分析结果可以看出，无论是拟合精度还是预测5个独立样本，BP神经网络模型的精度都比较高。但从预测结果也可以看出，BP网络模型方法预测的平均相对误差为0.56%，平均预测精度仍有待提高。

4小结与讨论

针对中国粮食产量预测问题，将BP神经网络应用于国家粮食安全预警系统中，采用1994-2004年的中国粮食产量和影响因子的历史数据建立模型，利用2005-2009年的数据检验模型，研究得出以下结论。

1）由于常规统计模型难以满足粮食产量的预测要求，提出的改进BP算法较好地解决了神经网络收敛慢和易陷入局部极小值的问题，通过建立预测模型，运用该改进方法对中国粮食产量进行了预测，实例证明，运用基于Levenberg-Marquardt算法的改进BP神经网络，无论从训练结果精度上还是在收敛性能上都表现出较好的效果，说明运用该方法来预测粮食产量是完全可行的，弥补了传统BP算法的不足，提高了预测精度，加快了收敛速度，而且具有很好的外延性。

2）BP神经网络模型的预测精度高，预测值和实际产量的拟合性好。BP神经网络法允许原始的随机数据或数据中含有较多的噪声，这是它区别于其他模型的最大优势，因而任何能用传统的模型分析或统计方法解决的问题，BP神经网络能处理得更好。在进行粮食产量预测时，BP神经网络法是一种非常理想的预测方法，但是在构造神经网络的预测模型时，要注意正确选择影响因素，不要漏掉对预测对象有重大影响的因素。

由于粮食产量受各种因素的影响，波动性较大，除了受到上述9种因素的影响外，在很大程度上还受国家宏观政策、作物品种、耕作技术等因素的影响，如何更全面地将难以量化的因素也纳入模型中进行考虑分析，从而不断地改进预测模型、提高预测精度，是需要进一步研究的工作。

参考文献：

[1]和文超，师学义，邓青云，等.土地利用规划修编中粮食产量预测方法比较[J].农业工程学报，2011，27（12）：348-352.

[2]周永生，肖玉欢，黄润生.基于多元线性回归的广西粮食产量预测[J].南方农业学报，2011，42（9）：1165-1167.

[3]王巧华，文友先.基于BP神经网络的鸡蛋大小分级方法研究[J].湖北农业科学，2005（1）：97-99.

[4]于平福，陆宇明，韦莉萍，等.基于小波广义回归神经网络的粮食产量预测模型[J].湖北农业科学，2011，50（10）：2135-2137.

[5]李红平，魏振方，郭卫霞.小麦白粉病的数学模型预测[J].湖北农业科学，2011，50（17）：3611-3613.

[6]李艳，刘军.农产品价格预测系统设计与实现[J].湖北农业科学，2011，50（14）：2976-2978.

[7]黄华，黎未然.人工神经网络在柚皮总黄酮提取中的应用[J].湖北农业科学，2011，50（10）：2088-2091.

[8]汪东升，李小昱，李鹏，等.基于小波和神经网络的柴油机失火故障检测[J].湖北农业科学，2011，50（15）：3181-3183.

[9]梁丹，李小昱，李培武，等.近红外光谱法对食用植物油品种的快速鉴别[J].湖北农业科学，2011，50（16）：3383-3385.

[10]吴泽鑫，李小昱，王为，等.基于近红外光谱的番茄农药残留无损检测方法研究[J].湖北农业科学，2010，49（4）：961-963.

[11]章英.基于收购质量的烤烟烟叶无损检测技术研究综述[J].湖北农业科学，2011，50（7）：1297-1300.

[12]李哲，李干琼，董晓霞，等.农产品市场价格短期预测研究进展[J].湖北农业科学，2011，50（17）：3666-3675.

[13]宰松梅，温季，仵峰，等.基于灰色关联分析的辽宁省粮食产量预测模型[J].节水灌溉，2011（5）：64-66.

如何学好神经网络篇2

关键词：模糊控制；人工神经网络；人脸识别

中图分类号：TP18文献标识码：A文章编号：1009-3044(2011)16-3904-03

随着人工智能技术的飞速发展，机器视觉已经成为当前人工智能研究领域的一大热点，很多国家的研究人员都开展了对机器视觉的研究，其中以机器视觉识别人脸最为困难，这主要是因为人的面部带有表情，不同的人具有不同的脸，而不同的脸具有不同的表情，不同的表情则具有不同的面部特征，如何让计算机通过机器视觉高效率的识别人脸，成为当前机器视觉和智能机器人关键技术领域的技术难题。

随着模糊逻辑控制算法和人工神经网络算法的发展，对于机器视觉识别人脸特征的算法也有了新的发展，目前多数研究算法所采用的人脸识别从实现技术上来说，主要可以分为以下几个类别：

1)基于人脸几何特征进行的识别算法，该算法运算量较小，原理简单直观，但是识别率较低，适合应用于人群面部的分类，而不适宜于每一个人脸的识别。

2)基于人脸特征的匹配识别算法，这种算法是预先构建常见的人脸特征以及人脸模板，构成人脸特征库，将被识别的人脸与特征库中的人脸进行逐一比对，从而实现人脸识别，该算法识别效率较高，但是应用有一定局限性，只能够识别预先设立的人脸特征库中的人脸模型，因此人脸特征库就成为该算法实现的技术关键。

3)基于统计的人脸识别算法，该算法将人脸面部进行特征参数的划分，如两眼距离大小，五官之间距离等，通过构建统计特征参数模型实现对人脸模型的识别，该算法识别率较高，但是算法实现起来运算量比较大，且识别效率较低。

4)基于模糊逻辑的人脸识别算法，这一类算法主要结合了模糊逻辑和神经网络能够自我训练学习的机制实现对人脸的识别，识别率较高，且算法运算量适中，但是算法的原理较难理解，且模糊逻辑控制规则的建立存在一定技术难度。

本论文主要结合模糊人工神经网络方法，将其应用于计算机人脸识别，以期从中能够找到有效可靠的人脸识别方法及其算法应用，并以此和广大同行分享。

1模糊逻辑及人工神经网络在图像辨识中的应用可行性分析

1)人脸识别的技术难点

由于计算机只能够认识0和1，任何数据，包括图像，都必须要转化为0和1才能够被计算机识别，这样就带来一个很复杂很棘手的问题：如何将成千上万的带有不同表情的人脸转变为数字信号并被计算机识别。由于人的面部带有表情，不同的人具有不同的脸，而不同的脸具有不同的表情，不同的表情则具有不同的面部特征，因此这些都成为了计算机识别人脸特征的技术难点，具体来说，人脸实现计算机识别的主要技术难度包括：

①人脸表情：人有喜怒哀乐等不同表情，不同的表情具有不同的面部特征，因此如何分辨出不同表情下的人脸特征，这是首要的技术难点；

②光线阴影的变换：由于人脸在不同光线照射下会产生阴影，而阴影敏感程度的不一也会增加计算机识别人脸特征的难度；

③其他因素：如人随着年龄的增长面部特征会发生些微变化，人脸部分因为装饰或者帽饰遮挡而增加识别难度，以及人脸侧面不同姿态也会对计算机识别带来技术难度。

2)模糊人工神经网络在人脸辨识中的应用可行性

如上分析所示，计算机识别人脸，需要考虑的因素太多，并且每一种因素都不是线性化处理那么简单，为此，必须要引入新的处理技术及方法，实现计算机对人脸的高效识别。根据前人的研究表明，模糊人工神经网络算法是非常有效的识别算法。

模糊理论和神经网络技术是近年来人工智能研究较为活跃的两个领域。人工神经网络是模拟人脑结构的思维功能，具有较强的自学习和联想功能，人工干预少，精度较高，对专家知识的利用也较少。但缺点是它不能处理和描述模糊信息，不能很好利用已有的经验知识，特别是学习及问题的求解具有黑箱特性，其工作不具有可解释性，同时它对样本的要求较高;模糊系统相对于神经网络而言，具有推理过程容易理解、专家知识利用较好、对样本的要求较低等优点，但它同时又存在人工干预多、推理速度慢、精度较低等缺点，很难实现自适应学习的功能，而且如何自动生成和调整隶属度函数和模糊规则，也是一个棘手的问题。如果将二者有机地结合起来，可以起到互补的效果。

模糊逻辑控制的基本原理并非传统的是与不是的二维判断逻辑，而是对被控对象进行阈值的设计与划分，根据实际值在阈值领域内的变化相应的产生动态的判断逻辑，并将逻辑判断规则进行神经网络的自我学习，逐渐实现智能判断，最终实现准确的逻辑判断。相较于传统的线性判断规则，基于模糊规则的神经网络是高度复杂的非线性网络，同时由于其广阔的神经元分布并行运算，大大提高了复杂对象（如人脸）识别计算的效率，因此，将模糊神经网络算法应用于人脸的智能识别是完全可行的。

2基于模糊人工神经网络的人脸识别方法研究

2.1基于模糊神经网络的人脸识别分类器设计

1)输入、输出层的设计：针对模糊神经网络层的输入层和输出层的特点，需要对识别分类器的输入、输出层进行设计。由于使用BP神经网络作为识别分类器时，数据源的维数决定输入层节点数量，结合到人脸的计算机识别，人脸识别分类器的输入输出层，应当由人脸特征数据库的类别数决定，如果人脸数据库的类别数为m，那么输入、输出层节点数也为m，由m个神经元进行分布式并行运算，能够极大提高人脸识别的输入和输出速度。

2)隐藏层结点数的选择：由于一般的BP神经网络都是由3层BP网络构成：输入层，隐藏层和输出层，隐层的数量越多，BP神经网络越复杂，那么最终能够实现的运算精度就越高，识别率也就越高；但是随着隐层数量的增加，随之而来的一个突出的问题就是神经网络变的复杂了，神经网络自我训练和学习的时间变长，使得识别效率相对下降，因此提高精度和提高效率是应用模糊神经网络的一个不可避免的矛盾。在这里面向人脸识别的分类器的设计中，仍然采用传统的3层BP神经网络构建人脸识别分类器，只设计一层隐层，能够在保障识别精度的前提下有效的保障神经网络学习和训练的效率，增加人脸识别的正确率。

3)初始值的选取：在设计了3层BP神经网络的基础上，需要确定神经网络的输入初始值。由于模糊神经网络是非线性的，不但具有线性网络的全部优点，同时还具有收敛速度快等特点，而初始值的选取在很大程度上影响神经网络的学习训练时间的长短，以及是否最终能够实现收敛输出得到最优值。如果初始值太大，那么对于初始值加权运算后的输出变化率趋向于零，从而使得神经网络自我学习训练趋向于停止，最终无法得到收敛的最优值；相反，我们总是希望初始值在经过每一次加权运算后的输出都接近于零，从而能够保证每一个参与运算的神经元都能够进行调节，最终实现快速的收敛。为此，这里将人脸识别的初始值设定在[0，0.2]之间，初始运算的权值设定在[0，0.1]之间，这样都不太大的输入初始值和权值初始值能够有效的保证神经网络快速的收敛并得到最优值。

如果收敛速度太慢，则需要重新设置权值和阈值。权值和阈值由单独文件保存，再一次进行训练时，直接从文件导出权值和阈值进行训练，不需要进行初始化，训练后的权值和阈值直接导入文件。

2.2人脸识别的神经网络训练算法步骤

1)神经网络的逐层设计步骤：神经网络需要按层进行设计，构建信号输入层、模糊层以及输出层，同时还要构建模糊化规则库，以构建神经网络模糊算法的完整输入输出条件。具体构建人脸识别的神经网络层可以按照下述步骤执行：

Step1，构建信号输入层，以视觉摄像头为坐标原点构建人脸识别坐标系统，这里推荐采用极坐标系统构建识别坐标系，以人脸平面所处的角度与距离作为信号的输入层，按照坐标系的变换得到神经网络信号输入的距离差值和角度差值Δρ，Δθ，作为完整的输入信号。

Step2，构建模糊化层，将上一层信号输入层传输过来的系统人脸识别信号Δρ与Δθ进行向量传输，将模糊化层中的每一个节点直接与输入信号向量的分量相连接，并进行信号矢量化传输；同时在传输的过程中，根据模糊化规则库的条件制约，对每一个信号向量的传输都使用模糊规则，具体可以采用如下的隶属度函数来进行模糊化处理：

(1)

其中cij和σij分别表示隶属函数的中心和宽度。

Step3，构建信号输出层，将模糊化层经过模糊处理之后的信号进行清晰化运算，并作为最终结果输出。

关于模糊规则库的建立，目前所用的方法都是普遍所采用的匹配模糊规则，即计算每一个传输节点在模糊规则上的适用度，适用就进行模糊化规则匹配并进行模糊化处理，不适用则忽略该模糊规则并依次向下行寻找合适的模糊规则。当所有的，模糊规则构建好之后，需要对每条规则的适用度进行归一化运算，运算方法为：

(2)

2)人脸的识别算法按如下步骤执行：

Step1：一个样本向量被提交给网络中的每一个神经元；

Step2：计算它们与输入样本的相似度di；

Step3：由竞争函数计算出竞争获胜的神经元，若获胜神经元的相似度小于等于相似度门限值ν，则计算每个神经元的奖惩系数γi，否则添加新的神经元；

Step4：根据学习算法更新神经元或将新添加的神经元的突触权值置为x；

Step5：学习结束后，判断是否有错误聚类存在，有则删除。

其中，

(3)

di是第i个神经元的相似度值，β为惩罚度系数，ν为相似度的门限值。γ的计算方法是对一个输入样本x，若竞争获胜神经元k的相似度dk≤ν，则获胜神经元的γk为1，其它神经元的γi=-βdi/ν，i≠k；若dk>ν，则添加新的神经元并将其突触权值置为x。

实际上，网络训练的目的是为了提高本算法的权值实用域，即更加精确的实现对人脸特征的识别，从而提高算法的人脸识别率，当训练结束后，即可输出结果。

2.3算法仿真测试

为了验证本论文所提出的人脸识别模糊神经网络算法的有效性和可靠性，对该算法进行仿真测试，同时为了凸显该算法的有效性，将该算法与传统的BP神经网络算法进行对比仿真测试。

该测试采集样本500张人脸图片，分辨率均为128×128，测试计算机配置为双核处理器，主频2.1GHz，测试软件平台为Matlab，分别构建BP神经网络分类器与本算法的神经网络分类器，对500幅人脸图片进行算法识别测试。

如表1所示，为传统BP神经网络算法和本论文算法的仿真测试结果对比表格。

从表1所示的算法检测对比结果可以发现：传统的算法也具有人脸特征的识别，但是相较于本论文所提出的改进后的算法，本论文提出的算法具有更高的人脸特征识别率，这表明了本算法具有更好的鲁棒性，神经网络模糊算法的执行上效率更高，因而本算法是具有实用价值的，是值得推广和借鉴的。

3结束语

传统的图像识别技术，很多是基于大规模计算的基础之上的，在运算量和运算精度之间存在着不可调和的矛盾。因人工神经网络技术其分布式信息存储和大规模自适应并行处理满足了对大数据量目标图像的实时处理要求，其高容错性又允许大量目标图像出现背景模糊和局部残缺。相对于其他方法而言，利用神经网络来解决人脸图像识别问题，神经网络对问题的先验知识要求较少，可以实现对特征空间较为复杂的划分，适用于高速并行处理系统来实现。正是这些优点决定了模糊神经网络被广泛应用于包括人脸在内的图像识别。本论文对模糊神经网络在人脸图像识别中的应用进行了算法优化设计，对于进一步提高模糊神经网络的研究与应用具有一定借鉴意义。

参考文献：

[1]石幸利.人工神经网络的发展及其应用[J].重庆科技学院学报:自然科学版,2006(2):99-101.

[2]胡小锋,赵辉.VisralC++/MATLAB图像处理与识别实用案例精选[M].北京:人民邮电出版社,2004.

[3]战国科.基于人工神经网络的图像识别方法研究[D].北京:中国计量科学研究院,2007.

[4]王丽华.基于神经网络的图像识别系统的研究[D].北京:中国石油大学,2008.

[5]范立南,韩晓微,张广渊.图像处理与模式识别[M].北京:科学出版社,2007.

[6]金忠.人脸图像特征抽取与维数研究[D].南京:南京理工大学,1999.

如何学好神经网络篇3

关键词：数据挖掘；数据库；遗传算法；神经网络

中图分类号：TP392文献标识码：A文章编号文章编号：1672-7800（2013）012-0129-02

基金项目：佛山科学技术学院重点项目（2010）

作者简介：刘晓莉（1961-），女，佛山科学技术学院副教授，研究方向为应用数学。

1遗传算法基本特征

遗传算法是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，是一种具有广泛适用性的整理优化搜索方法。遗传算法主要借用了生物遗传学的观点，通过自然选择、遗传和变异等作用机制来产生下一代种群，如此逐代进化，直至得到满足要求的后代即问题的解，是一种公认的全局搜索能力较强的算法。

遗传算法有良好智能性，易于并行，减少了陷于局部最优解的风险。遗传算法的处理对象不是参数本身，而是对参数集进行了编码的个体，可以直接对集合、队列、矩阵、图表等结构进行操作。同时，在标准的遗传算法中，基本上不用搜索空间的知识或其它辅助信息，而仅用适应度函数值来评估个体，并在此基础上进行遗传操作；遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导它的搜寻方向。正是这些特征和优点，使得遗传算法在数据挖掘技术中占有很重要的地位，既可以用来挖掘分类模式、聚类模式、依赖模式、层次模式，也可用于评估其它算法的适合度。

2神经网络基本特征

神经网络是人脑或自然神经网络若干基本特征的抽象和模拟，是以大量的、同时也是很简单的处理单元（神经元）广泛地互相连接形成的复杂非线性系统。人工神经网络本质上是一个分布式矩阵结构，它根据样本的输入输出对加权法进行自我调整，从而近似模拟出输入、输出内在隐含的映射关系。建模时，不必考虑各个因素之间的相互作用及各个因素对输出结果的影响机制，这恰好弥补了人们对各个因素及对输出结果的机制不清楚的缺陷，从而解决众多用以往方法很难解决的问题。

神经网络具有大规模的并行处理和分布式的信息存储，有良好的自适应、自组织性，学习能力很强，有较强的联想功能和容错功能，在解决机理比较复杂、无法用数学模型来刻画的问题，甚至对其机理一无所知的问题等，神经网络方法特别适用，是一种用于预测、评价、分类、模式识别、过程控制等各种数据处理场合的计算方法，其应用已经渗透到多个领域，在计算机视觉、模式识别、智能控制、非线性优化、信号处理、经济和机器人等方面取得了可喜的进展。

3遗传算法与神经网络混合算法在数据挖掘中的应用

作为一种有效的优化方法，遗传算法可以应用于规则挖掘，可以单独用于数据仓库中关联规则的挖掘，还可以和神经网络技术相结合，建立基于神经网络与遗传算法的数据挖掘体系，用于数据挖掘中的分类问题。

学习能力是神经网络中最引人瞩目的特征，学习算法的研究一直占据重要地位。可以将遗传算法应用于神经网络的学习过程中，这样可以避免传统的神经网络算法容易陷入局部极小的问题。有研究者提出了一种基于遗传算法的神经网络二次训练方法，可以提高神经网络的模糊处理能力，有效解决神经网络陷入局部极小的缺点，加快收敛速率，提高学习效率。也有研究者探究了基于基因重组的遗传算法优化神经网络的方法，通过训练权值来实现分类，可以提高神经网络数据分类的准确性。因此，采用遗传算法与神经网络模型相结合方法，可以解决多维非线性系统及模型未知系统的预测、评价与优化等问题，其成功案例有很多，下面是其中的几例。

一些研究者针对当前专家系统知识获取瓶颈的难题，提出了基于神经网络与遗传算法的汽轮机组数据挖掘方法。该方法首先将汽轮机组历史故障数据进行模糊化及离散化处理后，建立神经网络模型，然后再利用遗传算法对神经网络进行优化，实现了基于神经网络与遗传算法相结合的汽轮机组数据挖掘和故障诊断仿真系统，其诊断正确率达到了84%。

综合运用人工智能、计算智能（人工神经网、遗传算法）、模式识别、数理统计等先进技术作为数据挖掘工具，可以建立可靠、高效的数据挖掘软件平台，已在很多工业控制和优化中得到应用和实验验证，并取得了满意的应用效果。例如，某铝厂根据以往不同原料成分和原料的不同配比与产品质量关系记录的数据库，应用数据挖掘软件平台，可以挖掘出适应不同原料成分的最佳配比规律，从而提高产品质量的稳定性。又如，以往在化工产品优化配方、催化剂配方优化或材料工艺优化等研究中，基本上都是采用试验改进的方式，需经过多次试验才能达到预期目的，但也有可能失败。为降低消耗，少做试验就能达到预期目的，可采用神经网络对产品配方实验数据建模，在此基础上，再应用遗传算法对配方模型进行优化，得到优化配方。

正是遗传算法与神经网络等算法的支撑以及计算机技术的发展，目前，数据挖掘广泛地应用于天文、地理、生物信息学、金融、保险、商业、电信、网络、交通等众多领域。例如，应用在地理数据库上，主要挖掘地质、地貌特征，为寻找矿产或进行城市规划等提供参考依据；在电信Web服务器方面，可以挖掘Web日志，根据用户兴趣动态链接Web页面，统计页面链接及权威主页等，对检索页面进行聚类，方便用户找到需要的信息；在生物医学信息和DNA数据分析方面，进行遗传、疾病等数据特征的挖掘，为疾病诊断、治疗和预防研究提供科学依据；对金融数据进行挖掘，可以分析客户信用度；在CRM（客户关系模型）上使用数据挖掘，获得客户群体分类信息、交叉销售安排及开发新客户和保留老客户的策略；在电信业中使用挖掘技术，以预防网络欺诈等；应用在商业问题的研究包括：进行客户群体划分、背景分析、交叉销售等市场行为分析，以及客户流失性、信用度分析与欺诈发现；在电子商务方面，从服务器以及浏览器端的日志记录中发现隐藏在数据中的模式信息，了解系统的访问模式以及用户的行为模式，作出预测性分析等等。

4结语

神经网络和遗传算法作为数据挖掘技术，也有一些不足和缺陷。遗传算法除了要进一步改进基本理论和方法外，还要采用和神经网络、模拟退火、最近临规则等其它方法相结合的策略，提高遗传算法的局部搜索能力，从而进一步改善其收敛速度和解的品质，提高数据挖掘技术。特别是对于单调函数或单峰函数，遗传算法在初始时很快向最优值逼近，但是在最优值附近收敛较慢；而对于多峰函数的优化问题，它往往会出现“早熟”，即收敛于局部极值。因此，研究如何改进遗传算法，采用合适的算法加快寻优速度和改善寻优质量，无论在理论上还是在实践上都有重要意义。神经网络的神经计算基础理论框架以及生理层面的研究仍需深入与加强，如何提高神经网络的可理解性问题，以及研究遗传算法、神经网络技术与其它人工智能技术更好地结合，从而获得比单一方法更好的效果等问题，值得进一步探索。

虽然数据挖掘技术已得到了广泛应用，但现有的数据挖掘方法并不能完全适应所面临的具有多样性的海量数据分析的现实，急需解决的问题是：如何研究并行处理和抽样的方法，来处理大规模的数据以获得较高的计算效率；如何利用统计、模糊数学来确定隐含变量及依赖关系，开发容噪的挖掘方法，以解决异质数据集的数据挖掘问题；如何更好地进行文本数据挖掘、Web数据挖掘、分类系统、可视化系统、空间数据系统和分布式数据挖掘等新技术的应用。因此，未来数据挖掘的研究表现在数据挖掘功能、工具、方法（算法）的拓展与理论创新，其应用的范围和深度会进一步加强。

参考文献参考文献：

[1]孟晓明.浅谈数据挖掘技术[J].计算机应用与软件，2004（8）.

[2]李慧芳，姚跃华，陈一栋.改进的遗传算法对神经网络优化的分类[J].微计算机信息，2008（15）.

[3]王东龙，李茂青.基于遗传算法的数据挖掘技术应用[J].南昌大学学报，2005（1）.

[4]宋仁国.铝合金工艺优化的遗传算法[J].材料科学与工程，1998（1）.

[5]韩力群.催化剂配方的神经网络建模与遗传算法优化[J].化工学报，1999（4）.

[6]郭崇慧，陆玉昌.预测型数据挖掘中的优化方法[J].工程数学学报，2005（1）.

[7]杨杰.用于建模、优化、故障诊断的数据挖掘技术[J].计算机集成制造系统，2000（10）.

如何学好神经网络篇4

关键词：

中图分类号：TP183文献标识码：A文章编号：2095－2163（2011）03－0040－03

ATrainingAlgorithmofProcessNeuralNetworksbasedonDataParallel

XUShaohua，LIUDandan

Abstract：Aimingattheproblemsinthecomplexmechanismofthespace-timeaggregationoperationandlongtrainingtimeofprocessneuralnetworks,atrainingalgorithmbasedondataparallelisproposed.Basedonbatchprocessofprocessneuralnetworkbythestandardgradientdescent,thealgorithmusestheparallelmodelofMPItorealizeparallelcomputingofclusterwhichiscomposedofmultiplecomputersinlocalareanetwork.Thepapershowsatrainingalgorithmandtherealizingmechanismofprocessneuralnetworksbasedondataparallel.Thecomparisonexperimentsarecarriedoutunderdifferentsizesoftrainingfunctionsamplesetanddifferentnumberofprocesses,andanalyzesalgorithmpropertiessuchasspeedup,parallelefficiency.Theresultsshowthatthealgorithmcanimprovethetrainingefficiencyofprocessneuralnetworks,whentheparallelgranularityisappropriate.

Keywords：

0引言

过程神经网络（ProcessNeuralNetwork，PNN）是一种新型的动态人工神经网络模型[1，2]，由于具有对非线性动态系统直接的辨识建模能力，以及对样本过程模态特征的自适应学习性质，将PNN应用于非线性系统的信息处理在机制上具有较好的适应性[3－5]。PNN的聚合运算机制复杂，其训练的计算复杂度相比非时变传统神经网络成倍数增加[6]。尽管多年来许多研究人员对神经网络模型和算法进行了改进和优化以提高训练速度，并在某些方面取得了较好的效果[7－10]，但还普遍存在训练速度慢、易陷入局部极小等缺陷，这些改进算法仍不能满足实际应用的要求。

并行计算是提高大规模计算问题效率的有效方法，对于人工神经网络训练，目前也有一些学者建立了若干并行学习模式，并取得了较好的实验结果[11－13]。笔者根据PNN所具有的本质并行机制和信息处理逻辑，提出了一种基于数据并行的PNN训练算法。在算法设计中，将训练样本按照模态特征分布划分给不同的处理机，各处理机对相同的网络模型和不同子样本集进行训练，通过消息机制侦测各计算节点的训练结果并更新网络参数。文中建立了一种基于梯度下降的PNN批处理训练算法，对不同规模的训练样本集和进程数进行了对比实验，并对并行算法性质和计算复杂度进行了分析。

1PNN模型和训练算法

1．1过程神经元模型

过程神经元的拓扑结构和时空聚合运算机制如图1所示。

图1中，x1（t），x2（t），．．．，xn（t）为过程神经元的时变输入函数；w1（t），w2（t），．．．，wn（t）为相应的连接权函数，∑为空间聚合算子，∫为时间累积算子，f为激励函数。

过程神经元输入与输出之间的映射关系为：

y＝fw（t）x（t）dt－θ（1）

其中，[0，T]为系统过程输入区间，θ为阈值。

1．2PNN模型

PNN是由若干过程神经元和其它类型的神经元按照一定结构关系组成的网络模型。一种多输入／单输出三层PNN如图2所示。

图2中，xi（t）（i＝1，2，．．．，n）为网络输入函数，wij（t）（i＝1，2，．．．，nj＝1，2，．．．，m）为网络输入层与隐层之间的连接权函数，g为输出层神经元激励函数，vj（j＝1，2，．．．，m）为隐层节点到输出节点的连接权，y为网络输出。

由图2，PNN输入和输出之间的映射关系为：

y＝g（vf（（w（t）x（t））dt－θ）－θ）（2）

式（2）中，θ为隐层节点的激励阈值，θ为输出神经元阈值。

1．3基于批处理的学习算法

目前，PNN的训练主要采用基于函数基展开、基于数值积分等学习算法[14，15]。本文讨论主要针对基于函数基展开的学习算法进行研究。

考虑由K个样本（X1（t），d1），．．．，（XK（t），dK）组成的训练集。由式（2），网络误差函数可定义为：

E＝（y－d）＝

vfw（t）x（t）dt－θ－d

其中，Xk（t）＝（x1k（t），x2k（t），．．．，xnk（t）），dk为第k个样本的期望输出。

采用PNN函数正交基展开的训练算法[8]，则基于批处理模式的网络权值学习规则为：

vj＝vj＋α∑vj（4）

wij＝wij＋β∑wij（5）

θj＝θj＋γ∑θj（6）

其中，α，β，γ为学习率；∑vj，∑wij，∑θj为n样本累积梯度之和。

令ukj＝w（t）x（t）dt－θ；则

vj＝－＝－2vf（ukj－d）f（ukj）（7）

wij（t）＝－＝

－2vf（ukj－d）f＇（ukj）xi（t）dt（8）

θ（t）＝－＝2vf（ukj－d）f＇（ukj）（9）

若取f（u）＝，则f＇（u）＝f（u）（1－f（u））。

2数据并行算法设计

2．1算法原理

笔者提出的基于训练集样本划分的PNN并行训练算法主要采用Master／Slave并行模式，同时结合PNN的结构特征和聚合运算机制进行设计。并行模式分为主计算节点（主控节点）和从计算节点。主计算节点依照1．3节建立的算法进行网络权值更改计算，再将新的网络模型发送到各从节点，各从节点对于不同的数据执行相同网络模型下的运算，并把参数调整信息传给主进程，由主进程汇集计算结果并进行网络性质参数调整。不断重复这种迭代过程，直至满足训练终止条件。

2．2算法性质分析

过程神经网络时空聚合运算机制复杂、计算复杂度高。采用基于L项函数正交基展开的学习算法，在具有相同输入／输出节点的情况下，过程神经元的计算复杂度是BP神经元的L倍；若PNN有m个过程神经元隐层，则PNN的计算复杂度是BP网络的m×L倍；而主节点进行网络参数调整时，计算复杂度是BP神经网络的n×m×k×L倍（k为网络输出节点个数），即PNN并行算法在主从节点处的时间开销都较大增加，提高了算法的计算／通信比。

考虑各个进程的计算负载平衡，采用如下策略。基于相似性原则，利用切比雪夫泛数对训练集样本进行聚类，使每一类样本具有相近的模态特征。在初始分类基础上，通过分裂、相似合并及调整分类数等运算，使每类近似包含从节点个数倍数的样本数。样本分割时，各子样本集从各个类中随机选取个数相同或近似相等的样本，构成训练子集。由于不同样本子集的分布特征近似相同，从而实现均衡计算负载分配。同时，采用批处理的训练模式，也减少了处理器之间的通信次数。

2．3算法描述

设总训练样本集中共有K个样本，并行计算环境有M台处理器，其中一台作为主计算节点，其他处理器作为从计算节点。具体算法如下：

（1）初始化MPI运行环境；

（2）如果当前进程为主进程，则获取网络学习参数并初始化网络权值，发送给各个从进程；

（3）各从进程建立网络结构并根据所接受的主进程发出的网络权值，初始化网络，各从进程的网络结构均相同；

（4）各个从进程按照过程神经网络批处理算法训练一次该从进程中的所有的样本，并将梯度累加值与从进程的当前误差发送给主进程，在此期间各个从进程同步进行计算互不通信；

（5）主进程将从各个从进程中接受到的信息梯度再次累加，得到总样本的累积梯度，这个梯度反映的是总体样本误差的下降趋势，比较各进程的误差精度，并取误差精度最大值与期望误差限比较，若小于期望误差或达到预设次数，则停止计算，否则转（6）；

（6）主进程将累积梯度分发给各个从进程；

（7）各个从进程按照接受到的梯度修改权值，返回（6）。

3仿真实验

考虑如下时变函数样本集：asin（b1π（t－c）），asin（b2π

（t－c）），asin（b3π（t－c））。其中，t∈[0，2π]，x∈[－1，＋1]，a，b1，b2，b3，c，x为参数。当各参数取不同的值时，生成不同类型和规模的样本集。实验中，各参数采用如下方法赋值：a从1开始以0．2为步长递增，b1从2开始以1为步长递增，b2是在b1的基础上加0．1，b3是在b1的基础上加0．2，c是从0．5开始以0．1为步长递增；x在[－1，1]区间直接按样本数进行等分计算，如样本为1000，那么x在[－1，1]之间等分999份，从－1开始按步长递增。

PNN采用三层结构，其中3个输入层节点，10个过程神经元隐层节点，1个神经元输出层节点。在不同样本规模及不同进程数下进行实验，训练时间、加速比、计算效率等评价指标的对比结果如表1所示。

从实验结果可以看出，随着问题规模的增大，并行算法比串行算法训练时间有明显的降低；但当节点规模过大时，训练的时间反而增大，同时随着进程数的增加，并行过程的效率在减小。其主要原因是在适当的并行粒度下，增加进程数可以使得各个子进程分担样本集中的训练任务，从而降低训练时间；但是当进程数增加到一定数量后，通信开销却随着进程数的增加而不断增加。这主要是因为在机群环境下，一次通信的开销要远远大于一次计算的开销，尽管节点增多使得各从节点分得的计算量相应减少，但节点间的通讯时间会明显增加，因此，应适当选择并行粒度。4结束语

针对过程神经网络的学习问题，建立了一种基于数据并行的训练算法。在局域网内多台计算机所组成的机群环境下，搭建了MPI并行环境。综合考虑计算负载平衡、计算／通信比、计算效率等算法性质，文中采用了基于梯度下降批处理的训练模式，以及考虑训练样本模态变化特征的子样本集划分策略，仿真实验结果表明，该方法较大提高了算法效率。

参考文献：

[1]何新贵，梁久祯．过程神经元网络的若干理论问题[J]．中国工

程科学，2000，2（12）：40－44．

[2]何新贵，梁久祯，许少华．过程神经元网络的训练及其应用[J]．

中国工程科学，2001，3（4）：31－35．

[3]MAShuai，TANGShiwei，YANGDongqing，etal．Miningma－

ximalmovingsequentialpatternsinmobileenvironment[J]．Acta

ScientiarumNaturaliumUniversitatisPekinensis，2004（3）：379

－387．

[4]丁刚，边旭，侯立国，等．基于对传过程神经网络的航空发动机

转子仿真故障诊断研究[J]．航空精密制造技术，2008（5）．

[5]许少华，何新贵．多聚合过程神经元网络及其学习算法研究[J]．

计算机学报，2007，30（1）：48－55．

[6]许少华．过程神经元网络理论模型及算法研究[D]．北京航空航

天大学博士论文，2004－07．

[7]MAGOULASGD，VRAHATISMN，ANDEROULAKISGS．E－ffectiveback－propagationtrainingwithvariablestepsize[J]．Ne－

uralNetworks，1997，10（1）：69－82．

[8]YUXiaohu，CHENGuoan．Efficientback－propagationlearning

usingoptimallearningrateandmomentum[J]．NeuralNetwork－

s，1997，10（3）：517－527．

[9]LEONARDJA，KRAMERMA．Improvementoftheback－pr－

opagationalgorithmfortrainingneuralnetworks[J]．Computers＆

ChemicalEngineering，1990，14（1）：337．

[10]陈玉芳，雷霖．提高BP网络收敛速率的又一种算法[J]．计算机

仿真，2004，21（11）：74－79．

[11]张雷，陈跃辉，杨波．基于并行PSO的BP神经网络优化算法研

究[J]．计算机科学，2005，32（8）：308－311．

[12]许廷发，宋建中，乔双．基于多CPU并行结构的神经网络集成

算法研究[J]．光电子•激光，2003，14（11）：1183－1185．

[13]吴一帆，赵平，李思昆．基于神经网络的并行布局算法[J]．中南

工业大学学报，，2000，31（3）：275－278．

[14]许少华，何新贵．过程神经网络一种基于函数正交基展开的学

习算法[J]．计算机学报，2004，27（5）：645－649．

[15]葛利．一种基于混合遗传算法学习的过程神经网络[J]．哈尔滨

工业大学学报，2005，37（7）：986－988．

如何学好神经网络篇5

前年，前年是我最苦闷的一年，是我人生中出现的又一个新的转折点，也是我人生中最艰难的阶段之一。在前年一年里，我感觉我走到了人生的最低谷，我曾经一度地惶恐过、抑郁过，我曾经对生活感到极度的迷茫与困惑，我似乎又一次迷失了人生的方向。在那段时间里我我非常苦闷，心里觉得没有半点打发时间的事由，可以说是度日如年，整天郁郁寡欢、闷闷不乐，郁闷之情挂满脸庞。有朋友见我满脸愁容、一副萎糜不振的样子，遂问我：何故如此邋遢狼狈呢？我随即说出了我为何一蹶不振、为何神情木讷的原由。他听后笑曰：你大可不必着急，任何人的生活中都会出现阶段性的困难的，你现在须找些事由来，借以消磨消磨无聊的时间，也就慢慢过去了。我说：我也没什么可以打发时间的最佳良方啊！他听了笑了笑，随后建议我去学上网聊天，他说上网聊天最能消磨时间了，可是我说我不会上网啊！之后他又帮我申请了一个可以上网聊天的号码。于是，从那天开始我学会了上网，学会了上网聊天。后来由于上网时间久了，我又渐渐地迷恋上了上网。当时我为我学会了上网而感到很兴奋，因为我也有了另一种全新的生活―上网，这种生活是我之前从未有过的、也是我从来没有想象到过的。呵呵！没想到一次无意间的闲聊竟然让我意外地加入了上网族的行列，我居然也成网民了！

说实话，之前我对于网络的认识是很模糊的，大脑里对于网络的概念一点都不清晰，说到我接触网络最多不过是通过手机上上网、看看新闻、查查百度罢了。至于真正意义上的上网我真的是一窍不通，对于网络的认识也仅仅限于手机Wap，什么网上聊天之类的名词只能是听说过而已，通常所说的上网究竟是怎么回事我大脑里也没有具体的概念。可是，当我接触到网络的时候，我才真正领会到了网络的神奇与魔力。我突然觉得这个世界之精彩、这个世界之神奇是远非我想像的那样简单！网络原来是另一片天空，网络原来是另一个全新的世界！

刚开始学上网我对网络的认识还不是很了解，对于网络之便捷、网络之奥妙，在我接触网络此之前从没想到过。后来，上网时间一久，我渐渐感觉到网络是极其博奥的。尤其是通过网络还可以了解更大的、更广阔的世界，了解更多的人和事，通过网络也可以认识更多的朋友，网络朋友又称为网友，网友和现实中的朋友一样无论在心灵上还是在情感上都能交流、都能沟通，无论是志趣相投的网友也好，还是爱好相同的网友也罢，都有可能遇到。有时还可以遇到生活上的良师益友，这类网友还会给你的生活以很大的启发和鼓舞。当你在生活中遇到困难的时候，有的还会引导你走出生活的困境。网络的跨越性也非常大，它可以跨越很大的、很广阔的地域，不管是天涯海角的也好，还是天南地北的也罢，都一下子缩短了距离，都好像近在咫尺，虽然相距甚远，但是总感觉仅隔一道银屏而已。网络还可以把两个、甚至多个不同地区的而且是素不相识的人拉到一起，轻轻一敲键盘便可以谈天说地、互诉衷肠。或高谈阔论，或窃窃私语，完全可以敞开心扉、侃侃而谈，完全可以毫不遮掩地进行心灵与心灵的互动、情趣和情趣沟通，甚至把自己从来不让任何人知道的隐私也会在网上袒露给素未谋面的网友，而自己又不会有任何的拘谨、尴尬、难为情之类的状况的。在网上既可以交流情感、也可以兴叹志趣，海阔天空无所不谈。

自从学会上网以来，我最大的收获莫过于通过网络让我有了重温旧梦的空间，让我重新找回了久违的记忆，让我再次捡起了我少时的梦幻，也让我有了抒发心灵感受的天堂，也让我拓荒了心灵深处早已荒芜的土壤。每一次打开网络我都会很激动、也很感动，一个个头像的闪动，一句句网友的问候都会让我神情愉悦、都会让我心灵躁动，尽管相隔千里万里之遥，但是心与心之间似乎又没有了距离。这与现实生活中朋友间的那种感觉、那份情谊是十分相似而又截然不同的，比现实中的朋友多了几分朦胧，多了许多神秘，而心的距离似乎比现实中的朋友间又近了很多。

回顾上网一年多来，我的确是收获颇丰，我感觉我已经与网络结下了不解之缘，我不知道哪天我离开了网络会是怎样一种状态。网络对我的帮助非常大，无论是对社会的认识方面，还是对世界的了解方面，都让我的认识范围更广阔、更全面了。也让我认识了很多朋友，结识不少的生活益友，也给我的生活带来了很大的帮助。在这里首先我要深深地感谢已经和我认识的朋友，感谢你们一直以来对我的关注和帮助，我也衷心地希望即将认识的朋友能给我今后的人生之路给以启发和鼓励！