神经网络常用算法精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的神经网络常用算法主题范文，仅供参考，欢迎阅读并收藏。

第1篇：神经网络常用算法范文

【关键词】人工神经网络 路径规划 移动机器人

1 引言

在移动机器人导航技术应用过程中，路径规划是一种必不可少的算法，路径规划要求机器人可以自己判定障碍物，以便自主决定路径，能够避开障碍物，自主路径规划可以自动的要求移动机器人能够安全实现智能化移动的标志，通常而言，机器人选择的路径包括很多个，因此，在路径最短、使用时间最短、消耗的能量最少等预定的准则下，能够选择一条最优化的路径，成为许多计算机学者研究的热点和难点。

2 背景知识

神经网络模拟生物进化思维，具有独特的结构神经元反馈机制，其具有分布式信息存储、自适应学习、并行计算和容错能力较强的特点，以其独特的结构和信息处理方法，在自动化控制、组合优化领域得到了广泛的应用，尤其是大规模网络数据分析和态势预测中，神经网络能够建立一个良好的分类学习模型，并且在学习过程中优化每一层的神经元和神经元连接的每一个节点。1993年，Banta等将神经网络应用于移动机器人路径规划过程中，近年来，得到了广泛的研究和发展，morcaso等人构建利用一个能够实现自组织的神经网络实现机器人导航的功能，并且可以通过传感器训练网络，取得更好的发展，确定系统的最佳路径。神经网络拓扑结构模型可以分为：

2.1 前向网络

网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。

2.2 反馈网络

网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

3 基于人工神经网络的移动机器人路径规划算法

神经网络解决移动机器人路径规划的思路是：使用神经网络算法能够描述机器人移动环境的各种约束，计算碰撞函数，该算法能够将迭代路径点集作为碰撞能量函数和距离函数的和当做算法需要优化的目标函数，通过求解优化函数，能够确定点集，实现路径最优规划。神经网络算法在移动机器人路径规划过程中的算法如下：

（1）神将网络算法能够初始化神经网络中的所有神经元为零，确定目标点位置的神经元活性值，并且能够神经网络每层的神经元连接将神经元的值传播到出发点；

（2）动态优化神经网络，根据神经网络的目标节点和障碍物的具置信息，在神经网络拓扑结构中的映射中产生神经元的外部输入；

（3）确定目标值附件的神经元活性值，并且使用局部侧的各个神经元之间，连接整个神经网络，并且在各个神经元中进行传播。

（4）利用爬山法搜索当前邻域内活性值最大的神经元，如果邻域内的神经元活性值都不大于当前神经元的活性值，则机器人保持在原处不动；否则下一个位置的神经元为邻域内具有最大活性值的神经元。

（5）如果机器人到达目标点则路径规划过程结束，否则转步骤（2）。

4 基于人工神经网络的移动机器人路径规划技术展望

未来时间内，人工神经在机器人路径规划过程中的应用主要发展方向包括以下几个方面：

4.1 与信息论相融合，确定神经网络的最优化化目标解

在神经网络应用过程中，由于经验值较为难以确定，因此在神经网络的应用过程中，将神经网络看做是一个贝叶斯网络，根据贝叶斯网络含有的信息熵，确定神经网络的目标函数的最优解，以便更好的判断机器人移动的最佳路径。

4.2 与遗传算法想结合，确定全局最优解

将神经网络和遗传算法结合起来，其可以将机器人的移动环境设置为一个二维的环境，障碍物的数目、位置和形状是任意的，路径规划可以由二维工作空间一系列的基本点构成，神经网络决定机器人的运动控制规则，利用相关的神经元的传感器作用获未知环境的情况，将障碍信息和目标点之间的距离作为神经网络的输入信息，使用遗传算法完成神经网络的权值训练，神经网络的输出作为移动机器人的运动作用力，实现一个可以在未知环境中进行的机器人运动路径规划。

4.3 与蚁群算法相结合，降低搜索空间，提高路径规划准确性

为了提高神经网络的搜索准确性和提高效率，可以将蚁群算法与神经网络相互结合，蚁群算法的路径规划方法首先采用栅格法对机器人工作环境进行建模，然后将机器人出发点作为蚁巢位置，路径规划最终目标点作为蚁群食物源，通过蚂蚁间相互协作找到一条避开障碍物的最优机器人移动路径。

5 结语

随着移动机器人技术的发展，路径规划作为最重要的一个组成部分，其得到了许多的应用和发展，其在导航过程中，也引入了许多先进的算法，比如神经网络，更加优化了移动的路径。未来时间内，随着神经网络技术的改进，可以引入遗传算法、信息论、蚁群算法等，将这些算法优势结合，将会是路径规划更加准确和精确。

参考文献

[1]朱大奇,颜明重,滕蓉. 移动机器人路径规划技术综述[J].控制与决策,2010,25(7): 961-967.

[2]刘毅.移动机器人路径规划中的仿真研究[J].计算机仿真,2011,28(6): 227-230.

[3]熊开封,张华.基于改进型 FNN 的移动机器人未知环境路径规划[J].制造业自动化,2013,35(22): 1-4.

[4]柳长安,鄢小虎,刘春阳.基于改进蚁群算法的移动机器人动态路径规划方法[J].电子学报,2011,39(5).

[5]范浩锋,刘俊.基于 BP 神经网络的红外目标识别技术[J].计算机与数字工程,2013,41(4): 559-560.

第2篇：神经网络常用算法范文

关键词：交通事件自动检测 BP神经网络 Matlab仿真

1.前言

随着高速公路车流量的越来越大，交通事件频繁发生，给高速公路管理者带来了诸多困扰，而且给国家和社会也带来了不必要的损失[1]。

本文在国内外学者研究的基础上提出了基于BP神经网络的高速公路交通事件自动检测算法。将上下游车道占有率、流量、大型车所占比例作为BP神经网络的输入，建立了神经网络模型。本算法可为高速公路事件检测系统的建立提供理论基础，对提高高速公路利用率和安全性有重要意义。

2.交通事件自动检测原理分析

正常情况下，高速公路上的交通流符合“连续车流”的规律[2]。当T时刻发生交通事件后，由于道路通行能力的突然下降导致事发点上游出现交通拥挤，流量和车速下降，占有率上升；T+1时刻下游车道流量下降，车速上升，占有率下降；同时研究发现由于不同类型的车辆换车道行驶需要的时间和道路空间不同，上、下游车道中车型比例也有所变化。因此，交通事件自动检测的原理是通过分析高速公路上不同位置、不同时刻的交通参数变化来识别事件和非事件模式。

3.交通事件检测的模型构建

本研究采用三层神经网络结构，模型结构图如图1所示。

输入层：输入层有6个神经元节点代表交通流变化的交通参数。包括T时刻上游和T+1时刻下游的占有率、流量及大型车所占比例。

隐含层：对于隐含层神经元节点数目nh的确定，有下列经验公式[3]：

其中ni为输入层节点数，no为输出层节点数，本研究中ni=6，no=1，所以隐含层神经元节点数nh =13。

输出层：选择一个输出神经元节点作为输出，按照有无事件发生，以输出节点为1表示有事件发生，输出节点为0表示无事件发生。

4.事件检测算法的Matlab实现与评估

4.1.数据预处理

本次研究采用陕西西安绕城高速上车检器采集的1000组交通数据。其中500组用来训练网络，包括输入数据（交通参数）和目标数据（事件状态）。另外500组作为神经网络测试数据。在训练BP神经网络之前先利用premnmx函数对数据进行归一化处理，即 [pn，minp，maxp，tn，mint，maxt]=premnmx（p，t）。

4.2神经网络创建和初始化

利用newff函数创建一个新的神经网络：

net=newff（minmax（pn），[13，1]，{'tansig'，'purelin'}，'traingdx'， 'learngdm'）；

利用minmax函数设定输入向量pn的元素的取值范围；在训练BP网络之前，必须对网络的连接权值和阈值进行初始化。

4.3.BP神经网络训练

将神经网络的参数设置为每50次显示训练迭代过程；学习速率为0.05；动量因子为0.9；

网络训练次数为1500；训练目标精度为1e-002；网络最大失败次数为5次。

调用train函数利用traingdx算法训练BP网络：net=train（net，pn，tn）； BP网络训练效果如图2所示，由图可见，经过852次训练，经过交通数据训练的网络能快速收敛，效果良好。

4.4.BP神经网络仿真与测试

训练结束后，用剩下的500组数据作为测试样本对网络进行测试，用tramnmx 函数对其进行归一化处理。然后运用sim函数对BP网络进行仿真，仿真结果须用postmnmx函数进行反归一，这时的输出数据才是真正的交通事件检测结果，将小于0.5的事件状态输出为0，即无事件发生，大于0.5的事件状态输出为1，即有事件发生，计算检测误差并输出图形。结果如图3所示，由图可见检测结果和训练结果能很好的拟合。

4.5.AID算法评估

交通事件自动检测算法最常用的性能评估指标有检测率、误报率和平均检测时间 [4]。本文对经典加州算法和BP神经网络算法通过仿真

5.结语

本文采用BP神经网络算法来对高速公路交通事件进行检测。算法中将上下游大型车比例作为一个输入是个创新点。运用BP神经网络算法建立交通检测模型，避免了传统算法因人为建立的模型与实际情况不符而导致检测不准确的情况。通过Matlab仿真与测试证明本算法检测交通事件性能较好。

参考文献：

[1]靳引利，朱春平.高速公路信息设施的特性分析[J].中国水运.2007-10，（10）

[2]潘若禹.基于数据融合的高速公路交通异常事件检测的研究[D].西安：长安大学.2006

第3篇：神经网络常用算法范文

[关键词] 神经网络； GPS高程模型； 训练样本

1 引言

BP神经网络算法是一种反向传播学习算法，把学习的结果反馈到中间层次的隐单元，改变它们的权系矩阵，从而达到预期的学习目的，它是一种自适应的映射方法，没做假设，能减少模型误差，它是迄今为止应用最广泛的神经网络。

2 BP神经网络算法

（3）BP算法的流程如图2-2所示。

3 GPS水准精度评定标准

⑴ 内符合精度

4 实例应用

本算例使用的数据是某矿区D级GPS高程控制网数据，共布设了36个GPS控制点，并实施了四等水准。采用三层式神经网络，隐含层确定由于没有固定的方法，根据经验，一般在5-7个为最好，本试验分别采用5个隐含层，6个隐含层和7个隐含层对数据进行训练，

（1）方案一 采用5个隐含层，样本集的训练精度目标为1mm，分别训练5000次，7000次，10000次，检核点的精度分布情况见表4-1、表4-2。

（2）方案二采用6个隐含层，样本集的训练精度目标为1mm，分别训练5000次，7000次，10000次，检核点的精度分布情况见表4-3、表4-4。

（3）方案三 采用7个隐含层，样本集的训练精度目标为1mm，分别训练5000次，7000次，10000次，检核点的精度分布情况见表4-5、表4-6。

5 结论

（1）BP网络法用于求高程异常是一种可行的方法，并且有较高的精度。

（2）在同一样本集进行训练时，训练的次数越多，相应的外符合精度越高，但达到一定的训练次数时，训练的外符合精度反倒不好。

（3）在不同样本集中，样本集越多，网络的智力越高，对工作集的拟合效果越好，外符合精度相应也越高。

[参考文献]

[1] 孔祥元，梅是义.控制测量学[M].武汉：武汉大学出版社，2004

[2] 闻新，周露，李翔.MATLAB神经网路仿真与应用[M].北京：科学出版社，2003.

[3] 韩力群.人工神经网络教程[M].北京：北京邮电大学出版社2006.

[4] 阎平凡，张长水.人工神经网络与模拟进化计算[M].北京：清华大学出版社，2005.

[5] 匡翠林.高精度GPS水准算法研究及其应用[D].中南大学，2004

[8] 杨永平，冯立清，兰孝奇；神经网络法在GPS高程拟合中的应用[J].三晋测绘，2004（1）：11-15

第4篇：神经网络常用算法范文

关键词：神经网络 计算机安全 入侵检测

中图分类号：TP393.08 文献标识码：A 文章编号：1674-098X（2012）12（c）-00-01

自从1960年Widrow等提出自适应线形神经元用于信号处理中的自适应滤波、预测和模型识别以来，神经网络技术便被用来解决现实生活中的问题。而在McCulloch等基于模仿人脑结构和功能建立起一种人工智能的信息处理系统后，人工神经网络在土木工程、农业、经济管理及企业管理等不同领域中被广泛应用[1-2]。该文介绍了神经网络的概念及特点，并分析神经网络在计算机安全尤其是在网络入侵检测中的应用。

1 神经网络的概念及特点

1.1 神经网络的概念

神经网络是一个并行、分布处理结构，是由神经元及称为联接的无向讯号通道互连而成。人工神经网络（Artificial Neural Network，ANN）指的则是模仿生理神经网络的结构和功能而设计的一种信息处理系统，即由多个非常简单的处理单元彼此按某种方式相互连接而形成的信息处理网络[3]。

1.2 神经网络的特点

在人工神经网络中，由于网络中的每一个单元都是独立的信息处理单元，因此其计算可独立进行，而整个网络系统却是并行计算的。这不同于传统的计算机的串行运算。由于神经网络是一个大规模互联的复杂网络系统，因而是大规模的并行处理，这在一定程度上提高了系统的处理速度，同时也为实时处理提供了重要条件。人工神经网络与人脑类似，具有学习的功能。通常只要给出所需的数据、实例，由网络去学习，而学习获得的知识都分布储存在整个网络的用权系数表示的连接线上。不同网络因学习方法及内容不同，可得到不同的功能和不同的应用。因而有可能解决传统人工智能目前最感困难的机器学习中知识获取、知识表示等问题。此外神经网络还对于输入数据的失真具有相当的弹性。

1.3 常用的神经网络算法

常用的神经网络算法包括ARTMAP模型、ART模型、概率模型PNN、模糊模型ART、模糊多层感知器、Kohonen特征映射网络、反馈多层感知器模型等[4-5]。其中，ART模型和Kohonen特征映射网络、模糊模型ART属于无监督训练算法，而反馈多层感知器模型是受限反馈，ARTMAP模型、ART模型属于反馈的网络拓扑

结构。

2 神经网络在网络入侵检测中的应用

2.1 神经网络应用于网络入侵检测的优势

由于神经网络对于数据训练获得预测能力的过程是通过完全抽象计算实现的，而不强调对于数据分布的假设前提，因此在建立神经网络模型过程中没有必要向神经网络解释知识的具体细节。同时，神经网络在网络入侵检测中，可以通过数据运算而形成异常的判别值，这样可以对于当前是否受到攻击行为影响做出判断，从而实现对检测对象是否存在异常情况的检测[6-8]。

2.2 神经网络在网络入侵检测中的应用

神经网络在网络安全尤其是入侵检测方面已有了相当的研究[9]。有研究者将组织聚类神经网络应用于计算机安全研究中，其采用了自适应谐振学习法进行数据的前期训练，对于无显著意义的平均误差减少时，采用遗传算法继续在前期基础上进行数据数据以得到最佳的权值。国内也在神经网络应用于网络入侵检测上做了大量工作。王勇等研究者在参考MIT Lincoln有关网络入侵检测方法基础上，提出了基于Linux主机的网络入侵检测方案，实现了对于多种网络攻击的特征进行抽取及检测的目的[10]。

神经网络在网络入侵检测中有广泛的应用空间[11-12]，今后应该扩大训练数据的数量和范围，并扩大操作系统的研究空间，通过模拟真实的计算机网络环境，将神经网络技术真正应用于计算机安全尤其是入侵检测工作中。

参考文献

[1] 李季，蒲彪.人工神经网络在食品微生物发酵中的应用[J].食品研究与开发，2009，30（4）：171-174.

[2] 李聪超，周铁军.人工神经网络在农业中的应用[J].农业网络信息，2008（1）：35-38.

[3] 李丽霞，张敏，郜艳晖，等.人工神经网络在医学研究中的应用[J].数理医药学杂志，2009，22（1）：80-82.

[4] 高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003：44-73.

[5] 杨行峻，郑君里.人工神经网络与盲信号处理[M].北京：清华大学出版社，2003：23-105.

[6] 程丽丽.基于模糊神经网络的入侵检测设计模型[D].哈尔滨：哈尔滨理工大学，2005.

[7] 周开利，康耀红.神经网络模型及其MATLAB仿真程序设计[M].北京：清华大学出版社，2005.

[8] 李家春，李之堂.神经模糊入侵检测系统的研究[J].计算机工程与应用，2001，23（17）：37-39，

[9] 王勇，杨辉华.一种基于进化神经网络的入侵检测实验系统[J].华东理工大学学报（自然科学版），2005（6）：362-366

[10] 乔瑞.基于优化自组织聚类神经网络的入侵检测方法研究[J].计算机与现代化，2005（1）：77-79.

第5篇：神经网络常用算法范文

关键词:BP神经网络;成本估算;武器装备

一、我国常用的军品成本估算方法

针对武器系统的成本估算，国内外常用的一般方法有四种：参数估算法、工程估算法、类推估算法和专家判断估算法。

1.参数估算法，又称经验公式法。这种方法实际上是使武器系统的费用与武器系统的特点或重要参数之间建立起费用估算关系。而这些费用变量都有一个数学值范围，并不只是一个值。它的函数形式就是成本估算关系式。简言之，它是利用类似系统的历史费用数据去推导新型武器系统的费用。

2.工程估算法，又可称之为单价法或直接法。它的主要做法是根据工作分解结构在对各个独立部分和系统零部件的料、工、费进行详细估算的基础上，再将各单项估算值综合为总的成本费用。所以，该方法有时又被称为“自下而上”的成本估算法。

3.类推估算法实际上是将拟议中的产品、装备、系统功能与以前的某个系统的可比部分或类似部分进行直接比较。这种方法既可用于直接与具有同样操作或工作特性的类似系统进行比较，也可将被估系统直接与具有许多相同费用特性的不同系统进行比较。

4.专家判断法类似于专家推测法。它要求估算者拥有关于系统或系统部件的综合知识。在经验数据不足或没有足够统计资料的情况下，往往需要用这种方法。

除以上常用的4种方法之外，目前讨论的比较多的方法还包括以下3种：

1.灰色系统方法。通过对主导因素建立GM（1,1）模型，对关联因素建立GM（1,N）模型，最后得到系统的状态方程模型，按状态模型对系统进行预测。通常采用GM（1,1）和GM（1,N）相结合的方式。大致步骤为：一是确定系统的主导因素和关联因素；二是建立GM模型群，对主导因素建立GM（1,1）模型，其余因素建立GM（1,N）模型，组成线性方程组；三是根据GM模型组得出状态方程矩阵求解状态方程。灰色系统能够适应样本数较少的情况。如孙本海（2002）在他的硕士论文中使用灰色系统理论中的残差模型和改进的G-N迭代法构建了炮兵武器装备费用的参数模型。郭继周等人（2004）用灰色系统理论进行费用预测的方法，建立了GM(1，1)模型及GM(1，1)预测模型。陈尚东等人（2008）针对地空导弹维修费用数据量有限规律性不同的特点，选用灰色理论进行维修保障费用预测：首先，简要分析了GM(1，1)模型，讨论了维修费用数据的处理；然后，以某新型地空导弹武器系统为例，具体探讨了灰色预测模型的应用，并对比分析了老信息灰色预测、新信息灰色预测和新陈代谢预测模型的精度。

2.模糊综合评价方法。模糊综合评价方法（FCE）是一种应用非常广泛和有效的模糊数学方法。它应用模糊数学的有关方法和理论，通过建立隶属度函数，考虑不可量化因素的影响，进行综合分析和评价。如郭建华等人（2004）利用模糊综合评价模型对武器装备项目的研制费用进行了估算。

3.人工神经网络（ArtificialNeuralNetwork,ANN）方法。目前采用较多的是BP(BackPropagation)神经网络预测模型法，具体步骤：一是选取学习样本，对权值进行初始化；二是训练学习样本；三是用测试样本进行数据仿真。可以证明，对于任何一个在闭区间内的连续函数都可以用带一个隐层的3层BP网络来逼近。如刘铭等人（2000）提出了一种基于BP神经网络的防空导弹采购费估算模型，并对典型的防空导弹采购费进行了估算。刘国利等人（2003）根据导弹武器系统研制的特点，分析并确定了影响导弹武器系统研制费用的主要因素，提出了基于人工神经网络的费用预测模型。

军品的费用估算是一项持续性的工作，贯穿于军品研制的全过程，随着研制工作的进展，采用的估算方法应越来越详细、精确。以上介绍的7种方法各有各的特点，在不同的条件下都具有特定的使用价值，具体对比情况见表1。

二、ANN方法和BP网络的优点

神经网络的建模能力也是由参数决定的，但它有别于回归分析方法，它只限制所包含多项式的整体个数，不限制它们的阶数，即在参数一定的情况下，可以通过学习（即各分量的竞争）来合理选择任意阶数的项。这体现了神经网络的非线性特性，因而在总体上其精度由于传统的回归分析方法。

运用神经网络方法建模的另一个原因是，在实践中，我们虽然可能拥有已研制军品的相关费用数据，但这些信息常常是不完整的，而且往往含有伤残结构及错误成分，且具有不确定性，这些问题给以往的处理方式造成很大的困难。而神经网络可以通过不断地学习，从典型型号研制相关费用数据中学会处理这些问题，且能补全不完整的信息，并根据已学会的知识和经验对复杂问题做出合理的判断，以做出有效的预测和估计。

运用神经网络方法建模的一般过程包括确定系统需求描述、选择神经网络模型（包括神经网络结构、训练方法等）、数据预处理、确定神经网络的可执行代码、训练和测试等过程，具体情况见图1。

这里需要特别说明的是神经网络模型的选择问题。目前，在数于种网络结构、上百种训练学习算法中，应用最广泛、技术最成熟的是多层前向式网络结构，应用误差反向传播算法（ErrorBackPropagationLearningAlgorithm），简称为BP网络。这主要归结于基于BP算法的多层感知器具有以下一些重要能力。

1.非线性映射能力。BP网络学习能学习和存储大量输入-输出模式映射关系，而无须事先了解这种映射关系的数学方程。

2.泛化能力。BP网络训练后将所提取的样本对中的非线性映射关系存储在权值矩阵中，在其后的工作阶段，当向网络输入训练时未曾见过的非样本数据时，网络也能完成有输入空间向输出空间的正确映射。

3.容错能力。BP网络允许输入样本中带有较大的误差甚至个别错误。因为对权矩阵的调整过程也是从大量的样本对中提取统计特性的过程，反映正确规律的只是来自全体样本，个别样本中的误差不能左右对权矩阵的调整。

三、某型号无人机成本估算的BP模型

1.确定样本集。为了验证前文所说的BP神经网络在成本估算中的准确性，本文选择了八中型号的无人机来进行模拟运算。具体的数据见下表（表2）。

由表2可知，本文选择了与最后的整机价格有主要关系的6个性能指标，分别是导航定位精度、飞行高度、控制半径、最大平飞速度、续航时间和任务载荷。这六个性能指标是作为BP神经网络模型的输入项（in）存在的，而最后一项整机价格则是作为模型的输出项（out）。需要说明的是，根据前文的思路，本部分使用BP神经网络估算的应该是军品的成本，而不是军品的整机价格。在表5中之所以使用整机价格，主要是因为表中的价格是按照目前的军品定价模式计算出来的，即只要在整机价格的基础上除以（1+5%）就是飞机的成本。根据神经网络和本文研究的特点，此处使用整机价格并不影响最终结论的正确性。另外，为了保证结果的真实性，表中的整机价格在军方审价完成之后，承制方与军方最终的成交价格。还需要说明的是，有两个因素可能会影响本案例研究的精确性：一是为了搞好保密工作，本表格提供的数据是经过了脱密处理的。二是本文样本的数量不大，只有用来供神经网络学习的样本只有6个（前面6个型号），用来测试的只有2个（最后的2个型号），这必然会影响结果的精度。但是只要误差在本文认为的可接受的范围内（≤20%），本文就认为研究结果有效。

2.确定网络结构和算法。本案例的BP神经网络结构如图2。

由上图可知，该BP神经网络的结构由6个性能指标构成输入层，输出层只有一个节点即整机价格。中间的隐层包含7个神经元节点。

本文采用的是MATLAB的BP神经网络工具箱中的Trainlm函数建立的模型，它采用的是L-M算法。

3.数据标准化、训练和测试。本文采用的MATLAB版本是MATLAB7.70(R2008b)，该版本的功能比较强大，对数据的要求不像以前的那么严格（以前版本的MATLAB要求节点输入和输出值的大小在[0，1]），所以笔者在并不需要对数据进行标准化。这样不仅能够减少模型的计算量，而且还有利于提高最终结果的精确度。

4.结果。根据前文构建的军品成本估算BP模型，以及上文确定的算法和过程，在经过了5次迭代后得到结果见表3。

由上面的结果可知，对高速无人机1和高速无人机2测试的误差都在20%以内，是在前文限定的范围内，因而笔者认为这个结果是可以接受的。并且，测试结果表明目前的定价还是略高于计算值。

四、存在的问题

在将BP神经网络模型应用于无人机的过程中，笔者认为以下几个方面的问题是比较难把握的。

1.输入层节点个数的控制。就本案例来说，输入层有6个节点，也就是6个性能指标。正如前文所言，选择的这6个性能指标是因为它们与最后的整机价格有主要关系。这个判断主要是根据专家的判断和实际的做法得出来的，所以其中的主观性很大。如果选择的尺度或标准稍微有所变化，那么指标的个数就会发生变化。而且我们如果要判断到底需要几个指标才能达到最好的预测效果。

2.隐层节点数的控制。这里包括两个问题：一是包括几个隐层？二是隐层中包括几个节点。一般来说一个隐层的BP神经网络就能很好的学习和测试，就笔者看到的文献而言，也主要是一个隐层。关于隐层中节点的个数，没有具体的规则，只能根据结果调整，这就对研究者使用MATLAB进行BP神经网络建模的经验和技术提出了挑战。

第6篇：神经网络常用算法范文

关键词：BP神经网络 BP算法改进 脱机手写汉字识别 误差函数

中图分类号：TP183 文献标识码：A 文章编号：1674-098X（2014）01（b）-0047-01

汉字识别有两种，一种是印刷体汉字，因比较规范，容易识别；第二种是手写汉字，分联机手写和脱机手写两类，前者准确率较高，后者则偏低，是当前的研究重点。作为模式识别的重要组成部分，汉字识别技术应用广泛，但由于涉及图像处理、人工智能、计算机、数字信号处理等多种技术，加上汉字的复杂繁多，使得汉字识别存在着很大困难，如尤其是相似字，使得识别更为困难，如“裸”和“”、“壶”和“”、“禅”和“”等，极易出现错误。

1 神经网络和BP神经网络

1.1 神经网络

神经网络是在现代神经科研成果的基础上提出并发展起来的，通过对生物大脑神经的模拟建立的一种信息处理系统，由许多简单元件连接构成，具有非线性和容错性，从能力特征来讲，具有自适应和自组织性。其优势主要体现在：能够模仿人脑进行联想记忆；对存储的信息进行分类识别；能够自动总结归纳经验。在长期的实践发展中，神经网络技术不断完善，在语音处理、机器人研究、模式识别等诸多领域都有广泛应用。

1.2 BP神经网络

用于文字识别的神经网络模型有很多，BP神经网络是其中较为常用的一种，该网络模型是以BP算法（即反向传播算法）为基础的，除了函数逼近功能，还具有良好的机器学习能力。

BP神经网络属于多层前向网络，能够进行反向传递、修正误差，通过结构和权值将颇为复杂的非线性映射关系表达出来。多由输入层、输出层以及隐含层组成，每层都有若干神经元，前向网络是指其计算过程呈单向型，即由输入层到中间层，再到输出层。

BP算法有两个阶段，一是正向传播，二是反向传播，在第一个阶段，将信号输进系统的输入层，由其内部神经元进行处理，主要是加权求和、激励函数等，而后传递到中间层（即隐含层），在经过内部逐层处理，传到输出层，将实际的输出值和预期值相比，若超过了规定的误差范围，就开始反向传播，把误差值从输出层输入，向中间层和输入层传递，求得每层内各单元的误差，将相应的权值进行修改，经不断的调整，直至误差值符合要求。

2 BP网络神经在小字符集汉字识别中的实际应用

2.1 缺陷

（1）站在数学的角度看，BP网络神经所使用的梯度下降法属于非线性优化算法的一种，以至于局部极小值大的问题很难得到解决，在实际计算中，BP算法能够将网络权值进行收敛，但收敛值为局部极小解的可能性较大，是否是全局的最小解则没有可靠的保证。若解决的问题比较复杂，很容易致使误差函数陷入局部的极小区域。

（3）中间层的结点

在确定训练集之后，输入层和输出层的结点数目也相应的确定下来，然而中间层及选取层内结点时，缺乏足够的理论作指导，中间层的结点数直接影响着网络的学习效率和复杂程度，因此，在选取中间层变得结点时，也应做一定的改进，积极建立相关的指导理论。

3 结语

针对脱机手写汉字识别技术存在的难度，可运用BP神经网络技术，而实际应用中，收敛速度过慢以及局部最小点问题对BP神经网络技术影响较大，为此，需从初始权值的选取、激励函数、误差函数等方面对其算法加以改进，以达到提升脱机手写汉字识别速度和精确度的目的。

参考文献

第7篇：神经网络常用算法范文

关键词：脱机手写藏文识别；GABP神经网络；特征提取

中图分类号：TP317.2 文献标识码：A 文章编号：16727800（2013）009007902

基金项目：青海省普通高等学校研究生创新项目

作者简介：梁会方（1987-），女，青海师范大学计算机学院硕士研究生，研究方向为藏文信息处理。

0引言

模式识别在各个领域中的应用非常多，从这些应用中可以看到它们的共性，即一个模式识别系统通常包括原始数据的获取和预处理、特征提取与选择、分类或聚类、后处理4个主要部分。其中藏文识别需要解决的关键问题是模式分类，其理论基础是模式识别技术，其中最常用的方法是统计模式识别方法和结构模式识别方法。近年来也有很多人将隐马尔科夫模型用于手写识别领域，取得了良好的效果。本文主要介绍统计模式识别、结构模式识别以及使用较多的隐马尔科夫模型和人工神经网络模型。

1模式识别

1.1统计模式识别

统计模式识别是依据统计的原理来建立分类器，其分类器设计方法主要有贝叶斯决策理论和判别函数。贝叶斯决策理论基本思想为：在类条件概率密度和先验概率已知或者可以估计的条件下，利用贝叶斯公式比较样本属于两类的后验概率，然后将类别决策为后验概率大的一类，从而使总体错误率最小。常见的一种贝叶斯决策为最小错误率贝叶斯决策[1]，其决策规律如下：

如果P（w＼-1|x）>P（w＼-2|x），则x∈w＼-1；反之，则x∈w＼-2。

通过贝叶斯公式 ，后验概率的比较可以转化为类条件概率密度的比较，离散情况下也是类条件概率的比较，而这种条件概率或条件密度则反映了在各类模型下观察到当前样本的可能性或似然度，因此可以定义两类之间的似然比或对数似然比进行决策。

该方法的主要优点是抗干扰能力强，且易于实现，但是应用中的主要缺点是细分能力较弱，区分相似字的能力较差。

1.2结构模式识别

藏文文字结构复杂，但同时具有相当的规律性，这种文字都含有丰富的结构信息，因此可以获取这些组字的规律以及藏文字符信息的结构特征作为识别的依据。结构模式识别[2]的主要思想就是文字图像划分为很多基本组合，然后利用一些相似性度量准则确定出这些组合之间的关系，以及这些字符图像模式和一些典型模式之间利用一些相似性度量准则确定的相似程度。

1.3隐马尔科夫模型

HMM模型[3]是将特征值和一个状态转移模型联系起来，它是一个双重随机过程，其中状态转移过程是不可观察即隐藏的马尔科夫模型，而可观察事件的随机过程是隐藏状态转换过程的随机函数。HMM有3个基本问题及常用算法：①评估问题：前后向递推算法；②解码问题：Viterbi算法；③学习问题：BaumWelch算法。

HMM模型可以用一种特定的神经网络模型来模拟[4]，该模型收敛性较差，易陷入局部极值。

1.4人工神经网络模型

神经系统是由大量神经细胞构成的复杂网络，是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统。神经网络是一个高度并行的分布处理结构，它是非线性的，具有自组织和自学习的能力。神经网络与传统的模式识别不同，能够直接输入数据并进行学习，用样本训练网络并实现识别。它是非参数的识别方法，不需要传统方法中的建模、参数估计以及参数校验、重新建模等复杂过程。

在字符识别领域常用的网络模型有：BP网络、RBF网络、自组织网络、Hopfield网络、SVM网络等。

BP网络是一种多层前馈网络[5]，是一种依靠反馈值来不断调整节点之间的连接权值而构建的一种网络模型。它由输入层、隐藏层、输出层相互连接构成，其结构如图1所示。

网络的学习训练过程由信号的正向传播与误差的反向传播组成，其中正向传播是把输入样本从输入层输入，经各隐层处理后传向输出层，若输出层的实际输出和期望输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。各层权值调整过程是周而复始地进行，直到网络输出的误差减少到可以接受的程度。

2遗传算法改进的BP网络

藏文字符识别是中国多文种信息处理系统的重要组成部分，脱机手写藏文识别在很多领域有广阔的使用前景。在现有汉字以及数字识别方法的基础上，提出了很多预处理和模式识别的方法，大大提高了手写藏文的识别精度。为了提高脱机手写藏文识别精度，本文将GABP神经网络应用于脱机手写藏文识别分析中，识别过程分为两步：训练阶段、识别阶段。在训练阶段，提取训练样本集的特征，建立网络模型，以输入为目标，保存网络的连接权值和阈值以及字符特征；在识别阶段，将待识别的藏文特征送入网络运行，待网络运行到平衡状态，将输出结果与数字特征库的值进行比较，识别出藏文字符。

BP网络是目前应用最多的神经网络，这主要是因为BP算法[6]有较强的非线性映射能力、泛化能力以及容错能力。但是它本身存在大量的问题，突出表现在：BP算法的学习速度很慢，需要较长的训练时间；网络训练失败的可能性较大，易陷入局部极小点，逼近局部极小值[5]。为了改善这些缺点，通常会改变隐层数量，隐藏层一般根据具体情况制定，但是增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。而遗传算法的基本作用对象是多个可行解的集合，而非单个可行解。它同时处理多个个体，同时对搜索空间中的多个解进行评估，使得遗传算法具有较好的全局搜索性能，减少了陷于局部最优解的可能性，同时，它本身具有良好的并行性。所以用遗传算法学习神经网络的权重及拓扑结构[6]，对神经网络进行改进，提高了神经网络的精度，同时也提高了遗传算法的局部搜索能力。在模式分类应用中进行数据预处理，利用遗传算法进行特征提取，其后用神经网络进行分类。GABP混合学习算法结构如图2所示，采用GA优化BP网络权值。

①BP网络参数初始化；

②按BP网络的权值和阈值连接随机产生染色体；

③计算染色体的适应值以及迭代次数，如果达到要求，则结束GA算法，产生最佳个体，如果没有达到，进行下一步；

④按适应度进行选择、交叉和变异操作，产生新的染色体，重复上一步；

⑤将产生的最好个体依次映射到BP网络中对应的权值和阈值，并将此作为BP网络的初始值；

⑥利用BP网络，判断误差是否达到预定要求，达到就结束，如果没有，则BP网络反向传播，返回上一步。

3结语

本文分析了文字识别的常用方法及其优缺点，着重分析了手写藏文识别征提取和分类器设计两个关键技术，并对藏文识别研究领域今后的研究方向和发展前景提出了一些看法。在原BP网络的基础上改进GABP神经网络，可以提高其学习速度，加快收敛速度，相比而言识别精度较高、训练时间较短，且具有较强的鲁棒性。由于神经网络和遗传算法已经发展得比较成熟，将两者结合的方法用于藏文识别，具有很大的实用价值，同时将GABP神经网络用于藏文识别，有助于神经网络用于藏文识别的可能性和有效性。

参考文献：

[1]张学工.模式识别[M].北京：清华大学出版社，2010.

[2]吴刚，德熙嘉措，黄鹤鸣.印刷体藏文识别技术[C].第十届全国少数民族语言文字信息处理学术研讨会论文集，2005.

[3]刘卫，李和成.基于局部保持投影与隐马尔可夫模型的维文字符识别[J].计算机应用，2012，32（8）.

[4]梁弼，王维兰，钱建军.基于HMM的分类器在联机手写藏文识别中的应用[J].微电子学与计算机，2009，26（4）.

第8篇：神经网络常用算法范文

为了提高光伏发电预测的精度，在传统BP神经网络预测模型的基础上，利用相似日算法和马尔科夫链理论对预测模型进行改进。其方法以得到的相似日数据作为预测模型的输入量，通过BP神经网络进行训练，得到初步的预测值，然后根据马尔科夫链模型得到的误差状态转移概率矩阵对预测误差进行修正，根据修正后的误差得到新的预测值。最后通过与传统算法得到的预测结果进行误差对比分析，结果表明，改进算法的预测精度高于传统算法，验证了该模型的有效性。

关键词:

光伏发电;相似日算法;BP神经网络;马尔科夫链

随着能源和环境问题的日益突显，光伏太阳能作为一种重要的清洁可再生能源发电形式，越来越受到世界各国的关注［1-2］。由于受到环境和气象因素的影响，光伏发电功率具有一定的波动性和随机性，因此，影响电力系统的安全、稳定运行。对光伏发电系统发电量进行预测研究，可以预先得到发电量曲线，协调调度部门安排常规机组出力，并可以根据预测结果进行光伏出力平滑控制，从而减小大规模光伏系统的接入对电网造成的影响［3-5］。光伏发电量预测分为直接预测和间接预测两种［6-7］。目前多采用历史气象和发电数据进行预测的直接法(统计法)，其中基于神经网络的光伏预测方法研究较为普遍［8-9］。其中文献［8］提出了一种结合历史数据和天气预报信息的BP神经网络预测模型。文献［9］对不同的天气状况做出了划分，利用不同的天气状况子模型进行预测。由于相同的天气类型条件下光伏发电功率有着很好的相似性，文献［10］提出了相似日的选取方法。在传统BP神经网络的基础上，采用相似日算法筛选出与预测日特征更为相似的历史数据作为模型输入，提高了预测结果的精度。考虑到光伏发电受到环境因素的影响会产生较大波动，为了进一步减小预测误差，在文献［10］的基础上，本文提出一种基于马尔科夫链修正的预测模型，利用本模型适应性强的特点，通过其状态转移概率矩阵对基于相似日算法的BP神经网络的误差修正，得到新的预测值，从而提高预测的准确性。

1相似日算法

1．1不同日类型的光伏出力影响光伏发电的因素有很多，其中最主要的是太阳辐照度和温度。太阳辐照度越大，光伏发电功率也越大。温度对光伏发电的影响体现在随着温度的变化太阳能电池的性能也跟着变化，从而影响光伏发电功率的变化。日类型可以分为晴天、多云、雨天三类。同一季节的不同日类型某光伏电站的发电量如图1～3所示。从图1～3可以看出，不同的天气类型对光伏电站效率有很大影响。

1．2相似度计算日相似度是指两日中各个气象因素的相似程度。其中气象差异主要体现在太阳辐照度、最高温度、平均温度、最低温度、降雨量等气象因素。在日相似度高的两天光伏电站的输出功率曲线有很好的相似性［11］。因此，根据相似日的历史气象和发电数据，通过BP神经网络预测模型可以比传统的方法更好预测出待预测日的光伏功率输出。由于气象部门提供的信息中缺乏太阳辐照强度，可以采用天气类型反映太阳辐照度，并根据Chen提出的方法对天气类型进行分级量化［12］。通过分析选取太阳辐照度(天气类型量化值)、最高温度、最低温度作为光伏阵列输出功率的主要气象因素。然后通过灰色关联分析法利用气象因素构成日特征向量计算相似度因子，选取相似度高的历史日作为BP神经网络预测模型的输入样本。

2基于相似日算法的BP神经网络

2．1BP神经网络BP神经网络是一种单向传播的多层前向网络，由于其具有很强的非线性映射能力、自适应能力和实用性而被广泛应用。BP神经网络包含输入、隐含和输出三层网络结构如图4所示。网络的上、下层之间是全连接，而各层的神经元之间彼此没有连接。wij是输入层与隐含层节点与节点间连接的权值，wjk是隐含层和输出层神经元节点与节点间连接的权值，隐含层和输出层的输入分别为输入层和隐含层节点的输出的加权和。一般选取常用的S型函数作为传递函数来限制各个节点的输出。若采用某一固定样本的输入XP和输出dPk对网络进行训练。

2．2基于相似日的BP神经网络预测模型文献［8］所采用的BP神经网络模型的输入量采用的是预测日前一天的发电数据，本文在相似日算法基础上，使用相似日数据和预测日气象特征量作为输入层节点的输入量从而提高训练的效果。输入层节点对应输入变量，选取相似日6:00到19:00的14个时间序列的发电量，以及相似日和预测日的气温和日类型共18个量。

3马尔科夫链误差修正模型

3．1马尔科夫模型马尔科夫链预测是通过初始状态概率向量和状态概率转移矩阵预测变量在将来某时刻所处状态的预测方法，马尔科夫过程是其理论基础。马尔科夫过程是随机时间序列动态变化的一个过程。

3．2基于马尔科夫链修正的预测算法流程通过相似日算法选取的相似日作为BP神经网络的输入量，从而优化了传统BP神经模型训练样本，然后通过神经网络训练得到基于相似日的BP神经网络预测值。根据此预测值利用马尔科夫链模型对预测误差进行修正，通过状态转移矩阵得到修正误差，然后利用修正误差得到修正后的光伏发电预测量。改进预测模型算法流程如图6所示。

4实例分析

根据上述改进预测模型，以某地光伏发电站的历史气象数据和发电数据进行仿真计算。为了验证算法的可行性，以2013年7月11日的预测数据和实际数据为例分析。采用传统BP神经网络，基于相似日算法的BP神经网络和本文改进模型的实测和相对误差结果对比如表1和图7所示。

5结论

第9篇：神经网络常用算法范文

关键词：RBF神经网络；数据挖掘；遗传算法

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）07-0151-03

Research on Data Mining Method Based on RBF Neural Network

CAO Jia-jie， YANG Meng， XU Xin-yu

（Beijing Satellite Manufacturing Plant， Beijing 100000， China）

Abstract： The rapid development of Internet technology and database technology is widely used at the same time， human through information technology to collect data is more and more strong， and how to from a lot of data mining valuable information and knowledge has become particularly urgent. In order to solve the above problems， data mining technology arises at the historic moment. It is found that the data mining the data for the nonlinear， messy and the presence of noise data， neural network is by virtue of the degree of fault tolerance， distributed storage， parallel processing， adaptive and robust feature is widely used to deal with some of the data mining problems. Accordingly， in this case， the author first introduces the data mining and RBF neural network of the relevant theoretical knowledge， and then focus on the RBF neural network based on the data mining method for peer reference.

Key words： RBF neural network； data mining； genetic algorithm

数据挖掘是从大量数据中挖掘有价值的信息和知识，以便为管理决策和战略部署提供数据支撑。数据挖掘作为信息技术发展的结果，其应用前景相当广泛。数据库技术主要研究数据的组织、存储、获取和处理，而信息技术主要经历以下发展历程：数据的简单收集和数据库的初期建设数据的存储与检索、数据库的事务处理数据的分析与理解，此时便出现数据挖掘技术。基于上述研究背景，下文首先分别介绍数据挖掘与RBF神经网络的相关理论知识，并在此基础上，讨论基于RBF神经网络的数据挖掘方法，目的是为了研究数据挖掘所用到的分类算法。关于神经网络，作为一种人工智能技术，其一方面可以省去繁琐的数学建模和数学推理，另一方面在处理含噪声的非线性数据时表现出无与伦比的优越性。

1 数据挖掘

数据挖掘是非平凡的数据处理过程，即识别数据集中具有潜在价值、新颖有效且最终可被理解的模式，其中潜在价值指的是挖掘出的知识具有实际效用；新颖是指识别出的模式新颖；有效是指识别出的模式在一定程度上是正确的；最终可被理解是指识别出的数据可被用户理解。图1所示为数据挖掘的工作流程。

如图1所示，数据挖掘主要经历数据准备、模式提取、结果解释与评估等阶段，其中数据准备的步骤为：数据清洗数据选取数据预处理数据表示；数据提取阶段又称数据挖掘阶段，其实现步骤为：确定数据挖掘的目标或任务选取适宜的数据挖掘工具或算法进行数据挖掘操作；结果解释与评估阶段主要对所识别的数据进行评估、筛除。一般来讲，数据挖掘质量主要与以下影响因素有关：数据挖掘技术的可靠性与有效性；目标数据的数量与质量。总之，数据挖掘是一个反复反馈的过程，而可视化贯穿在数据挖掘的全过程。

数据挖掘的方法一般分为统计型、机械学习型两大类，而较为常用的算法包括遗传算法、神经网络等。遗传算法是一种以生物进化理论为基础的优化空间搜寻法，其在数据挖掘中，通常以搜索问题的形式来表述具体的任务，并通过选择、交叉、变异遗传等操作寻得最优解。神经网络是一种与人类大脑重复学习类似的方法，即通过学习和训练一些事先给出的样本，产生与样品有所区别的特征和模式，其中样本集应具有代表性。研究表明，神经网络具有准确预测复杂的问题、有效处理存在噪声的数据等优点。神经网络一般分为自组织、反馈式和前馈式神经网络，目前正被广泛应用于商业领域。

2 RBF神经网络

RBF网络结构是一种由输入层、隐含层和输出层组成的三层前向网络，其中输入层包含信号源结点；隐含层主要由节点数目描述的具体问题而定；输出层主要响应输入模式的具体作用。图2所示为RBF神经网络的拓扑结构模型。

如图2所示，RBF网络由输入层向隐含层变换的过程具有非线性的特征，而由隐含层向输入层变化的过程具有线性的特征。据此可知，RBF神经网络是一种基于前馈网络的拓扑结构。研究发现，RBF神经网络拓扑结构会对自身的性能产生影响，而以下因素又会对RBF网络拓扑结构产生影响：RBF的隐节点数目、中心矢量、径向基函数宽度和隐含层与输出层的权值矩阵。

RBF网络具有较强的非线性逼近性能。得益于此，其目前主要用来实现非线性系统的建模与数据挖掘、贝叶斯规则和连续输入/出数据对的映射建模。与其他前向神经网络相比，RBF神经网络具有以下优点：

1）RBF神经网络能逼近任意非线性映射，也能处理系统内部的规律性问题。就无噪声数据而言，RBF神经网络模型的预测精度高且拟合能力强；而就存在噪声的数据来讲，RBF神经网络模型的预测误差和拟合误差均偏低，且收敛速度相当快。得益于此，RBF神经网络在时序建模和分析中的应用十分广泛。

2）RBF神经网络的拓扑结构加快了学习速度和规避了局部极小的问题。RBF神经网络采用核函数，特别是高斯函数的使用使得核函数的优点更为突出：表示简单、光滑性好和解释性好等。

3）RBF神经网络的可解释性好。目前，以下理论均可用于RBF网络参数和拓扑结构的解释中：RBF网络能够对输入层转向输出层进行映射；核回归能够逼近存在噪声的函数噪声数据插值能够逼近输入缺少函数；规则化可以通过在一般化与精确匹配中寻求平衡；贝叶斯规则可以根据前概率计算出后概率。

3 基于RBF神经网络的分类数据挖掘

关于RBF神经网络的研究，其主要表现在以下两个方面： RBF网络结构模型； RBF神经网络学习算法。

3.1 RBF网络结构模型

在实际应用中，RBF模型的应用范围更广，其核函数使用的是高斯函数。但研究发现，在上述结构模型中，训练算法的优劣会对模型的应用效果和RBF网络性能的高低产生决定作用。鉴于此，研究人员提出一些具有新特点和新性能的网络模型，具体包括：

1）高斯型核函数一般化。当隐含层RBF采用以下高斯条函数时，将大大改善RBFN的综合性能：[Φ?x）=exp-（x-cj?T（x-cj）]/2σ2j]。对于普通高斯函数，其拥有半径相同的变量轴和超球面状的函数曲面。但与此相比，高斯条核函数拥有超椭球面状的函数曲面和半径不同的变量轴，因此它具有更强的样本点逼近能力和更大的网络训练工作量。

2）WNN（小波神经网络）。WNN是一种基于小波函数的函数连接型网络，因此在一定程度上应被看作RBFN的推广形式。WNN的激活函数为小波函数，具体以仿射变换的方式创建网络参数与小波变换之间的联系，因此所表现出的特点与RBFN有所差异。此外，WNN具有极佳的时频特征，因此被广泛应用于图像处理和模式识别等领域。

3）RBPNN（径向基概率神经网络）。RBPNN作为RBFNN与PNN综合发展的结果，其学习收敛速度比RBFN更快，同时也将模式之间的交错影响考虑其中。关于RBPNN，其结构主要由2个隐含层、1个输入层、2个输出层组成，其中第一个隐含层为非线处理层，具体包括隐中心矢量，此乃网络结构优化的核心对象；在输出层得出输入样本概率密度的估算值，可降低计算的复杂度。

4）GRNN（广义回归网络）。GRNN使用的也是高斯型径向基函数，一般被看作RBFN的变换形式。GRNN的结构主要由模式层、输入层、加和层、输出层组成，其中核函数所包含的平滑因子需采用优化或经验方法来选定。

3.2 RBF神经网络学习算法

在RBF网络设计中，最为核心的问题是如何合理确定中心点的位置、数目和训练网络权值。通常情况下，中心点的确定与权值的训练既可分开实现，又可同时进行。鉴于此，RBF网络可以采用以下两类学习算法：

3.2.1 静态学习算法

静态学习算法是一种离线学习算法，即在离线设计RBF网络时，中心点的确定与权值的训练分开进行。

1）随机确定RBF中心点，即随机从训练数据集中选取RBF中心点。当RBF选取以下高斯函数：[G（X-Cj2=exp（-m/d2maxX-Cj）j=1，2，...，m]，其中，[Cj]――RBF的中心点；[m]――中心数；[dmax]――相邻中心点最大的间隔距离，因此高斯径向基函数的宽度[σ=dmax/2m]。利用上述算法，可以避免RBF的形状出现过平或过陡两种极端现象。如此一来，便可通过计算线性方程组的方式来确定输出层与隐含层的连接权值。

2）自组织学习确定RBF中心点。混合学习过程主要包括自组织学习阶段、监督学习阶段，其中自组织学习阶段的任务是采用聚类算法来估计隐含层RBF的中心点；监督学习阶段主要通过对输出层线性权重进行估计来设计网络，具体采用最小二乘法。输出层节点的LMS算法与隐含层节点的K-均值聚类同时进行，以加速学习过程。

3）有监督学习确定RBF中心点，即通过有监督学习解得RBF的中心点和自有参数，具体使用牛顿法或梯度下降法等。如果使用梯度下降法，则应从参数空间的某一有效区域开始进行搜索，即先利用RBF网络得到高斯分类算法，再以分类结果为搜索点，以免学习程收敛至局部极小。

3.2.2 动态学习算法

动态学习算法是一种在线学习算法，其主要在在线数据挖掘环境中使用。由于在在线数据挖掘环境中，通常不会全部给定训练样本，因此如果隐含层中心点与单元数目的确定采用静态学习算法，则解算结果不一定最优，而在线学习算法支持动态删除或加入隐含层节点，且隐含层中心点的确定和权值的训练同时进行，因此可以动态构造网络。

1）以分组优化策略为基础的在线学习法。训练神经网络是约束优化的过程，则需对特定的神经网络类型进行深入探讨。以下内容为在线隐含层单元的确定策略：当输入的训练样本同时满足以下条件时，则为之分配相应的隐含层但愿你：网络输出误差比误差的设定阀值大；输入样本与隐层中心点之间的距离比距离的设计阀值大。如果在RBF神经网络在线训练方式中引入分组优化策略，则网络输出与网络权值之间存在线性关系，同时与隐含层单元的宽度、中心点之间存在非线性关系，表明尽量采取不同的优化方法来处理两部分的参数。

2）最近邻聚类算法。最近邻居类算法作为动态自适应聚类学习算法，由其聚类得出的RBF网络不仅最优，且支持在线学习。最近邻聚类算法的实现过程为：

① 设定高斯函数宽度为r，定义矢量A（l）存放输出矢量的总和，定义计数器B（l）统计样本数量，其中类别数目为l。

② 对于数据对[（x1，y1）]，于[x1]上创建1个聚类中心，并令[x1=c1]，[y1=A（1）]，[B（1）=1]，那么在RBF网络中便仅存在1个中心为[c1]的隐含层单元，且隐含层单元与输出层的权矢量[w1=A（1）/B（1）]。

③ 对于数据对[（x2，y2）]，解得[x2]与[c1]之间的距离[x2-c1]。假设[x2-c1≤r]，那么[x2]的最近邻聚类为[c1]，假设[A（1）=y1+y2]，[B（1）=B（1）+1]，[w1=A（1）/B（1）]；假设[x2-c1>r]，那么以[x2]为新的聚类中心，同时假设[c2=x2]，[A（2）=y2]，[B（2）=1]。根据上述要求创建的RBF网络，再在其中加入一个隐含层单元，其与输出层之间的权矢量[w2=A（2）/B（2）]。

④ 假设第k个数据对[（xk，yk）（k=3，4，...，n）]的聚类中心数为M，相应的中心点为[c1，c2，...，cm]，则由此创建的RBF网络中便存在M个隐含层单元。据此，解得[xk]与M个聚类中心的间距为[xk-ci，i=1，2，...，M]，假设两者的减小间距为[xk-ci]，那么[xk]的最近邻聚类为[ci]。根据第一、二数据对的计算步骤，解得当[xk-ci>r]时，第M个隐含层单元与输出层之间的权矢量[wM=A（M）/B（M）]；当[xk-ci≤r]时，隐含层单元与输出层之间的权矢量[wi=A（i）/B（i），i=1，2，...，M]。研究发现，动态自适应RBF网络的难易程度由r所决定，即聚类数目与r呈负相关，即r越小，聚类数目越多，则计算量越大和精度越高，反之亦然。总之，最近邻聚类法具有性能优点、计算量小河学习时间短等优点，不仅可以通过确定隐含层来建立RBF神经网络，还可以在动态输入模式在线学习中得到有效应用。

综上，RBF网络是一种具有最佳拟合和全局逼近性能的前向型神经网络，其无疑具有广阔的应用前景，但在实际应用中，应当考虑到局部极小问题的存在，进而保障其应用效果。

参考文献：

[1] 储兵，吴陈，杨习贝，等.基于RBF神经网络与粗糙集的数据挖掘算法[J].计算机技术与发展，2013，23（7）：87-91.

[2] 宫晓曼，滕荣华.基于神经网络的数据挖掘在煤矿选煤中的应用[J].煤炭技术，2013（9）：127-128.

[3] 魏文轩.改进型RBF神经网络在股票市场预测中的应用[J].统计与决策，2013（15）：70-72.

[4] 曹东方，王玉恒.数据挖掘在员工考评管理信息系统中的应用[J].河北工业科技，2012，29（5）：323-326.

[5] 姚应水，叶明全.RBF神经网络与logistic回归模型的对比研究[J].中国卫生统计，2011，28（4）：397-399.

[6] 张会敏，叶明全，罗永钱等.基于RBF神经网络的老年痴呆症智能诊断研究[J].中国数字医学，2015（6）：38-41.

[7] 习勤，米帅军.指标筛选技术在神经网络数据挖掘模型中的应用[J].统计与决策，2011（10）：163-165.

[8] 林涛，葛玉敏，安玳宁等.基于 RBF 神经网络的钢构件质量追溯系统研究[J].计算技术与自动化，2015（1）：20-24.