神经网络反向传播原理精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的神经网络反向传播原理主题范文，仅供参考，欢迎阅读并收藏。

第1篇：神经网络反向传播原理范文

（江苏科技大学电子信息学院，江苏镇江212003）

摘要：在实际交通环境中，由于运动模糊、背景干扰、天气条件以及拍摄视角等因素，所采集的交通标志的图像质量往往不高，这就对交通标志自动识别的准确性、鲁棒性和实时性提出了很高的要求。针对这一情况，提出一种基于深层卷积神经网络的交通标志识别方法。该方法采用深层卷积神经网络的有监督学习模型，直接将采集的交通标志图像经二值化后作为输入，通过卷积和池采样的多层处理，来模拟人脑感知视觉信号的层次结构，自动地提取交通标志图像的特征，最后再利用一个全连接的网络实现交通标志的识别。实验结果表明，该方法利用卷积神经网络的深度学习能力，自动地提取交通标志的特征，避免了传统的人工特征提取，有效地提高了交通标志识别的效率，具有良好的泛化能力和适应范围。

关键词 ：交通标志；识别；卷积神经网络；深度学习

中图分类号：TN911.73?34；TP391.41 文献标识码：A 文章编号：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金项目：国家自然科学基金面上项目（61371114）

0 引言

随着智能汽车的发展，道路交通标志的自动识别[1?3]作为智能汽车的基本技术之一，受到人们的高度关注。道路交通标志识别主要包括两个基本环节：首先是交通标志的检测，包括交通标志的定位、提取及必要的预处理；其次是交通标志的识别，包括交通标志的特征提取和分类。

如今，交通标志的识别方法大多数都采用人工智能技术，主要有下述两类形式[4]。一种是采用“人工特征+机器学习”的识别方法，如基于浅层神经网络、支持向量机的特征识别等。在这种方法中，主要依靠先验知识，人工设计特征，机器学习模型仅负责特征的分类或识别，因此特征设计的好坏直接影响到整个系统性能的性能，而要发现一个好的特征，则依赖于研究人员对待解决的问题的深入理解。另一种形式是近几年发展起来的深度学习模型[5]，如基于限制波尔兹曼机和基于自编码器的深度学习模型以及卷积神经网络等。在这种方法中，无需构造任何的人工特征，而是直接将图像的像素作为输入，通过构建含有多个隐层的机器学习模型，模拟人脑认知的多层结构，逐层地进行信息特征抽取，最终形成更具推广性和表达力的特征，从而提升识别的准确性。

卷积神经网络作为深度学习模型之一，是一种多层的监督学习神经网络，它利用一系列的卷积层、池化层以及一个全连接输出层构建一个多层的网络，来模仿人脑感知视觉信号的逐层处理机制，以实现视觉特征信号的自动提取与识别。本文将深层卷积神经网络应用于道路交通标志的识别，通过构建一个由二维卷积和池化处理交替组成的6层网络来逐层地提取交通标志图像的特征，所形成的特征矢量由一个全连接输出层来实现特征的分类和识别。实验中将加入高斯噪声、经过位移、缩放和旋转处理的交通标志图像以及实际道路采集交通标志图像分别构成训练集和测试集，实验结果表明，本文所采用的方法具有良好的识别率和鲁棒性。

1 卷积神经网络的基本结构及原理

1.1 深度学习

神经科学研究表明，哺乳动物大脑皮层对信号的处理没有一个显示的过程[5]，而是通过信号在大脑皮层复杂的层次结构中的递进传播，逐层地对信号进行提取和表述，最终达到感知世界的目的。这些研究成果促进了深度学习这一新兴研究领域的迅速发展。

深度学习[4，6?7]的目的就是试图模仿人脑感知视觉信号的机制，通过构建含有多个隐层的多层网络来逐层地对信号特征进行新的提取和空间变换，以自动学习到更加有效的特征表述，最终实现视觉功能。目前深度学习已成功地应用到语音识别、图像识别和语言处理等领域。在不同学习框架下构建的深度学习结构是不同的，如卷积神经网络就是一种深度的监督学习下的机器学习模型。

1.2 卷积神经网络的基本结构及原理

卷积神经网络受视觉系统的结构启发而产生，第一个卷积神经网络计算模型是在Fukushima 的神经认知机中提出的[8]，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，LeCun 等人在该思想的基础上，用误差梯度设计并训练卷积神经网络[9?10]，在一些模式识别任务上得到优越的性能。

卷积神经网络本质上是一种有监督的深度学习算法，无需事先知道输入与输出之间精确的数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以学习到输入与输出之间的一种多层的非线性关系，这是非深度学习算法不能做到的。卷积神经网络的基本结构是由一系列的卷积和池化层以及一个全连接的输出层组成，可以采用梯度下降法极小化误差函数对网络中的权值和阈值参数逐层反向调节，以得到网络权值和阈值的最优解，并可以通过增加迭代次数来提高网络训练的精度。

1.2.1 前向传播

在卷积神经网络的前向传播中，输入的原始图像经过逐层的卷积和池化处理后，提取出若干特征子图并转换成一维特征矢量，最后由全连接的输出层进行分类识别。

在卷积层中，每个卷积层都可以表示为对前一层输入图像的二维卷积和非线性激励函数，其表达式可用式（1）表示：

式中：Yj 表示输出层中第j 个输出；Y l + 1i 是前一层（l + 1层）

的输出特征（全连接的特征向量）；n 是输出特征向量的长度；Wij 表示输出层的权值，连接输入i 和输出j ；bj表示输出层第j 个输出的阈值；f (?) 是输出层的非线性

1.2.2 反向传播

在反向传播过程中，卷积神经网络的训练方法采用类似于BP神经网络的梯度最速下降法，即按极小化误差的方法反向传播调整权值和阈值。网络反向传播回来的误差是每个神经元的基的灵敏度[12]，也就是误差对基的变化率，即导数。下面将分别求出输出层、池采样层和卷积层的神经元的灵敏度。

（1）输出层的灵敏度

对于误差函数式（6）来说，输出层神经元的灵敏度可表示为：

在前向传播过程中，得到网络的实际输出，进而求出实际输出与目标输出之间的误差；在反向传播过程中，利用误差反向传播，采用式（17）~式（20）来调整网络的权值和阈值，极小化误差；这样，前向传播和反向传播两个过程反复交替，直到达到收敛的要求为止。

2 深层卷积神经网络的交通标志识别方法

2.1 应用原理

交通标志是一种人为设计的具有特殊颜色（如红、黄、白、蓝、黑等）和特殊形状或图形的公共标志。我国的交通标志主要有警告、禁令、指示和指路等类型，一般采用颜色来区分不同的类型，用形状或图形来标示具体的信息。从交通标志设计的角度来看，属于不同类型（不同颜色）的交通标志在形状或图形上有较大的差异；属于相同类型（相同颜色）的标志中同类的指示信息标志在形状或图形上比较接近，如警告标志中的平面交叉路口标志等。因此，从机器视觉的角度来分析，同类型中同类指示信息的标志之间会比不同类型的标志之间更易引起识别错误。换句话说，相比于颜色，形状或图形是正确识别交通标志的关键因素。

因此，在应用卷积神经网络识别交通标志时，从提高算法效率和降低错误率综合考虑，将交通标志转换为灰度图像并作二值化处理后作为卷积神经网络的输入图像信息。图2给出了应用卷积神经网络识别交通标志的原理图。该网络采用了6层交替的卷积层和池采样层来逐层提取交通标志的特征，形成的特征矢量由一个全连接的输出层进行识别。图中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分别表示卷积层L1,L3,…,Ln - 1 的卷积核；Input表示输入的交通标志图像；

Pool表示每个池采样层的采样池；map表示逐层提取的特征子图；Y 是最终的全连接输出。

交通标志识别的判别准则为：对于输入交通标志图像Input，网络的输出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，则Input ∈ j，即判定输入的交通标志图像Input为第j 类交通标志。

2.2 交通标志识别的基本步骤

深层神经网络识别交通标志主要包括交通标志的训练与识别，所以将交通标志识别归纳为以下4个步骤：（1） 图像预处理：利用公式Gray= 0.299R +0.587G + 0.114B 将彩色交通标志图像转换为灰度图像，再利用邻近插值法将交通标志图像规格化，最后利用最大类间方差将交通标志图像二值化。

（2）网络权值和阈值的初始化：利用随机分布函数将权值W 初始化为-1~1之间的随机数；而将阈值b 初始化为0。

（3）网络的训练：利用经过预处理的交通标志图像构成训练集，对卷积神经网络进行训练，通过网络前向传播和反向传播的反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止。

（4）交通标志的识别：将实际采集的交通标志图像经过预处理后，送入训练好的卷积神经网络中进行交通标志特征的提取，然后通过一个全连接的网络进行特征分类与识别，得到识别结果。

3 实验结果与分析

实验主要选取了我国道路交通标志的警告标志、指示标志和禁令标志三类中较常见的50幅图像。考虑到在实际道路中采集到的交通标志图像会含有噪声和出现几何失真以及背景干扰等现象，因此在构造网络训练集时，除了理想的交通标志以外，还增加了加入高斯噪声、经过位移、旋转和缩放处理和实际采集到的交通标志图像，因此最终的训练样本为72个。其中，加入的高斯噪声为均值为0，方差分别为0.1，0.2，0.3，图像的位移、旋转、缩放的参数分别随机的分布在±10，±5°，0.9~1.1的范围内。图3给出了训练集中的交通标志图像的示例。图4是在实际道路中采集的交通标志图像构成的测试集的示例。

在实验中构造了一个输入为48×48个神经元、输出为50 个神经元的9 层网络。网络的输入是像素为48 × 48 的规格化的交通标志图像，输出对应于上述的50种交通标志的判别结果。网络的激活函数采用S型函数，如式（2）所示，其输出范围限制在0~1之间。

图6是交通标志的训练总误差EN 曲线。在训练开始的1 500次，误差能迅速地下降，在迭代2 000次以后是一个平稳的收敛过程，当迭代到10万次时，总误差EN可以达到0.188 2。

在交通标志的测试实验中，为了全面检验卷积神经网络的识别性能，分别针对理想的交通标志，加入高斯噪声、经过位移、旋转和比例缩放以及采集的交通标志图像进行实验，将以上测试样本分别送入到网络中识别，表2给出了测试实验结果。

综合分析上述实验结果，可以得到以下结论：（1）在卷积神经网络的训练学习过程中，整个网络的误差曲线快速平稳的下降，体现出卷积神经网络的训练学习具有良好的收敛性。

（2）经逐层卷积和池采样所提取的特征具有比例缩放和旋转不变性，因此对于旋转和比例缩放后的交通标志能达到100%的识别率。

（3）与传统的BP网络识别方法[11]相比较，卷积神经网络能够达到更深的学习深度，即在交通标志识别时能够得到更高的所属类别概率（更接近于1），识别效果更好。

（4）卷积神经网络对实际采集的交通标志图像的识别率尚不能达到令人满意的结果，主要原因是实际道路中采集的交通标志图像中存在着较严重的背景干扰，解决的办法是增加实际采集的交通标志训练样本数，通过网络的深度学习，提高网络的识别率和鲁棒性。

4 结论

本文将深层卷积神经网络应用于道路交通标志的识别，利用卷积神经网络的深层结构来模仿人脑感知视觉信号的机制，自动地提取交通标志图像的视觉特征并进行分类识别。实验表明，应用深层卷积神经网络识别交通标志取得了良好的识别效果。

在具体实现中，从我国交通标志的设计特点考虑，本文将经过预处理二值化的图像作为网络的输入，主要是利用了交通标志的形状信息，而基本略去了颜色信息，其优点是在保证识别率的基础上，可以简化网络的结构，降低网络的计算量。在实际道路交通标志识别中，将形状信息和颜色信息相结合，以进一步提高识别率和对道路环境的鲁棒性，是值得进一步研究的内容。

此外，本文的研究没有涉及到道路交通标志的动态检测，这也是今后可以进一步研究的内容。

参考文献

[1] 刘平华，李建民，胡晓林，等.动态场景下的交通标识检测与识别研究进展[J].中国图象图形学报，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中国计算机学会.深度学习：推进人工智能梦想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 杨斐，王坤明，马欣，等.应用BP神经网络分类器识别交通标志[J].计算机工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周开利，康耀红.神经网络模型及其Matlab 仿真设计[M].北京：清华大学出版社，2005.

[14] 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806?2810.

[15] 刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机应用研究，2014（7）：1921?1930.

第2篇：神经网络反向传播原理范文

关键词：人工神经网络 反向传播算法 故障诊断

1 引言

随着经济的发展，空调系统得到了越来越广泛的应用，空调设备已成为重要的生活必备品之一。这就要求空调系统可靠性高且功能齐全，而且在故障诊断维修服务方面达到一定的水平。国内目前的大部分空调系统中无故障诊断系统，当空调系统出现故障后，维保人员往往不能及时、准确地了解系统出现故障的原因及相关信息，空调系统无法得到及时修复，这种情况急需得到改善。

2 关于故障诊断技术

故障诊断FD(fault diagnosis)是一种了解和掌握设备在使用过程中的技术，确定其整体或局部是否正常，早期发现故障及其原因并能预报故障发展趋势的技术。在诊断过程中，必须利用被诊断对象表现出来的各种有用信息，经过适当地处理和分析，做出正确的诊断结论。在制冷暖通空调领域，1987年在彦启森教授的建议下，才开始了故障诊断专家系统在制冷暖通空调领域的研究应用[1]。

3 人工神经网络用于空调系统故障诊断的基本原理

人工神经网络(Artificial Neural Network．简称ANN)正是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。它是理论化的人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。它实际上是由大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

典型的神经网络结构如图1所示。

在众多的人工神经网络模型中，最常用的是BP(Back Propagation)模型，即利用误差反向传播算法求解的多层前向神经网络模型[2]。BP网络在故障诊断、模式识别、图像识别、管理系统等方面都得到了广泛的应用。本文讨论利用神经网络中的BP模型进行空调系统的故障诊断。

首先需要进行知识的获取。由专家提供关于各种空调系统故障现象(征兆集)及相应的故障原因(故障集)实例作为学习样本。将数据分为两部分，一部分用于训练网络，另一部分用于测试。将训练网络的数据按一定顺序编码，分别赋给网络输入、输出节点，通过神经网络学习算法对样本进行学习，经过网络内部自适应算法不断修正权值，直到达到所要求的学习精度为止。此时在大量神经元之间联结权值上就分布着专家知识和经验。训练完毕后，再将测试网络的数据从初始状态出发，向前推理，将显示出的故障结果与实际的测试数据结果相比较，如果误差很小，说明网络的权值建立正确；如果误差较大，说明网络的权值建立有误，需要重新进行网络的训练。

将训练样本训练完毕后，即可进行空调系统的故障诊断。只要实际输入模式接近于某一个训练时的学习样本的输入模式，则可产生出接近学习样本的输出结果，也就是所谓的自联想功能。同时，由于网络计算上的大量并行性，当机器运行状况改变，出现网络学习未考虑的情况时，系统亦能给出正确分类结果。同时将新数据并入网络，实现系统的自适应。一般来说，学习的故障实例样本越多，诊断结果的准确率越高。

4 BP学习算法

BP算法因其简单、易行、计算量小、并行性强等优点，是目前神经网络训练采用最多也是最成熟的训练算法之一。BP算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的梯度下降法（Gradient Descent），按误差函数的负梯度方向修正权值 [3]。其主要思路是如果求出训练网络的指标函数误差：

一般的BP算法称为标准误差逆传播算法，也就是对应每一次输入都校正一次权值。这种算法不是全局误差意义上的梯度下降计算。对各个神经元的输出求偏导数，那么就可以算出误差对所有连接权值的偏导数，从而可以利用梯度下降法来修改各个连接权值。真正的全局误差意义上的梯度下降算法是在全部训练模式都学习完后才校正连接权和阈值。其计算流程如图2所示：

5 故障诊断实例 5.1 空调系统故障诊断的BP网络建立

空调系统故障模式及故障机制分析[4]如表1所示

表1 空调系统故障模式及故障机制分析 表示

符号

表示

符号

房间温度均偏高

1.冷冻机产冷量不足

2.喷水堵塞

3.通过空气处理设备的风量过大，热交换不良

4.回风量大于送风量

5.送风量不足（可能空气过滤气堵塞）

6.表冷器结霜，造成堵塞

相对湿度均偏低

7.室外空气未经加湿处理

系统实测风量大于设计风量

8.系统的实际阻力小于设计阻力

9.设计时选用风机容量偏大

房间气流速度超过允许流速

10.送风口速度过大

第3篇：神经网络反向传播原理范文

关键词：BP神经网络 卡尔曼滤波 数据融合

一、引言

数据融合是指对来自多个传感器的信息进行融合，也可以将来自多个传感器的信息和人机界面的观测事实进行信息融(这种融合通常是决策级融合)。提取征兆信息，在推理机作用下．将征兆与知识库中的知识匹配，做出故障诊断决策，提供给用户。在基于信息融合的故障诊断系统中可以加入自学习模块．故障决策经自学习模块反馈给知识库．并对相应的置信度因子进行修改，更新知识库。同时．自学习模块能根据知识库中的知识和用户对系统提问的动态应答进行推理。以获得新知识。总结新经验，不断扩充知识库，实现专家系统的自学习功能。

多传感器数据融合是20世纪70年代以来发展起来的一门新兴边缘学科，目前已经成为备受人们关注的热门领域。多传感器数据融合是一门新兴技术，在军事和非军事领域中都碍到了广泛应用、多传感器数据融合技术汲取了人工智能、模式识别、统计估计等多门学科的相关技术，计算机技术的快速发展以及数据融合技术的成熟为数据融合的广泛应用提供了基础。

多传感器信息融合状态估计是多传感器信息融合学科的一个重要分支。多传感器数据融合的基本原理就像是人脑综合处理信息的过程一样，它充分利用多个传感器资源，通过对各种传感器及其观测信息的合理支配与使用，将各传感器在空间和时间上的互补与冗余信息依据某种优化准则组合起来，产生对观测环境的一致性解释和描述。目前有两种常用的信息融合方法：一种方法是状态融合方法，另一种方法是观测融合方法。状态融合方法又可分为集中式kalman滤波[1]和分散式kalman滤波。集中式kalman滤波虽然在理论上可获得全局最优融合状态估计，但这种方法计算量大，且容错性能差，而分散式kalman滤波信息融合能克服这些缺点，但这种方法是局部最优的，因此基于此思想我们可以利用BP神经网络来提高融合精度。

BP(Back Propagation)神经网络[2]，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

BP神经网络是模拟人脑的信息处理机制而构造出来的一种并行信息处理模型，它有分布式存储和联想记忆功能，具有较强的自适应性和自组织性，具有任意的非线性映射能力，能被用来对两个估计模型的输出结果进行有效的分析和综合，提高估计的精度和可靠性。

二、模型描述

带有观测噪声的三传感器雷达跟踪系统：

状态 ， ，和分别为在时刻 处运动目标的位置、速度和加速度， 为第 个传感器对位置的观测，为与 相关的白噪声。

kalman滤波按矩阵加权融合准则算法是基于L个传感器观测已知它的 L个无偏估计 ，即，

设已知估计误差 的方差阵和协方差阵 ，,， ，其中E为均值号，T为转置号，问题是寻求X的按矩阵加权无偏融合估计， ，

其中加权阵 为 矩阵，在线性最小方差意义下，应选择加权阵极小化融合估计误差的分量均方和J，，

它等价于

按矩阵加权融合准则算法既是对L个传感器经kalman滤波器得到的状态求得加权矩阵 使得性能指标J最小。

基于加权思想，对以上的三传感器雷达跟踪模型建立BP神经网络，三传感器的输出作为网络的输入，网络的输出与模型的状态数据比较后反向传播对各层神经元权值进行修改，直到输出层与模型状态的误差达到期望误差。由于本次实验模型简单，对其采用两层BP网络，隐层神经元采用Sigmoid型激活函数，输出层采用线性激活函数。在使用网络前需要对网络进行训练，本次实验设置训练时间为50个单位时间，训练目标设置为误差小于0.2。

三、仿真分析

以下给出个状态在各种方法下的仿真结果：

图1、图2为三个传感器的测量值经kalman平滑器估计后的的状态1经BP神经网络融合后的值和理想状态的对比图。从图中可以看出经神经网络融合后对状态1的估计精度有了进一步的提高。而且训练速度也非常迅速，大约10步左右就能达到要求的误差。

图3、图4为三个传感器的测量值经kalman平滑器估计后的的状态2经BP神经网络融合后的值和理想状态的对比图。从图中可以看出经神经网络融合后对状态2的估计精度有了进一步的提高。而且训练速度也非常迅速，大约20步左右就能达到要求的误差。

图5为比较加权融合后的稳态误差方差阵的迹和三个传感器的稳态平滑误差方差阵的迹，可以明显看出经融合后的精度明显高于局部平滑的精度。由于设置的神经网络的误差目标为0.2，通过训练后目标误差能达到要求，因此经神经网络融合后的状态估计精度要大大高于经加权矩阵融合估计的精度。

四、结论

本文利用BP神经网络对来自经不同噪声污染的传感器的测量信息进行处理，完成机动检测，并与卡尔曼滤波器相结合构成一个性估计器，对目标进行估计。这种估计方案可以利用神经网络的函数逼近能力对来自各传感器的充信息加以充分利用，在改善估计性能的同时又保持估计滤波的计算结构尽可能简单。

参考文献:

[1]邓自立. 最优估计理论及其应用――建模、滤波、信息融合估计.

[2]杨行峻、郑君里. 人工神经网络与盲信号处理.

第4篇：神经网络反向传播原理范文

1．1采用计算机模拟技术建立模拟模型

对BP神经网络模拟模型建立的基础，人们是这样认为的，因为影响工程造价的因素，大多数人们都是没办法确定的，所以我们不需要把这个值具体是多少确定下来，而是从另一个方面考虑，根据这个项目的基本情况，估计实际的造价落在某个范围的机会会大一些，这个思想就是计算机模拟技术建立模拟模型的理论基础。

1．2人工智能模型

工程造价估算专家系统，是通过人工智能，加上知识库技术而建立起来的，可是这种人工智能模型主要靠专家的知识，来对工程造价进行估计计算的，但是估算的结果是被估算人员的主观意识所影响的，不同专家的性格，知识面的宽窄，经验丰富与否、都是不确定因素，几乎可以会所不一样的估算专家所得出的结果都不会一样。这种方法很容易带有个人偏见和片面性。受专家的主观偏见性较强。

2BP神经网络模型构造与算法

2．1人工神经网络的基本原理

1985，D•E•Rumelhart等人组成的PDP小组提出的一种神经网络模型，这就是我们今天所说的BP神经网络，BP神经网络结构是利用误差反向传播来消除误差的，它有三个层次，有一个输入层，第二个是隐层，最后一个当然就是输出层。在训练估算中，我们可以通过计算输出值和我们预期的期望值，他们之间所产生的误差，逆向思维，去求解输出层单元的一般化误差，然后再把误差进行反向传播，把隐含层单元的一般化误差求解出来，并最终调整输出层和隐含层，包括输入层之间的连接权，还有连接权与隐含层和输出层的阈值，最终目的就是让系统误差达到我们可以接受为止。当先前的系统误差达到我们所需求的时候，权值和阈值就变成了固定不变的了，这样我们再通过反向逆推，就可以测出我们这个项目的未知信息。这就是人工神经网络的基本原理。

2．2BP神经网络模型建立的步骤

(1)我们首先确定模型输入层，隐含层还有输出层的神经元个数。并且以此为依据，确定BP神经网络模型的结构参数;(2)神经网络只能处理－l～l之间的数据，所以在输入网络时，我们不仅需要对原始数据进行规范化处理，还要对隐含单元和各个单元输入信息进行求和;通过反向逆推之后得到本单元的输入信息。所以对原始数据，隐含单元输入模块规范化细致化是非常重要的;(3)隐含单元的输出值可以根据神经网络操作模型得出，只要我们把net信号经过一次激发函数的处理，可以得到这个隐含单元的输出值;(4)对于输出单元节点，我们只要对前一层的隐含层单元输入信息，并且加权求和后，就能得到该单元的输入信息。操作起来非常方便快捷;(5)对权矩阵的调整，因为人工神经网络可以近似实现任意空间的数学映射。所以我们假设，如果神经网络输入单元数为M，输出单元为N，则在m维欧式空间尺中会有一个有界子集A，存在着一个到n维欧式空间，那么R中一个有界子集F(A)的映射。

3基于BP神经网络的工程造价估算模型

3．1定量化描述工程特征的因素

什么是工程特征，在BP神经网络中所说工程特征，就是指不但能表示工程特点，而且还能反映工程的主要成本构成的重要因素。，我们可以通过参照历史工程资料的统计和分析，进行工程特征的选取工作。选取完成之后，再根据专家的经验来确定，这样就可以万无一失了。首先我们可以通过典型住宅工程的造价组成进行分析，然后对建筑结构参数的变化和别的工程做一下对比，通过以上两点得出的结果，分析这些因素对造价的影响，依照以上的理论方法，我们进行了实践性的研究，最终把础类型，结构形式，建筑层数，门窗类型，外墙装饰还有墙体材料以及平面组合等，这7种因素作为工程的主要特征。不同的建筑工程有着不同的类型，比如说结构，可以是砖混结构和框架结构等;砖条基和钢筋砼条基础等都可以作为基础特征，对于这样的特征选取的多样性我们称之为特征类目，通过工程特征不同类目的列举，再跟据定额水平，工程特征对造价影响的相关性，这些对平方米造价的改变，对工程定量化的描述可以主观的给出对应的量化数据。

3．2建立估价模型

工程造价估算的指标体系到该项目的单位造价的非线性映射，就可以统称为是建设项目工程造价的估算问题。BP网络可以根据人们的需求以任意的精度去逼近任意映射关系，究其原因就是上文说的BP网络采用的是三层BP神经网络结构，不同于其他的电脑估算网络。不仅是因为该模型的输入单元为7个，还有他们的项目样本特征也不尽相同。神经网络可以根据已经经过我们优选的模型特征，做为参考估算要素，然后再通过项目工程造价估算中，我们所提供的一定数量的已知样本，采取对样本的神经网络训练，最后根据以往的大的数据库，提取类似的项目估算值，然后才能对其它特征的项目进行估算。这样我们只需要输入指标体系的各指标值，BP神经网络就可以在该项目的单位造价的非线性映射中给出该项目的单位造价。

3．3检测结果的分析

上面我们通过大量的实际实验得知了这两个固定不变的数字，然后我们可以用程序值被收敛后的网络，对现在要进行求解的数据进行检测，在测试后，如果发现总体误差比率较小，那么就满足我们初步设计的概算需求了，同时对工程可行性研究的投资估算需求也已经基本符合了，这些结果能有好的保证，全是依赖我们所选择的模型的宽度够用，模型在所有的因素中具有广泛的代表性。所以估价模型的计算才较为成功。几个工程估算的好坏也不能代表所有的项目都是完美的，也有个别工程造价估算误差大，因为电脑毕竟是人在给其输入程序，电脑的经验，还有就是对一些特征的学习不够用，本身的知识储备还是有局限性的。因为对样本数量的学习始终是有限，不可能面面俱到，而且挑选的样本也不可能针对这个工程而言都是符合这个项目的特性。虽然说BP神经网络模型有这样无法控制的缺点，但是和其他的造价估算模型相比，BP神经网络模型的优点还是可圈可点的，其优点和其他的造价模型相比较优点还是非常明显的。在以后的估算中，随着样本的不断充实，数据的不断积累，经验的不但丰富，其估算的误差也将不断缩小，这些方面的补充，在以后的估算中，必定会取得非常完美的成绩。

4总结

第5篇：神经网络反向传播原理范文

关键词：BP神经网络；Adaboost算法；遗传算法

中图分类号：F832.332文献标识码：A文章编号：1008-2670(2012)02-0012-08

收稿日期：2011-12-11

基金项目：国家社科基金资助项目“企业金融衍生业务风险测度及管控研究”（10BGJ054）。

作者简介：宿玉海(1964-)，男，山东潍坊人，经济学博士，山东财经大学金融学院教授，研究方向：国际金融；彭雷(1986-)，男，山东潍坊人，山东财经大学金融学院硕士研究生，研究方向：国际金融；郭胜川（1990-），男，山东安丘人，山东大学数学学院学生。

一、引言

商业银行的信用风险管理一直是人们关注的焦点，在引入工程方法进行信用风险的度量后，BP神经网络信用风险模型以其较强的逼近非线性函数的优势从众多方法中脱颖而出，其对于历史数据的模拟仿真和预测能力也显示出了独特的优势。但是，BP神经网络信用模型在处理较为复杂的财务数据时，对于数据指标在模型中获得的权值没有一个明确的标准，而是特别依赖于对于历史数据指标的选择，使得模型对于新样本的考察缺乏一个有效的动态权值变动，这就造成了模型在使用过程中的困难。

随着BP神经网络信用风险管理模型应用的增多，许多学者逐渐认识到BP神经网络信用风险模型在处理财务数据时存在的问题，采取一系列的措施对BP神经网络信用风险模型进行了改进，特别是对于权值设定的改进做了大量的工作。Back等［1］建议将遗传算法与神经网络结合起来协同工作，但没有实际讨论引入遗传算法后带来的实际效果；Piramuthu等［2］采用符号特征样本的技术处理输入数据取得了较为明显的效果，但是符号特征样本技术则存在较为主观的人为因素影响。国内学者在引进神经网络以后，也为神经网络模型的优化进行了卓有成效的努力。如许佳娜、西宝［3］采用层次分析法对神经网络模型的改进，以及郭英见、吴冲［4］采用DS证据理论将神经网络和SVM的输出结果进行的融合，都在一定程度上增强了神经网络模型的判别准确率，但他们在神经网络的权值修改上仍然没有找到很好的设定规则。

可以看出，许多学者在神经网络良好的泛化能力和模式识别能力上达成了共识，但对于神经网络中占有重要地位的连接权值的修正，没有给出一个较为恰当的标准。本文在探讨改进这一问题时，将遗传算法与Adaboost算法分别引入到BP神经网络信用风险模型中，通过两种模型对于相同的训练样本和预测样本的考察分析，比较两种方法的优劣，从而为BP神经网络信用风险模型的改进提供一定的参考。

本文结构安排如下：第一部分为引言；第二部分介绍BP神经网络信用风险模型并评价其缺陷；第三部分使用Adaboost算法以及遗传算法对BP神经网络信用风险模型进行算法寻优；第四部分则通过Matlab的模拟进行实证分析并比较实证结果；第五部分根据实证分析的结果得出相应的结论并探讨商业银行在应用过程中应注意的问题。

二、现有BP神经网络信用风险模型介绍

第6篇：神经网络反向传播原理范文

关键词：人工神经元网络；BP神经网络；matlab；识别分类

中图分类号：TP391.41文献标识码：A文章编号：1007-9599 (2010) 16-0000-02

Artificial Neural Network Application on Face Classification

Liang Xiaoli

(Heilongjiang Radio&TV University,Harbin150080,China)

Abstract:In the face recognition technology is developing continuously,people not limited to recognize the human face,but the main emphasis on the accuracy and efficiency of face recognition.

Face recognition is divided into three steps,face detection,feature extraction,recognition category,identification and classification of the methods in which the decision of whether to correctly identify the human face.BP neural network with forward propagation and back propagation characteristics,so as to ensure the accuracy of classif-

ication,Therefore,the main author of this article how to MATLAB,the BP neural network used in face recognition classification.

Keywords:Artificial neural network;BP neural network;Matlab;

Recognition category

人工神经元网络，又称为神经元网络，它是对人脑的简化、抽象和模拟，反映了人脑的基本特性神经元网络是由大量处理单元广泛互连而成的网络。神经网络研究的是模拟人脑信息处理的功能，从人脑的生理结构出发来研究人的智能行为。是依托于数学、神经科学、物理学、计算机科学及工程等学科的一种综合性技术。

一、人工神经网络的分类

我们可以对人工神经网络进行如下分类：

（一）单层的前向神经网络

这里所说的单层前向网络是指拥有单层的神经元是，作为源节点个数的“输入层”被看作是一层神经元，“输入层”是不具有计算功能。

（二）多层的前向神经网络

多层前向神经网络与单层前向神经网络的差别在于：多层的前向神经网络和单层前向神经网络的隐含层个数不同，在多层的前向神经网络中完成计算功能的节点被称为隐含单元（隐含神经元）。由于隐层的数量不同，使网络能进行更高序的统计，尤其当输入层规模庞大时，隐层神经元提取高序统计数据的能力便显得非常重要。

（三）反馈网络

反馈网络指在网络中最少含有一个反馈回路的神经网络。反馈网络中包含一个单层神经元，在这一层中的所有的神经元将自身的输出信号反馈给其他所有神经元作为输入。

（四）随机神经网络

随机神经网络是在神经网络中引入了随机概念，每个神经元都是按照概率的原理在工作，这样每个神经元兴奋或抑制具有随机性，其概率取决于神经元的输入值。

（五）竞争神经网络

竞争神经网络最显著的特点是它的输出神经元之间相互竞争以确定胜出者，胜出者指出哪一种原型模式最能代表输入模式。

二、神经网络的学习

神经网络的学习又被称为训练，所指的是通过神经网络所在外界环境的刺激下调整神经网络的参数，使得神经网络以一种调整好的方式对外部环境做出反应的过程。从环境中学习和在学习中提高自身性能是神经网络最有意义的特征了。

学习方式可分为：有师学习和无师学习。有师学习又称为有监督学习，在学习时需要给出指导信号（又可称为期望输出或者响应）。神经网络对外部环境是未知的，但可以将指导信号看作对外部环境的了解，由输入―输出样本集合来表示。指导信号或期望输出代表了神经网络执行情况的最佳结果，即对于网络输入调整网络参数，使得网络输出逼近期望的输出值。无师学习包括强化学习与无监督学习（可以被称为自组织学习）。在强化学习中，对输出的学习是通过与外界环境的连续作用最小化完成的。

三、BP神经网络

BP（Back Propagation）神经网络，就是指包含信息正向传播和误差反向传播算法的学习过程。输入层的每一个神经元负责接收来自外界的输入信息，并传递给中间层中的每一个神经元；中间层的各个神经元是内部信息处理层，负责信息变换，可以设计为单隐层或者多隐层结构；最后隐含层传递到输出层的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不相符时，进入误差的反向传播阶段。误差通过输出层作用于输入层，按误差梯度下降的方式分别修正各层权值，逐渐向隐含层和输入层反传。多次的经过信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也就是神经网络学习训练的过程，此过程一直进行到网络的输出误差减少到可以被接受的程度，或者达到预先设定的学习次数才会停止。

四、实验过程及结果

本文中假设已经用奇异值分解得到人脸特征点的数据，每个人脸划分为五部分，每部分又得到5个特征值，所以也就是25个的特征值。本文采集了50个人人脸，每人采集10张不同姿态下的照片，也就是500张照片，对这些照片进行人脸检测并进行奇异值分解，得到每张照片对应的25个特征值，从每人10张照片中随机抽出5张用于训练出不同的姿态下的人脸，另外的5张用作测试样本。

（一）实验过程

由于数据过长，本文只以2个人，每人2张照片作为的训练样本数据为例来说明。

第一步：训练样本（每人25个特征值），在p是一个25行，4列的矩阵，每一列代表一个人的25个特征值，属于一个样本；列数4表示样本总数；

p=[ 7.4264 9.0728 7.9825 9.5632；

7.5719 7.8115 6.5564 7.8561；

12.8074 12.7073 12.4536 11.5423；

9.0284 10.3744 8.7569 9.9965；

7.0083 9.0284 7.1254 8.8876；

1.2597 2.1578 1.3556 3.0112；

0.6896 0.7835 0.7859 0.9658；

0.7814 0.8818 0.7568 0.8213；

1.0248 1.6783 1.1542 1.5234；

1.0112 1.0248 0.9568 0.9652；

1.0427 1.0813 1.0425 0.9568；

0.5970 0.5886 0.5968 0.5889；

0.4928 0.5969 0.3569 0.6012；

0.6438 0.6417 0.6589 0.5612；

0.3563 0.6438 0.2534 0.6689；

0.4474 0.4235 0.4568 0.4236；

0.2483 0.2282 0.2253 0.2259；

0.3633 0.4616 0.3102 0.4556；

0.3383 0.4167 0.3561 0.3456；

0.3130 0.3383 0.3302 0.3359；

0.3378 0.3313 0.3219 0.3569；

0.1916 0.1767 0.1564 0.1952；

0.2356 0.3422 0.2355 0.3012；

0.2088 0.3268 0.1958 0.3568；

0.1858 0.2088 0.0956 0.1968；]；

第二步：目标输出矩阵

因为就两个人，所以采用一位二进制编码就可以，在这里定义第一类样本的编码为0；第二类样本的输出编码为1。

t=[0 1 0 1]；

第三步：使用MATLAB建立网络结构

net1=newff（minmax（p），[25，9，1]，{'tansig'，'tansig'，'hardlim'}，'traingdm'）；

说明：[25，10，1]表示该网络的输入结点为25个值，输出结果为1为二进制编码的值，中间层由经验公式 （rnd为0-1之间的随机数），所以本文选取5-15之间数分别作为隐含层的神经元个数，得出的结论是9的收敛速度最快。

第四步：对网络进行训练

[net1，tr]=train（net1，p，t）；

第五步：保存网络

save aa net1

则文件会以aa.mat的格式保存，保存了训练好的网络以及权值。

第六步：输入测试样本

先加载上一步中保存好的网络，本实验中只输入一个测试样本，下面的数据代表测试样本的特征值，共25个。

load aa.mat

p1=[7.8115；0.7835；0.5886；0.2282；0.1767；1.0197；0.7896；0.6814；1.1238；1.1114；0.9427；0.5970；0.4569；0.5438；0.4563；0.1983；0.4632；0.3383；0.3130；0.4377；0.1817；0.2256；0.2088；0.2854；0.2812]；

第六步：网络仿真

a=hardlim（sim（net1，p1）-0.5）

（二）实验结果

根据上述实验过程，得出的结果是：

下图是执行了10次中的一次算法模拟情况。

Elapsed time is 0.469seconds

网络仿真的输出结果是：a=0

本文中测试的数据来源于训练样本中输出为0的样本，识别结果正确。换了10个测试样本，其中识别正确的是6个，也就是正确率大约在60%。

然后，采用相同的办法，在实验中把训练样本由每人两个不同姿态下的样本增加到了3个，也就是输入向量的p由4列增加到6列，其他的均不变，网络的训练时间为0.471 seconds。还是使用上面的10个测试样本，其中识别正确的达到了8个，正确率提高到了80%左右。

在样本量扩大到250时，这些样本是来自于，50个人，每人拍摄10张不同姿态下的照片，也就是500张，然后从其中随机的取出每个人对应的5张照片作为训练样本，然后再把从剩余的250张作为测试样本，进行测试。输入结点数为250，每个结点对应的特征向量为25；输出值用二进制的编码表示，由于后面要实现的人脸识别系统中要应用在一个只有50人的环境下，所以采用二进制编码6位就够了，但是为了系统的可扩展性，所以采用7位二进制编码来设计输出结点的值，bp网络就是25维输出7维输出。此时测试的250个数据中只有一组数据是错误的，原因是照片中的人嘴和鼻子被口罩遮住了。

样本量增加后网络训练到一个样本测试仿真所有的时间是1.936seconds。

五、小结

本文介绍了基于BP神经网络的人脸识别分类方法，先用matlab设计了一个模拟程序，然后不断的增加训练样本中同一人样本的样本数，训练后用10个人分别测试两个网络的正确率，当同一人的样本数增加到3时，正确率由60%提高到了80%。可以证明网络训练样本的增加有利于提高识别的正确率。把在上一章中采集到的50个人所对应的500张照片作为标准样本库，从中随机取出250张作为训练样本，然后设定输出值，输出的值应该有50类，采用二进制的编码构成，然后再实用剩余的250张照片作为测试样本，进行测试。

第7篇：神经网络反向传播原理范文

【关键词】自适应距离保护 人工神经网络 BP算法

一、引言

距离保护长期以来一直是复杂电网中高压输电线路最重要的也是应用最广泛的保护方案。这种保护有许多独特的优点，如能瞬时切除输电线80%～90%范围内的各种故障。但是有许多原因会影响阻抗的测量精度，从而影响测量阻抗的计算，使测量阻抗为短路阻抗与附加阻抗之和，从而会引起误动或者拒动。

基于这些问题，本文提出了人工神经网络。近年来，人工神经网络（ANN）逐渐得到电力系统研究人员的高度重视和广泛研究。人工神经网络是由众多的神经元广泛互联而成的网络。人工神经网络以其具有自学习、自适应、较好的容错性和优良的非线性逼近能力，广泛应用于模式识别和模式分类等方面。

本文所采用的三层前向神经网络的学习算法为反传学习算法，即BP算法，学习过程采用反向传播法。

二、基于人工神经网络的距离保护模型

BP网络模型也即多层前向网络（Multi-layer Feedforward Neural Network，MFNN），因其训练算法采用反向传播算法，也即BP算法。由于这种算法在本质上是一种神经网络学习的数学模型，所以，BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。

人工神经网络是由大量简单的基本元件——神经元相互连接而成的自适应非线性动态系统。一般而言，只要采用三层神经网络，而且对各层神经元数目不加限制，则可在模式空间构成任意复杂程度的几何图形，从而对任意复杂的对象进行分类。

人工神经网络含有输入层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层，由于他们与外界没有直接联系，故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连接，但是他们的状态则影响输入输出之间的关系。BP网络的结构的每一层连接权值都可以通过学习来调节，它的基本处理单元（输入层）除外通常为非线性输入输出关系。

三、神经网络的训练及检验

本文通过EMTP仿真的数据预处理中得出了这两个子网络的权值和阀值矩阵中，用一些不同于训练样本的检测样本（本文在故障检测与选相子网络是用40组进行训练，13组进行检测的；对故障定位子网络是用35组进行训练，14组进行校验的）。每一个子网络的隐含层节点的数目，是在训练过程中根据最快的收敛速度和最好的精度标准通过多次采用不同的隐含层节点数目进行训练，反复比较，根据实际的收敛效果和计算精度来选择确定的。其中，故障检测与选相子网络（ANN1）的隐含层数目取为42个，故障定位子网络（ANN2）的隐含层数目取为33个。

在确定了两个子网络的隐含层以后，开始对故障检测和选相子网络（ANN1）和故障定位子网络（ANN2）采用BP算法进行训练。经过对子网络的多次训练，其训练过程是收敛的，其训练速度也是令人满意。

下面将2个子网络的部分训练样本、检验样本及检验结果。

在对第一个、第二个子网络故障检测与选相子网络其训练过程过程是收敛的，其训练速度也是令人满意的。

下面是子网络ANN1的训练样本和训练样本及检测样本。故障类型有：内部故障，A相接地、内部故障，B相接地、内部故障，C相接地、内部故障，两相短路、内部故障，两相接地短路、内部故障，三相短路。理想输出：1，0，0，0；0，1，0，0；0，0，1，0；0，0，0，1；0，0，0，1；0，0，0，1。检验结果：

0.9985，0.0378，0.0838，0.0230；0.0315，0.9988，0.0607，0.0121；0.1004，0.1718，0.9980，0.2715；0.2815，0.0499，0.0614，0.9864；0.2496，0.3688，0.0370，0.9798；0.0197，0.0551，0.0187，0.9981。

从上面可以清楚的看出，故障检测和选相子网络在各种故障情况下都能正确反映故障，并启动保护和正确选相。

在第二个子网络训练过程也是表明故障定位子网络ANN2也是收敛的，其训练速度也是令人满意的。

下面是故障定位子网络ANN2的训练样本和检验样本及结果举例。当故障点线路全长线路全长83%，故障类型分别为单相接地、两相故障、三相故障时，其理想输出为1、1、1；当故障点线路全长线路全长87%，其理想输出为0、0、0。检测结果：当故障点线路全长线路全长83%，输出：0.9867、0.9827、0.9572。当故障点线路全长线路全长87%，输出：0.1758、0.1820、0.1602。

从上面数据可以看到，故障定位子网络距离保护经过训练以后，基本能够正确的识别故障点位置。

四、结论

本论文针对传统距离保护在系统发生振荡和系统经过过渡电阻发生故障时，可能会误动或拒动等，因此，提出了基于BP人工神经网络自适应距离保护原理由两个相互独立的子网络来实现，即故障检测与选相子网络和故障定位子网络。两个子网络组成一个并行处理系统，经过大量的训练样本进行训练，投入实际运行线路中，根据本身需要提取输电线路的运行参数，对电力系统运行状态进行判断。研究结果表明，用人工神经网络实现最复杂的保护原理——距离保护是可行的，而且具有显著的优点。

参考文献：

[1]贺家李，宋从矩.电力系统继电保护原理（第三版）[M].北京：中国电力出版社，2001.

第8篇：神经网络反向传播原理范文

Abstract： Neural network is widely applied for character recognition. Through the analysis of the problems， this paper recognizes character by the application of improved BP neural network， so as to improve recognition rate. This method has high recognition rate， fast speed， strong practicability， and can be applied to various high noise environment.

关键词： 神经网络；图像预处理；特征提取；字符识别

Key words： neural network；image preprocessing；feature extraction；character recognition

中图分类号：TP301.6 文献标识码：A 文章编号：1006-4311（2014）10-0206-02

0 引言

字符识别是指采用扫描仪、数码相机等输入设备，把英文字母、数字、条形码等特殊字符的图形文件输入计算机，由识别软件对图片信息上的字符信息进行识别并变换成可编辑文档的识别技术。主要有光学字符识别（Optical

Character Recognition，OCR）、图像字符识别（Image Character Recognition，ICR）和智能字符识别（Intelligent Character Recognition，ICR），实际上这三种自动识别技术的基本原理大致相同。

1 常用字符识别方法

字符识别方法基本上都是为了区分结构识别、统计识别以及两者相结合的三大类方法，这三大类方法都包含具体的识别方法。

1.1 结构识别 结构识别是早期字符识别的研究的主要方法，我们也可以称之为句法结构识别。其思想是提取含有一定规律的结构信息，作为识别的依据。识别过程类似一个逻辑推理过程。结构识别的优点在于对字符变化的适应性强，区分相似字符能力强。但是在实际获取字符图像的过程中，由于存在着很多扭曲、倾斜等因素，就导致不能够准确地提取结构特征，后面的识别过程就成了无源之水。此外，结构识别的算法描述也较为复杂，匹配过程的复杂度也很高，因此，我们原有的句法识别就受到新的挑战。

1.2 统计识别 统计决策论的发展相对较早而且成熟，是为了提取待识别字符的一组统计特征，然后按照一定的准则进行决策函数的分类判决的。而统计识别是将字符点阵看作是一个能够经过大量统计数据得到的整体，是以后所用的特征都需要经过的。统计特征主要是以抗干扰能力强为主要特点，以实现匹配与分类的算法简单，且容易实现的。不足之处在于细分能力较弱，区分相似字的能力差一些。

1.3 结构识别与统计识别相结合 上述方法各有优缺点，而随着研究的深入，这些方法逐渐得到融合。网格化特征就是结合的产物。特征的统计以网格为单位，即使个别点的统计有误差也不会造成大的影响，增强了特征的抗干扰性。这种方法正得到日益广泛的应用。

字符的结构特征直接反映了字符的特有属性，而用字符的统计特征进行字符识别则是利用了计算机软件善于处理数字的特点。虽然近几年流行的神经网络方法主要采用的是局部特征，但其分类机理也与传统的统计识别方法相类似，优点是灵活性强。

2 字符识别流程

字符识别技术在当今社会的许多领域都有着广泛的商业应用前景。常见应用有条码识别、车牌识别、盲人的辅助阅读设备和邮包自动分检等。本文以车牌识别为例说明字符识别的应用以及识别流程。车牌识别系统的工作流程如图1所示。

经过字符分割后，得到可以进行字符识别的图像。本文采用神经网络方法进行字符识别，识别的具体过程如图2所示。

3 基于改进型BP神经网络的字符识别算法

3.1 BP神经网络简介 神经网络最早的研究是20世纪40年代，由心理学家Mcculloch和数学家Pitts合作提出的，由此拉开了神经网络研究的序幕。人工神经网络是通过对人脑生物神经机理进行简化，抽象和模拟之后建立起来的一种计算模型，属于机器学习的重要研究领域。人工神经网络可以应用于字符识别、人脸识别等领域。

随着神经网络的威力逐渐显现以及付诸应用的现实性，大量的学者对此进行了深入研究，出现了多种神经网络，如径向基神经网络和Hopfield网络等。1986年科学家Rumelhart和McCelland提出了BP（Back Propagation）神经网络，是一种按误差逆传播算法训练的多层前馈网络，是目前在字符识别中应用最广泛的神经网络模型之一。BP网络能学习和存储大量的输入输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

BP神经网络的结构如图3所示。从左至右分别是输入层、隐含层和输出层。

从图3可以看出，某一层的输出就是下一层的输入，即：am+1=fm+1（Wm+1am+bm+1），m=0，1，…M-1……

这里，M为神经网络的层数。第一层的神经元的输入为a0=p，最后一层神经元的输出是a=aM，即为整个神经网络的输出。BP神经网络虽然在字符识别领域有着重要的应用价值，但其存在如下问题：①进行字符识别时存在局部极小值问题；②算法通常需要迭代几千步甚至更多，收敛速度慢；③隐含层和隐含层节点的数量难以确定。要解决上述问题，就需对BP神经网络算法进行改进。

3.2 基于改进型BP神经网络的字符识别

3.2.1 图像预处理 在字符图像采集、输入的过程中由于受到多种噪声的干扰，会使图像质量下降，为字符识别工作带来困难，因此需要对初始图像进行必要的预处理。图像预处理的具体步骤如下：①选取合适的阈值进行图像二值化；②灰度变换增强对比度，改善视觉效果；③选取合适的方法去除噪声，常用的有中值滤波、均值滤波、高通滤波等方法；④图像分割，即将图像中的字符独立的分割出来。

3.2.2 字符特征值的提取 如果直接采用分割后的字符进行对比，那么需要对比的信息量很大，程序运行的时间也会大大增加。所以需要对分割后的字符进行特征提取，本文使用了类似九宫格的方法进行特征提取，即在字符图像的水平方向上将图像均匀分成三部分，在每一部分用一条水平方向的扫描线从左至右穿过字符，进行查找；垂直方向上原理相同，扫描线从上到下穿过字符，进行查找。取这六条线上的特征作为字符图像的特征，这样就得到了每个字符的六个特征值。

3.2.3 改进型BP神经网络 针对BP神经网络的局限性，为了避免落入局部极小值点，提高网络训练的精度和速度，对其算法进行了改进，常用的方法有：①优化初始权重。由于BP网络的误差曲面存在多个局部最小点和算法采用误差梯度下降的方法调整网络权重，因此导致了网络的训练结果极容易落入局部极小点。所以，网络的初始权重对网络的最终训练结果影响非常大，它是影响网络最终能否达到需求精度的重要因素之一。②调整自适应学习率。学习率η也称步长，在标准的算法中为常数。BP算法的收敛特性和收敛速度很大程度上取决于学习率，对于不同的问题，其取值范围也会不同。η取值过大可以加快学习速度，但会导致学习过程不收敛；η取值过小，则迭代次数明显增加，导致学习速度过慢。为了加速收敛的过程，可以自适应改变学习速率。③附加动量法。动量法是指在反向传播的基础上，在每个权值调整值上加上一项正比于前次权值变化的值，并根据反向传播法来产生新的权值变化。

本文为了简单起见，采用附加动量法只对数字和英文字母进行字符识别，利用梯度下降法，使权值沿函数的负梯度方向改变。提高了学习速度，增加了算法的可靠性。

带有附加动量项的权值调节公式为：

Wij（k+1）=Wij（k）+η[（1-α）D（k）+αD（k-1）]

其中，α是附加的动量项，取值范围为0

3.2.4 设计改进型BP神经网络进行字符识别 本系统采用了两个BP网络来进行数字和字母的识别。BP神经网络的建立主要是三个层的神经元数目的确定。①输入层节点数。此节点个数即为图像预处理后所输出的特征的维数。本系统输入层节点数为24×48。②隐含层节点数。确定隐含层节点数的基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐含层节点数。本系统的两个神经网络，可以根据输出层神经元的多少来确定其个数，即输出层神经元越多，其隐含层神经元个数也越多。③输出层节点数。用于识别数字的BP网络，由于只有10个数字，所以采用了8421码进行编码，输出层的神经元数目为4。而识别26个字母的BP网络，其输出层的神经元数目为5。待识别的字符图像和训练好网络后识别的结果分别如图4和图5所示。

4 结束语

在字符识别的过程中，每一步都会有不同程度的误差，本文神经网络经验证后识别率可达95.1%，平均识别时间为0.6s。影响识别成功率的主要因素是训练样本的数量和训练次数，要保证一定数量以上的训练样本和训练次数，以保证识别率。另外，神经网络的层数和各层神经元的个数，对神经网络算法的运行速度和识别率也有着直接的影响，其数量越多，识别率越高，但也制约着识别速度，因此，如何处理好两者关系很重要。

参考文献：

[1]关学忠，刘勇智.基于数字图像处理的车牌定位及字符分割方法[J].装备制造，2010（01）.

[2]武桐.基于图像匹配的汉字识别系统研究与实现[D].上海：上海交通大学，2010.

第9篇：神经网络反向传播原理范文

旅游市场趋势预测是旅游业发展战略和旅游规划与开发工作的重要基础依据，一直是旅游市场研究中最重要的内容之一。根据市场趋势预测的结果，旅游相关部门才可以制定合理的旅游规划，进行旅游资源的优化配置。旅游市场趋势预测是在对影响市场的诸因素进行系统调查和研究的基础上，运用科学的方法，对未来旅游市场的发展趋势以及有关的各种因素的变化，进行分析、预见、估计和判断。

近年来，旅游研究者对旅游市场趋势预测的方法进行了探索。目前主要有时间序列法、回归分析法、指数预测法、人工神经网络法。由于旅游市场的变化受到诸多因素的影响，导致旅游市场的趋势预测难度较大，但我们对预测精度的要求却越来越高。

本文是基于人工神经网络方法，提出使用遗传算法对人工神经网络进行优化，探索更精确、更适用于旅游市场预测现实状况的预测方法。

1 方法概述

人工神经网络是近年来的热点研究领域，是人类智能研究的重要组成部分，已经成为神经科学、计算机科学、认知科学、数学和物理学等多学科关注的热点。其应用领域包括：分类、预测、模式识别、信号处理和图像处理等，并继续向其他领域延伸。

1.1 BP神经网络

BP神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传播。在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。每一层的神经状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阈值，从而使BP神经网络预测输出不断逼近期望输出。

图中，X1，X2，…，Xn是BP神经网络的输入值，Y1，Y2，…，Ym是BP神经网络的预测值，wij和wjk为BP神经网络权值。从图可以看出，BP神经网络可以看成一个非线性函数，网络输入值和预测值分别为该函数的自变量和因变量。当输入节点数为n，输出节点数为m时，BP神经网络就表达了从n个自变量到m个因变量的函数映射关系。

1.2 遗传算法

遗传算法（Genetic Algorithms）是1962年由美国Michigan大学Holland教授提出的模拟自然界遗传机制和重托进货论而成的一种并行随机搜索最优化方法。它把自然界“优胜劣汰，适者生存”的生物进化原理引入优化参数形成的编码串联群体中，按照所选择的适应度函数并通过遗传中的选择、交叉和变异对个体进行筛选，使适应度值好的个体被保留，适应度差的个体被淘汰，新的群体既继承了上一代的信息，又优于上一代。这样反复循环，直至满足条件。

1.3 遗传算法优化BP神经网络的流程

遗传算法优化BP神经网络分为BP神经网络结构确定、遗传算法优化和BP神经网络预测3个部分。其中，BP神经网络结构确定部分根据按拟合函数输入输出参数个数确定BP神经网络结构，进而确定遗传算法个体的长度。遗传算法优化使用遗传算法优化BP神经网络的权值和阈值，种群中的每个个体都包含了一个网络所有权值和阈值，个体通过适应度函数计算个体适应度。遗传算法通过选择、交叉和变异操作找到最优适应度值对应个体。BP神经网络预测用遗传算法得到最优个体对网络初始权值和阈值赋值，网络经训练后预测函数输出。

遗传算法优化BP神经网络是用遗传算法来优化BP神经网络的初始权值和阈值，使优化后的BP神经网络能够更好地预测函数输出。遗传算法优化BP神经网络的要素包括种群初始化、适应度函数、选择操作、交叉操作和变异操作。

1）种群初始化

个体编码方法为实数编码，每个个体均为一个实数串，由输入层与隐含层连接权值、隐含层阈值、隐含层与输出层连接权值以及输出层阈值4部分组成。个体包含了神经网络全部权值和阈值，在网络结构已知的情况下，就可以构成一个结构、权值、阈值确定的神经网络。

2）适应度函数

2 实证分析

旅游客流量与当地旅游硬件及软件设施建设、各种交通设备的完善程度有着密切的关系。一个旅游地的交通设施完善程度决定了该景区的可进入性以及客源地到旅游地的时间距离，直接影响该景区游客量。此外，景区建设情况及旅游接待设施的建设情况决定着景区的吸引力。需要指出的是，由于信息传达的特性，游客数量对景区旅游相关条件改善的反应具有延迟性的特点。本文中，采用2000 年以来北京旅客周转量、人均GDP、全国交通、A级及以上景区个数、北京公共交通运营线路长度、北京市基础投资，预测北京市旅游人数。

通过查询中国国家统计局及北京市统计局相关资料，得到全国人均GDP、全国交通、北京市旅客周转量、北京市A级及以上景区个数、北京市公共交通运营线路长度、北京市基础投资数据，如表1所示。

根据遗传算法和BP 神经网络理论，在MATLAB 软件中编程实现基于遗传算法优化的BP神经网络进行预测。预测误差及真实值与预测值对比如图2、图3所示。

3 模型的评价