神经网络综述精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的神经网络综述主题范文，仅供参考，欢迎阅读并收藏。

第1篇：神经网络综述范文

【关键字】入侵 检测 神经网络

一、引言

随着互联网的飞速发展，网络攻击的行为日益增多，一般的防火墙和数据加密等被动的防护很难对网络行全面的监控，有主动防御功能的入侵检测技术可以补充防火墙的不足。神经网络有良好的归纳推理能力和自适应性，对已知和未知的攻击行为进行检测，在入侵检测过程中起到了重要的作用。

二、基于神经网路的通信系统入侵检测技术发展趋势

如图1所示，基于神经网络的入侵检测技术，在2001年到2003年间申请量较小，之后几年内，随着神经网络技术的不断发展以及网络环境的日渐复杂，基于神经网络的入侵检测技术研究受到更多重视，专利申请数量也稳步增加，该技术得到快速发展。

三、基于神经网路的通信系统入侵检测技术解析

针对基于神经网络的入侵检测技术专利申请的研究，可主要分为四个技术分支：选择合适的数据源和数据属性、改进现有算法、发现新的入侵检测算法、改进入侵检测系统构架。

3.1选择合适的数据源和数据属性

选择合适的数据源和数据属性是一个关键环节，在入侵检测系统征提取器和分类器成为了入侵检测领域研究的特点。如2012年的申请号为201210074813中，对于相同的训练数据，加入少量有标签的数据的半监督GHSOM算法，同时利用有标签的数据判断神经元类型，对神经元起到自动标识的作用；2014年的专利申请号为201410750891中，提供一种基于加权距离度量以及矩阵分解的入侵检测方法，可有效解决现有技术没有考虑整个数据集的特性以及各数据集属性之间量纲的差异，对噪声数据敏感，导致检测效果较差的问题。

3.2改进现有的算法

入侵检测算法是基于神经网络的入侵检测技术的核心，其直接关系到检测的效率和误警率。申请号为201310712975的专利，提供一种集成维纳过程与Adaboost集成学习方法、解决不平衡数据集的分类问题，能够对集成学习算法泛化能力进行极大提升；申请号为201410372707的专利中提供一种用于基于特征的三阶段神经网络入侵检测的方法和系统，其针对入侵检测使用三阶段神经网络，实现较少的假警报率。

3.3发现新的入侵检测算法

随着基础的检测算法日益成熟，为开发新的检测算法提供了强有力的基础，因此，近年来，开始出现关于新的检测算法的申请。申请号为201310032391的专利中将PCA降维与BP神经网络相结合的方式引入手机，从而降低了传统BP神经网络的计算量和存储量，以少的计算量达到主动防御的效果；申请号为201410855655的专利中通过广义回归神经网络结合模糊聚类算法迭代学习和训练，使得网络入侵连接的分类更加准确，改进了经典的Apriori算法，降低了其时间复杂度，适应了网络环境的变化。

3.4入侵检测系统构架

入侵检测系统是一种能够通过系统进行实时监护，分析网络的相关数据，检测到有可疑的入侵行为后进行警报等一系列措施的系统。申请号为201110457562的专利可针对入侵检测全过程，从攻击或从事恶意行为的网络入侵到操作系统内部监控，都给予其抵御，并形成防御机制，增加了防御的实时性，为自动抵抗攻击带来动力；消除了大量的数据输入；实现了Linux下的高量数据包监听；申请号为201410383497的专利中基于Hadoop分布式计算框架，提出了一种着眼于整个互联网防御的安全体系。

第2篇：神经网络综述范文

关键词：  人工神经网络； 应用

人工神经网络(Artificial Neural Network，ANN)方法自从本世纪40年代被提出以来，许多从事人工智能、计算机科学、信息科学的科学家都在对它进行研究，已在军事、医疗、航天、自动控制、金融等许多领域取得了成功的应用。目前出现了许多模仿动物和人的智能形式与功能的某个方面的神经网络，例如，Grossberg提出的自适应共振理论（Adaptive Resonance Theory，ART），T-Kohenen的自组织特征映射网络(Self-Organizing feature Map，SOM)，径向基函数网络（Radial Basis Function，RBF），Hopfield网等。进入90年代以后，由于计算机技术和信息技术的发展，以及各种算法的不断提出，神经网络的研究逐渐深化，应用面也逐步扩大，本研究对常用的神经网络方法及其在医学领域中的应用做一简单综述。

    1  自组织特征映射网络（self-organizing feature map，SOM）在基因表达数据分析中的应用

   1.1   方法介绍

    脑神经学的研究表明，人脑中大量的神经元处于空间的不同区域，有着不同的功能，各自敏感着各自的输入信息模式的不同特征。芬兰赫尔辛基大学神经网络专家T.Kohonen根据大脑神经系统的这一特性，于1981年提出了自组织特征映射网络，它模拟人的大脑，利用竞争学习的方式进行网络学习，具有很强的自组织、自适应学习能力，鲁棒性和容错能力，其理论及应用发展很快，目前已在信息处理、模式识别、图像处理、语音识别、机器人控制、数据挖掘等方面都有成功应用的实例。

    Kohonen网络由输入层和竞争层组成，网络结构见图1。输入层由N个神经元组成，竞争层由M个输出神经元组成，输入层与竞争层各神经元之间实现全互连接，竞争层之间实行侧向连接。设输入向量为x=(x1,…,xd)T ，输出神经元j对应的权重向量为wj=(wj1,…,wjd)T ，对每一输出神经元计算输入向量x 和权重向量wj 间的距离，据此利用竞争学习规则对权向量进行调节。在网络的竞争层，各神经元竞争对输入模式的响应机会，最后仅一个神经元成为胜利者，并对与获胜神经元有关的各权重朝着更有利于它竞争的方向调整，这样在每个获胜神经元附近形成一个“聚类区”，学习的结果使聚类区内各神经元的权重向量保持与输入向量逼近的趋势，从而使具有相近特性的输入向量聚集在一起，这种自组织聚类过程是系统自主、无教师示教的聚类方法，能将任意维输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。网络通过对输入模式的学习，网络竞争层神经元相互竞争，自适应地形成对输入模式的不同响应，模拟大脑信息处理的聚类功能、自组织、自学习功能，实现用低维目标空间的点去表示高维原始空间的点，其工作原理和聚类算法及改进方法参见相关文献［1］。

    1.2  应用

    基因芯片技术的应用使得人们可以从基因水平探讨疾病的病因及预后，而基因芯片产生的数据具有高维度（变量多）、样本量小、高噪声的特点，样本量远小于变量数，如何从海量的数据中挖掘信息或知识成为重大课题。聚类分析是数据挖掘中的一类重要技术，传统方法主要有系统聚类、k-means聚类等，但在处理复杂非线性关系及变量间的交互作用时效果较差，受异常值影响较大。近年来神经网络技术法成为聚类领域的研究热点，其中自组织特征映射网络由于其良好的自适应性，其算法对基因表达数据的聚类有较高的稳定性和智能性，尤其在处理基因表达中有缺失数据及原始空间到目标空间存在非线性映射结构时有较好的体现，适用于复杂的多维数据的模式识别和特征分类等探索性分析，同时可实现聚类过程和结果的可视化［2］。目前Kohonen网络已被成功用到许多基因表达数据的分析中，Jihua Huang等［3］设计6×6的网络对酵母细胞周期数据进行分析，总正确率为67.7%；曹晖等［4］将其算法改进后用在酵母菌基因表达数据中，总正确率高达84.73%，有较高的聚类效能；邓庆山［5］将该模型与K平均值聚类方法结合用于公开的结肠基因表达数据集和白血病基因表达数据集，聚类的准确率分别为94.12%和90.32%。目前Kohonen网络在医学领域中主要应用前景有：① 发现与疾病相关的新的未知基因，对目标基因进一步研究，提高诊断的正确率，并对药物的开发研究提供重要的线索；② 对肿瘤组织的基因表达谱数据聚类，以期发现新的、未知的疾病亚型（肿瘤亚型），以便提出更加有针对性的治疗方案，为从分子水平对疾病分型、诊断、预后等提供依据；③ 发现与已知基因有相似功能的基因，为推断未知基因的可能功能提供线索。

    2  BP神经网络在医学研究中的应用

    2.1  BP神经网络在疾病辅助诊断中的应用

    2.1.1  方法介绍

    BP神经网络是目前应用最多的神经网络，一般由一个输入层（input layer）、一个输出层（output layer）、一个或几个中间层（隐层）组成。每一层可包含一个或多个神经元，其中每一层的每个神经元和前一层相连接，同一层之间没有连接。输入层神经元传递输入信息到第一隐层或直接传到输出层，隐层的神经元对输入层的信息加权求和，加一个常数后，经传递函数运算后传到下一个隐层（或输出层），常用的传递函数是logistic函数，即Φh=1/(1+exp(-z)) ，输出层神经元对前一层的输入信息加权求和经传递函数Φ0 （线性或logistic函数或门限函数）运算后输出，BP神经网络一般采用BP算法训练网络，关于BP算法及改进可参考相关文献［1］。

第3篇：神经网络综述范文

关键词:BP神经网络;电力负荷;短期预测

中图分类号:TP183 文献标识码:A文章编号:1007-9599 (2010) 09-0000-02

Power Load Short-term Forecasting Based on BP Neural Network

Wang Jing,Yang Xiao

(School of Economics&Management,North China Electric Power University,Beijing102206,China)

Abstract:Load forecasting is an important task in power system.We forecasted short-term load for a region of southern based on BP neural network.Firstly,we introduce the structure of BP neural network,and then we make use of the data to do empirical research by using BP neural network of the region.And we consider the meteorological factors in the design of the BP neural network structure.

Keywords:BP Neural Network;Power Load;Short-term Forecast

一、引言

目前,全国供电紧张,部分严重地区经常缺电,造成许多发电设备不能及时检修,处于超负荷的运转状态。会导致机组老化加速,出现不可预见的事故,造成人员、财产的伤亡。因此对未来电网内负荷变化趋势的预测,是电网调度部门和设计部门所必须具备的基本信息之一。

电力系统负荷预测是电力生产部门的重要工作,通过精确的预测电力负荷,可以经济的调度发电机组,合理安排机组启停、机组检修计划,降低发电成本,提高经济效益。负荷预测对电力系统控制、运行和计划都有着重要的意义。电力系统负荷变化受多方面的影响,包括不确定性因素引起的随机波动和周期性变化规律。并且,由于受天气、节假日等特殊情况影响,又使负荷变化出现差异。神经网络具有较强非线性的映射功能,用神经网络来预测电力负荷越来越引起人们的关注。

二、BP网络理论

(一)BP网络结构

BP神经网络全称为Back-Propagation Network,即反向传播网络,是一种多层前馈神经网络,结构图如图1所示,根据图示可以知道BP神经网络是一种有三层或三层以上的神经网络,包括输入层、中间层(隐层)和输出层。前后层之间实现全连接,各层之间的神经元不进行连接。当学习样本输入后,神经元的激活之经由各层从输入层向输出层传递。之后,根据减少目标输出与实际输出误差的原则,从输出层反向经过各层至输入层,逐级修正各连接的权值,该算法成为“误差方向传播算法”,即BP算法。由于误差反向传播不断进行,网络对输入模式响应的正确率也不断上升。

BP神经网络传递函数不同于感知器模型传递函数,BP神经网络要求其必须是可微的,所以感知器网络中所用到的硬阈值传递函数在BP神经网络中并不适应。BP神经网络中常用的传递函数有正切函数、Sigmoid型的对数或线性函数。由于这些函数均是可微的,所以BP神经网络所划分的区域是一个非线性的超平面组成的区域,是一个比较平滑的曲面,它比线性划分更加的精确。另外,网络才有严格的梯度下降法进行学习,权值修正的解析式分非常明确。

(二)BP网络算法

(1)初始化。给没给连接权值 、 、阈值 与 赋予区间 内的随机值

(2)确定输入P和目标输出T。选取一组输入样本 和目标输出样本 提供给网络。

(3)用输入样本 、连接权 和阈值 计算中间层各单元的输入 ,然后用 通过传递函数计算中间层各单元的输出 。

(4)利用中间层的输出 、连接权 和阈值 计算输出层各单元的输出 ,然后通过传递函数计算输出层各单元的响应 。

(5)利用目标向量 和网络的实际输出 ,计算输出层各单元的一般化误差 。

(6)利用连接权 、输出层的一般化误差 和中间层的输出 计算中间层各单元的一般化误差 。

(7)利用输出层各单元的一般化误差 与中间呈个单元的输出 来修正连接权 和阈值 。

(8)利用中间层各单元的一般化误差 ,和输入层各单元输入P来修正连接权 和阈值 ,计算方法同(7)。

(9)达到误差精度要求或最大训练步数,输出结果,否则返回(3)

三、实证研究

(一)神经网络结构设计

本文以南方某缺电城市的整点有功负荷值,在预测的前一天中,每隔2小时对电力负荷进行一次测量,这样,可以得到12组负荷数据。此外电力负荷还和环境因素有关,文章选取预测日最高气温、最低气温和降雨量气象特征作为网络输入变量。所以设计的网络结构为:15个输入层节点和12个输出向量,根据Kolmogorov定理可知,网络中间层的神经元可以去31个。

(二)输入数据归一化处理

获得输入变量后,为了防止神经元饱和现象,在BP神经网络输入层进行归一化,文章才有如下公式进行变换。

(三)实证分析

中间层神经元传递函数和输出层传递函数分别采用S型正切函数tansig和S型对数函数logsig,因为这连个函数输出区间为[0,1],满足网络设计的需求。

利用以下代码创建一个满足上述要求的BP神经网络。

threshold=[0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1];

netbp=newff(threshold,[31,12],{’tansig’,’logsig’},’trainlm’)

其中变量threshold用于规定输入向量的最大值和最小值,规定了网络输入向量的最大值为1,最小值为0,。“trainlm”是为网络设定的训练函数,采用的是Levenberg-Marquardt算法进行网络学习。该方法明显优于共轭梯度法及变学习效率的BP算法,LM算法可大大提高学习速度,缩短训练时间。

使用该地区2007年8月11日到20日的负荷和气象数据作为输入向量,8月12日至8月21日负荷数据作为目标向量,对网络进行训练,再用8月20日负荷数据和21日的气象特征数据来预测21日用电负荷,检验预测误差是否能带到要求。

利用MATLAB进行仿真,经过79次训练后达到误差要求结果。如图2

网络训练参数的设定见下表

从图3和图4中可以看出运用BP神经网络方法很好的预测了负荷走势,并且预测误差较小,负荷工程预测的要求。四、结论

在进行电力负荷预测时,必须考虑气象因素的影响。在不同的地区气象因素对电力负荷的影响不同,因此本文在设计神经网络结构时,结合该地实际情况考虑气象因素。本文研究了BP神经网络在电力负荷短期预测中的应用,根据上述的预测结果可以说明BP神经网络对电力负荷进行短期预测是目前一种比较可行的方法。

参考文献

[1]蒋平,鞠平.应用人工神经网络进行中期电力负荷预报[J].电力系统自动化,1995,6(19):15-17

[2]苏宁.MATLAB软件在电力负荷预测中的应用[J].华北电力技术,2007(8):16-19

[3]康重庆,夏清,张伯明.电力系统负荷预测研究综述与发展方向的探讨[J].电力系统自动化,2OO4,28(17):1-11

[4]姜勇.电力系统短期负荷预测的模糊神经网络方法[J].继电器,2002,36(2):11-13

[5]田景文,高美娟.人工神经网络算法研究及应用[M].北京:北京理工大学出版社,2006

第4篇：神经网络综述范文

论文摘要：分析了模拟电路故障诊断的重要性和目前存在的困难，对基于小渡分析理论和神经网络理论的模拟电路故障诊断方法进行了综述．指出了小波神经网络应用于模拟电路故障诊断存在的问题和未来的应用前景。

模拟电路故障诊断在理论上可概括为:在已知网络拓扑结构、输人激励和故障响应或可能已知部分元件参数的情况下，求故障元件的参数和位置。

尽管目前模拟电路故障诊断理论和方法都取得了不少成就，提出了很多故障诊断方法，如故障字典法、故障参数识别法、故障验证法等。但是由于模拟电路测试和诊断有其自身困难，进展比较缓慢。其主要困难有:模拟电路中的故障模型比较复杂，难以作简单的量化;模拟电路中元件参数具有容差，增加了故障诊断的难度;在模拟电路中广泛存在着非线性问题，为故障的定位诊断增加了难度;在一个实用的模拟电路中，几乎无一例外地存在着反馈回路，仿真时需要大量的复杂计算;实际的模拟电路中可测电压的节点数非常有限.导致可用于作故障诊断的信息量不够充分，造成故障定位的不确定性和模糊性。

因此，以往对模拟电路故障诊断的研究主要停留在中小规模线性无容差或小容差的情况，有些方法也已成功地应用于工程实际。但如何有效地解决模拟电路的容差和非线性问题，如何解决故障诊断的模糊性和不确定性等是今后迫切需要解决的问题。小波神经网络则因其利于模拟人类处理问题的过程、容易顾及人的经验且具有一定的学习能力等特点，所以在这一领域得到了广泛应用。

1小波分析理论在模拟电路故障诊断中的应用现状分析

简单地讲，小波就是一个有始有终的小的“波浪”小波分析源于信号分析，源于函数的伸缩和平移，是Fourier分析、Gabor分析和短时Fourier分析发展的直接结果。小波分析的基木原理是通过小波母函数在尺度上的伸缩和时域上的平移来分析信号，适当选择母函数.可以使扩张函数具有较好的局部性，小波分析是对信号在低频段进行有效的逐层分解，而小波包分析是对小波分析的一种改进，它为信号提供了一种更加精细的分析方法，对信号在全频段进行逐层有效的分解，更有利于提取信号的特征。因此，它是一种时频分析方法。在时频域具有良好的局部化性能并具有多分辨分析的特性，非常适合非平稳信号的奇异性分析。如:利用连续小波变换可以检测信号的奇异性，区分信号突变和噪声，利用离散小波变换可以检测随机信号频率结构的突变。

小波变换故障诊断机理包括:利用观测器信号的奇异性进行故障诊断以及利用观测器信号频率结构的变化进行故障诊断。小波变换具有不需要系统的数学模型、故障检测灵敏准确、运算量小、对噪声的抑制能力强和对输入信号要求低的优点。但在大尺度下由于滤波器的时域宽度较大，检测时会产生时间延迟，且不同小波基的选取对诊断结果也有影响。在模拟电路故障诊断中，小波变换被有效地用来提取故障特征信息即小波预处理器之后，再将这些故障特征信息送人故障分类处理器进行故障诊断。小波分析理论的应用一般被限制在小规模的范围内，其主要原因是大规模的应用对小波基的构造和存储需要的花费较大。

2神经网络理论在模拟电路故障诊断中的应用分析

人工神经网络(ANN)是在现代神经科学研究成果的基础上提出来的，是一种抽象的数学模型，是对人脑功能的模拟。经过十几年的发展，人工神经网络已形成了数十种网络，包括多层感知器Kohomen自组织特征映射、Hopfield网络、自适应共振理论、ART网络、RBF网络、概率神经网络等。这些网络由于结构不同，应用范围也各不相同。由于人工神经网络本身不仅具有非线性、自适应性、并行性、容错性等优点以及分辨故障原因、故障类型的能力外，而且训练过的神经网络能储存有关过程的知识，能直接从定量的、历史故障信息中学习。所以在20世纪80年代末期，它已开始应用于模拟电路故障诊断。随着人工神经网络的不断成熟及大量应用，将神经网络广泛用于模拟电路的故障诊断已是发展趋势。BY神经网络由于具有良好的模式分类能力，尤其适用于模拟电路故障诊断领域，因而在模拟电路故障诊断系统中具有广泛的应用前景，也是目前模拟电路故障诊断中用得较多而且较为有效的一种神经网络。 　3小波神经网络的应用进展分析

3，1小波分析理论与神经网络理论结合的必要性

在神经网络理论应用于模拟电路故障诊断的过程中，神经网路对于隐层神经元节点数的确定、各种参数的初始化和神经网络结构的构造等缺乏更有效的理论性指导方法，而这些都将直接影响神经网络的实际应用效果。小波分析在时域和频域同时具有良好的局部化特性，而神经网络则具有自学习、并行处理、自适应、容错性和推广能力二因此把小波分析和神经网络两者的优点结合起来应用于故障诊断是客观实际的需要。

目前小波分析与神经网络的结合有两种形式，一种是先利用小波变换对信号进行预处理，提取信号的特征向量作为神经网络的输人，另一种则是采用小波函数和尺度函数形成神经元，达到小波分析和神经网络的直接融合第一种结合方式是小波神经网络的松散型结合，第二种结合方式是小波神经网络的紧致型结合。

3.2小波分析理论与神经网络理论的结合形式

小波与神经网络的松散型结合，即:用小波分析或小波包分析作为神经网络的前置处理手段，为神经网络提供输人特征向鱼具体来说就是利用小波分析或小波包分析，把信号分解到相互独立的频带之内，各频带内的能童值形成一个向觉，该向童对不同的故障对应不同的值，从而可作为神经网络的输入特征向量一旦确定神经网络的输入特征向童，再根据经验确定采用哪种神经网络及隐层数和隐层单元数等，就可以利用试验样本对神经网络进行训练，调整权值，从而建立起所需的小波神经网络模型。

小波与神经网络的紧致型结合，即:用小波函数和尺度函数形成神经元，达到小波分析和神经网络的直接融合，称为狭义上的小波神经网络，这也是常说的小波神经网络。它是以小波函数或尺度函数作为激励函数，其作用机理和采用Sigmoid函数的多层感知器基本相同。故障诊断的实质是要实现症状空间到故障空间的映射，这种映射也可以用函数逼近来表示。小波神经网络的形成也可以从函数逼近的角度加以说明。常见的小波神经网络有:利用尺度函数作为神经网络中神经元激励函数的正交基小波网络、自适应小波神经网络、多分辨率小波网络、区间小波网络等。

3.3小波分析理论与神经网络理论结合的优点

小波神经网络具有以下优点:一是可以避免M LY等神经网络结构设计的育目性;二是具有逼近能力强、网络学习收敛速度快、参数的选取有理论指导、有效避免局部最小值问题等优点。

在模拟电路故障诊断领域，小波神经网络还是一个崭新的、很有前途的应用研究方向。随着小波分析理论和神经网络理论的不断发展，小波神经网络应用于模拟电路故障诊断领域将日益成熟。

第5篇：神经网络综述范文

【关键词】深度学习 卷积神经网络 权值共享 下采样 R-CNN Fast-R-CNN

1 绪论

随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。

1.1 国内外研究现状

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法，神经网络能够从大量训练数据中的学习到相关统计信息，学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。

自2006年以来，Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法，也影响着我们对人类感知的理解，迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破，使得深度学习在图像分类，语音识别，自然语言处理等领域有广泛的运用。

2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。

2 深度学习概述

深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。

深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。

3 卷积神经网络

卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。

卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。

图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。

4 R-CNN、Fast-R-CNN对比分析

卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。

4.1 R-CNN

R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。

在CNN中，全连接层输入是固定大小的，因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后，要将这些候选区图片进行变换，生成固定大小的候选图片，在训练提取特征时一般采用经过预训练的模型参数进行finetuning，榱嗽黾友盗费本，模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类，在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中，得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算，保存所有后选取图片的特征值，要求计算硬件有大量的存储空间，同时处理每一张图片的时间也会增加。由于训练集庞大，本文采用hard negative mining method方法提高存储的利用率。

R-CNN的体现出了极大的优势，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN计算的时间成本很大，达不到实时的计算效果，R-CNN在对候选区进行处理时会使得图像失真，部分信息丢失。

4.2 Fast-R-CNN

Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。

Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于计算K+1分类的损失，K为第K个目标，1为背景；Regression LOSS计算候选区的四个角的坐标。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。

5 实验测试

对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。

训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。

本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。

6 总结

在目标识别定位领域，卷积神经网络具有强大的图像处理能力，对图像的识别定位具有很高度平移，旋转，扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂，对一张图片需要进行1000-2000次的卷积运算，特征重复提取。因此在训练和前向测试时，R-CNN用的时间长，不能很好的适用于处理实时图片数据，尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存，降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知，Fast-R-CNN性能优于R-CNN。

参考文献

[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.

[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.

[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.

[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

第6篇：神经网络综述范文

Abstract: The simulation non-linear model should be used to carry on the forecast to the non-linear tendency real estate price index. A model with improved algorithm is developed to predict real estate price index based on BP artificial neural network. The research results show that the network has good ability to reflect the intrinsic change rules with higher predicted precision.

关键词： 房地产价格指数；BP神经网络；改进算法；预测

Key words: real estate price index；BP artificial neural network；improved algorithm；predict

中图分类号：F83文献标识码：A文章编号：1006-4311（2011）17-0149-01

0引言

房地产价格指数是动态描述一定区域内各类房地产（如商业、住宅和工业）价格变动及其总体价格平均变动趋势和变动程度的相对数，它是指导业界活动和市场研究的有效工具。房地产业的健康发展对拉动经济增长，调整产业结构，改善人民生活水平起着重要的作用。通过观察房地产价格指数的走势，人们既可从宏观上把握房地产市场的景气状况和市场变化，也可从微观上依据其走势进行投资分析。在计量经济学基础上建立的各种经济模型，大部分都是线性模型。经典的线性模型在很长的一段时间内发挥着很大的作用，但随着研究越来越来深入，线形模型逐渐显露出它的缺陷，即很难用它拟合非线性经济系统，因而必然造成经济预测的误差加大。神经网络理论上可以逼近任意非线性函数并可以随机调整，所以能有效地解决非线性预测的问题，已经得到广泛应用[1-6]，利用神经网络来预测我国房地产价格指数具有可行性。

1构建改进算法的BP神经网络模型

BP（Back-Propagation）神经网络模型是由Werbos在1984年提出来的，Rumelhart等在1985年发展了反传学习算法，实现了Minsky的多层网络设想。神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络具有非线性处理、自组织及自适应性、学习能力、联想能力等特点。BP算法的学习过程由正向传播和反向传播组成。在正向传播中，信息从输入层经隐含层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态，如果在输出层不能得到期望的输出，则转向反向传播，将误差信号沿原来的通路返回，通过修改各层神经元的权值和阈值，使得误差信号最小。研究中的数据来源于国家统计数据库，时间范围为2005年7月-2010年12月。BP神经网络模型一般以s形函数作为转换函数，该函数的值域为[0,1]，因此在网络训练时要将原始数据进行处理，规范到[0,1]之间，这里数据预处理方法采用标准化法。权重系数的初始值对BP学习算法的收敛速度影响很大，算法中采用了随机函数生成权重系数的初始值。以前四个月的数据作为输入，后一个月的数据作为输出来训练网络。隐含层神经元节点数的确定是人工神经网络设计中最关键的步骤，它直接影响网络对复杂问题的映射能力。本文采用“试算法”确定神经元个数，经试算最佳隐含层节点数为6个。标准的BP算法是基于梯度下降法，但它具有学习过程易陷入局部极小、易出现震荡等缺陷，而附加动量法使BP 神经网络不仅考虑在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，它允许忽略网络上的微小变化特性，该方法是在反向传播法的基础上，在每一个权重和阈值的变化上加上一项正比于前次权重和阈值变化量的值，并根据反向传播法来产生新的权重和阈值的变化。

2结果

采用2005年7月-2009年7月的当月（同比）数据作为训练样本，然后利用2009年8月-2010年12月的当月（同比）数据作为测试样本，并对2012年1月的我国房屋销售价格指数进行预测。结果表明训练样本拟合值和真实值的平均相对误差为0.28%，测试样本模拟值和真实值的平均相对误差为1.15%，2012年1月我国房屋销售价格指数预测值为107.4。预测结果表明，我国房屋销售价格指数保持上升的趋势。

3结论

人工神经网络具有人脑的思维特征，应用BP神经网络进行我国房屋销售价格指数预测，只需将历史数据作为训练样本来进行网络的训练，当训练达到误差要求后，获得有关该问题知识的网络权值和阈值，就可以用来进行我国房屋销售价格指数预测。传统的BP神经网络本身存在一些缺陷，比如收敛速度慢，容易陷入局部最小值等，所以传统的BP神经网络实用性不是很强，必须改进BP算法的缺陷，才能使之有效的应用到现实中来。研究中发现改进后的BP神经网络计算速度快、方法简单、建模方便、预测结果客观准确，具有推广应用前景。

参考文献：

[1]刘占军，张星辉.基于遗传神经网络的机械故障诊断[J].价值工程，2010，29（25）：152-153.

[2]李斯娜.数字图像融合综述[J].价值工程，2010，29（20）：99.

[3]王晓东，薛宏智.基于bp神经网络的股票涨跌预测模型[J].价值工程，2010，29（31）：47-49.

[4]朱刘阳.一种雷达信号自适应盲分离算法[J].价值工程，2010，29（30）：211-212.

第7篇：神经网络综述范文

关键词： 网络安全态势； 层次分析法； 预测研究； BP神经网络

中图分类号： TN915.08?34 文献标识码： A 文章编号： 1004?373X（2017）01?0074?03

Abstract： Proceeding from the safe operation of the network system， the data which can reflect the network safe operation is extracted in the intrusion detection system， antivirus software and other security methods. A set network security situation eva?luation system was established in the aspects of threat， vulnerability， risk and basic running of the network safe operation. The analytic hierarchy process is used to calculate the evaluation system to obtain the comprehensive safety indicator used to character the network security running state. The BP neural network is used to forecast the network security status on the basis of the system. The experimental results show that the BP neural network can predict the network security situation accurately， and has a certain reference value in the related research fields.

Keywords： network security situation； analytic hierarchy process； prediction research； BP neural network

0 引 言

S着互联网的高速发展，各种网络应用越来越多地影响着人们的工作、学习和生活方式。为了及时掌握网络的安全态势，以便网络的管理者采取及时的防范措施，对网络安全状态的预测技术正在成为当下网络安全研究中的一个重要课题[1?2]。

本文受相关文献研究的启发，构建了由威胁指数、脆弱指数、风险指数和基础运行指数四个指数为一级评价指标的评估模型，利用防火墙和杀毒软件等安全手段提取数据，采用层次分析法计算网络安全综述指数，基于该指数采用BP神经网络对未来时刻的网络安全态势进行预测[3]。

1 网络态势安全指标体系的构建

1.1 评价体系的构建

为了全面反映网络的安全态势，本文采用定量描述的方法对威胁指数、脆弱指数、风险指数和基础运行指数进行计算，这四个指数代表网络安全运行所需要的几个必要条件，而综合安全指数则是指在一定时间段内反映当下网络整体安全态势的数值，它由威胁指数、脆弱指数、风险指数和基础运行指数通过加权法获得。

为了进一步丰富评估模型，将这四个指数作为一级评价指标，对其进行分解细化，提炼出这四个指标的下一级具体影响因素，如表1所示。

1.2 实例计算

本文采用层次分析法对构建的评价指标体系进行分析。本文构建的安全状态评价指标体系共分为一级指标4个和二级指标17个，通过对这些指标的分析求出网络的综合安全指数。网络安全状态评价采用李克特量的评分分级标准，分五个等级进行评判，分别为优秀、良好、中等、差和危险，为了方便计算，对其进行量化处理，为其赋值为5，4，3，2，1，具体评价等级对应的数字标准，如表2所示。

为了进一步说明层次分析法在网络安全态势评估中的具体应用，本文以威胁指数的计算为例，计算某日中某单位内网在该指标体系下的威胁指数。

首先根据在该网络中各个监视节点采集到的信息，经过统计计算后，对各个二级指标进行初步赋值，如表3所示。

2 基于BP神经网络的网络安全态势评价

实验选择某单位内网30天内的网络状态数据，利用BP神经网络对该网络安全态势进行预测。采用本文第1节的方法对这30天的网络综合安全指数进行计算，一共获得了如表4所示的30个状态值。

为了使BP神经网络的预测取得较好的效果，同时为了避免局部数值偏移造成的误差，本文采用编组的方式提高模型预测精度，对于序号为1～30的综合安全指数值，选择前三日的状态作为网络的输入样本，下一日的数据作为网络的预测输出样本，选择第28，29，30日的状态值作为网络的检测样本，如表5所示。

考虑到模型的输入输出均为简单的数值，本文的预测检测模型用三层BP神经网络实现，神经网络的输入层包含3个神经元（即前3日的网络综合安全指数），输出层用1个神经元（后一日的网络安全指数），隐层神经元个数通过经验公式选择为12。

将训练样本1～24的数值输入到Matlab 7.0软件中，对网络进行训练，定义期望误差为10-6，训练过程中，BP神经网络误差的变化情形如图1所示。

由图1可知，该BP神经网络通过26步运算后收敛到预定精度要求。

BP网络训练完毕后，首先将所有样本输入到网络，然后定义检验向量，并将检验向量输入网络，检查输入值和输出误差，如图2所示。

其中加“+”的曲线对应为实际数据，“”曲线对应为预测数据，可以看到全局的误差大小保持在0.1以内，说明该BP神经网络具有较低的误差，因此采用该BP神经网络对网络安全态势进行预测有较高的精度。

3 结 论

本文构建了以网络的威胁性、脆弱性、风险性和基础运行性为基础的评价指标体系，采用层次分析法计算网络的综合安全指数，并以此为基础，利用BP神经网络对某单位内网的网络安全状态进行预测，获得了较高精度的预测结果，表明本文构建的评价体系和网络安全态势的预测方式有一定的实用价值。

参考文献

[1] 张淑英.网络安全事件关联分析与态势评测技术研究[D].长春：吉林大学，2012.

[2] 王志平.基于指标体系的网络安全态势评估研究[D].长沙：国防科学技术大学，2010.

[3] 苗科.基于指标提取的网络安全态势感知技术研究[D].北京：北京邮电大学，2015.

[4] 毛志勇.BP 神经网络在计算机网络安全评价中的应用[J].信息技术，2008（6）：45?47.

第8篇：神经网络综述范文

关键词： 时间序列； BP神经网络； EMD； 本征模函数； 预测模型

中图分类号：TP311.1 文献标志码：A 文章编号：1006-8228（2014）02-01-04

0 引言

时间序列是将某种现象某一个统计指标在不同时间上的各个数值，按时间先后顺序排列而形成的序列。时间序列分析是一种动态的数列分析[1]，出发点是承认数据的有序性和相关性，通过数据内部的相互关系来辨识系统的变化规律。常用的时间序列分析法主要是建立在回归――移动平均模型（ARMA）[2-3]之上，被用来对股价（最高价、最低价、开盘价、收盘价）及综合指数进行预测[4-5]。然而，这些经典回归分析暗含着一个重要假设：数据是平稳的。如果数据非平稳，往往导致出现“虚假回归”，严重影响预测效果。股票等金融数据是典型的非平稳时间序列，一般地说，股票价格的变化主要包括经济性因素、政治性因素、人为操纵因素、有关行业及投资者心理等多种因素的影响，各因素的影响程度、时间范围和方式也不尽相同；且股市各因素间相互关系错综复杂，主次关系变化不定，数量关系难以提取及定量分析[6]。因此，需要寻找一种好的方法来避免或减弱这些因素的影响，于是学者研究小波分析[6]和神经网络[7-8]用于时间序列分析预测。小波变换可以使非平稳数据中的有效成分和噪声呈现出各自不同的特征，但小波变换中小波基的选取会对数据去噪的效果产生很大的影响，因此利用小波变换对非平稳数据分析的方法缺乏自适应性。Zhaohua Wu[11]等人通过大量的实验，证实经验模态分解（EMD，Empirical mode decomposition）具有类似小波变换中的二进滤波器特性，通过分解、数据重组后实现了数据的去噪，汲取了小波变换优势，同时又克服了小波变换中的小波基选择难的问题。

本文将经验模态分解和BP神经网络相结合，构建了一种基于EMD-BP神经网络的预测模型，通过对中国石化股票进行预测模拟仿真，实验结果得出结论，将EMD用于时间序列的预测分析，大大降低了扰动因素的影响，提高了预测精度。

1 时间序列的BP神经网络训练

神经网络具有较强的学习能力和适应能力，在非线性系统中的预测方面得到了广泛的应用。考虑到金融数据是一类非线性较强的时间序列，本文选用BP神经网络作为预测工具。BP网络[9-10]是一种多层前馈型神经网络，其神经采用的传递函数一般都是Sigmoid（S形弯曲）型可微函数，是严格的递增函数，在线性和非线性之间显现出较好的平衡，所以可实现输入和输出间的任意非线性映射，适用于中长期的预测；逼近效果好，计算速度快，不需要建立数学模型，精度高；理论依据坚实，推导过程严谨，所得公式对称优美，具有强非线性拟合能力。目前，已经有一些比较成熟的神经网络软件包，其中MATLAB的神经网络工具箱应用最为广泛。

在网络训练中，最重要的三个参数是权值、学习率和单元数。权值可能变得很大，这会使神经元的输入变得很大，从而使得其激活函数的导函数在输入点的取值很小，这样训练的步长就会变得非常小，进而导致训练的速度下降到很小的程度，最终可能使得网络停止收敛，即网络瘫痪。因此在对网络的连接权矩阵进行初始化时，随机给定各层之间的权值与阈值的初始值比单纯地随机给定某一部分层的收敛速度更快。学习率的选择，其合理与否是网络是否稳定的关键：太高的学习率，可以减少网络训练的时间，但是容易导致网络的不稳定与训练误差的增加；太低的学习率，需要较长的训练时间。在一定的条件下，较少的单元数目往往能够提高网络的收敛速度，而较多的单元数目有可能在规定的训练长度里不能满足要求。因此，对于参数数目的选择，并没有一个固定的模型，往往根据更多的经验成分。

2.1 经验模态分解（EMD）

经验模态分解法EMD[11]是由美国NASA的黄锷博士提出的一种信号分析方法。它适合于分析非线性、非平稳信号序列，具有很高的信噪比。该方法的关键是经验模式分解，它能使复杂信号分解为有限个本征模函数（Intrinsic Mode Function，简称IMF），所分解出来的各IMF分量包含了原信号的不同时间尺度的局部特征信号。

EMD是基于以下假设条件：①数据至少有一个最大值和一个最小值两个极值点；②数据极值点间的时间尺度惟一确定局部时域特性；③如果数据没有极值点但必须有拐点，通过对数据微分一次或多次求得极值，再通过积分来获得分解结果。

2.2 数据重构

对原始数据进行EMD分解后，得到有限个IMF分量。为了降低原始数据中的非平稳性，需要对得到的各分量进行相关系数分析，筛选出有用的IMF分量，对其进行重构，以得到一个与原始数据近似的新数据进行预测实验。

数据重组的方法有多种，本文采用相关系数分析法进行数据的筛选。由于篇幅有限，关于EMD分解与重构的代码不在本文提供。

2.3 应用训练好的神经网络对合成数据预测

对于非线性系统，BP神经网络预测有着明显的优势。但是在复杂的非线性系统中，非平稳因素给预测带来了一定的困难。正是因为EMD分解降低了各个分量的平稳性[12]，才得到了广泛应用[13-15]。金融数据等时间序列随着时间，以及在多种因素的影响下会随之改变，所以数据本质上是非平稳的，因此利用神经网络对该数据进行预测，数据的平稳性使得其预测结果不是很理想，为了提高预测精度，我们用EMD方法对数据进行分解，以降低其非平稳性对预测精度的影响。然后对分解后的各分量进行相关系数分析比较，选取有用的IMF分量，进行数据的合成，从而得到一个与原始数据近似的新数据。将重组后的拟合数据输入到训练好的BP神经网络进行预测。预测过程如图1所示。

3 应用实例和分析

3.1 股票数据的BP神经网络训练

将中国石化股票从2011年6月至2011年12月共130天的股票价格数据进行样本划分。用前60天的数据来预测后5天的数据，作为网络训练集。选取剩下的60天数据预测最后的5天，作为测试集。

3.3 数据合成及预测

本文对中国石化股票数据（图3）进行EMD分解后得到4个IMF分量和1个剩余分量。对4个分量分别进行与剩余分量的相关系数分析。分析结果表明，IMF3和IMF4相关性较大，并与剩余分量的相关性也较大（相关门限值选取0.3）。所以选取IMF3和IMF4两个分量与剩余分量进行重构，得到与原始数据近似的较平滑的新数据如图9所示。

经过比较可知，对于具有非平稳强烈的股票时间序列的预测，基于EMD的BP神经网络预测要比直接BP神经网络预测更为准确。

对于非平稳的时间序列，BP神经网络预测有着明显的优势，但是对于影响因素复杂的非平稳数据，多种因素的干扰给预测带来了一定的困难。EMD分解分离了各个不同因素的相互干扰，通过对各分量单独预测再合成的处理，从而提高了预测精度。从表1可以看出最终的预测误差经过EMD分解的信号要精确于直接神经网络预测。从图4中可以看出影响信号平稳性程度最大的是IMF1，如果再对其进行分解处理，整个系统的预测精度会得到更大的改善。

4 结束语

对于非平稳的时间序列，BP神经网络预测有着明显的优势，但是对于影响因素复杂的非平稳数据，多种因素的干扰给预测带来了一定的困难。EMD分解分离了各个不同因素的相互干扰，通过对各分量分析再合成的处理，提高了预测精度。目前EMD方法主要用于模拟信号和大气数据分析[13-15]，用于金融数据预测还较为少见。本文将其与BP神经网络结合，构建了EMD-BP神经网络预测模型。从本文的预测过程和仿真结果可以看到，利用EMD分解的BP神经网络预测优于直接BP神经网络预测，相比其精确度有了明显的提高。

参考文献：

[1] 刘瑛慧，曹家琏.时间序列分析理论与发展趋势[J].电脑知识与技术，2010.2：257-258

[2] 刘佳，赵文慧，刘光荣.基于SAS的非平稳时间序列分析及实证研究[J].汕头大学学报.2010.2（1）：48-53.

[3] 李海林，郭崇慧，时间序列数据挖掘征表示与相似性度量研究综述[J].计算机应用研究，2013.5（30）：1285-1290

[4] 魏宇.中国股票市场的最优波动率预测模型研究[J].管理学报，2010.6（6）：936-942

[5] 方启东，温鑫，蒋佳静等.基于时间序列的股价预测[J].宿州学院学报，2010.8（8）：71-74

[6] 杜建卫，王超峰.小波分析方法在金融股票数据中的应用[J].数学的实践与认识，2008.7（38-7）：68-75

[7] 刘海，白艳萍.时间序列模型和神经网络模型在股票预测中的分析[J].数学的实践与认识，2011.2（4）：14-19

[8] 张媛，刘红忠.基于行为金融的神经网络模型在股票价格预测中的有效性研究[J].世界经济情况，2011.2（2）：62-67

[9] 焦淑华，夏冰，徐海静，刘莹.BP神经网络预测的MATLAB实现[J].哈尔滨金融高等专科学校学报，2009.3（97）：55-56

[10] 李萍，曾令可，税安泽，金雪莉，刘艳春，王慧.基于MATLAB的BP神经网络预测系统的设计[J].计算机应用与软件，2008.4（25-4）：149-151

[11] Zhaohua Wu， Norden E. Huang. A study of the characteristics of white noise using the empirical mode decomposition method[J].The Royal Society，2004.3（10）：1597-1611

[12] 刘慧婷，倪志伟，李建洋.经验模态分解方法及其应用[J].计算机工程及应用，2006.1（32）：44-47

[13] 徐世艳.经验模态分解的时频分析方法及其应用[J].吉林大学学报，2009.9（27-5）：487-492

第9篇：神经网络综述范文

（江苏科技大学电子信息学院，江苏镇江212003）

摘要：在实际交通环境中，由于运动模糊、背景干扰、天气条件以及拍摄视角等因素，所采集的交通标志的图像质量往往不高，这就对交通标志自动识别的准确性、鲁棒性和实时性提出了很高的要求。针对这一情况，提出一种基于深层卷积神经网络的交通标志识别方法。该方法采用深层卷积神经网络的有监督学习模型，直接将采集的交通标志图像经二值化后作为输入，通过卷积和池采样的多层处理，来模拟人脑感知视觉信号的层次结构，自动地提取交通标志图像的特征，最后再利用一个全连接的网络实现交通标志的识别。实验结果表明，该方法利用卷积神经网络的深度学习能力，自动地提取交通标志的特征，避免了传统的人工特征提取，有效地提高了交通标志识别的效率，具有良好的泛化能力和适应范围。

关键词 ：交通标志；识别；卷积神经网络；深度学习

中图分类号：TN911.73?34；TP391.41 文献标识码：A 文章编号：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金项目：国家自然科学基金面上项目（61371114）

0 引言

随着智能汽车的发展，道路交通标志的自动识别[1?3]作为智能汽车的基本技术之一，受到人们的高度关注。道路交通标志识别主要包括两个基本环节：首先是交通标志的检测，包括交通标志的定位、提取及必要的预处理；其次是交通标志的识别，包括交通标志的特征提取和分类。

如今，交通标志的识别方法大多数都采用人工智能技术，主要有下述两类形式[4]。一种是采用“人工特征+机器学习”的识别方法，如基于浅层神经网络、支持向量机的特征识别等。在这种方法中，主要依靠先验知识，人工设计特征，机器学习模型仅负责特征的分类或识别，因此特征设计的好坏直接影响到整个系统性能的性能，而要发现一个好的特征，则依赖于研究人员对待解决的问题的深入理解。另一种形式是近几年发展起来的深度学习模型[5]，如基于限制波尔兹曼机和基于自编码器的深度学习模型以及卷积神经网络等。在这种方法中，无需构造任何的人工特征，而是直接将图像的像素作为输入，通过构建含有多个隐层的机器学习模型，模拟人脑认知的多层结构，逐层地进行信息特征抽取，最终形成更具推广性和表达力的特征，从而提升识别的准确性。

卷积神经网络作为深度学习模型之一，是一种多层的监督学习神经网络，它利用一系列的卷积层、池化层以及一个全连接输出层构建一个多层的网络，来模仿人脑感知视觉信号的逐层处理机制，以实现视觉特征信号的自动提取与识别。本文将深层卷积神经网络应用于道路交通标志的识别，通过构建一个由二维卷积和池化处理交替组成的6层网络来逐层地提取交通标志图像的特征，所形成的特征矢量由一个全连接输出层来实现特征的分类和识别。实验中将加入高斯噪声、经过位移、缩放和旋转处理的交通标志图像以及实际道路采集交通标志图像分别构成训练集和测试集，实验结果表明，本文所采用的方法具有良好的识别率和鲁棒性。

1 卷积神经网络的基本结构及原理

1.1 深度学习

神经科学研究表明，哺乳动物大脑皮层对信号的处理没有一个显示的过程[5]，而是通过信号在大脑皮层复杂的层次结构中的递进传播，逐层地对信号进行提取和表述，最终达到感知世界的目的。这些研究成果促进了深度学习这一新兴研究领域的迅速发展。

深度学习[4，6?7]的目的就是试图模仿人脑感知视觉信号的机制，通过构建含有多个隐层的多层网络来逐层地对信号特征进行新的提取和空间变换，以自动学习到更加有效的特征表述，最终实现视觉功能。目前深度学习已成功地应用到语音识别、图像识别和语言处理等领域。在不同学习框架下构建的深度学习结构是不同的，如卷积神经网络就是一种深度的监督学习下的机器学习模型。

1.2 卷积神经网络的基本结构及原理

卷积神经网络受视觉系统的结构启发而产生，第一个卷积神经网络计算模型是在Fukushima 的神经认知机中提出的[8]，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，LeCun 等人在该思想的基础上，用误差梯度设计并训练卷积神经网络[9?10]，在一些模式识别任务上得到优越的性能。

卷积神经网络本质上是一种有监督的深度学习算法，无需事先知道输入与输出之间精确的数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以学习到输入与输出之间的一种多层的非线性关系，这是非深度学习算法不能做到的。卷积神经网络的基本结构是由一系列的卷积和池化层以及一个全连接的输出层组成，可以采用梯度下降法极小化误差函数对网络中的权值和阈值参数逐层反向调节，以得到网络权值和阈值的最优解，并可以通过增加迭代次数来提高网络训练的精度。

1.2.1 前向传播

在卷积神经网络的前向传播中，输入的原始图像经过逐层的卷积和池化处理后，提取出若干特征子图并转换成一维特征矢量，最后由全连接的输出层进行分类识别。

在卷积层中，每个卷积层都可以表示为对前一层输入图像的二维卷积和非线性激励函数，其表达式可用式（1）表示：

式中：Yj 表示输出层中第j 个输出；Y l + 1i 是前一层（l + 1层）

的输出特征（全连接的特征向量）；n 是输出特征向量的长度；Wij 表示输出层的权值，连接输入i 和输出j ；bj表示输出层第j 个输出的阈值；f (?) 是输出层的非线性

1.2.2 反向传播

在反向传播过程中，卷积神经网络的训练方法采用类似于BP神经网络的梯度最速下降法，即按极小化误差的方法反向传播调整权值和阈值。网络反向传播回来的误差是每个神经元的基的灵敏度[12]，也就是误差对基的变化率，即导数。下面将分别求出输出层、池采样层和卷积层的神经元的灵敏度。

（1）输出层的灵敏度

对于误差函数式（6）来说，输出层神经元的灵敏度可表示为：

在前向传播过程中，得到网络的实际输出，进而求出实际输出与目标输出之间的误差；在反向传播过程中，利用误差反向传播，采用式（17）~式（20）来调整网络的权值和阈值，极小化误差；这样，前向传播和反向传播两个过程反复交替，直到达到收敛的要求为止。

2 深层卷积神经网络的交通标志识别方法

2.1 应用原理

交通标志是一种人为设计的具有特殊颜色（如红、黄、白、蓝、黑等）和特殊形状或图形的公共标志。我国的交通标志主要有警告、禁令、指示和指路等类型，一般采用颜色来区分不同的类型，用形状或图形来标示具体的信息。从交通标志设计的角度来看，属于不同类型（不同颜色）的交通标志在形状或图形上有较大的差异；属于相同类型（相同颜色）的标志中同类的指示信息标志在形状或图形上比较接近，如警告标志中的平面交叉路口标志等。因此，从机器视觉的角度来分析，同类型中同类指示信息的标志之间会比不同类型的标志之间更易引起识别错误。换句话说，相比于颜色，形状或图形是正确识别交通标志的关键因素。

因此，在应用卷积神经网络识别交通标志时，从提高算法效率和降低错误率综合考虑，将交通标志转换为灰度图像并作二值化处理后作为卷积神经网络的输入图像信息。图2给出了应用卷积神经网络识别交通标志的原理图。该网络采用了6层交替的卷积层和池采样层来逐层提取交通标志的特征，形成的特征矢量由一个全连接的输出层进行识别。图中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分别表示卷积层L1,L3,…,Ln - 1 的卷积核；Input表示输入的交通标志图像；

Pool表示每个池采样层的采样池；map表示逐层提取的特征子图；Y 是最终的全连接输出。

交通标志识别的判别准则为：对于输入交通标志图像Input，网络的输出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，则Input ∈ j，即判定输入的交通标志图像Input为第j 类交通标志。

2.2 交通标志识别的基本步骤

深层神经网络识别交通标志主要包括交通标志的训练与识别，所以将交通标志识别归纳为以下4个步骤：（1） 图像预处理：利用公式Gray= 0.299R +0.587G + 0.114B 将彩色交通标志图像转换为灰度图像，再利用邻近插值法将交通标志图像规格化，最后利用最大类间方差将交通标志图像二值化。

（2）网络权值和阈值的初始化：利用随机分布函数将权值W 初始化为-1~1之间的随机数；而将阈值b 初始化为0。

（3）网络的训练：利用经过预处理的交通标志图像构成训练集，对卷积神经网络进行训练，通过网络前向传播和反向传播的反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止。

（4）交通标志的识别：将实际采集的交通标志图像经过预处理后，送入训练好的卷积神经网络中进行交通标志特征的提取，然后通过一个全连接的网络进行特征分类与识别，得到识别结果。

3 实验结果与分析

实验主要选取了我国道路交通标志的警告标志、指示标志和禁令标志三类中较常见的50幅图像。考虑到在实际道路中采集到的交通标志图像会含有噪声和出现几何失真以及背景干扰等现象，因此在构造网络训练集时，除了理想的交通标志以外，还增加了加入高斯噪声、经过位移、旋转和缩放处理和实际采集到的交通标志图像，因此最终的训练样本为72个。其中，加入的高斯噪声为均值为0，方差分别为0.1，0.2，0.3，图像的位移、旋转、缩放的参数分别随机的分布在±10，±5°，0.9~1.1的范围内。图3给出了训练集中的交通标志图像的示例。图4是在实际道路中采集的交通标志图像构成的测试集的示例。

在实验中构造了一个输入为48×48个神经元、输出为50 个神经元的9 层网络。网络的输入是像素为48 × 48 的规格化的交通标志图像，输出对应于上述的50种交通标志的判别结果。网络的激活函数采用S型函数，如式（2）所示，其输出范围限制在0~1之间。

图6是交通标志的训练总误差EN 曲线。在训练开始的1 500次，误差能迅速地下降，在迭代2 000次以后是一个平稳的收敛过程，当迭代到10万次时，总误差EN可以达到0.188 2。

在交通标志的测试实验中，为了全面检验卷积神经网络的识别性能，分别针对理想的交通标志，加入高斯噪声、经过位移、旋转和比例缩放以及采集的交通标志图像进行实验，将以上测试样本分别送入到网络中识别，表2给出了测试实验结果。

综合分析上述实验结果，可以得到以下结论：（1）在卷积神经网络的训练学习过程中，整个网络的误差曲线快速平稳的下降，体现出卷积神经网络的训练学习具有良好的收敛性。

（2）经逐层卷积和池采样所提取的特征具有比例缩放和旋转不变性，因此对于旋转和比例缩放后的交通标志能达到100%的识别率。

（3）与传统的BP网络识别方法[11]相比较，卷积神经网络能够达到更深的学习深度，即在交通标志识别时能够得到更高的所属类别概率（更接近于1），识别效果更好。

（4）卷积神经网络对实际采集的交通标志图像的识别率尚不能达到令人满意的结果，主要原因是实际道路中采集的交通标志图像中存在着较严重的背景干扰，解决的办法是增加实际采集的交通标志训练样本数，通过网络的深度学习，提高网络的识别率和鲁棒性。

4 结论

本文将深层卷积神经网络应用于道路交通标志的识别，利用卷积神经网络的深层结构来模仿人脑感知视觉信号的机制，自动地提取交通标志图像的视觉特征并进行分类识别。实验表明，应用深层卷积神经网络识别交通标志取得了良好的识别效果。

在具体实现中，从我国交通标志的设计特点考虑，本文将经过预处理二值化的图像作为网络的输入，主要是利用了交通标志的形状信息，而基本略去了颜色信息，其优点是在保证识别率的基础上，可以简化网络的结构，降低网络的计算量。在实际道路交通标志识别中，将形状信息和颜色信息相结合，以进一步提高识别率和对道路环境的鲁棒性，是值得进一步研究的内容。

此外，本文的研究没有涉及到道路交通标志的动态检测，这也是今后可以进一步研究的内容。

参考文献

[1] 刘平华，李建民，胡晓林，等.动态场景下的交通标识检测与识别研究进展[J].中国图象图形学报，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中国计算机学会.深度学习：推进人工智能梦想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 杨斐，王坤明，马欣，等.应用BP神经网络分类器识别交通标志[J].计算机工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周开利，康耀红.神经网络模型及其Matlab 仿真设计[M].北京：清华大学出版社，2005.

[14] 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806?2810.

[15] 刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机应用研究，2014（7）：1921?1930.