神经网络的训练方法精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的神经网络的训练方法主题范文，仅供参考，欢迎阅读并收藏。

第1篇：神经网络的训练方法范文

关键词 BP神经网络 房地产市场 预警研究

中图分类号：F293 文献标识码：A

一、房地产市场预警评价指标的构建

本着全面性、重要性、可测性、独立性的房地产预警指标选取原则，笔者选取了房地产行业的发展协调度、和谐稳定度、和未知风险度三个一级指标以及12个二级指标作为警兆指标，如表1所示：

二、BP神经网络预警模型的构建

（一）神经网络结构的构建。

BP神经网络模型拓扑结构一般包括输入层（InPutLaver），隐含层（HideLaver）和输出层（outPutLayer）三个方面。

由于任意一个连续函数都可以准确地用一个三层向前神经网络来模拟。故本文采用只含有一个隐含层的三层神经网络作为预警系统。

其中房地产市场警兆指标为输入层，本文输入层节点数X=12。相对应的警情为输出层，本文警情采用三维向量的模式，故输出层节点数Y=3。隐含层神经元数目N的确定，本文采用公式N=+C，其中，C 为 1 ～10 的常数。通过训练，发现当N=8时，神经网络的收敛效果最好。

（二）神经网络的训练方法。

1、信号向前传输。

首先，计算隐含层各单元的净输入Ij：

其中wij是输入层第i单元与隐含层第j单元间的权重； j是隐含层第j单元的偏置值，p为隐含层单元总数。

第二，计算隐含层各单元的输出yj：

第三，计算输出层的实际输出，计算方法与隐含层相同。

2、误差反向传输。

通常用网络实际输出与目标输出之间的方差ei来度量误差。

其中di表示目标输出，yi表示实际输出。

（三）预警时差和警情的设定。

由于目前我国房地产发展不成熟以及相关警兆指标的局限性。本文将预警时差设定为2年，通过对上一年的警兆数据的分析来预测下一年的警情，即通过2011年的数据来预测2013年的警情。并将警情划分为 “冷”、“正常”、“热”三级，分别用三维向量（1，0，0）、（0，1，0）、（0，0，1）表示。

（四）神经网络的预警过程。

将经过归一化处理后的房地产市场警兆指标数据作为网络系统的输入，经过训练好的神经网络处理，输出房地产市场的警情，实现评价指标与警情的非线性映射。

三、基于沈阳市房地产市场的实证研究

本文选取了沈阳市2004年到2011年的预警指标数据，其中2004年到2009年作为神经网络的训练样本，2010年作为检验样本，2011年作为预测2013年警情的基础数据。其中根据相关专家的分析，给出2006年到2009年沈阳市房地产市场地警情。

（一）神经网络的训练。

为了使神经网络获得较好的训练效果，本文运用MATLAB软件对其进行训练。其中中间层的激励函数为正切s型激励函数，输出层的激励函数为对数s型激励函数。学习训练率为0.06。经过342次迭代，网络训练误差情况如图迭代次数所示。

（二）神经网络的检验。

为了使训练好的神经网络能够更精确的预测警情，本文将2010年的相应指标数据输入到已经训练好的网络中，对网络进行检验。检验结果如下表所示。

由表结果可知，神经网络输出结果与目标输出结果吻合度较好，故可以作为预测警情的模型。

（三）神经网络的市场预警。

将2011年的相关指标数据输入到BP网络中去，得到结果表所示：

由网络输出可得出目标输出为（0，1，0）。即2013年沈阳市房地产市场处于正常状态。

四、结语

第2篇：神经网络的训练方法范文

[关键词] 小生境遗传算法 神经网络 股票 预测

一、引言

股票和股票市场对国家企业的经济发展起到了积极的作用，如可以为投资者开拓投资渠道，增强投资的流动性和灵活性等。但股票价格的形成机制是颇为复杂的，股票价格既受到多种因素，诸如:政治，经济，市场因素的影响，亦受技术和投资者行为因素的影响，个别因素的波动作用都可能会影响到股票价格的剧烈波动。因此，股票价格和各影响因素之间很难直接建立明确的函数关系表达式。针对这一情况，将可有效处理非线性问题的神经网络引入到股票价格的预测中来，但神经网络收敛慢,易陷入局部极小点，出现振荡，鲁棒性差。所以有的学者用遗传算法(ga)来优化神经网络，这种神经网络可能获得个别的甚至局部的最优解,即ga早熟现象。本文引进能较有效地保持种群多样性的小生境遗传算法(nga),采用nga优化与用ga优化的bp网络权值进行对比,证实了nga的判别准确性和寻优能力。

二、小生境遗传算法优化的神经网络

1.bp神经网络

反向传播(bp)算法又称为误差逆传播校正方法，它是1974年p.werbos(哈佛大学)提出的。133229.CoMbp算法用来训练多层前馈神经网络,属于监督学习算法。bp网络具有结构清晰，易实现，计算功能强大等特点。因而是目前最常见，使用最广泛的一种神经网络。但是在实际应用中，传统的bp算法存在以下问题:收敛速度慢;若加快收敛速度易产生振荡；存在局部极小和平台问题;泛化能力差;隐节点数和初始值的选取缺乏理论指导;未考虑样本选择对系统学习的影响等。所以很多学者提出许多改进的方法，用小生境遗传算法优化神经网络权值的神经网络来预测股票价格。

2.小生境遗传算法

小生境遗传算法(iche genetical gorihm)的基本思想是:首先比较任意两个个体间的距离与给定值的大小，若该距离小于给定值，则比较其适应值大小。对适应值较小的个体施加一个较强的惩罚，极大地降低其适应值。也就是说，在距离l内将只有一个优良个体，从而既维护了群体的多样性，又使得各个体之间保持一定的距离，并使得个体能够在整个约束空间中分散开来。

3.神经网络连接权的优化

用小生境遗传算法可以优化神经网络连接权，神经网络结构，学习规则等，这里我们对神经网络的连接权进行优化，具体步骤如下：

（1）随机产生一组权值分布，采用某种编码方案对该组中的每个权值(或阈值)进行编码，进而构造出一个码串(每个码串代表网络的一种权值分布)，在网络结构和学习规则已确定的前提下,该码串就对应一个权值和阈值取特定值的一个神经网络。

（2)对所产生的神经网络计算它的误差函数，从而确定其适应度函数值，误差越大,则适应度越小。

（3)选择若干适应度函数值最大的个体,直接遗传给下一代。

（4)利用交叉和变异等遗传操作算子对当前一代群体进行处理，产生下一代群体。

（5)重复（2）（3）（4），使初始确定的一组权值分布得到不断地进化,直到训练目标得到满足为止。

这种由小生境遗传算法训练神经网络的方法也可以称做混和训练法。将基于小生境遗传算法的遗传进化方法和基于梯度下降的反传训练相结合,这种训练方法吸取两种方法的各自特点，所以收敛速度快。

三、股票价格预测仿真

根据经验选取输入预测日前四天开盘价、收盘价归一化后做为作为输入量，输出为第五天收盘价归一化数值。所以，本文采用神经网络结构为(8,5,1),即网络的输入层6个节点,隐含层9个节点,输出层1个节点。本文选择了“xdg 新梅（600732）”从2006年3月14日到2006年7月1日数据进行了仿真。利用matlab6.5编程，取70组训练样本和30组测试样本。如图（1）表示用遗传算法和小生境遗传算法对神经网络的权值进行优化时，误差曲线变化;从图中可以看出，小生境遗传算法收敛速度要快;图（2）表示股票预测值和实际值比较，从图中可以看出，遗传算法和小生境遗传算法对神经网络的权值的模型进行股票价格的预测，都能预测出股票走向趋势，但是，后者的预测精度显然要比前者高。

四、结束语

股票市场的不确定因素太多，股票的价格更是多种因素影响的集合体，是典型的非线性动力学问题。股票价格的中长期准确预测很难。本文建立了用小生境遗传算来优化神经网络模型来预测股票价格，结果表明，这种方法比单用遗传算法优化的神经网络收敛速度快，预测精度高。对于股票价格预测具有较好的应用价值。

参考文献:

[1]龙建成李小平:基于神经网络的股票市场趋势预测[j].西安电子科技大学学报(自然科学版.2005.3（32）:460-463

[2]王波张凤玲:神经网络与时间序列模型在股票预测中的比较[j].第27卷第6期武汉理工大学学报·信息与管理工程版.2005.9（27）:69-72

第3篇：神经网络的训练方法范文

关键词：神经网络；过程控制；模糊控制

我国矿石“贫、细、杂”，矿石成分复杂，性质波动严重，因而造成了我国浮选过程控制水平不高，浮选药剂消耗量大，产品质量波动大，精矿回收率低，经济效益差的现状，严重影响了我国钢铁工业的国际竞争力。因此急需能够满足我国浮选工艺现状的检测设备及先进控制算法，以提高我国浮选过程控制水平，以稳定产品质量，为后序炼铁工序提供更好的原料。

对于浮选工艺过程控制，药剂控制是根本性的。以反浮选为例，如果给药量过少，无用矿物成分就不能充分浮选，则会导致精矿品位降低，不能满足产品质量要；如果药剂量过多，不但药剂费用大，而且会导致返回的中矿量增加和尾矿品位增高，回收率降低，经济效益不理想。

本文根据影响浮选药剂用量的因素确定了RBF神经网络模型的结构。针对RBF神经网络参数难以确定的缺点，提出一种基于蚁群算法RBF神经网络优化方法。并通过仿真结果证明了该算法的有效性。

1 药剂量控制模型结构确定

目前传统的药剂添加方法是以给矿流量为参考，在应用比例控制的方法的基础上根据操作工经验来控制药剂流量。但由于浮选过程的严重非线性、干扰因素众多且系统存在大滞后。这种简单的控制方法难以保证浮选最终精矿品位的稳定，同时影响了精矿回收率。即使在浮选槽出口安装上价值昂贵的在线精矿品位检测仪表，由于浮选过程的大滞后特性，常规的闭环控制方法也难以达到目的。所以本章主要通过应用浮选生产过程中积累的大量生产数据，根据相应的浮选工艺参数，使用RBF神经网络技术对浮选过程进行建模。然后根据初始生产条件，应用建立好的数学模型预测所需的药剂用量，从而克服系统的大滞后、非线性特性，稳定浮选生产过程。

通过现场调研，我们知道原矿性质和药剂用量与浮选槽出口精矿品位有直接关系。最后我们依据工艺机理和现场操作工经验知识，最终确定给矿品位、给矿流量、给矿粒度、给矿浓度、精矿品位5个变量对药剂流量影响最大。

因此本文将给矿品位、给矿流量、给矿粒度、给矿浓度和精矿品位5个变量作为浮选药剂量控制模型的输入变量，将浮选药剂流量作为模型输出变量，从而建立一个5输入、1输出的RBF神经网络模型，模型结构如图1所示。

图1 浮选药剂量控制模型结构图

2 基于蚁群算法的网络泛化能力优化

我们应用处理后的样本数据对网络性能进行了测试（这里我们使用了700组样本数据作为网络训练数据，50组数据作为网络性能测试数据，网络训练停止条件是网络训练误差小于网络训练停止误差或者超过最大训练次数。我们把网络最大训练次数规定为5000次），测试中发现了两个问题。一是值得大小对网络测试误差的影响很大；二是网络的训练停止误差（训练次数）大小也影响测试误差的大小。有时网络训练停止误差越小，反而网络的性能越差。下面给出了仿真测试曲线：

图2 不同r值下的模型预测曲线

3 蚁群算法优化RBF神经网络参数

从网络性能测试结果和上面关于神经网络泛化能力的相关知识我们可以知道，要提高本文RBF神经网络模型的泛化能力。在网络训练过程中，我们所能做的就是在确定一个合适的r值（确定合理网络结构），并且判定合理的网络训练停止误差（也可以是学习次数）。

[图3 蚁群算法优化RBF神经网络参数流程图]

但是由于r值和网络训练停止误差是两个参数，只有在两个参数都合适的情况下才能获得最好的网络性能。这样如何寻找这两个参数的最优组合就成了问题的关键点。采用手动试验的方式由于两个参数的不同组合太多而难以实施。因而本文决定采用目前流行的蚁群优化算法对上述两个参数进行优化，来提高RBF神经网络的性能。本文应用蚁群算法优化RBF神经网络参数的流程如图3所示。

这里我们将样本数据分成3个部分：一部分为训练样本集；一部分为内部测试样本集；一部分为外部测试样本集。蚁群算法优化RBF神经网络参数的工作过程如下：

Step1：蚁群算法参数。

Step2：随机选定r值和网络训练停止误差。

Step3：采用文中的网络中心和权值训练方法，应用训练样本集训练RBF网络。训练结束后，应用内部测试样本集测试网络泛化误差。

Step4：根据泛化误差计算蚁群算法适应度函数，适应度函数值满足要求或蚁群算法迭代次数超过目标次数则停止算法，并给出参数优化结果。否则进行蚁群算法操作重新搜索r值和网络训练停止误差后返回Step3。

通过蚁群算法的优化，我们最后得到r=1.37，网络训练停止误差为6.3×10-4。此时RBF神经网络仿真结果如下：

[图4 蚁群算法优化后的模型预测曲线]

第4篇：神经网络的训练方法范文

关键词：客运量预测；蚁群算法；神经网络；ACONN模型；灰色预测

中图分类号：G642 文献标识码：A 文章编号：1009-3044（2014）06-1348-04

Prediction and Analysis of Hefei Highway Passenger Quantity Based on ACA-NN

ZHANG Qinq-lin，LIU Chun-ling

（Department of Information Engineering， Anhui Economic Management Institute， Hefei 230051，China）

Abstract： According to the defects of neural network， this paper puts forward neural network highway customer forecast method which based on colony algorithm optimization. This model is used common BP neural network structure， the algorithm is used is a new kind of evolutionary algorithm- ant colony algorithm. Finally， it takes

highway passenger transportation in hefei as an example， try ACONN ant colony neural network application in the passenger traffic forecast， results show that the ant colony neural network model's prediction precision is better than other models.

Key words： Passenger traffic forecast；ant colony algorithm；neural networks；ACONN model；gray prediction

随着汽车保有量的增加，公路客运量也随之增加，公路客运能力受到了极大的挑战。如何有效利用现有工具来预测客运量，满足公路客运管理和交通工程建设，这是交通管理和建设部门面临的一项重要工作任务。国内外学者对预测模型进行了大量详尽的研究，其中AR模型、ARMA模型、ARIMA模型、Box-Jenkins方法、马尔可夫方法、灰色系统方法及统计回归方法等建模方法比较常用[1～2]。这些方法很多是线性的，无法逼近真实的历史数据；也有利用原始BP神经网络方法来预测，虽然多层BP网络可以实现任意可实现的线性和非线性函数的映射，但是在训练过程中易陷入局部最小的情况，所以这些预测方法的准确率还不是很高。该文针对神经网络存在无法有效收敛最优值问题，构建基于蚁群算法优化的神经网络的公路客运预测模型[3]。经过对2012年合肥公路客运量进行预测分析，掌握各个时段客运量的分布，有利于相关部门作出相应决策，应对客运高峰期带来的种种压力，更好地满足广大人民群众的需求， 以最合理的人力和财力的投入，来获得最大经济效率，达到最好的社会效果。

1 蚁群算法

蚁群算法（Ant Colony Algorithm，简称ACA）是人们受到对自然界中真实的蚂蚁群体行为启发而提出的一种仿生优化算法。属于随机搜索算法，该算法是在1991年召开的第一界欧洲人工生命会议上，由Dorigo M等人第一次提出的关于蚁群算法的基本模型[4]。Dorigo M等人通过模拟蚂蚁搜索食物的过程（就是怎样去找到蚁穴到食物源的最短路径，前提是在个体之间相互合作的情况下）来求解TSP问题。

该算法以前主要解决一维的静态优化问题，发展到现在用于解决多维动态组合优化的问题，在多种研究领域，已经得到广泛应用。蚁群算法目前软件及硬件的实现上都取得了突破性的研究进展，既具有深刻的学术思想，又具有广阔的发展前景。

以TSP为例，基本蚁群算法的程序结构流程图如图1。

2 蚁群算法与神经网络NN（Neural Network）的融合

2.1 基本思想

针对反向传播BP（Back Propagation）算法容易陷入局部极小的不足，采用蚊群优化算法ACO（Ant Colony Optimization）训练方法。[5]蚁群优化神经网络训练过程就是在实数权值组合中，找到一组最优的，使得期望结果与输出结果之间的误差达到最小，而蚁群算法正是寻找这样的最优权值组合的不错选择。

2.2 构建蚁群优化神经网络ACONN系统

应用蚁群优化神经网络ACONN（Ant Colony Optimization Neural Network）系统预测的框图2如下，首先对输入数据进行预处理，再建立原始的神经网络，再次利用蚁群算法来优化神经网络的权值、阈值构建一个性能完好的ACONN系统，最后利用优化好的ACONN系统来预测，输出预测数据。

图2 ACONN系统预测图

3 合肥客运量预测的蚁群优化神经网络模型构建

3.1 样本采集与数据预处理

样本选择了以合肥市历年的客运量为样本数据，月为单位的训练样本选择了2011年每月的数据，预测2012年中每月的客运总量。

由于BP神经网络要求输入的数据范围一般在（0，1）。因此对样本数据进行归一化处理。其公式为[6]：

[Y=X-XminXmax-Xmin]

其中Xmax取一个比较大的值，保证预测年的数据小于该数值， Xmin取一个小于样本数据序列中最小值的值，保证归一化后的数据不太接近于0。

3.2 预测方式选择及ACONN的训练样本设计

我们知道，目前我们基于蚁群优化的神经网络的客运预测模型，它是属于一种数据驱动的方法，也就是说，我们去利用目前神经网络的一种非线性的特性去逼近一个时间序列，这样通过神经网络的清晰逻辑关系，并且利用过去时刻的值，去表达未来某一时刻的值。我们的人工神经网络预测，目前可以分为单变量时间序列预测和多变量时间序列预测[7]。所以说无论是单变量时间序列预测还是多变量时间序列预测，都可以使用我们平时的常用的方法，共有三种是：单步预测，滚动预测，多步预测[8]。

现采用的是滚动预测方式，在训练样本设计时需要根据网络的结构。以月为单位预测，采用2个输入，即连续两年的同月份2个月数据作为输入，下一年同月份作为输出。设有归一化的样本集 X（t）（t=1，2，…，n），选择一步预测时，选取个m输入，1个输出，可组成如下的训练组对：

表1

[输入数据 期望输出＼&X（1），X（2），…，X（m） X（m+1）＼&X（2），X（3），…，X（m+1） X（m+2）＼&…… ……＼&X（n-m），X（n-m+1），…，X（n-1） X（n）＼&]

3.3 蚁群优化神经网络的结构与参数

现在我们所熟知的蚁群优化神经网络采用具有一个隐含层的三层BP网络结构。由于采用年和月为单位预测，因此根据需要在输入层、隐含层上有差别，具体的各层神经元个数在年与月的预测中有具体的设置。目前，我们可以去根据万能逼近定理，如果有一个三层的BP网络，它可以以任意的精度去逼近一个连续函数。这样，也就是说可以采用具有一个隐含层的三层BP网络结构。在网络模型结构确定的基础上设定网络参数，网络的连接数目S，蚁群算法参数选为ρ=0.7，Ant=40，网络权值参数随机值选值N=30， 网络权值参数随机值范围为[-3，3]，训练次数为500次学习，像Q、S等参数根据年和月的预测会有所不同，在后续有具体设置。

3.4 预测分析

现在用蚁群优化神经网络ACONN、反向传播神经网络BPNN、灰色预测GM（1，1）三种模型分别对来合肥市客运量进行预测[9-10]。ACONN是通过蚁群算法找到最优的初始权值，从而固定了初始权值，因此每次的预测值几乎趋于固定；可是目前神经网络中，我们知道它的初始权值的选取，都是具有随机性的，所有我们去使用相同的数据，去进行多次预测时时候，得到的预测结果就不会完全相同。因此，为了使预测更具有一定的普遍性，ACONN与BPNN可以采取一样的网络结构，同时我们选取10次预测的平均值作为最终的预测结果。

将ACONN、BPNN、GM（1，1）模型分别作预测，将预测结果进行反归一化，预测结果如下表：

表2

将ACONN、BPNN、GM（1，1）模型预测合肥市客运量结果用图形表示，可以更直观看到它们之间预测的精度。具体预测结果如图3。

图3 ACONN、BPNN、GM（1，1）模型预测结果图

从每幅图形可以直观地看出ACONN的数据在实际值附近有很小的波动，BPNN数据值比ACONN的在实际值附近波动要大些，而GM（1，1）数据只有中间很小区间比较精确一点，而数据的开始和末端状态都表现出发散，其数据预测精度不高。所以比较之，ACONN很明显表现出很好的优势，预测数据比较稳定。

4 结束语

ARIMA模型、Box-Jenkins方法、马尔可夫方法、灰色系统方法及统计回归方法等，这些预测方法很多是线性的，无法逼近真实的历史数据。利用原始BP神经网络方法来预测，我们现在知道，虽然多层的BP网络能去实现任意一个可实现的线性以及非线性函数的映射，但是在训练过程中易陷入局部最小的情况，所以这些预测方法的准确率还不是很高。经过分析蚁群算法在神经网络中应用的可行性后，提出一种基于蚁群算法和神经网络相结合的新型预测方法，该方法可以有效地避免原始BP神经网络存在的问题和单一预测方法精确度不高的缺陷，为预测提供了新的途径。

参考文献：

[1] 翁钢民，郑竹叶，刘洋，等.基于GM-Markov 模型的旅游客源预测[J].燕山大学学报，2008，9（2）：109-112.

[2] 李松，刘力军，郭海玲.短时交通流混沌预测方法的比较[J].系统工程，2009，27（9）：60-64.

[3] 董超俊，刘智勇.多层混沌神经网络及其在交通量预测中的应用[J].系统仿真学报，2007，19（10）：101-104.

[4] 张维存，郑丕谔，吴晓丹.蚁群遗传算法求解能力约束的柔性作业车间调度问题[J].计算机集成制造系统，2007，13（2）：333-337.

[5] 万李，杨杰.小波神经网络在短时交通流量预测中的应用[J].计算机仿真，2012，29（9）：352-355.

[6] 方琴，李永前.K 近邻短期交通流预测[J].重庆交通大学学报：自然科学版，2012，31（4）：829-831.

[7] 吴宝春，郑蕊蕊，李敏，杨亚宁.基于遗传灰色GM（1，1，ρ）模型的短时交通流量预测[J].电子设计工程，2012，20（13）：165-167.

[8] 郭杰，丁镠，朱超余.灰色预测模型的系统动力学仿真[J].电子设计工程，2011，19（14）：4-7.

第5篇：神经网络的训练方法范文

关键词：瓦斯突出；微粒群算法；RBF神经网络；MATLAB

中国分类号: TP183；文献标识码: A

前言

瓦斯突出的产生机理和预测过程比较复杂， RBF神经网络在瓦斯突出预测中起到了很重要的作用。煤矿瓦斯突出的影响指标很多，并且各个指标与瓦斯突出之间的关系为非线性的关系，因此要求RBF神经网络具有很好的非线性逼近能力。

RBF神经网络是以函数逼近理论为基础构造的一类前向网络，网络结构自适应确定，输入与初始值无关，结构简单，训练简洁，能够逼近任意非线性函数，而且在逼近能力、分类能力和学习速度方面均优于BP网络。RBF神经网络网络的设计包括三部分：神经元功能函数的设计，神经元之间的连接形式的确定以及网络训练方式的确定。在这三部分中隐单元RBF的设计是比较重要的。RBF函数是一种局部分布的对中心点径向对称的非负非线性函数。但是在神经元功能函数的设计中，RBF功能函数的中心ci的确定有很大的难度。

通常使用随机选取固定中心法，中心的自组织选择法等，但是由于这些学习训练方法的局限性，通过这些方法得到的神经网络适用性和泛化能力比较差，不能满足瓦斯突出预测的要求。本文利用微粒群算法来计算出通过学习训练得到的RBF神经网络的隐单元RBF的中心ci的适应度的方法来确定最后的隐单元RBF的中心ci，并且不断的在以后的实践应用中更新学习训练所用的数据库，系统根据数据库的变化，可以优化原有的隐单元RBF的中心ci ，提高了神经网络的逼近能力，有效的客服了RBF神经网络局部最优的缺点。

1、微粒群算法

1.1基本微粒群算法

微粒群算法（particle swarm optimization，PSO）是1995年由美国社会心理学家J.Kennedy和电气工程师R.Heppner共同提出的，其基本思想是受鸟类群体行为研究结果的启发，并利用了生物学家F.Heppner的生物群体模型[2]。算法原理如下：

微粒群算法主要是使用微粒的适应度大小进行寻找全局最优和优化参数。他将种群中的每个个体看作是N维空间的一个没有质量和体积的微粒，并且在搜索空间以一定的速度飞行，在飞行过程中不断根据环境的改变来改变自身的速度和方向，直到找到适应度最好的位置。假设Xi=（xa1，xa2，xa3，……xan为微粒i的当前位置，Vi=（va1，va2，va3，…… van）代表微粒当前的飞行速度，Pi=（pa1，pa2，pa3，……pan）表示微粒经历的适应度最好的位置，这是局部最优位置。

当f(xi(a+1))≥f(Pi(a)) 时Pi(a+1)= Pi(a)

当f(xi(a+1) ＜f(P(a)) 时Pi(a+1)= Xi(a+1) 所以全局最优位置P（a）=min{f(P0(a) ，P1(a)……Pn(a)}。同时可以得出进化方程为：vij (t+1)=vij (t)+c1v1j(t)[pij (t)-xij (t)]+c2r2j(t)[pgj (t)-xij (t)]

为了更好的确定和优化RBF的中心ci，计算每个数据库得到的中心ci的均方误差，计算出每个中心ci的适应度：

E（Xp）=[Yk,p(Xp)-tk,p]

有适应度来确定的适应度函数如下：

f(x)=

1.2带惯性权重的微粒群算法

在全局搜索过程中，搜索能力和收敛速度是相对立的，如果搜索能力高了，收敛速度就会相对变慢，为了解决这一问题，在速度进化方程中引用了惯性权重，具体公式如下：

vij(t+1)=wvij(t)+c1v1j(t)[pij(t)-xij(t)]+c2r2j(t)[pgj(t)-xij(t)] 式中w称为惯性权重。

在全局搜索利过程中，惯性权重w可以根据要求按照一定趋势改变，这样就既能保证搜索能力又能加快收敛速度。

2、RBF神经网络

人工神经网络是对人类大脑系统一阶特性的一种描述，有类似人的神经元的处理单元通过各种连接方式连接起来构成，整个网络同时具有一个或是多个的输入和输出，能够对信息进行并行和分布处理。人工神经网络主要包括三方面的内容：激活函数，神经元之间的连接形式，网络的学习或者是训练。

激活函数为径向基函数（RBF）的神经网络为RBF神经网络，RBF神经网络是一个单隐层的三层前馈网络，分别为输入层，隐含层，输出层。隐含层的传递函数为radbas。径向基网络结构如图1所示。实验已经证明：径向基网络能够以任意精度逼近任意连续函数。每个RBF的节点有一个“参考”输入x*i,f是输入与“参考”输入的距离d(x*i,xi )的函数，函数中的距离有节点输出y =f(d(x*i,xi ))来计算。

RBF神经网络的学习主要有两种：中心自组织选择法和中心的监督选择发。中心的自组织选择法是一种无导师，也称非监督学习，是对所有的输入进行聚类，求得各隐单元RBF的中心ci。中心的监督选择法是一种有导师的学习，也称为监督学习算法。主要是通过一个有导师或是有监督的学习过程来确定隐单元RBF的中心ci。

3、RBF神经网络隐单元RBF的中心ci 的确定和优化的过程

本文利用普通的学习训练法和带惯性权重的微粒群算法相结合的方法来进行RBF神经网络隐单元RBF的中心ci的确定和优化。具体过程如图1所示。

（1）用一定数量的与瓦斯突出有关信息组成一个数据库，并且将这个数据库分为若干个子数据库.使用这些子数据库分别对RBF神经网络进行训练，得到隐单元RBF的中心c1,c2,c3……。

（2）将上面得到的若干个隐单元RBF的中心作为一个个体（微粒），有这些个体组成一个种群，其中每个个体代表先前计算出的一个隐单元RBF的中心。初始化Gbest和Lbest。

（3）使用带惯性权重的微粒群算法来确定最后的隐单元中心，通过计算每个微粒适应度来确定中心ci，然后通过适应度函数来优化中心ci，最后形成RBF神经网络。

（4）把井下测得的数据作为输入，来进行瓦斯突出预测，并且把井下的信息和预测结果，作为下次更新数据库和优化隐单元中心的依据。

（5）每进行一次预测，数据库的信息就根据实际情况和预测结果进行一次更新，根据更新的数据库，对得到的隐单元中心进行优化，提高了系统的适应能力和自学习能力。

4、带惯性权重的微粒群算法的Matlab程序设计和瓦斯突出预测

使用Matlab进行程序时所用到的函数如下：

PSO：主函数，用于调用微粒群算法。

DrawSwarm：绘图函数，主要用来反映每个微粒的进化过程。

psoOption：参数显示函数，主要用于显示带惯性权重的微粒群算法的参数设置情况。

使用多个函数形成函数模块，实现对隐单元RBF的中心ci的确定和优化。带惯性权重的微粒群算法进行确定和优化神经网络隐单元RBF的中心ci的函数模块为：[fxmin,xmin,Swarm,history]=pso(input,psoOptions);

选取一定量的信息形成数据库，然后随机的划分为若干个子数据库，通过学习训练来产生一些中心c1,c2,c3……，然后再组成种群，利用函数模块来确定和优化RBF的中心。具体实验数据如下表1所示：

利用Matlab运行该函数模块来确定和优化RBF神经网络时，算法程序运行时出现的最优适应度值随着迭代次数的变化如图2所示。

当函数模块算法程序运行时出现的适应度值满足要求时，说明此时的ci的最优化完成，可以来确定RBF神经网络。

把上面经过优化神经网络来进行瓦斯突出预测，需要预测的样本数据如下表2所示：

其中运行结果用1表示安全，-1表示突出。

运用MATLAB对样本数据进行测试，测试代码如下：

pl=[0.809.011.530.2 ]；

p2=[0.153.51.27.3]：

y1=sim(net，p1) ；

y2=sim(net，p2) ；

最后预测结果是y1=-0.9908，y2=1.005；

可见该系统能够准确的预测出瓦斯突出。

总结

使用RBF神经网络来进行瓦斯突出预测比其他方式的预测具有很好的效果，但是由于煤矿的环境比较特殊，瓦斯突出产生的机理比较复杂，并且不同煤矿的影响瓦斯突出的因素也不相同，所以要求神经网络具有很好的适应性和自学习能力。但是RBF神经网络的隐单元RBF的中心ci的确定是基于数据空间局部的信息，很难都到全局最优，严重影响了RBF神经网络的适应性和自学习能力。本文利用带惯性权重的微粒群算法来确定和优化RBF神经网络，惯性权重w能起到保证全局最优和局部搜索能力的平衡的作用，能够在保证全局最优的前提下，提高搜索全局最优的速度，提高了预测的准确度。

参考文献

第6篇：神经网络的训练方法范文

（江苏科技大学电子信息学院，江苏镇江212003）

摘要：在实际交通环境中，由于运动模糊、背景干扰、天气条件以及拍摄视角等因素，所采集的交通标志的图像质量往往不高，这就对交通标志自动识别的准确性、鲁棒性和实时性提出了很高的要求。针对这一情况，提出一种基于深层卷积神经网络的交通标志识别方法。该方法采用深层卷积神经网络的有监督学习模型，直接将采集的交通标志图像经二值化后作为输入，通过卷积和池采样的多层处理，来模拟人脑感知视觉信号的层次结构，自动地提取交通标志图像的特征，最后再利用一个全连接的网络实现交通标志的识别。实验结果表明，该方法利用卷积神经网络的深度学习能力，自动地提取交通标志的特征，避免了传统的人工特征提取，有效地提高了交通标志识别的效率，具有良好的泛化能力和适应范围。

关键词 ：交通标志；识别；卷积神经网络；深度学习

中图分类号：TN911.73?34；TP391.41 文献标识码：A 文章编号：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金项目：国家自然科学基金面上项目（61371114）

0 引言

随着智能汽车的发展，道路交通标志的自动识别[1?3]作为智能汽车的基本技术之一，受到人们的高度关注。道路交通标志识别主要包括两个基本环节：首先是交通标志的检测，包括交通标志的定位、提取及必要的预处理；其次是交通标志的识别，包括交通标志的特征提取和分类。

如今，交通标志的识别方法大多数都采用人工智能技术，主要有下述两类形式[4]。一种是采用“人工特征+机器学习”的识别方法，如基于浅层神经网络、支持向量机的特征识别等。在这种方法中，主要依靠先验知识，人工设计特征，机器学习模型仅负责特征的分类或识别，因此特征设计的好坏直接影响到整个系统性能的性能，而要发现一个好的特征，则依赖于研究人员对待解决的问题的深入理解。另一种形式是近几年发展起来的深度学习模型[5]，如基于限制波尔兹曼机和基于自编码器的深度学习模型以及卷积神经网络等。在这种方法中，无需构造任何的人工特征，而是直接将图像的像素作为输入，通过构建含有多个隐层的机器学习模型，模拟人脑认知的多层结构，逐层地进行信息特征抽取，最终形成更具推广性和表达力的特征，从而提升识别的准确性。

卷积神经网络作为深度学习模型之一，是一种多层的监督学习神经网络，它利用一系列的卷积层、池化层以及一个全连接输出层构建一个多层的网络，来模仿人脑感知视觉信号的逐层处理机制，以实现视觉特征信号的自动提取与识别。本文将深层卷积神经网络应用于道路交通标志的识别，通过构建一个由二维卷积和池化处理交替组成的6层网络来逐层地提取交通标志图像的特征，所形成的特征矢量由一个全连接输出层来实现特征的分类和识别。实验中将加入高斯噪声、经过位移、缩放和旋转处理的交通标志图像以及实际道路采集交通标志图像分别构成训练集和测试集，实验结果表明，本文所采用的方法具有良好的识别率和鲁棒性。

1 卷积神经网络的基本结构及原理

1.1 深度学习

神经科学研究表明，哺乳动物大脑皮层对信号的处理没有一个显示的过程[5]，而是通过信号在大脑皮层复杂的层次结构中的递进传播，逐层地对信号进行提取和表述，最终达到感知世界的目的。这些研究成果促进了深度学习这一新兴研究领域的迅速发展。

深度学习[4，6?7]的目的就是试图模仿人脑感知视觉信号的机制，通过构建含有多个隐层的多层网络来逐层地对信号特征进行新的提取和空间变换，以自动学习到更加有效的特征表述，最终实现视觉功能。目前深度学习已成功地应用到语音识别、图像识别和语言处理等领域。在不同学习框架下构建的深度学习结构是不同的，如卷积神经网络就是一种深度的监督学习下的机器学习模型。

1.2 卷积神经网络的基本结构及原理

卷积神经网络受视觉系统的结构启发而产生，第一个卷积神经网络计算模型是在Fukushima 的神经认知机中提出的[8]，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，LeCun 等人在该思想的基础上，用误差梯度设计并训练卷积神经网络[9?10]，在一些模式识别任务上得到优越的性能。

卷积神经网络本质上是一种有监督的深度学习算法，无需事先知道输入与输出之间精确的数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以学习到输入与输出之间的一种多层的非线性关系，这是非深度学习算法不能做到的。卷积神经网络的基本结构是由一系列的卷积和池化层以及一个全连接的输出层组成，可以采用梯度下降法极小化误差函数对网络中的权值和阈值参数逐层反向调节，以得到网络权值和阈值的最优解，并可以通过增加迭代次数来提高网络训练的精度。

1.2.1 前向传播

在卷积神经网络的前向传播中，输入的原始图像经过逐层的卷积和池化处理后，提取出若干特征子图并转换成一维特征矢量，最后由全连接的输出层进行分类识别。

在卷积层中，每个卷积层都可以表示为对前一层输入图像的二维卷积和非线性激励函数，其表达式可用式（1）表示：

式中：Yj 表示输出层中第j 个输出；Y l + 1i 是前一层（l + 1层）

的输出特征（全连接的特征向量）；n 是输出特征向量的长度；Wij 表示输出层的权值，连接输入i 和输出j ；bj表示输出层第j 个输出的阈值；f (?) 是输出层的非线性

1.2.2 反向传播

在反向传播过程中，卷积神经网络的训练方法采用类似于BP神经网络的梯度最速下降法，即按极小化误差的方法反向传播调整权值和阈值。网络反向传播回来的误差是每个神经元的基的灵敏度[12]，也就是误差对基的变化率，即导数。下面将分别求出输出层、池采样层和卷积层的神经元的灵敏度。

（1）输出层的灵敏度

对于误差函数式（6）来说，输出层神经元的灵敏度可表示为：

在前向传播过程中，得到网络的实际输出，进而求出实际输出与目标输出之间的误差；在反向传播过程中，利用误差反向传播，采用式（17）~式（20）来调整网络的权值和阈值，极小化误差；这样，前向传播和反向传播两个过程反复交替，直到达到收敛的要求为止。

2 深层卷积神经网络的交通标志识别方法

2.1 应用原理

交通标志是一种人为设计的具有特殊颜色（如红、黄、白、蓝、黑等）和特殊形状或图形的公共标志。我国的交通标志主要有警告、禁令、指示和指路等类型，一般采用颜色来区分不同的类型，用形状或图形来标示具体的信息。从交通标志设计的角度来看，属于不同类型（不同颜色）的交通标志在形状或图形上有较大的差异；属于相同类型（相同颜色）的标志中同类的指示信息标志在形状或图形上比较接近，如警告标志中的平面交叉路口标志等。因此，从机器视觉的角度来分析，同类型中同类指示信息的标志之间会比不同类型的标志之间更易引起识别错误。换句话说，相比于颜色，形状或图形是正确识别交通标志的关键因素。

因此，在应用卷积神经网络识别交通标志时，从提高算法效率和降低错误率综合考虑，将交通标志转换为灰度图像并作二值化处理后作为卷积神经网络的输入图像信息。图2给出了应用卷积神经网络识别交通标志的原理图。该网络采用了6层交替的卷积层和池采样层来逐层提取交通标志的特征，形成的特征矢量由一个全连接的输出层进行识别。图中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分别表示卷积层L1,L3,…,Ln - 1 的卷积核；Input表示输入的交通标志图像；

Pool表示每个池采样层的采样池；map表示逐层提取的特征子图；Y 是最终的全连接输出。

交通标志识别的判别准则为：对于输入交通标志图像Input，网络的输出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，则Input ∈ j，即判定输入的交通标志图像Input为第j 类交通标志。

2.2 交通标志识别的基本步骤

深层神经网络识别交通标志主要包括交通标志的训练与识别，所以将交通标志识别归纳为以下4个步骤：（1） 图像预处理：利用公式Gray= 0.299R +0.587G + 0.114B 将彩色交通标志图像转换为灰度图像，再利用邻近插值法将交通标志图像规格化，最后利用最大类间方差将交通标志图像二值化。

（2）网络权值和阈值的初始化：利用随机分布函数将权值W 初始化为-1~1之间的随机数；而将阈值b 初始化为0。

（3）网络的训练：利用经过预处理的交通标志图像构成训练集，对卷积神经网络进行训练，通过网络前向传播和反向传播的反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止。

（4）交通标志的识别：将实际采集的交通标志图像经过预处理后，送入训练好的卷积神经网络中进行交通标志特征的提取，然后通过一个全连接的网络进行特征分类与识别，得到识别结果。

3 实验结果与分析

实验主要选取了我国道路交通标志的警告标志、指示标志和禁令标志三类中较常见的50幅图像。考虑到在实际道路中采集到的交通标志图像会含有噪声和出现几何失真以及背景干扰等现象，因此在构造网络训练集时，除了理想的交通标志以外，还增加了加入高斯噪声、经过位移、旋转和缩放处理和实际采集到的交通标志图像，因此最终的训练样本为72个。其中，加入的高斯噪声为均值为0，方差分别为0.1，0.2，0.3，图像的位移、旋转、缩放的参数分别随机的分布在±10，±5°，0.9~1.1的范围内。图3给出了训练集中的交通标志图像的示例。图4是在实际道路中采集的交通标志图像构成的测试集的示例。

在实验中构造了一个输入为48×48个神经元、输出为50 个神经元的9 层网络。网络的输入是像素为48 × 48 的规格化的交通标志图像，输出对应于上述的50种交通标志的判别结果。网络的激活函数采用S型函数，如式（2）所示，其输出范围限制在0~1之间。

图6是交通标志的训练总误差EN 曲线。在训练开始的1 500次，误差能迅速地下降，在迭代2 000次以后是一个平稳的收敛过程，当迭代到10万次时，总误差EN可以达到0.188 2。

在交通标志的测试实验中，为了全面检验卷积神经网络的识别性能，分别针对理想的交通标志，加入高斯噪声、经过位移、旋转和比例缩放以及采集的交通标志图像进行实验，将以上测试样本分别送入到网络中识别，表2给出了测试实验结果。

综合分析上述实验结果，可以得到以下结论：（1）在卷积神经网络的训练学习过程中，整个网络的误差曲线快速平稳的下降，体现出卷积神经网络的训练学习具有良好的收敛性。

（2）经逐层卷积和池采样所提取的特征具有比例缩放和旋转不变性，因此对于旋转和比例缩放后的交通标志能达到100%的识别率。

（3）与传统的BP网络识别方法[11]相比较，卷积神经网络能够达到更深的学习深度，即在交通标志识别时能够得到更高的所属类别概率（更接近于1），识别效果更好。

（4）卷积神经网络对实际采集的交通标志图像的识别率尚不能达到令人满意的结果，主要原因是实际道路中采集的交通标志图像中存在着较严重的背景干扰，解决的办法是增加实际采集的交通标志训练样本数，通过网络的深度学习，提高网络的识别率和鲁棒性。

4 结论

本文将深层卷积神经网络应用于道路交通标志的识别，利用卷积神经网络的深层结构来模仿人脑感知视觉信号的机制，自动地提取交通标志图像的视觉特征并进行分类识别。实验表明，应用深层卷积神经网络识别交通标志取得了良好的识别效果。

在具体实现中，从我国交通标志的设计特点考虑，本文将经过预处理二值化的图像作为网络的输入，主要是利用了交通标志的形状信息，而基本略去了颜色信息，其优点是在保证识别率的基础上，可以简化网络的结构，降低网络的计算量。在实际道路交通标志识别中，将形状信息和颜色信息相结合，以进一步提高识别率和对道路环境的鲁棒性，是值得进一步研究的内容。

此外，本文的研究没有涉及到道路交通标志的动态检测，这也是今后可以进一步研究的内容。

参考文献

[1] 刘平华，李建民，胡晓林，等.动态场景下的交通标识检测与识别研究进展[J].中国图象图形学报，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中国计算机学会.深度学习：推进人工智能梦想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 杨斐，王坤明，马欣，等.应用BP神经网络分类器识别交通标志[J].计算机工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周开利，康耀红.神经网络模型及其Matlab 仿真设计[M].北京：清华大学出版社，2005.

[14] 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806?2810.

[15] 刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机应用研究，2014（7）：1921?1930.

第7篇：神经网络的训练方法范文

关键词：棉纺设备；运行状态；BP神经网络

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2014）04-0824-05

纺织行业十分重视各项基础管理，其中棉纺设备的管理是各项生产管理的基础。棉纺设备的使用好坏直接影响企业生产过程中的生产效率、产品的质量、产品的产量和生产成本的消耗，成为影响纺织企业经济效益提升的很重要的因素。因此，正确的对棉纺设备的运行状态进行评估，从而制定更加合理的检修计划，就显得尤为重要[1]。

目前，企业的定期大、小平车管理制度体现了设备检修中预防为主的思想，它相对于那种事后检修策略是进步的。但这种检修管理制度由于没有考虑各类设备初始状态的差异性，以及设备在不同环境下运行状态的变化，因而既在理论上有缺陷，又在实际中有盲目性。

随着科学技术的进步和发展，新工艺与新产品的不断涌现，中外技术的不断交流，棉纺设备的质量得到很大提高，棉纺设备已有了本质的飞跃。机电一体化、半自动、全自动棉纺设备大量使用，新技术、新成果不断应用，设备的运行可靠性大大提高了；因此，纺织设备的维护已出现了新问题。如果继续按大、小平车检修管理制度所规定的周期对设备进行频繁的检修，势必要大幅度增加维修人员和检修工作量，增加企业生产和管理成本。因此，需要一个更好的对设备运行状态做一个综合评估的预测评估，来指导设备的大小平、部分保全等的选择[2]。

我们根据纺织企业的特点和某企业的实际情况，利用基于动量因子的BP神经网络模型，确立一个新的评估棉纺设备运行状态的评估标准，为该企业棉纺设备的综合管理提供一个重要的参考依据。

1 设备运行状态预测方法的确定

设备运行状态预测模型是一个复杂的非线性模型，影响设备运行状态的因素也比较多，且各个因素之间会存在不同程度的耦合关系。BP神经元网络对于非线性模型具有模型优化的能力，所以通过使用BP神经网络模型来对设备运行状态进行预测比较可行[3]。

BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。

利用BP神经网络模型解决设备的运行状态预测问题的流程大致为：经过前期的资料调研，确定影响设备运行状态的关键因素（特征值），然后采集这些关键因素的数据，并进行数据处理，从中提取出样本数据，建立合适的神经网络模型，训练和学习神经网络，最终实现预测设备运行状态数据的功能。预测流程图如图1所示。

2 BP神经网络模型的结构设计

根据纺织设备的运维特点，其中以某一类设备（如细纱机）的某一种相同型号（如FA506）为例，分别从技术性指标、经济性指标、环境性指标、安全健康指标等方面考虑，可以选取以下几个特征参数：设备残值、月折旧额、月产量、单位产品成本、单位产品维护费用、能源利用率、噪声、设备安全性等来表示设备的运行状态特点，即作为网络的输入。

在所选输入参数中，设备残值指的是设备现有的剩余价值，且设备残值越高，对应的设备运行状态一般也越好；月折旧额指的是设备每月折损的价值，月折旧额越低，对应的设备运行状态一般越好；月产量指的是该台设备每月实际生产的合格产品数量，产量越高，说明设备的生产能力越强，运行状态一般越好；单位产品成本指的是设备生产出来单位产品所需要的生产费用，所需费用越少，成本越低，设备运行状态一般越好；单位产品维修费用指的是生产单位产品所需要的维修费用，所需费用越少，则说明设备运行状态一般越好；能源利用率主要指对能源的利用效率，利用效率越高，则说明设备运行状态一般越好；噪声主要指设备运行生产过程中的聒噪程度，噪声越低，工作环境越好，设备运行情况一般越好；设备安全性主要指设备运行操作时的安全指数，安全指数越高，越有利于设备的正常运行，设备的运行状态才越好。

根据纺织设备的实际情况，把设备运行状态作为评定运行设备优劣标准的网络的输出，即优秀、良好、一般、较差四个标准，分别用3、2、1、0表示。

由上述分析可得，网络输入为8个，输出为1个。由于网络层次太多会影响网络收敛速度，本例选择三层网络结构，即只有一层隐含层，就能够合理的解决本预测问题。隐含层的神经元个数不是固定的，常用的经验公式为[I=M+P+A]（M、I、P分别表示输入层、隐含层、输出层的神经元个数，A为1到10之间的常数）[4]。经过实际训练的检验和不断的对隐含层神经元个数的调整，可最终确定隐含层节点的个数为5。

大致的网络模型图如图2所示，图中M=8，I=5，P=1。

根据确定的网络结构，通过动量梯度下降法进行神经网络训练实验，对不同的学习速率和动量因子分别进行取值调整，进而得到不同的误差精度和收敛速度的比较，最终可确定学习速率η=0.04，动量因子α=0.88。

3 基于动量因子的BP神经网络模型的训练

常用的三层BP神经网络由以下三部分构成：一个输入层、一个隐含层和一个输出层。层内神经元之间没有连接，层与层之间的神经元由可以通过学习修正的权值（Weight）互连。

设BP网络的输入层为x，有M个输入信号；隐含层为y，有I个神经元；输出层为z，有P个输出神经元。其中，

各个神经网络层的输出由输入和转移函数决定。BP神经网络通常采用Sigmoid函数作为转移函数。Sigmoid函数的数学表达式为：[f（x）=11+e-x]。

BP网络的学习训练方法有很多种，如标准误差反向传播算法、累积误差校正算法、Sigmoid函数输出限幅的BP算法、增加动量项的BP算法、学习速率自适应调整算法等[5]。其中最常用到的是累积误差校正算法，其算法步骤可描述如下[6]：

第一步：初始化：赋给权值W1MI（1）、W2IP（1）及阈值θ、γ各一个较小的[-1，+1]区间的随机非零值，n=1。

第二步：随机选取一个输入样本Xk。

第三步：对于输入样本Xk，前向计算BP网络每层神经元的输入信号和输出信号。设输入层的输入和输出分别为[ukxm]和[vkxm]，隐含层的输入和输出分别为[ukyi]和[vkyi]，输出层的输入和输出分别为[ukzp]和[vkzp]。

输入层的各个处理单元对输入模式不进行处理，即输入层的输出与输入相同：

隐含层各个神经元的净输入和输出分别为：

输出层各个神经元的净输入和实际输出分别为：

第四步：由训练样本的输出dk和上一步求得的实际输出Yk（n），计算输出层各个神经元的校正误差：

输出层的误差能量总和可定义为：

隐含层各个神经元的校正误差：

修正隐含层至输出层的连接权值w2ip和输出层神经元的阈值γ，其修正式为：

修正输入层至隐含层的连接权值w1mi和输出层神经元的阈值θ，其修正式为：

第五步：随机选取下一个输入样本提供给网络，返回第三步，直至全部N个样本训练完毕。

第六步：判断网络全局误差[E=k=1NEk]是否满足精度要求，即[E≤ε]。若满足，则转到第八步，否则继续。

第七步：更新网络学习次数，即n=n+1，若学习次数小于规定的次数，则返回第二步，否则继续。

第八步：结束，得到最终的阈值和权值。

不过，上述的BP算法存在两个问题：①由于BP算法的基本思想是基于梯度下降法将各个权值和阈值向着减小误差的方向调整，并且梯度下降法的原理保证在只有一个极小值时才绝对有效，但在很多时候误差曲线有许多的局部极小值。因此，该BP算法可能会陷入局部极小值。②如果权值的初始值位于梯度比较小的位置，则必须经过多次调整权值来才有可能最终收敛。所以，该BP学习算法的收敛速度可能较慢。

通过加入动量项可以进一步改进该BP网络，从而更加快速准确的实现运行设备的状态评估预测。其具体步骤就是在计算权值修正量的时候，加入一个动量项，即令

再将上式写成以t为变量的时间序列，t由1到n。则上式可看成是w2ip（n）的一阶差分方程，即

最终可推得

当本次的[?E（t）?w2ip（t）]与前一次同符号时，其加权求和值增大，使得w2ip（n）较大，从而加快了调节速度；当本次的[?E（t）?w2ip（t）]与前一次符号相反时，其加权求和值变小，w2ip（n）也减小，起到了稳定作用。

通过在BP算法中加入动量项，不仅可以微调权值的修正量，使得收敛速度加快，也可以使学习避免陷入局部最小。

正是由于加入动量项的BP神经网络随着误差反向传播不断地进行修正，不断提高对输入模式识别的正确率，而且修正速度也加快许多，因此，该BP网络模型可以合理地解决该预测问题。

4 实例分析

下面以某棉纺厂近十年来型号为FA506的细纱机设备为例，其设备运行状态情况及主要影响因素的部分样本数据如表1所示：

状态及主要影响因素的部分样本数据

根据动量梯度下降法原理，采用上述的神经网络结构，学习速率为0.04，动量因子为0.88，使用前190组样本数据对网络进行训练，可设置网络全局误差目标值为0.01，最大学习次数为1000次。

网络学习训练完成之后，得到最终的阈值和权值。采用最后10组样本数据对网络进行诊断，可得到设备运行状态的诊断预测结果，再将诊断结果进行乘以3的处理，与期望结果进行比较，如表2所示：

从实际的预测结果可以看出，期望结果应该为0的数据预测所得的结果近似为0，期望结果应该为1的数据预测所得的结果近似为1，期望结果应该为2的数据预测所得的结果近似为2，期望结果应该为3的数据预测所得的结果近似为3。因此，所测的每组数据都符合误差要求，而且平均误差约为0.00180556。

从测试结果可以看出，基于改进动量因子的BP神经网络不但能够解决棉纺设备运行状态预测的非线性问题，而且预测结果比较符合要求，预测误差也非常小。因此，该神经网络模型完全可以满足设备运行状态预测的要求。

5 结论

通过前面的实例，我们可以知道，通过改进动量因子的BP神经网络算法来预测棉纺设备的运行状态情况，可以弥补传统方法评估设备的不足，实现设备运行状态的智能化评估，具有很大的实用价值。通过设计合适的网络结构、学习速率和动量因子，得到的BP网络可以保证误差精度和收敛速度。最后，通过实验，我们可以对网络进行训练和诊断。实验结果表明：动量因子BP神经网络算法可以为设备管理者提供一个智能化的、可靠的评估设备运行状态水平的预测途径，能够使纺织厂的各项计划得到有效、有序的实施，节省许多资源。

参考文献：

[1] Pan Rongchang，Li Haixia Xu Linlan.Experience of Blowing-carding Unit State Maintenance and Management[J].Cotton Textile Technology，2011，3（3）：34-36.

[2] 蒋献伟，黄民祥，许诺，等.供电设备检修计划优化[J].电力系统及其自动化学报，2007，19（4）：116-120.

[3] Wikipedia.Artificial neural network[DB/OL].http：///wiki/Artificial_neural_network.

[4] Basheer A，Hajmeer M.Artificial neural networks： fundamentals， computing， design，and application.Neural Computting in Microbiology，2000，12（1）：3-31.

第8篇：神经网络的训练方法范文

Abstract: Cognitive radio technology provides new opportunities and challenges for the development of wireless communication. Intelligence is an important characteristic for cognitive radio, and application of artificial intelligence techniques is key to implement this characteristic. This paper will first provide our own research framework on cognitive radio, second give an overview of application of artificial intelligence to cognitive radio, and last introduce and simulate the application of neural network to cognitive radio.

关键词： 人工智能；认知无线电；神经网络

基金项目：国家重点基础研究发展规划（“973”计划）项目（2009CB320403）；国家自然科学基金资助项目（60832008，60832006）；国家科技重大专项课题（2009ZX03007-004）。

作者简介：柴新代（1964-），男，北京人，本科，高级工程师，研究方向为通信系统工程；董旭（1979-），男，河北景县人，博士研究生，讲师，研究方向为认知无线电。

1 概述

无线通信技术的飞速发展，正在越来越深刻地影响着人们的生活。与此同时，无线通信技术的发展也面临着严峻的考验，一方面频谱资源的固定分配模式和利用率不均衡制约着无线通信宽带化的发展，另一方面多种空中接口和网络协议并存的局面为无线网络的融合提出了挑战。1999年Mitola博士提出的“认知无线电（Cognitive Radio）”[1]为解决无线通信所面临的问题提供了新的机遇。因此，认知无线电技术迅速成为业界研究的热点。

认知是人类获取运用知识解决问题的一种抽象，将认知运用到无线电技术，会提高无线电系统的智能性，这也是认知无线电技术区别于普通软件无线电的最大特点。认知无线电技术通过实时的获取外部环境信息，并对这些信息进行分析、学习和判断，得到无线电知识，然后根据这些知识智能地调整各种通信参数，从而最终实现可靠的通信，并达到最佳的频谱利用效率。人工智能技术为实现认知无线电的智能性提供了可能，本文将主要围绕多种人工智能技术在认知无线电中的应用进行论述，下面将首先介绍认知无线电智能化的基础框架――认知环路和认知引擎，然后对几种人工智能技术在认知无线电中的应用进行简要介绍，最后将详细介绍神经网络在人工智能中的应用，并通过仿真给出一个具体的示例。

2 相关工作

2.1 认知环路 Mitola博士在提出认知无线电概念的同时提出了OOPDAL（观察-判断-计划-决策-行动-学习）认知环路[1]，用以支持其认知无线电架构。此外，学术界还提出了多种认知环路模型[2,3]，比较著名的有军事战略家Boyd提出的OODA（观察-判断-决策-行动）环路、IBM为自主计算提出的MAPE（监测-分析-计划-执行）环路、Motorola为自主网络提出的FOCALE（基础-观察-比较-行动-学习-擦除）环路等等。OOPDAL环路具有完整认知功能和清晰的认知过程，是设计认知无线电最为理想的环路模型。本文对OOPDAL环路各环节进行了重新定义，丰富了环路模型的内涵与外延，并在原环路模型基础上增加“知识库”，明确表达了知识获取与运用的过程。

如图1所示，经改进的OOPDAL认知环路由外环和内环组成，外环也称决策环。认知无线电首先“感知”无线域、网络域、用户域、政策域中的数据，并对其建模以明确自身所处态势；“判断”是对数据的精炼，也即对感知数据进行清理、集成和选择，提取出其中对决策有贡献的信息；“计划”根据用户需求与当前环境生成优化目标；“决策”根据优化目标执行优化；“行动”将决策结果付诸实施，使内部状态和外界环境发生变化，这些变化又被重新“感知”，进入下一轮循环。内环又称学习环，用于从外环运行的历史经验中提取知识，并存放入知识库以指导决策环运行。

OOPDAL环路对知识的运用过程充分体现了认知无线电的智能性，其中计划、学习、决策等环节更是智能性得以实现的关键所在，具体的实现方法则需要借助于人工智能技术。

2.2 认知引擎 认知引擎是实现认知环路功能的技术手段。但很多认知引擎的设计是针对特定方法实现特定任务的，本文希望设计一种通用的认知引擎架构，以适应认知无线电所面临的各种应用。通用认知引擎结构由认知核与接口部分组成。认知核提供各种丰富的工具，包括知识表示工具、各种推理机、学习机、优化算法库等，为完成认知循环的各环节功能提供支持。接口部分包括感知器接口与用户接口。感知器接口收集各种感知数据，并通过建模系统以机器可理解的方式表示；用户接口部分允许用户调用认知核中各种工具并对其进行流程编排和建模完成专用认知引擎的构建。另外，可配置无线网络具备动态可配置波形与协议，以执行认知引擎的决策。

认知核是认知引擎的核心，包括多种人工智能工具，如专家系统，案例推理，神经网络，遗传算法等，每种人工智能的工具不但可以实现相应的认知功能，还可通过多种不同工具的编排组合实现认知无线电的各种应用，即实现认知引擎的通用性。

3 人工智能技术概述

如果说认知核是认知引擎的核心，那么人工智能技术就是认知核的核心。人工智能技术已有比较成熟的理论体系[4]，但将其应用到认知无线电还处于探索阶段。下面先简要介绍几种人工智能技术在认知无线电中的应用。

3.1 专家系统 专家系统在人工智能技术领域有着非常成功的应用[5]，并能够很好的与其他人工智能技术结合使用，如遗传算法，人工神经网络等。专家系统是运用知识和推理过程来解决只有专家才能解决的复杂问题，也就是说专家系统是一种模拟专家决策能力的计算机系统。专家系统主要包括两个部分：知识库和推理机。知识库用来存储专家知识，推理机则依据专家知识对已有事实进行推理和决策。认知无线电可以借助专家系统完成推理决策功能。认知无线电可以通过主动学习或“人在环中”的方式获取无线电知识并存储到知识库中，然后根据外部无线环境和用户需求的变化，到知识库中查询相应的先验知识，并通过推理机进行决策，从而调整无线电的工作参数以适应环境和需求的变化。CLIPS是目前比较成熟的专家系统工具，已有学者将基于CLIPS的专家系统应用到认知无线电的研究中[6]。

3.2 案例推理 案例推理作为一种人工智能技术致力于从以往的经历或者案例当中得到新问题的解决方案。基于案例的系统通过在案例库查找与需要解决的问题相似度最大的案例来找到问题的解决的方法，并将找到的案例与当前的场景进行匹配，这种匹配实际上就是一种最优化的过程。而最初找到的案例是为了节省优化的时间，通过优化的新的解决方案，将被作为新的案例存储到案例库中。认知无线电可以根据无线环境的变化调整工作参数，不同的环境和工作参数可以作为案例存储到案例库中[7]。当环境发生变化，认知无线电可以在案例库中查找与当前环境最为相似的一个案例，然后用该案例与当前环境进行匹配，优化工作的参数，并把当前环境和优化的参数作为新的案例存储到案例库中。Soar作为一种人工智能系统的开发工具，可以实现案例推理功能，并可以基于案例进行学习，国内已有学者基于Soar和GUN Radio软件无线电平台开发出认知无线电原型系统。

3.3 遗传算法 遗传算法借鉴生物进化和遗传的生物学原理，可用于解决目标优化问题，即找到一组参数（基因）使得目标函数最大化。其基本原理是根据求解问题的目标构造适值函数，使初始种群通过杂交和变异不断选择好的适值进行繁殖，并最终得到最优解。遗传算法同样可以作为认知无线电的决策方法[6,8]：可以把无线电类比为一个生物系统，将无线电的特征定义为一个染色体，染色体的每个基因对应无线电一个可变的参量，比如发射功率、频率、带宽、纠错编码方法、调制算法和帧结构等等，这样就可以通过遗传算法的进化来得到满足用户需求和适应环境变化的系统配置参数。

4 神经网络在认知无线电中的应用

对于人工神经网络的研究源于对人类大脑思维过程的模拟，在很多领域，神经网络已经有了广泛的应用。下面将详细介绍神经网络在认知无线电中的应用。

4.1 神经网络简介 1943年神经物理学家W.McCulloch和逻辑学家W.Pits在对人脑的研究中提出了人工神经网络。目前人工神经网络作为一种人工智能技术主要基于统计评估、优化和控制理论。人工神经网络由用以模拟生物神经元的大量相连的人工神经元组成，主要用于解决人工智能领域的一些复杂问题，比如机器学习。根据网络结果和训练方法的不同，人工神经网络可以分为多种类型，以适应多种的应用需求[7]。多层线性感知器网络（MLPN）：MLPN由多层神经元构成，每一个神经元都是上一层神经元输出的线性组合。一般这种线性组合的权值在训练前是随机生成的，并且可以随着训练不断的更新。更新的方法有多种，如后向传播（BP）、遗传算法等。其训练方法的性能将由其网络规模和应用场景决定。非线性感知器网络（NPN）：NPN是利用对每个神经元的输入平方或两两相乘的方法将非线性引入神经网络使其可以对动态变化的训练数据进行更好的拟合。但NPN的网络结构需要根据训练数据进行调整，另外如果采用BP方法进行训练会使网络收敛缓慢而导致处理时间过长。径向基函数网络（RBFN）：RBFN和NPN类似，不同的只是其非线性的引入是在隐含层利用径向基函数实现非线性映射，这可以防止网络收敛到局部最小值。

4.2 应用举例 由于神经网络可以动态的自适应和实时的训练，因此可以对系统的各种模式、参数、属性等进行“学习”，并“记住”这些事实，当系统有了新的输入和输出时，可以进行实时的训练来记忆新的事实。这正符合了认知无线电认知功能的需求，因此神经网络在认知无线电中有着广泛的应用前景。下面就列举一些神经网络在认知无线电中的应用[9-12]。神经网络可以用于认知无线电的频谱感知，例如利用基于神经网络的分类器可以根据信号的循环平稳特性或者频谱特性等对信号进行分类。神经网络还可用于无线电参数的自适应决策和调整，神经网络可以根据当前信道质量和用户需求等所确定的优化目标选择无线电参数。另外神经网络还可以对无线电系统的各种性能进行预测，神经网络可以记忆不同无线环境不同无线参数所达到的系统性能，比如误码率、吞吐量、时延等等，从而对未来可能产生的系统性能进行预测，进而对各种无线参数进行优化。

5 仿真及分析

由于无线环境的开放性，无线系统大都是非线性系统，因此神经网络用于认知无线电也应采用非线性模型。非线性感知器网络（NPN）可以完成认知无线电的学习功能，从而对各种系统性能进行预测，下面就通过一个具体例子来仿真基于NPN的误码率性能预测。

5.1 仿真模型 NPN由三层节点构成：输入层、隐含层和输出层。隐含层通常只有一层神经元，本文在此基础上扩展了隐含层的层数，从而扩大了神经网络的规模，使其具有更好的学习效果。具体的网络结构如图2所示，每个节点都与下一层的所有节点唯一相连，除了输入层节点，其他各层节点称为神经元，具有一个非线性的激活函数，以实现对非线性系统的拟合。本文将采用最为常用的非线性激活函数――S函数，即：f

神经网络的训练将采用BP方法，具体算法如下：

③根据RMS误差决定是否调整权值，直到RMS误差或者迭代次数达到停止要求。

5.2 仿真场景 仿真场景的设置将根据上面提出通用认知引擎架构进行编排。首先认知引擎要收集各种数据。WiMax可以根据信道质量调整其调制编码模式等无线电参数，因此将作为通用认知引擎架构中的可重配置的无线电平台将系统的误码率性能实时上报给认知引擎；信噪比作为无线环境的表征可通过感知器进行收集；编码速率作为用户对业务的需求可通过用户接口上报给认知引擎。然后认知引擎内基于NPN的学习机就可以对这些数据进行训练了，训练的方法如上节所述。最后训练好的神经网络就可以根据无线环境和用户需求对系统的误码率进行实时的预测，从而调整认知无线电的各种操作参数。

5.3 仿真结果及分析 由于对神经网络模型的隐含层进行了扩展，首先验证一下改进的模型性能是否有所提升。仿真结果如图3所示，分别仿真了具有2层、3层和4层神经元的NPN的收敛性能。其中2层模型是没有经过改进的，其收敛速度最快，但RMS误差较三层模型差；3层模型虽然收敛速度稍慢，但收敛的RMS误差最低；4层模型的网络规模最大，因此收敛速度最慢，但其RMS误差收敛的并不是最低，这是由于神经网络的规模应该与训练数据的规模相适应，过大的网络规模反而不会得到很好的收敛性能。折中考虑，在后续误码率预测仿真中，将采用3层神经元模型的NPN对数据进行训练。

如图4所示，利用3层神经元模型分别对WiMax场景下的64QAM、16QAM、QPSK和BPSK的误码率性能进行了预测。从预测结果和实际的仿真结果的比较可以显示，随着调制模式的升高，预测的性能将越来越好。

6 结束语

本文主要介绍了人工智能技术在认知无线电中的应用，并通过人工神经网络进行举例，从仿真的结果可以看出神经网络在认知无线电中应用的可能性。人工智能技术在认知无线电领域的应用还有着广阔的研究前景，应该积极探索更多的人工智能技术在认知无线电中应用。但也并非所有的人工智能技术都适用于认知无线电的开发和应用，应在研究中有所选择把握方向。不同的应用场景也对人工智能技术提出了不同的需求，找到适用于相应场景的人工智能技术也很重要。未来的工作应更多的考虑一些实际的应用，让无线通信系统可以真正的像人一样思考。

参考文献：

[1]J.Mitola Ⅲ."Cognitive radio: Making software radios more personal"，IEEE Personal Communications，vol.6，no.4，pp.13-18，1999.

[2]S.Haykin."Cognitive radio：Brain-empowered wireless communications"，IEEE Journal on Selected Areas in Communications，vol.23，no.2，pp.201-220，2005.

[3]T.W.Rondeau，C.W.Bostian，D.Maldonado，A.Ferguson，S.Ball，B.Le，and S.Midki，“Cognitive radios in public safety and spectrum management”，Telecommunications Policy and Research Conference，vol.33，2005.

[4]George F.Luger，“Artificial Intelligence Structures and Strategies for Complex Problem Solving Fifth Edition”，Pearson Education Limited，2005.

[5]Joseph C.Giarratano, Gary D.Riley，“Expert System Principles and Programming Fourth Edition”，Thomson learning，2006.

[6]Timothy R.Newman，“Multiple Objective Fitness Functions for Cognitive Radio Adaptation”，Doctor Thesis，2008.

[7]A.He，K.K.Bae，T.R.Newman，J.Gaeddert，K.Kim，R.Menon，L.M.Tirado，J.Neel，Y.Zhao，J.H.Reed，and W.H.Tranter，“A survey of artificial intelligence for cognitive radios”，IEEE Transactiongs on Vehicular Technology，vol.59，no.4，pp.1578-1592，2010.

[8]Thomas W.Rondeau，“Application of Artificial Intelligence to Wireless Communication”，Doctor Thesis，2007.

[9]N.Baldo，B.R.Tamma，B.S.Manoj，R.Rao，and M.Zorzi，“A neural network based cognitive controller for dynamic channel selection”，in Proceedings of IEEE International Conference on Communications（ICC），pp.1-5，2009.

[10]X.Zhu，Y.Liu，W.Weng，and D.Yuan，“Channel sensing algorithm based on neural network for cognitive wireless mesh network”，in Proceedings of IEEE International Conference on Wireless Communications（WiCom），pp.1-4，2008.

第9篇：神经网络的训练方法范文

现行的SOC预测方法大致有化学法、电压法、电化学阻抗法、电流积分法、卡尔曼滤波法、神经网络法等。

化学法：应用范围十分狭窄，仅适用于能接触到电解液的电池。电压法：通过对比已知的充放电电压荷电状态曲线，将电压值转换为电池的荷电态值，适用于电压随SOC变化较大的铅酸电池和镍氢电池等传统电池。电化学：阻抗法有交流内阻和直流内阻之分，它们都与电池荷电状态有密切关系。电流积分法又称为安时积分法或库伦计数，通过将电池电流对时间进行积分来计算电池的荷电状态。卡尔曼滤波法：是对动力系统的状态做出最小方差意义上的最优估计。卡尔曼滤波法将电池被看成一个动力系统，电池荷电状态是系统的一个内部状态。神经网络法：能够模拟电池动态特性，来估计电池荷电状态，适用于各种电池，缺点是需要大量的参考数据进行训练，估计误差受训练数据和训练方法的影响很大。

（来源：文章屋网 ）