训练神经网络的方法精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的训练神经网络的方法主题范文，仅供参考，欢迎阅读并收藏。

第1篇：训练神经网络的方法范文

关键词： 神经网络；工程造价；Vague集贴近度

0 引言

对建筑工程造价进行科学有效的测算和控制，会使工程造价的组成比较合理，进而节约工程开销成本。现在，经典的建筑工程造价测算方法主要有下面几种：定额法、类比工程法、回归分析法和模糊数学法[1]。其中，定额法必须对定额成本、定额差异和定额变动差异进行单独核算，任务较重，现实中很难实施；类比工程法是通过类比工程的相似性实现工程造价的测算，该方法估算准确度不够高；回归分析法的估算准确度同样不高，该方法将很多重要因素忽略了；模糊数学法是通过模糊数学的思想对工程造价进行估算，该方法的不足主要是特征隶属度不好准确确定。由于人工神经网络可以自学并进行推理，本文通过人工神经网络和Vague集贴近度理论对住宅楼的工程造价进行估算和控制，可以为建筑工程造价估算提供很好的服务。

1 BP神经网络

BP神经网络是一种前馈型神经网络，包含三种层次或者多层次，各种层次之间相互连接，同一层次可以自由结合，BP神经网络的构成见图1。所属模型的神经元数量决定了BP神经网络的层数，各个层次之间通过相互的权值实现联接[2]。

人工神经元（Artificial Neuron）模型：

人工神经元是神经网络的基本元素，其原理可以用图2表示。

图中x1～xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值（threshold），或称为偏置（bias）。则神经元i的输出与输入的关系表示为：

BP神经网络的结构非常简洁，包括正向传播和逆向传播。下面分别对BP神经网络信息的正向传播和误差信息的反向传播原理进行介绍。

1.1 信息的正向传播

式（1）中，n为信息的总个数。

1）输入向量为

多层神经元网络（BP网络图3）。

BP（Back Propagation）神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。由图3可知，BP神经网络是一个三层的网络：

输入层（Input Layer）：输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；

隐藏层（Hidden Layer）：中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程；

输出层（Output Layer）：顾名思义，输出层向外界输出信息处理结果。

2 建筑工程造价估算模型

2.1 BP神经网络训练 建立BP神经网络模型，对工程特征向量进行归一化处理，可以开始神经网络训练，目标是使网络性能函数极小化，实现非线性映射的目的。本文利用Nguyen-Widrow方法[5]对权值和阈值的初值进行确定。Nguyen-Widrow方法具体原理为

上式中，W是数值矩阵，θ是权值矩阵，S、N是节点的个数。rand（S，N）为s行n列的平均自由分布任意矩阵，I（S，N）为s行n列标准矩阵。

2.2 BP神经网络训练调整与测试 BP神经网络训练调整与测试连接强度加权值调整方法，具体公式为：

BP算法在按步骤经行的收敛过程中，每一步的学习率都将发生变化，而不是固定不变。此时BP神经网络不应用连接强度加权值的调整方法，同时也不使用误差函数对梯度调整和η调整方法；最终应用相对权重增加量Δwij进行网络调整与测试，权值wij的修正值Δwij，如下所示：

以上的分析表明，运用BP神经网络进行建筑工程单方造价估算是可行的，然而该方法对建筑工程项目总造价的估算还不够精确。当前建筑工程项目需要考虑的影响因素非常多，虽然可以引入大量的特征因素，然而里面有很多因素都非常模糊化；即使可以对特征因素进行具体说明，提高输入点的数量，这时样本数据会随着增加，此时神经网络将会复杂化，求解效率会降低。所以，本文通过以上运用BP神经网络对建筑工程项目单方造价的估算，采用Vague集贴近度对BP神经网络进行改进，对建筑工程总造价进行估算[3]。

2.3 加入Vague集贴近度改进BP神经网络 文献[4]采用普通模糊集理论来对工程隶属度进行确定。本文中建筑工程特征因素隶属度是指建筑工程特征值隶属于准备建设的项目特征值的大小程度：

3 实例分析

选取2013年西安市某工程项目数据进行实例分析，工程造价指数以2013年为基准，通过加权平均法求解造价年综合指数。通过选择，最后选取了二十个样本，前面十八个样本为训练样本，剩余的两个当作检测样本。神经网络训练数据见表1。

3.1 BP神经网络训练 采用BP神经网络对模型进行构建，对建筑工程特征向量数据处理结束后，可以开展神经网络训练。神经网络训练基本的训练公式为

net，tr=train（NET，P，T）

训练公式中net为最终的网络，tr为数值统计， P是输入矩阵，T是输出矩阵。

3.2 BP神经网络与Vague集贴近度预测 采用Vague集贴近度的数据，基于BP神经网络训练样本进行预测，通过训练好的网络对与本文样本数据相类似工程项目的单方造价进行预估，求得单方造价均值为1800元/m2。紧接着可以对建筑工程的总造价进行预估，通过对10项样本进行造价估算预测，采用BP神经网络和Vague集贴近度相结合的方法进行造价预估，估计误差在±10%范围内（见表2），造价估算结果非常准确。

4 结论

本文应用BP神经网络造价预测和Vague集贴近度理论，从理论和实际应用两方面对建筑工程造价估算进行了研究。文中的方法能更准确地反应工程造价的不确定性，为建筑工程项目造价估算方法研究提供了一种新的视角和方法。

参考文献：

[1]史峰.BP神经网络在工程量清单中快速估价的应用研究[M].北京航空航天大学出版社，2010.4.

[2]张风文.基于MATLAB神经网络的工程实例分析[J].华东交通大学学报，2010，8（3）：26-33.

[3]郭一斌，王红革，王翔.基于Vague集贴近度的工程项目投资快速估算方法[J].现代经济信息，2011，12（2）：50-55.

第2篇：训练神经网络的方法范文

关键词：BP人工神经网络；RBF人工神经网络；经济增长预测

中图分类号：TP183文献标识码：A文章编号：1009-3044(2011)10-2345-03

The Study of Forecast of Zhejiang Province's Economic Growth Using BP and RBF Artificial Neural Network

BAI Xue-bing

(Zhengjiang University of Technology, Hangzhou 310014, China)

Abstract: Based on existing studies of economic forecasting methods, the article studies the Zhejiang province'sEconomic Growth Forecastusing BP and RBF Artificial Neural Network.Thedata research shows Artificial Neural Network hasgood precision, but different Artificial Neural Network have different behavior, some have big error. Artificial Neural Network can provide good reference for the making policy of sector of economy.

Key words: BP artificial neural network; RBF artificial neural network; economic growth forecast

1 经济预测概论

经济预测是与未来有关的旨在减少不确定性对经济活动影响的一种经济分析。它是对将来经济发展的科学认识活动。经济预测不是靠经验、凭直觉的预言或猜测，而是以科学的理论和方法、可靠的资料、精密的计算及对客观规律性的认识所作出的分析和判断。

2 人工神经网络经济预测技术

由于人工神经网络具有大规模并行处理、容错性、自适应和联想功能强等特点，作为非线性智能预测方法的人工神经网络预测方法成为国内外经济预测研究的一个热点。

人工神经网络不断应用于证券预测分析、企业经济战略预测、经济理论创新、经济预测预警等研究中，都得到了一定的效果。

3 BP与RBF神经网络预测模型分析

3.1 经济增长神经网络设计模型

3.1.1 宏观经济预测指标

经济增长率是判断宏观经济运行状况的一个主要指标。经济增长率指的就是不变价国内生产总值增长率(简称国内生产总值增长率。因此，判断宏观经济运行状况要落脚到对国内生产总值的核算上。在本文中我们采用GDP的增长率来作为预测目标。

3.1.2 神经网络设计模型经济模型的设计

本论文采用两种模型对经济进行预测。

1) 第一种 GDP预测模型：第n年的一、二、三产业的增长率作为输入，第n+1年GDP增长率作为输出。

2) 第二种预测模型。第n-3、n-2、n-1、n年的经济增长率作为输入，第n-1、n、n+1年经济增长率作为输出。

这里还要说明两个问题。第一我们用到的数据来自2009年 浙江省统计年鉴，它的网址是 。

3.1.3 神经网络模型结构

设计经济预测神经网络模型前，首先需要确定神经网络的结构，主要包括如下内容：网络的层数，每层的神经元数和激活函数等。采用的神经网络结构如图1。

3.2 使用BP在以浙江省过去的每年的GDP增长指数的基础上进行BP神经网络预测

3.2.1 学习样本的选择

本次实验使用Matlab 软件采用3层BP神经网络建立浙江省经济发展的的预测模型。输入层节点数为n=4，输出层节点m=3.而隐含层节点数的选择是人工神经网络最为关键的一步，它直接影响网络队复杂问题的映射能力，实验中我们采用试凑法来确定最佳节点数。现设置较少的隐节点训练网络，然后逐渐增加网络节点数，用同一样本进行训练，从中确定网络误差最小时对应的节点数，隐层、输出层神经元的转移函数，隐含层和输出层转移函数分别采用tansig和logsig，训练函数选择traindx。

3.2.2 数值归一化处理

对于浙江省经济增长序列Q=（Q1，Q2…，Qt）。设序列的最大值、最小值分别为Qmax、Qmin。对时间序列的值作归一化处理。

令xi=(Qi-Qmin)/(Qmax-Qmin)

3.2.3 样本数据训练和数据预测

采用1978～2003年的数据样本在MatLab7.0软件中对输入网络进行训练.隐层节点数先从4开始训练，逐步增加到12时，当数值 为10时预测结果较好。允许误差为0.001，训练3217次达到训练要求。

采用1978～2004年的数据作为第一组训练数据，2005-年数据作为仿真预测数据，通过神经网络预测GDP。采用1978～2005年的数据作为第一组训练数据，2006年数据作为仿真预测数据，通过神经网络预测GDP， 采用1978～2006年的数据作为第一组训练数据，2007-年数据作为仿真预测数据，通过神经网络预测GDP，依次类推，产生结果如表1所示。

3.2.4 数据分析

从2000-2004的拟合数据来看，相对误差比较小，BP网络对整个模拟数据的拟合程度还是比较好的，但是从2005-2009的预测数据来看预测数据的误差还是比较大的，这也说明对未来的预测是很难的。各种不确定的因素在起作用。

3.3 三种产业增加率BP确定法预测GDP

3.3.1 样本数据训练

将1978-2004年数据对输入网络进行训练。然后把需要预测的样本2000-2004年的样本数据输入网络，得到结果，然后用反归一化公式获得结果。在Matlab7.0中调用newff函数，建立一个3个输入节点、18个隐含层节点、一个输出结点的BP神经网络，隐含层和输出层转移函数分别采用tansig和logsig，训练函数选择traindx，允许误差为0.001，训练1748次达到训练要求。

采用1978～2004年的数据作为第一组训练数据，2005年数据作为仿真预测数据，通过神经网络预测GDP。采用1978～2005年的数据作为第一组训练数据，2006年数据作为仿真预测数据，通过神经网络预测GDP， 采用1978～2006年的数据作为第一组训练数据，2007年数据作为仿真预测数据，通过神经网络预测GDP，依次类推，产生结果如表2所示。

3.3.2 数据分析

从预测数据来看预测数据的误差尽管比上一种类型的数据要好，但是误差还是比较大的，但是考虑到预测的能力 ，数据还是可以接受的 。但是数据误差还是比较大的，这也说明对未来的预测是很难的，不是十分确定的，有些文章的数据精确度挺高的，但我想应该是不太可能的，也许有故意凑数据的嫌疑。如果预测一年的话，可以通过调整参数获得近似结果，但是很多年就很困难。

3.4 使用RBF在以浙江省过去的每年的GDP增长指数的基础上进行RBF神经网络预测.

3.4.1 RBF 神经网络模型设计

该种方式与第一种BP神经网络预测方法类似， 以以前四年的GDP增长率作为输入，后两年加以预测的年作为输出。输入层节点数为n=4，输出层节点m=3.而隐含层节点数的选择是采用matlab的newrbe自动来设置.然后用同一样本进行训练。

3.4.2 样本数据训练和数据预测

1) 采用1978～2004年的数据作为第一组训练数据，2005年数据作为仿真预测数据，通过神经网络预测GDP。采用1978～2005年的数据作为第一组训练数据，2006年数据作为仿真预测数据，通过神经网络预测GDP，依次类推，产生结果如表3所示。这儿采用newrbe函数，spread参数为0.25。这是因为通过测试采用0.25获得的数据结果较好。

3.4.3 数据分析

从实验数据看，RBF对整个模拟数据的曲线拟合程度是相当完美，但是从2005-2009的预测数据来看预测数据的误差还是比较大的，这也说明RBF神经网络尽管曲线的拟合程度比BP网络好 ，但是从预测的能力来讲，并不比BP网络好，反而通过试验显得更差一些。这仍然表明对未来的预测是很难的。各种不确定的因素在起作用。神经网络的预测也只能作为参考之用，不能对各种的突发事件进行预测。

3.5 使用RBF三种产业增加率确定法预测GDP

3.5.1 RBF神经网络模型设计

该种方式与对应的BP神经网络预测方法类似， 以一年的三种产业增长率作为输入，后一年的GDP增长率预测作为输出。本次实验采用RBF神经网络建立浙江省经济发展的的预测模型。输入层节点数为n=3，输出层节点m=1.而隐含层节点数的选择采用RBF自动的newrbe方法实现。

3.5.2 数据处理

1) 采用1978～2004年的数据作为第一组训练数据，2005年数据作为仿真预测数据，通过神经网络预测GDP。采用1978～2005年的数据作为第一组训练数据，2006年数据作为仿真预测数据，通过神经网络预测GDP， 采用1978～2006年的数据作为第一组训练数据，2007-年数据作为仿真预测数据，通过神经网络预测GDP，依次类推，产生结果如表4所示。

3.5.3 数据分析

但是从2005-2009的预测数据来看预测数据的误差比上一组得RBF的误差还要大，几乎有点难以接受。这也说明RBF神经网络尽管曲线的拟合程度比BP网络好，但是从预测的能力来讲，并不比BP网络好，反而我通过试验更差一些。2009年的数据变得极为不合理，从而导致数据的偏差性很高。，从测试数据可看出，但是由于经济运行的复杂性，以及不可预知性，特别是由于2008的美国金融导致的世界范围的经济危机，导致经济数据的不可靠性大大增加，历史数据变得用处不太大。2009年的数据变得极为不合理，从而导致数据的偏差性很高。

4 总结与归纳

从我们的试验来看，各种神经网络的确可以对未来进行预测，但是精度多高却有一些问题，从我们的试验来看BP神经网络的数据要比RBF神经网络的数据要好，但是也只在一定范围内 ，四种检测方法，只有一种数据还略微能够接受。神经网络预测仍然需要不断的完善。

参考文献：

[1] 张德丰.Matlab神经网络应用设计[M].北京:机械工业出版社,2009.

[2] 高隽.人工神经网络原理及仿真实例[M].2版.北京:机械工业出版社,2007.

[3] 韩力群.人工神经网络理论、设计与应用[M].2版.北京:化学工业出版社,2007.

第3篇：训练神经网络的方法范文

[关键词] 光伏系统；发电量预测；模糊神经网络

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 13. 077

[中图分类号] TM615 [文献标识码] A [文章编号] 1673 - 0194（2017）13- 0180- 04

0 引 言

目前光伏发电量预测的方法主要有神经网络法、灰色预测法、多元线性分析法这三种方法，通过对这三种预测模型进行比较，发现多元线性回归和灰色理论虽然方法较为简单，但是预测误差也较大，而神经网络法预测则可以比较准确但是预测过程较为繁杂。在基于神经网络的预测中，多是以传统的BP神经网络为基础模型，在此基础上采用一些新的方法对BP网络加以改进。例如在BP网络的学习过程中采用Fletcher-Reeves共轭梯度算法，可以提高学习率，部分地简化了预测过程，但输入量过多，且预测的局限性较大。

在对比了众多方法的优缺点之后，发现BP神经网络普遍存在中间隐层数难以确定、输入数据量过多，且学习时间过长等劣势。因此本文提出了一种基于模糊神经网络的预测模型，所选取的输入量是和当天的发电量相关程度比较大的当天的平均气温以及当天的总日照量，模糊神经网络的结构是由大量的先验知识而设计出来的。在不影响预测精度的情况下，为了降低整个网络的复杂程度，对整个网络的模糊化层中的隶属度函数及去模糊化层的输出函数都做了适当的变化，解决了传统神经网络收敛速度慢的问题，从而使整个神经网络结构简洁，训练速度较快，且预测精度较高。

1 模糊神经网络

模糊神经网络是在神经网络和模糊系统的基础上发展起来的，在模糊神经网络出现之前，神经网络与模糊系统都已有了多年的研究历史，都有着较完备的理论基础。

模糊神经网络是一种将模糊逻辑推理的知识性结构和神经网络的自学习能力结合起来的一种局部逼近网络，融合弥补了神经网络在数据处理方面的不足和模糊逻辑在学习方面的缺陷，是一个集语言计算、逻辑推理、分布式处理和非线性动力学过程为一身的系统。因此，它具有处理不确定信息的模糊推理能力和依据样本数据进行学习的能力。模糊神经网络主要利用神经网络结构来实现模糊推理，从而使神经网络的权值具有在模糊逻辑中推理参数的物理意义。

常见的模糊神经网络有基于Mamdani推理的和基于Takgai-Sugeno推理的这两种模糊神经网络。基于Mamdani推理的模糊神经网络多用于模糊逻辑控制器、模糊逻辑决策系统、模糊逻辑辨识系统等方面；基于Takgai-Sugeno推理的模糊神经网络则是一种非线性模型，宜于表达复杂系统的动态特性。光伏系统的发电量由于受日照量、温度、湿度、材料转换率等多方面因素的影响，因此，光伏系统的输出是一个不稳定的非线性变化的动态工程，所以本文所采用的就是基于Takgai-Sugeno推理的模糊神经网络（简称TS模糊神经网络）。

2 TS模糊神经网络

2.1 TS模糊逻辑

在TS模糊逻辑系统中，模糊规则有着如下的特殊形式：

R（1）：if x1 is F1l，…，if xnis Fnl then

y l=P0l+P1lx1+…+Pnlxn

3 预测模型的建立

3.1 输入量的确定

光伏电池之所以能发电，是由于当阳光照射到半导体材料的太阳能电池板上时，光能被吸收在太阳能电池内，并且产生电子（-）和空穴（+），而负价的电子多向n型聚集，正价的空穴多向p型聚集，因此，将太阳能电池的正面和背面接上电极与灯泡等负荷连接，就能产生流。因此，日照量是影响光伏发电发电量的重要因素之一，所以日照量应作为输入量之一。此外光伏发电的发电量还受温度、湿度、安装角度、材料转换率等众多因素的影响，在这众多因素中，温度对光伏发电量的影响是较大的，因此将温度作为另一个输入量输入到预测模型中。

本文的输入量为日照量与温度组成的一个2×1的列向量，因为本文所预测的是晴天一整日的发电量（单位kW・h/日），因此，日照量取一整日的日照量（单位kW・h/日），温度取一整日的平均温度（单位℃）。若输入向量用x表示，一整天的日照量用h表示，温度用t表示，则输入量可表示为下面的形式：

x=[h，t]T

3.2 TS型模糊神经网络结构与初始参数的确定

本文是针对全年晴天的当天发电量做出预测的，所以按季节划分将全年的数据划分成了春、夏、冬，由于秋天的日照量与温度和春天的接近，所以在本文中并没有单独列出秋季，而是只按春、夏、冬三季的数据来建模预测。

由已有的先验知识，可将数据按照春、夏、冬三季进行划分，所以模糊神经网络的规则层的隐层节点数也就为三，由于规则层已经确定，故可以知道模糊化层与去模糊化层的隐层节点数均为三个，因此可知本文的模糊神经网络的预测模型结构如图2所示。

3.3 TS型模糊神经网络学习算法

设有输入、输出样本为{（xl，dl），l=1，2，…，L}，在这里L表示训练样本的数量，为输入向量，在本文中表示由当天日照量与当天平均温度组成的一个2×1的列向量。将网络误差E设为：

E=■（yl-dl）2-||y-d|22

其中，y=[y1，y2，…，yL]T，表示神经网络的实际输出；d=[d1，d2，…dL]T，表示神经网络的期望输出；||.|2表示向量的2范数。

本文中，在不影响结果的前提下，为了降低神经网络学习算法的复杂度，故将隶属度函数变为：

ωij=exp-■（bij（xil-cij））2

将神经网络的输出函数变为：

yl =■ωij=（p0j+p1jx1l+…+pnjxnl）

因为本文是在MATLAB中进行编程预测，所以将各种数据都表示成矩阵的形式，通过对矩阵的处理，使模糊神经网络的理解难度和操作难度都大大降低，因此，规定X=[x1，x2，…，xL]表示输入样本组成的n×L维矩阵；Ω=[ω1，ω2，…，ωL]表示输入样本X的隶属度函数值ωl j所组成的m×L维矩阵；P=[p0，p1，…，pn]表示线性系数pi j所组成的m×（n+1）维矩阵；C=[c1，c2，…，cm]表示中心ci j所组成的n×m维矩阵；B=[b1，b2，…，bm]表示中心宽度bi j所组成的n×m维矩阵。

在训练神经网络时，首先计算隶属度函数值ωl j所组成的矩阵Ω=[ω1，ω2，…，ωL]，在此基础上计算神经网络的输出y及相应的误差E；然后计算误差E对系数矩阵P，B，C的偏导数，根据梯度下降法更新P，B，C；最后利用P，B，C来更新Ω，E等参数。如果未达到退出条件，则继续迭代，达到了，则退出整个迭代过程，最终，就可以完成整个模糊神经网络的训练。在MATLAB中矩阵P和B的初始值可以由normrnd函数随机生成，而矩阵C则可以由kmeans函数得到相应的初始聚类中心，通过训练数据的学习过程，得到一个符合要求的模糊神经网络。

4 预测模型的训练与结果分析

为了使模糊神经网络的训练有较高的精度，需要大量的数据对模型进行评估训练，本次模拟采用了120组数据进行预测，其中90组作为训练样本，30组作为测试样本，所用的数据均是随机模拟5kW光伏逆变器日发电量数据， 在训练过程中，共取了90组数据来训练，因此L=90；而规则数共有3条，因此这里m=3；而输入的是有温度与日照量组成的两行一列的列向量，因此n=2；为了使训练结果更加精确化，这里O置的最大迭代步数为1 000，迭代步长为0.001，图3是训练预测结果与实际结果的折线图。

在图中，实线表示预测输出，用“+”表示实际输出，而用虚线表示实际输出与预测输出之间的差值，从图中可以明显看出训练好的模糊神经网络符合要求。随后，再将用于测试的数据带入已训练好的模糊神经网络中，结果如图4所示。

图4是用于测试的数据的实际输出与预测输出的比较，“+”表示实际输出，实线表示预测输出，虚线表示实际输出与预测输出的差值。从预测的结果来看，相较于传统的预测方法来说，本文所提出的模糊神经网络的预测方法，不论是在预测精度上还是在训练收敛速度上，都有一定程度的提高，虽说本文的原始数据并非实测数据，但是本文所用的数据皆是参考了大量资料之后拟合出的数据，所以有实际参考价值。

5 结 语

为了提高光伏并网系统的稳定性与安全性，本文提出了一种基于模糊神经网络的电量预测模型。根据光伏系统的发电原理与大量的研究资料，确定了以每一天的日照量与平均温度为整个系统的输入量，来对这一整天的光伏系统的发电量做出预测，并且根据已有的先验知识与相关理论，确定了本文所用的模糊神经网络的结构。再通过拟合的符合实际的数据来训练整个模型，最后通过一组测试数据来测试本预测模型是否达到要求。实验结果表明，本模型能较为准确地预测出光伏发电系统一整天的发电量，具有一定的工程应用价值。

主要参考文献

第4篇：训练神经网络的方法范文

［关键词］BP神经网络农业工程农业管理农业决策

一、引言

采用神经网络算法的信息处理技术，以其较强的计算性和学习性，现如今已经在各工程领域内得到了广泛应用。随着科技不断的发展和研究的不断深入，农业系统中采用的传统分析和管理的方法已经不能满足农业工程领域快速发展的需要。在农业系统中采用神经网络技术可在一定程度上可弥补传统方法的不足，现已成为实现农业现代化的一个重要途径。神经网络现已在农业生产的各个环节得到广泛的应用，从作物营养控制、作物疾病诊断、产量预测到产品分级，显示了巨大的潜力，并正以很快的速度与生产实际相结合。目前应用比较多的BP神经网络，可通过学习以任意精度逼近任何连续映射，在农业生产与科研中展示出了广阔的应用前景。

BP人工神经网络方法。人工神经网络是对生物神经网络的简化和模拟的一种信息处理系统，具有很强的信息存贮能力和计算能力，属于一种非经典的数值算法。通常可分为前向神经网络、反馈神经网络和自组织映射神经网络。BP神经网络(Backpropugation Neura1 Network)是一种单向传播的多层前向神经网络，可通过连续不断的在相对于误差函数斜率下降的方向上计算网络权值以及偏差的变化而逐渐逼近目标值，每一次数字和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层，从而实现了神经网络的学习过程。BP人工神经网络的结构如图所示，BP神经网络可分为输入层、中间层(隐含层)和输出层，其中输入和输出都只有一层，中间层可有一层或多层。同层的网络结点之间没有连接。每个网络结点表示一个神经元，其传递函数通常采用Sigmoid型函数。BP神经网络相当于从输入到输出的高度非线性映射，对于样本输入和输出，可以认为存在某一映射函数g，使得y0=g(xi)，i＝1，2，3，…，m，其中m为样本数，xi为输入样本，yo为输出结果。

BP神经网络的一个显著优点就是其可进行自学习，能够通过训练得到预期的效果。其学习过程由正向传播和反向传播组成，神经网络的输入值经过非线性变换从输入层经隐含层神经元的逐层处理传向输出层，此为正向传播过程。每一层神经元的状态将影响到下一层神经元状态。如果输出层得到的数值与期望输出有一定的偏差，则转入反向传播过程。神经网络通过对输入值和希望的输出值(教师值)进行比较，根据两者之间的差的函数来调整神经网络的各层的连接权值和各个神经元的阈值，最终使误差函数达到最小。其调整的过程是由后向前进行的，称为误差反向传播BP算法。具体学习过程如下：

（1)随机给各个权值赋一个初始权值，要求各个权值互不相等，且均为较小的非零数。

（2)输入样本集中每一个样本值，确定相应的网络实际输出值。

（3)计算实际的输出值与相应的样本集中的相应输出值的差值。

（4)按极小误差方式调整权值矩阵。

（5)判断网络误差是否小于训练前人为设定的一个较小的值，若小于，则跳出运算，此时的结果为神经网络的最终训练结果；若大于，则继续计算。

（6）判断最大迭代次数是否大于预先设定的数，若小于，返回（2）;若大于，则中止运算，其结果为神经网络的最终训练结果。

上述的计算过程循环进行，直到完成给定的训练次数或达到设定的误差终止值。

二、BP神经网络在农业工程领域中的应用

1.在农业生产管理与农业决策中的应用

农业生产管理受地域、环境、季节等影响较大，用产生式规则完整描述实际系统，可能会因组合规则过多而无法实现。神经网络的一个显著的优点就是其具有较强的自学习、自适应、自组织能力，通过对有代表性的样本的学习可以掌握学习对象的内在规律，从而可以在一定程度上克服上述信息量大的问题。神经网络在农业生产管理方面可用于农作物生长过程中对农作物生长需求进行预测，从而通过对养分、水分、温度、以及PH值的优化控制达到最优的生长状况。采用神经网络预测算法的主要思想可描述为：（1）收集一定规模的样本集，采用BP算法进行训练，使网络收敛到预定的精度；（2）将网络权值矩阵保存到一存储介质中，例如文本文件或数据库中；（3）对于待预测数据的输入部分，从存储介质中读出网络连接权值矩阵，然后通过BP神经网络的前向传播算法计算网络输出，输出结果既是预测出来的数值向量。如霍再林等针对油葵不同阶段的相对土壤含盐浓度对其产量的影响有一定的规律的现象，以油葵的6个成长阶段的土壤溶液含盐的相对浓度为输入样本，相对产量为输出样本，通过比较发现，训练后的神经网络能较好预测油葵产量，采用此方法可补充传统模型的不足，为今后进一步的研究开辟了新路。

在农业决策方面，主要将农业专家面对各种问题时所采取的方法的经验，作为神经网络的学习样本，从而采用神经网络建立的专家系统将从一定程度上弥补了传统方法的不足，将农业决策智能化。如何勇、宋海燕针对传统专家系统自学习能力差的缺点，利用神经网络可自我训练的优点，将神经网络引入专家系统中。将小麦缺素时的田间宏观表现，叶部、茎部、果实症状及引起缺素的原因这五个方面的可信度值作为神经网络的输入量，将农业专家诊断的结论作为输出量，将这些数据作为神经网络的训练数据。实际应用表明此系统自动诊断的结果与专家现场诊断的结果基本一致，从而采用该系统能够取代专家，实现作物的自我诊断，为农业管理方面提供了极大的帮助。如马成林等针对于传统施肥决策方法中非线性关系描述不足的问题，基于数据包分析和BP神经网络，建立了施肥决策模型，应用表明，在有限的范围内，模型预测结果较为合理，可以反映玉米的需肥特性。刘铖等人提出采用神经网络应用在农业生产决策中，以莜麦播种方式决策为例，通过对产生式规则的分析导出神经网络输入、输出单元数，并通过多次试验确定隐层单元数，用MATLAB方针结果表明，采用神经网络作为农业生产决策的方法，取得了较好的效果。谭宗琨提出将基于互联网环境下的神经网络应用在玉米智能农业专家系统中，根据农作物发育进程分成若干个发育期，分别对各个发育期建立管理模型，依照作物各发育期进程时间间隔，由计算机系统自动选取相应的模型进行决策。应用分析的结果表明采用神经网络的玉米智能专家系统已初步接近农业生产的实际。

2.在农产品外观分析和品质评判

农产品的外观，如形状、大小、色泽等在生产过程中是不断变化的，并且受人为和自然等复杂因素的影响较大。农产品的外观直接影响到农产品的销售，研究出农作物外观受人为和自然的影响因素，通过神经网络进行生产预测，可解决农产品由于不良外观而造成的损失。如Murase 等针对西红柿表皮破裂的现象，西红柿表皮应力的增长与西红柿果肉靠近表皮部分水分的增加有关，当表皮应力超过最大表皮强度时，将导致表皮破裂。用人工神经网络系统，预测在环境温度下的表皮应力，可通过控制环境变量来减少西红柿表皮破裂所造成的损失。

在农业科研和生产中，农产品的品质评判大多是依赖于对农产品外观的辨识。例如对果形尺寸和颜色等外观判别果实的成熟度，作物与杂草的辨别，种子的外观质量检测。由于农业环境的复杂性和生物的多样性，农产品的外观不具有较确定的规律性和可描述性，单一采用图像处理技术辨识农产品的外观时不宜过多采取失真处理和变换，否则则增加图像处理的复杂性，特征判别也相对困难。人工神经网络由于其具有自学习、自组织的能力，比较适宜解决农业领域中许多难以用常规数学方法表达的复杂问题，与图像处理技术相结合后，可根据图像特征进行选择性判别。采用此方法可以部分替代人工识别的工作，提高了生产效率，也有利于实现农业现代化。如Liao等将玉米籽粒图像用34个特征参数作为神经网络的输入变量，将输出的种粒形态分为5类，经过学习的神经网络对完整籽粒分类的准确率达到93％，破籽粒分类的准确率达91％。

3.蔬菜、果实、谷物等农产品的分级和鉴定

在农业生产中，蔬菜、果实、谷物等农产品的分级和鉴定是通过对农产品外观的辨识进行的。传统的农产品外观的辨识方法费时费力、预测可靠度很低，而且多采用人工操作，评价受到操作者主观因素的影响，评判的精度难以保证。利用人工神经网络技术结合图像处理技术可部分代替以往这些主要依靠人工识别的工作，从而大大提高生产效率，实现农业生产与管理的自动化和智能化。

利用BP神经网络技术对农产品果形尺寸和颜色等外观评判，目前国内外已有不少成果用于实际生产中。何东健等以计算机视觉技术进行果实颜色自动分级为目的，研究了用人工神经网络进行颜色分级的方法。分别用120个着色不同的红星和红富士苹果作为训练样本集对网络进行离线训练。两个品种的苹果先由人工依据标准按着色度分成4级，对每一个品种分别求出7个模式特征值作为BP网络的输入，用训练好的神经网络进行分级。结果表明红富士和红星果实的平均分级一致率分别为94.2％和94.4％。刘禾等用对称特征、长宽特征、宽度特征、比值特征等一系列特征值来描述果形。采用BP网络与人工智能相结合，建立果形判别人工神经网络专家系统。试验水果品种为富士和国光。试验表明系统对富士学习率为80％，对非学习样本的富士苹果的果形判别推确率为75％，系统对国光学习率为89％，对非学习样本的国光苹果果形判别系统的难确率为82％。

三、未来的发展方向

人工神经网络的信息处理技术现已在农业工程领域内得到了迅速的应用，采用人工神经网络算法的农业系统能够从一定程度上改善控制效果，但此技术在农业范围内还不够成熟，有待于进一步的研究。今后科研的方向大体上可以从以下几方面着手：

1.人工神经网络算法的改进

人工神经网络算法由于本身具有一定的缺点，从而采用人工神经网络的算法的信息处理技术在应用过程中具有一定的局限性。在今后的研究中，可以从人工神经网络方向着手，改进人工神经网络算法，从而实现其在农业领域内更好的应用。近年来随着模糊算法、蚁群算法等算法的相继出现，将神经网络与其他算法结合在一起已经成为了研究的热门话题，也是未来算法研究的主要方向之一。

2.应用领域的扩展

人工神经网络算法在农业工程方面现已得到了迅速的发展，扩展其在农业工程领域的应用范围是未来的一个主要研究方向。人工神经网络由于其具有自学习能力，可对农业系统的非线形特性进行较好的描述，采用人工神经网络可解决传统方法的不足，从而实现农业现代化。如何将神经网络较好地引入到农业系统，解决农业工程中的部分问题，已是今后农业科研中的一个方向。

四、结束语

神经网络作为一种人工智能范畴的计算方法，具有良好的自学习与数学计算的能力，可通过计算机程序进行模拟运算，现已广泛用于模式识别、管理决策等方面。随着计算机硬件和软件的不断发展与农业工程方面的研究的不断深入，神经网络将在农业管理、农业决策、农作物外观分类、品质评判等方面充分发挥其自学习能力强，计算能力强的优势，通过对样本数据的学习，神经网络可较好地解决农作物生长过程中的作物分类、预测等非线形的问题。在农业工程领域内，神经网络拥有广阔的科研前景。

参考文献:

[1]余英林李海洲:神经网络与信号分析[M]. 广州: 华南理工大学出版社,1996:45

[2]霍再林史海滨孔东等: 基于人工神经网络的作物水―盐响应初步研究[J].内蒙古农业大学学报，2003，24（3）：66～70

[3]何勇宋海燕:基于神经网络的作物营养诊断专家系统[J]. 农业工程学报,2005,21（1）:110～113

[4]马成林吴才聪张书慧等:基与数据包络分析和人工神经网络的变量施肥决策方法研究[J].农业工程学报,2006，20（2）:152～155

[5]刘铖杨盘洪: 莜麦播种方式决策的BP神经网络模型[J]. 太原理工大学学报，2006,37(5):119～121

[6]谭宗琨: BP人工神经网络在玉米智能农业专家系统中的应用[J].农业网络信息，2004(10):9～1

[7]Liao K,Li Z,Reid J F,et al.Knoledge-based color discrimination of corn kernels[J].ASAE paper[C].92～3579

第5篇：训练神经网络的方法范文

关键词：图像复原 BP神经网络 Hopfield神经网络 应用

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2013）11-0040-02

1 引言

图像复原是一项富有现实意义的工作，它涉及到广泛的技术领域，是图像处理领域研究的焦点之一。在得到图像的过程中，由于各种各样的原因，包括与观测对象的相对运动、介质散射、成像系统缺陷和环境噪声等原因，使得最终的图像都会有一定程度的退化。图像复原就是从退化的图像中恢复图像的本来面目。传统的图像复原处理问题的关键在于建立退化模型，估计退化过程中的参数，由此通过相应的逆过程得到原始图像。获得准确的图像退化模型是比较困难的事情。大多数图像复原的实际问题是点扩展函数以及原始图像均未知的盲复原问题，这类问题具有更严重的病态性因而进一步增加了解决的难度。人工神经网络（Artificial Neural Network，ANN）为图像复原问题的解决提供了另外一条路径，这是基于人工神经网络具有的模拟人类神经的非线性、自组织、自学习、自适应特性。一般而言，人工神经网络适合于解决无法或很难精确建立数学模型、不完全清楚内部机理的问题，人工神经网络的很多特性适合解决图像复原问题。近些年来，对人工神经网络应用于图像复原的研究越来越多，形成了很多丰富的神经网络模型和算法。BP（Back Propagation反向传播）和Hopfield（霍普菲尔德）是典型的人工神经网络类型，也是在图像复原领域应用较多的神经网络类型。

2 BP神经网络在图像复原中的应用

2.1 BP神经网络的特性

BP神经网络是上世纪80年代美国加州大学的Rumelhart、McClelland及其团队研究并行分布信息处理时提出的采用反向传播算法的多层前馈网络。BP神经网络具有良好的泛化能力，其隐层的非线性传递函数神经元可以学习输入输出之间的线性或非线性关系。在1989年，RobertHecht-Nielson证明了对于任何一个在闭区间内连续的函数都可以由具有一个隐含层的BP网络来逼近，这样，一个三层（输入层、隐层和输出层）的BP神经网络即能完成对多维度函数的逼近。这些特性，使得选用BP神经网络简单地实现在未知点扩展函数的情况下，拟合原始图像与退化图像之间的关系，从而得到满意的图像复原结果成为可能。

2.2 BP神经网络应用于图像复原

BP神经网络用退化图像与相对应的原始图像进行训练，退化图像为网络的输入，原始图像为网络的输出。训练完成的神经网络会在退化图像与原始图像之间建立非线性的映射关系，使得利用这种非线性关系即可实现在只有退化图像的情况下对齐进行复原。

利用BP神经网络进行图像复原，一般用输入图像的N×N邻域内的N2个像素点对应输出图像的一个像素点。这样的对应方法会使整个运算量增大，但正由于参与运算的像素点增加，使得网络具有更好的泛化和鲁棒能力。由于三层BP神经网络可以任意精度逼近某一多维度函数，因而其应用于图像复原时使用三层网络结构。输入层和输入层节点数分别由输入图像像素数量和输出图像像素数量决定，隐层节点数量和训练方法在很大程度上决定了网络性能。

为了便于网络计算，通过神经网络计算前通常将输入图像进行归一化。以灰度图像为例，将图像数据[0～255]转换到[-1～1]或[0～1]。图像经过神经网络复原后还需进行反归一化转换，将计算得到的数据转换为图像数据，即将[-1～1]或[0～1]转换到[0～255]。

通常，运用BP网络进行图像复原算法流程包括：（1）图像的预处理，得到归一化的便于神经网络计算的数据；（2）使用退化图像与对应的原始图像（训练BP神经网络；（3）将待复原图像输入训练好的BP神经网络进行图像复原；（4）数据的后处理，将网络输出数据进行反归一化，得到复原图像。

3 Hopfield神经网络在图像复原中的应用

3.1 Hopfield神经网络的特性

不同于BP神经网络，Hopfield神经网络是一种单层反馈网络，信号在网络中不仅向前传递，还在神经元之间传递。图1是有三个神经元的Hopfield神经网络结构图。Hopfield神经网络由美国加州理工学院物理学家J·J·Hopfield在上世纪80年代提出，并首次在神经网络研究中引入了计算能量函数的概念，通过研究网络的稳定性与计算能量函数的相关性给出了网络的稳定性判据。J·J·Hopfield运用Hopfield神经网络成功地探讨了旅行商问题（TSP）的求解方法。HNN神经网络采用灌输式学习方式，其网络权值是事先按一定规则计算出来的，确定之后不再改变，各神经元的状态在运行过程中不断更新，网络稳定时各神经元的状态便是问题的解。Hopfield神经网络的这些自身特征使其适于应用于联想记忆和求解最优化问题。

3.2 Hopfield神经网络应用于图像复原

利用神经网络进行图像复原的方法分为两类：一种是用原始图像和模糊图像构成的样本训练神经网络，在训练好的网络中建立起原始图像与模糊图像的非线性映射关系，然后以带复原的模糊图像作为网络的输入，经过网络输出的图像数据就是经过复原的图像，BP神经网络就是运用这种方法进行图像复原的典型神经网络。另一种是经过神经网络反复的数学迭代计算复原，运用Hopfield神经网络进行图像复原属于这类方法。

其中是神经网络的状态向量，为网络的权值矩阵，为由网络中各神经元阈值构成的向量。Hopfield神经网络的运行结果即网络达到稳定状态就是达到最小值时的状态。由式（4）和（5）可以看出图像复原的目标函数与Hopfield神经网络能量函数具有相似的表达形式，因而可以建立两者之间的联系，从而将图像复原问题转变为神经网络的运算问题，这也就是Hopfield神经网络应用于图像复原的基本原理。

运用Hopfield神经网络解决图像复原问题首先要确定网络的权值矩阵。可以按照Hebb学习规则得出[4]。完成网络初始化后，将退化图像输入网络，从网络中选取一个神经元按照Hopfield神经网络的运算规则得出神经元的输出，将所有神经元求出输出后判断该网络是否达到稳定状态，即计算前后的网络能量函数的误差是否小于要求的范围。如果网络不稳定，需要重复迭代计算；网络达到稳定状态时，神经网络的状态向量就是要求的原始图像。经过一定的后处理就能得到具有一定精度的原始图像。

4 结语

人工神经网络在图像复原问题中的应用已经扩展到了很多方面，包括三维显微图像、高能闪光照相等领域[5-6]。神经网络在图像复原中的应用机理也不断得到深入研究。这些得益于神经网络算法不依赖求解问题本身数学模型的特点，以及自身强大的泛化能力。BP和Hopfield神经网络都能成功地运用在图像复原问题中，在选用神经网络进行图像复原研究时要注意到BP神经网络强烈地依赖退化图像与原始图像构成的样本集合对网络进行训练，这就要求得到足够的先验知识或者通过某种算法得到退化图像与原始图像相对应的样本群。Hopfield神经网络不依赖于退化图像与原始图像的先验知识，可以直接针对退化图像进行复原。这就需要根据不同的实际情况选取合适的网络类型来解决问题。

参考文献

[1]尚钢，钟珞，陈立耀.神经网络结构与参数选取[J].武汉工业大学学报，1997，19（2）.

[2]王晗.基于Hopfield神经网络的图像恢复[D].武汉：华中科技大学南京理工大学，2006年4月.

[3]席旭刚，罗志增.用Hopfield神经网络实现触觉图像恢复[J].仪器仪表学报，2008，30（10）.

[4] Bianchini M，Frasconi P.Learning without local minima in radial basis function networks[J].IEEE Transaction on Neural Networks，1995，6（3）：749～756.

第6篇：训练神经网络的方法范文

关键词：人工神经网络；电力变压器；故障诊断

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）32-0174-03

1引言

电力变压器在长期的运行中，故障是不可避免的。变压器一旦损坏会造成大面积停电且故障修复耗时长，因此变压器故障的及早发现和处理具有非常重要的意义。

电力变压器的故障一般有机械故障、热性故障和电性故障，由于机械故障一般都以热性故障和电性故障的形式体现，因此主要以热性故障和电性故障为主。热性故障一般为中低温过热和高温过热，电性故障一般为低能放电和高能放电。传统的变压器故障诊断方法存在着效率偏低以及诊断准确率不高的问题，因此我们可以利用人工神经网络的方法对电力变压器的故障进行自动诊断。

2人工神经网络

2.1 人工神经网络概述

人工神经网络（ANNs）是对人脑或生物神经网络若干基本特性的抽象和模拟。

依靠系统的复杂程度，ANNs可通过调整内部大量节点之间相互连接的关系，进而对有效信息进行可靠处理。而BP神经网络通常是指基于误差反向传播（Back Propagation）算法的多层前向神经网络， 不仅能对输入-输出模式映射关系进行学习和存储，而且对描述此种映射关系的数学方程不需要事前揭示。最速下降法为BP神经网络的学习规则，通过反向传播来持续调整网络的权值和阈值，使其误差平方和最小。

本文采用BP神经网络的三层前馈结构，分别为（input）、隐含层（hide layer）和输出层（output layer）。输入层的节点数为5（对应电力变压器油中气体H2、CH4、C2H4、C2H2、C2H6），输出层则有5个节点（对应无故障，中低温过热，高温过热，低能放电，高能放电），隐含层的节点数根据经验公式确定：

其中，r为隐层的节点数，n为输入的节点数，m为输出的节点数，a则为1～10之间的常数。经试验，本文r取13。各层间神经元相互连接，且各层内没有连接。如图1所示：

BP神经网络的训练首先对每一层的权值和偏差进行初始化（用小的随机数），以免被大的加权输入饱和，并且需对一些参数进行设定及初始化（期望的误差最小值、最大循环次数、修正权值的学习效率）；第二步需要对网络各层输出矢量及网络误差进行计算；第三步需要对各层反向传播的误差变化、各层权层的修正值及新的权值进行计算，最后需要对权值修正后的误差平方和进行计算，若符合要求则训练完成，若不符合要求则继续。

2.2电力变压器故障诊断的BP神经网络设计

2.2.1样本数据的定义

电力变压器的故障主要体现为中低温过热、高温过热、低能放电和高能放电。电力变压器的故障数据一共为70组，其中样本集数据为50组，测试集数据为20组，且分别定义样本数据如下：

无故障，记为10000；

中低温过热，记为01000；

高温过热，记为00100；

低能放电，记为00010；

高能放电，记为00001。

2.2.2样本数据的预处理

为提高神经网络的训练效率，本论文对数据进行了标准化处理，使其落入[-1，1]区间；并且对输入样本集数据进行了主元分析，以减小各样本矢量的相关性，从而达到降维的目的。

2.2.3 BP神经网络设计参数设置

MATLAB中，BP神经网络设计需要定义有关参数：训练步数、显示训练结果的间隔步数、训练目标误差、训练允许时间和训练中最小允许梯度值等，最终可返回训练后的权值、循环训练的总数和最终误差。神经网络对象的一些主要训练参数及含义如表1所示。

2.2.4 BP神经网络验证

表2列出了20组测试集数据，最后一列为网络期望输出，对应变压器的实际故障类型。

由电力变压器故障诊断的误差变化曲线可知：在使用BP神经网络法对网络进行训练时，网络只训练了112步，速度非常的快。网络的训练均方误差此时已经达到目标误差0.01的数量级，因此该网络可用。对样本集数据进行训练后，我们可得到一个相关的BP神经网络模型，再用测试集数据对改模型进行验证，验证结果如表3所示。（注：图中*号表示该BP神经网络模型诊断错误的数据组）

由以上BP神经网络自动诊断结果可以得知：电力变压器故障诊断正确的个数为18个，故诊断正确率为90%左右。

3 结论

本文应用人工神经网络的方法对电力变压器的故障进行了自动诊断，诊断正确率可达90%。随着计算机技术和人工智能技术的发展，利用人工神经网络进行变压器的故障诊断有利于有效地实现对故障的综合诊断，从而提高故障诊断的准确性，可靠性和诊断效率，为变压器故障诊断技术的发展拓展新的途径。

参考文献：

[1] 张铮，徐超，任淑霞，等.数字图像处理与机器视觉――Visual C++与Matlab实现[M].北京：人民邮电出版社，2014.

[2] 马锐.人工神经网络原理[M].北京：机械工业出版社，2010.

[3] 郭磊，董秀成.BP神经网络在变压器故障诊断中的应用[J] .西华大学学报，2008（5）：10-13.

[4] 殷跃.基于BP神经网络的电力变压器故障诊断的研究[D].吉林：吉林大学通信工程学院，2007.

[5] 王连成.基于神经网络的DGA法在变压器故障诊断中的应用研究[D].黑龙江：哈尔滨工业大学电气工程及自动化学院，2009.

[6] 李霖.基于BP神经网络的变压器故障诊断方法研究[D].湖南：长沙理工大学电气与信息工程学院，2013.

[7] 曾成碧，蒲维，曾先锋.BP神经网络在油浸式变压器过热性故障诊断中的应用[J]. 四川电力技术，2012（4）：60-63.

[8] 陈小玉.改进的神经网络在变压器故障诊断中的应用[J].计算机仿真，2012（8）：318-321.

[9] 宋彩利， 吴宏岐.神经网络在变压器故障诊断中的应用研究[J].微计算机信息，2008（34）：155-157.

第7篇：训练神经网络的方法范文

关键词：汇率预测 非线性 神经网络

一、神经网络模型

关于神经网络，学界尚无一个严格统一的定义，一般来说，人工神经网络就是基于模仿生物大脑的结构和功能，由许多简单的并行工作的处理单元组成的，采用数学和物理方法进行研究而构成的一种信息处理系统或计算机，该系统是依据对外部输入信息的动态响应来处理信息的。人工神经网络已经完全不同于一般计算机的串行工作方式，其操作既不是串行的，也不是预先设定操作程序的，其基础是训练而非优化，目的是寻找到一个最优的权重集合使输出结果与实际最接近。

本文选用反馈型神经网络中的Elman网络模型进行汇率预测。反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多，拥有比前馈型神经网络更强的计算能力，其突出优点是具有很强的联想记忆和优化计算功能。

Elman网络的非线性状态空间表达式为：

其中，u表示r维输入向量，x表示n维隐藏层节点单元向量，xc表示 维反馈状态向量，y表示m维输出节点向量。ω1、ω2、ω3分别表示输入层到隐藏层、连接层到隐藏层、隐藏层到输出层的连接权值。G（・）为输出神经元函数，F（・）是隐藏层输出的线性组合。 为隐藏层神经元的传递函数，即激活函数，一般采用Sigmoid函数。

二、数据选择与处理

本文选择从2003年1月2日到2013年12月31日这11年的欧元兑美元汇率日平均价格数据，样本数均为2759，利用Matlab软件进行分析。

为了使数据在模型训练过程中更好地收敛，在进行网络训练之前，首先对汇率数据进行归一化处理，使得汇率波动处在0到1之间，归一化公式为，

其中，ut表示t期归一化日汇率，pt表示t期汇率价格，pmin表示汇率样本集中的最小值，pmax表示汇率样本集中的最大值，结果如图1所示。

图1

网络训练完成后需要进行样本外预测，为了度量预测效果，需要选择性能指标对神经网络的预测性能进行检测，本文选择均方根误差（RMSE）。

其中，Y为模型预测所得数据，T为目标数据，N为数据量。

三、实证分析

本文用试凑法选择Elman神经网络的滞后期数，也就是决定了模型的输入层和隐藏层神经元数，用Matlab检测，用不同数量的输入变量训练网络，以达到预期误差为目标，欧元兑美元汇率最优滞后期数可以为3、5、8、10，分别用Elman（3）、Elman（5）、Elman（8）、Elman（10）表示。

本文选择RMSE、MAE指标来检测Elman模型对汇率波动的样本内预测效果，计算结果如下表1所示，

欧元兑美元 RMSE

Elman（3） 0.0070

Elman（5） 0.0087

Elman（8） 0.0025

Elman（10） 0.0040

表1欧元兑美元汇率Elman模型样本内预测检验

RMSE和MAE两个指标用来比较各个模型样本内预测能力，指标值越小说明神经网络对样本内数据的拟合能力及预测效果越好。观察表1， 滞后期数为8阶时，Elman网络对欧元兑美元汇率序列样本内预测的RMSE最小，因此滞后期数为8阶时Elman模型对欧元兑美元汇率序列的样本内预测效果最好。

为了更直观地了解不同滞后期数的Elman模型对货币汇率时间序列的样本内拟合及预测情况，下图2给出了不同滞后期数的Elman神经网络对欧元汇率时间序列样本集合进行预测的误差结果。

图2欧元兑美元汇率时间序列样本内训练预测标准差

本文发现Elman（10）比其他三个模型拥有更好的样本内拟合能力。直观上来看，两条曲线重合效果越好说明模型拟合能力越强。显然，10阶滞后的Elman神经网络对欧元汇率的拟合能力更好。

根据图2，本文发现Elman（8）的样本内预测能力优于其他，且Elman（10）的绝对误差和标准差波动幅度均大于其他。证明对于神经网络模型来说，拥有更多的外部输入信息并不一定可以改善模型训练效果。原因是训练过程中存在过拟合的现象。

欧元兑美元 RMSE

Elman（3） 0.0121

Elman（5） 0.0126

Elman（8） 0.0108

Elman（10） 0.0111

表2欧元兑美元汇率样本外预测检验

由表2中结果可以看出，与样本内预测一样，神经网络模型预测效果均随着阶数变化而改变，证明高阶的神经网络模型比低阶神经网络模型预测效果更好。随着网络阶数改变，本文发现在四个不同阶数的Elman神经网络中Elman（8）在RMSE指标上的表现均优于其他三组训练结果。

为了更直观地了解两个模型对欧元汇率时间序列的样本外预测情况，下图3给出了不同阶数的Elman神经网络对汇率时间序列样本集合进行预测的误差结果。

图3欧元兑美元汇率样本外预测标准差

根据图3，根据样本外预测图的直观比较，以及标准差的波动幅度比较，Elman（8）的预测效果要优于另外三组预测结果。

四、结论

为了更好地提供汇率波动预测的有效工具，在分析了传统汇率预测研究中线性模型的局限性，并对欧元兑美元汇率时间序列进行了正态性和序列相关性检验等非线性检验的基础上，本文采用非线性方法中的神经网络模型对欧元汇率序列进行拟合及预测。本文构建了反馈型神经网络Elman模型，在实证研究中根据欧元汇率时间序列的特征估计出了影响神经网络模型预测能力的各关键参数，研究了Elman网络对汇率序列的样本内拟合及预测能力和样本外预测能力，得出的主要结论有：

1.Elman神经网络模型对4种汇率时间序列的样本内预测能力和样本外预测能力都可以达到较为准确的水平。

2.随着滞后阶数的改变，各神经网络对汇率序列样本内预测的RMSE和MAE两个指标均随之改变，并且随着模型输入层和隐藏层神经元数的增加，各神经网络模型的样本内预测能力大体上都增强了。

参考文献：

[1]张兴会，刘玲，陈增强，袁著祉. 应用Elman神经网络的混沌时间序列预测[J]. 华东理工大学学报， 2002，S1：30-33.

[2] 董晓娜，苏道磊，李希亮，曲利，张慧峰，吴晨. 基于粗糙集的BP神经网络在震例中的应用研究[J]. 地震研究，2012，02：251-259+296.

第8篇：训练神经网络的方法范文

关键词：短期负荷预测；神经网络；遗传算法

作者简介：黄国栋（1976-），男，广东阳江人，广东电网湛江供电局，工程师。（广东 湛江 524005）

中图分类号：TM714 文献标识码：A 文章编号：1007-0079（2014）06-0261-02

电力短期负荷预测是对未来一周以内（通常为一周或一天）的负荷进行预测。短期负荷预测在电网运行实时控制和发电规划中具有重要地位，短期负荷的预测结果是调度中心制定发电计划、电力系统运行安全评估、电力企业日常经营管理的重要依据。[1]在当前电力系统市场化形势下，提高负荷预测精度对于电力系统的经济运行、合理制定机组检修计划和进行电力需求管理等具有重要意义。

一、电力系统负荷变化的特点及预测方法

电力系统负荷变化受到很多因素的影响。一方面，负荷变化存在由未知不确定因素引起的随机波动；另一方面，具有周期变化的规律性，这也使得负荷曲线具有相似性；同时，由于受天气、节假日等特殊情况的影响，负荷变化又会体现出差异性。[2]整体上讲，负荷曲线是与很多因素相关而且难以用数学公式表达的非线性函数。

相对于早期的统计技术法和专家系统法，神经网络的优点在于它不依靠专家经验，只利用观察到的数据，可以在训练过程中通过学习来逼近任意的非线性输入/输出关系，因此，将神经网络方法应用于电力负荷预测有着明显的优势。但是，神经网络存在两个主要问题：收敛速度慢和容易陷入局部极小点。因此，本文采用遗传算法优化人工神经网络，建立电力短期负荷预测模型，并将结合广东省某城市的电力负荷的实际情况对预测方法进行探讨和研究。

二、人工神经网络模型

BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，神经网络模型中的所有神经元按照功能一般分成三层（输入层、隐含层和输出层），各层顺次连接。[3]其三层模型拓扑结构如图1所示。

BP算法的学习过程分为正向传播过程和反向传播过程两个阶段。

1.正向传播过程

输入信息从输入层经隐含层逐层计算各单元的实际输出值，各神经元的状态只对下一层神经元的状态产生影响。设BP网络的输入层有n1个节点，隐含层有n2个节点，输出层有n3个节点，输入为xi，输入层与隐含层之间的权值为wki，隐含层与输出层之间的权值为wjk；隐含层的阈值为bk，输出层的阈值为bj；隐含层的传递函数为f1（·），输出层的传递函数为f2（·）。则隐含层节点输出zk和输出层节点输出yj分别为：

k=1，2，……n2

（1）

j=1，2，……n3

（2）

2.反相传播过程

若网络实际输出值与期望值之差，即误差超出允许值，则逆向逐层修正连接权值。设BP网络有P个输入样本，采用平方型误差函数，于是得到全局误差为：

（3）

式中：为第p个样本的实际输出，为期望输出。

采用累计误差BP算法依次调整输出层权值wjk和隐含层权值wki误差使全局误差变小，即：

（4）

（5）

式中：η为学习率。

如此往复不断调整权值，直到使网络的误差满足要求。

三、遗传算法

1.遗传算法的基本原理

遗传算法（Genetic Algorithms，简称GA）是一种高度并行、自适应全局优化搜索方法。[4]它借鉴自然界遗传和选择机理，首先初始化一个种群，然后按照某种指标在每一代选取较优个体，利用遗传算子（选择、交叉和变异）对这些个体进行组合，产生新一代个体，重复此过程，直到满足优化准则为止。遗传算法是基于对生物遗传和进化过程的计算机模拟，它能使各种人工系统具有良好的自适应能力和优化能力。目前，遗传算法已经广泛应用于规划设计、组合优化、自适应控制、经济运行、模式识别、人工智能、分子生物学、故障诊断以及计算机技术等领域，并取得了很好的效果。

2.遗传算法的实现过程

（1）将问题的解以编码形式表示出来，并随机生成若干个体，即初始群体。

（2）译码，计算目标函数得出个体适应度值，判断是否满足停止条件。

（3）根据个体适应度值的高低，应用选择、交叉和突变算子进行遗传操作，产生下一代群体。

（4）返回步骤（2），反复执行，直到满足停止条件。最后，搜索到最优个体，即问题的最优解。[5]

3.遗传算法优化BP网络权值、阈值

由于遗传算法是以最大值作为优化目标，为适应神经网络算法的要求，将适应度函数取反，即变为以最小值为优化目标。遗传算法优化BP神经网络算法的步骤：

（1）构建BP网络，确定遗传算法个体长度。

（2）生成初始种群，确定种群规模。对遗传算法个体进行编码，编码由神经网络的输入层与隐含层的连接权值、隐含层阈值、隐含层与输出层的连接权值和输出层阈值四部分组成。

（3）根据个体得到BP网络的权值和阈值，应用训练数据训练，得到网络的输出。计算实际输出与期望输出的误差，并依据此误差计算个体适应度值。

（4）根据个体的适应度进行选优操作，选择若干适应度强的个体直接进入下一代，适应度差的个体被淘汰。

（5）进行交叉、变异操作，生成下一代群体，然后返回步骤（3），直到得到最优解。

四、实例分析

本试验分别采用单一神经网络预测法、遗传算法和神经网络的组合预测法，分别对广东省某城市某一日的时负荷进行预测与分析。以该市2010年6月2日～21日和2010年6月3日～22日（只选取工作日）的整点负荷训练样本集，根据6月23日各整点的时负荷数据和24日各整点的温度与天气，预测6月24日的时负荷。

1.数据预处理

根据神经网络的建模原理，训练样本的准确性对于模型的预测准确性至关重要。由于系统故障、线路停电检修、通信错误等原因，历史负荷数据中经常存在一些不良数据。这些不良数据具有很强的随机性，会对网络的预测精度和预测速度产生严重影响。因此，在建立电力短期负荷预测模型前，先对训练用的数据样本进行预处理。应用格拉布斯准则判别是否有不良数据，如果有要直接消除并以相应的插值代替，从而提高数据的准确度和可信度。经计算，本实例的样本数据正常，符合实际情况。

数据归一化方法是神经网络预测前对数据常做的一种处理方法。数据归一化处理把所有的数据都转化为[0，1]之间的数，其目的是取消数据间数量级差别，避免因为输入/输出数据数量级差别较大而造成网络预测误差较大。最后需要进行反归一化，得到最终预测结果。[6]数据归一化的方法主要有最大最小值法和平均数方差法。本文采用最大最小值法。

2.确定BP神经网络结构

考虑到该城市位于中国南端，纬度较低，影响电力负荷最主要的因素是温度等天气情况。采集预测日前一天每小时的负荷数据和预测日当天各小时的温度值（取平均值）、气象类型（晴、阴、雨）作为预测条件。由此确定BP神经网络模型的输入节点数为3；输出节点数为1；隐含层节点数取8。为方便计算，将气象类型数字化、归一化处理，温度值和负荷数据归一化处理。本文采用分散式建模方法，即为一天的24小时各建立一个模型，共建立24个。分散式建模方法相对于集中建模方法（24小时用一个模型），虽然模型多，但是预测准确度高。每个整点的时负荷采用相应的BP神经网络模型进行预测。建模工具选用matlab7.0。[7]

3.遗传算法优化神经网络

以整点负荷、温度数据和气象数据作为网络的训练样本集，应用遗传算法对基于单一神经网络建立的各个模型（每小时各建一个模型，共24个）进行优化，得到每个模型近似最优权值和阈值。应用优化的权值和阈值对BP神经网络进行训练，并保存训练好的网络。最后，应用训练好的网络对各整点时负荷进行预测。

表1 2010年6月24日负荷预测值与误差

时间 实际值 BP神经网络

方法预测 误差/% 遗传算法神经网络方法预测 误差/%

0：00 404.743 412.375 1.886 397.470 -1.797

1：00 382.280 376.397 -1.539 382.009 -0.071

2：00 359.937 369.208 2.576 352.735 -2.001

3：00 355.508 352.308 -0.900 357.115 0.452

4：00 347.836 341.504 -1.820 346.528 -0.376

5：00 347.545 342.354 -1.494 346.586 -0.276

6：00 354.184 356.650 0.696 360.655 1.827

7：00 364.504 363.920 -0.160 360.123 -1.202

8：00 395.881 392.358 -0.890 390.042 -1.475

9：00 462.394 471.572 1.985 464.239 0.399

10：00 500.344 502.904 0.512 494.610 -1.146

11：00 514.415 515.950 0.298 513.479 -0.182

12：00 477.935 489.898 2.503 485.792 1.644

13：00 479.680 473.516 -1.285 472.638 -1.468

14：00 470.148 477.403 1.543 462.066 -1.719

15：00 482.950 490.302 1.522 474.556 -1.738

16：00 487.295 483.800 -0.717 486.028 -0.260

17：00 501.225 503.265 0.407 505.465 0.846

18：00 470.361 462.391 -1.694 466.165 -0.892

19：00 455.995 443.791 -2.676 463.788 1.709

20：00 493.266 494.178 0.185 494.682 0.287

21：00 489.909 498.115 1.675 486.195 -0.758

22：00 474.146 486.493 2.604 480.348 1.308

23：00 446.201 436.293 -2.221 441.855 -0.974

单一神经网络方法和遗传算法优化神经网络方法得出的预测结果见表1和图3。从图3中3条曲线对比可以看出，应用遗传算法优化神经网络预测模型得到的预测结果比单一神经网络的更接近实际负荷曲线。单一神经网络预测的负荷最大误差为-2.676%，平均误差1.408%，而用基于遗传算法优化神经网络预测的负荷最大误差为-2.001%，平均误差为1.034%，精度显然大于单一神经网络。

五、结论

本文利用遗传算法优化了BP神经网络结构，并且应用此模型对实际电力短期负荷进行了预测试验分析。实证证明，遗传算法的全局优化搜索能力有效弥补了BP神经网络容易陷入局部极小值的缺陷，在此基础上建立的预测模型的可靠性、准确性都有所增强，证明了基于遗传算法优化的神经网络的短期负荷预测方法是可行的。

参考文献：

[1]牛东晓，曹树华，赵磊，等.电力负荷预测技术及其应用[M].北京：中国电力出版社，2002.

[2]陈金赛，张新波.基于改进BP人工神经网络的电力负荷预测[J].杭州电子科技大学学报，2011，34（4）：173-176.

[3]田景文，高美娟.人工神经网络算法研究及应用[M].北京：北京理工大学出版社，2006.

[4]王小平，曹立明.遗传算法[M].西安：西安交通大学出版社，

2002.

[5]李玲纯，田丽.基于遗传算法和BP神经网络的短期电力负荷预测[J].安徽工程科技学院学报，2009，24（3）：57-60.

第9篇：训练神经网络的方法范文

摘要：

为更全面准确地评价产品造型设计，在近几年国内外产品评价系统研究的基础上，综合运用主成分分析法、聚类分析法、BP神经网络技术，对产品设计造型要素的感性意象进行定量化研究，建立和完善了产品设计评价的神经网络模型．并以园林工具割草机产品设计为例训练模型，验证了模型的可行性和有效性．

关键词：

产品设计评价；主成分分析；聚类分析；BP神经网络；感性工学

产品造型设计和评价是产品设计开发过程中的重要组成部分．近年来，国内外学者结合感性工学对产品造型设计和产品造型评价进行了大量的研究．产品造型设计是一项复杂的系统运行过程，除受客观条件如经济、技术、构造等要素的影响外，同时，社会审美、目标消费群的偏好、设计师经验、背景等因素也相互影响［1］．人工神经网络是伴随着生物学、数学、计算机等学科的发展而产生的一门新兴的综合交叉性学科．其中，最常见的是BP神经网络，它具备任意精度的函数逼近能力，具有自组织、自适应、自学习、高度非线性映射性、泛化性、容错性的优点［2］．BP神经网络因其很强的学习能力、抗故障性、并行性的优点，特别适合于解决上述非线性很高的复杂系统．割草机产品应用具有较强的地域性和个性化的消费者群细分，造型设计目前未形成系统的理论和方法．将BP神经网络法和遗传算法等应用于产品造型设计的评价系统中尚属于摸索阶段．文献［3］提出了BP神经网络技术与产品评价系统结合的可行性．文献［4］通过将遗传算法与神经网络相结合，进一步优化了产品设计评价模型的精度．产品造型设计与评价是个复杂的过程，需要多层次的系统分析．为此，本文将综合运用主成分分析法、聚类分析法与BP神经网络技术，定量地研究感性意象与产品造型设计之间的关系．以园林工具割草机产品为例，把产品造型要素的集合分组为由类似对象组成的多个类，分析影响割草机产品感性意象的主要造型特征，基于MatlabR2014a平台，建立BP神经网络模型，检测产品造型与目标消费者群体偏好之间的对应关系，以验证和提高产品设计评价模型的可行性和准确度．

1研究流程

本文以割草机产品为例，综合应用主成分分析、聚类分析方法和BP神经网络技术，对感性意象进行定量化研究，建立和完善产品造型特征与感性意象关系评价的神经网络模型．研究流程如图1所示．具体流程如下：

（1）通过网络调研并筛选得到描述割草机外形的形容词．

（2）通过网络搜集各国割草机图片样本，对图片进行去色、去标志处理，排除颜色和品牌对试验样本的影响．

（3）把7点量表建立在已经选择出来的感性意象形容词上，让每个测试者针对这些选定的形容词对每个试验样本打分．将试验所得数据运用主成分分析，并结合专家意见，确定最终描述词汇．

（4）将样本进行聚类分析，并通过专家对同类内样本共同特征的提取，明确影响割草机外形意象的造型特征，并分析各造型特征组合与感性意象的关系．

（5）建立BP神经网络模型，以试验数据训练神经网络模型．

（6）神经网络准确率检测，总结分析．

2割草机外观特征与感性意象认知关系量化试验

2．1试验准备

通过调研，共搜集整理近5年销售生产的割草机产品图片150张，分别来自不同国家和地区．对图片进行去色、去标志处理，以排除颜色、品牌及其他因素对试验样本的影响．利用KJ法［5］筛选得到20个图片样本，部分样本图片如图2所示．经过表1的分析可以得到形容词的意象空间，专家设计师结合这一意象空间进行总结和分析，得到其3个维度上的感性意象描述形容词，分别为“科技－落后”“朴素－华丽”“易用－复杂”．

2．3关键造型特征提取和聚类分析

将意象空间的样本进行聚类分析，把产品造型要素的集合分组为由类似的对象组成的多个类，分析影响割草机产品感性意象的主要造型特征．通过专家设计师评价和问卷调查统计，抽取同类样本内的共同特征，得到最主要的影响割草机感性意象的造型特征．聚类分析的结果如表2所示．

3BP神经网络模型建立、训练、预测

3．1BP神经网络模型建立

选用MatlabR2014a为平台进行BP神经网络结构的建立与模拟，其模型如图3所示．通过历史数据的训练，用以检测产品造型与其感性意向的对应关系，建立产品造型设计评价体系．经过数次预先进行的试验，确定神经网络结构为3层，输入层（包含2个节点）、隐含层（包含4个节点）、输出层（包含1个节点）．输入层是2个设计元素的编号组合，输出层是关于“科技的－落后的”这个语汇对的感性意象评价值．

3．2BP神经网络模型训练设置

BP神经网络的学习次数为5000次，采用梯度下降法，目标误差值为0．001，训练结果采用均方误差衡量，将表4中样本1＃～15＃的数据导入建立的网络，训练BP神经网络，在1753次训练时结果收敛，停止训练，其训练的结果如图4所示．由图4可得，其实际训练的误差值为0．00908．

3．3BP神经网络模型测试选用

表4中样本16＃～20＃测试神经网络预测能力，即将5个样本造型特征组合导入网络的输入层，将调查得到的数据与神经网络预测的感性评价值进行对比，结果如表5所示．由表5可见，实际感性评价值与预测感性评价值相对误差较小，说明网络精度达到要求，验证了割草机产品评价模型的可行性和有效性．

4结语

本文将主成分分析法、聚类分析法与BP神经网络模型相结合，对割草机产品造型设计与感性意象之间的关系进行分析，为产品造型设计符合目标消费群体需求提供客观评价帮助．但是本文只针对割草机的主要产品造型要素进行了试验，随着研究方法及科技的不断进步，结合色彩、材质、纹理甚至人机工程学等综合因素的研究将成为下一步的研究重点．基于神经网络的意象认知模型，还存在一定局限性，随着科技的发展，结合认知心理学、脑科学、人工智能等技术和方法将使相关研究得到更深入的发展．

参考文献：

［1］王爱华，孙峻．BP神经网络在工程项目管理中的应用［J］．建筑管理现代化，2009（4）：306－309．

［2］周美玉，李倩．神经网络在产品感性设计中的应用［J］．东华大学学报（自然科学版），2011，37（4）：509－513．

［3］赵万芹．基于BP神经网络的产品造型设计评价［J］．计算机工程与设计，2009，30（24）：5715－5717．

［4］林琳，张志华，张睿欣．基于遗传算法优化神经网络的产品造型设计评价［J］．计算机工程与设计，2015，36（3）：789－813．

［5］川喜田二郎．KJ法［M］．京都：中央公論新社，1986．