训练神经网络的优化方法精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的训练神经网络的优化方法主题范文，仅供参考，欢迎阅读并收藏。

第1篇：训练神经网络的优化方法范文

【关键词】大学生身体素质评估 遗传算法 BP神经网络 MATLAB计算程序

在校大学生是国家重要的人才后备力量，大学生的身体素质培养和锻炼是学校体育教学中关注的重点。对大学生身体素质进行科学、切实的评价可制订更为有效的培养方案，帮助大学生提高其身体素质。身体素质评价就是将大学生的身体形态、生理机能及运动能力等方面的数据综合起来进行评价[1]。从以往的研究成果看，对大学生身体素质评价集中于采用概率统计、多元回归分析和神经网络[2]的方法。然而，概率统计仅得到整体评价结果，多元回归分析预测精度较低，且两者受样本空间影响较大。为此，本文利用遗传算法来训练初始网络模型，再用BP算法来进行精确求解，是对神经网络评估大学生身体素质的进一步优化应用。

基于遗传算法的BP神经网络理论

通过把神经网络和遗传算法合理、科学的结合，既能够利用神经网络较强的学习能力，又发挥了遗传算法全局寻优的搜索功能。首先利用遗传算法得到权值的较优初始取值，训练网络避免了局部极小，利用BP神经网络训练次数和最终权值也相对稳定，训练速度明显加快，从而既节约了时间，又提高了预测结果的准确性。

1.基于遗传算法的BP神经网络结构

BP网络的学习规则采用最速下降法，利用遗传算法根据训练目标函数对网络权值进行迭代，找到最佳初始网络权值。通过反向传播来不断调整网络权值，使网络误差平方和最小，该系统的网络结构，如图1所示。先对大学生身体素质的评估指标进行分类，抽取大学生身体素质的特征指标，并作为输入信息送入由输入层、中间层和输出层组成的三层网络模型进行评估。经过测试的网络，成为稳定的模式评估器，即可输出评估结果[3，4]。

该模型的输入层节点数为n，即大学生身体素质评价指标数，中间层节点数为 ，输出层节点数为1，即身体素质评估结果值，ωij和ωj为BP神经网络权值，初始化隐含层阈值为ɑ，输出层阈值为b，由此可给定学习速率和神经元激励函数。从图1可发现，BP神经网络可以看成一个非线性函数，网络输入值和输出值分别为该函数的自变量和因变量。当输入层节点数为n，输出层节点数为1时，BP神经网络就表达了从n个自变量到1个因变量的函数映射关系。

2.基于遗传算法的BP神经网络算法

遗传算法优化BP神经网络的核心是用遗传算法来优化BP神经网络的初始权值和阈值，使优化后的BP神经网络能够更好地预测函数输出，计算流程如图2所示。

1.背景资料

根据本校某班2011年大学生身体素质测评成绩，从中选取30名学生的测试结果作为神经网络的训练样本和校验样本。结合遗传算法和BP神经网络算法，在大型数学计算软件MATLAB中编程实现基于遗传算法的BP神经网络大学生身体素质评估[4]。

2.计算结果与分析

遗传算法优化过程中最优个体的适应度变化（如图3）。把最优初始权值、阈值赋给神经网络，用训练数据训练100次后，得到基于遗传算法的BP神经网络预测值。为了对比分析，也进行了BP神经网络预测分析（如图4）。

从图4可看出，采用BP神经网络及遗传算法优化的BP神经网络两种算法得到的预测结果，与专家判断（实际值）基本一致。但基于遗传算法的BP神经网络较BP神经网络预测精度高。特别在输入节点，即评价大学生身体素质的指标较多时，基于遗传算法的BP神经网络预测效果要好一些。

结 论

1.本文提出了基于遗传算法的BP神经网络大学生身体素质评价算法，并建立了相应的网络模型。

2.基于遗传算法的BP神经网络算法不但具有神经网络的函数逼近能力，而且应用遗传算法优化BP神经网络的权值、阈值，可使优化后的神经网络避免训练时间长、易陷入局部极值的缺点。

3.结合实例，将基于遗传算法的BP神经网络大学生身体素质评价算法，应用于本校学生身体素质评估。结果表明，该算法较BP神经网络预测精度及效率高，可作为今后大学生身体素质评价的一种新方法。

参考文献：

[1]范正森，张明如，周瑞琪.大学生身体素质综合评价数学模型[J].武汉工业大学学报，2001，4：92-94.

[2]陈海英，郭巧.短跑运动能力的神经网络评价方法[J].北京理工大学学报，2003，1：54-57.

[3]陈刚，何政伟，杨斌，杨洋.遗传BP神经网络在泥石流危险性评价中的应用[J].计算机工程与应用，2010，46（3）.

第2篇：训练神经网络的优化方法范文

关键词：矩阵式红外热电堆；RBF神经网络；惯性权重因子；粒子群算法

DOI：10.16640/ki.37-1222/t.2017.04.220

1 引言

常用的人体入侵检测方法有视频监测、超声波、机电检测、红外检测等，而它的准确性和可靠性对人的生命财产安全起确定性的作用。本文采用的是Melexis（迈来芯）的一套矩阵式红外热电堆温度采集装置，其中传感器MLX90621是一款采用16*4像素的红外阵列传感器，可以检测出一副画面中64个点的温度，可以提供的视角范围是，配合电机，它的检测范围可以达到，因此它每一帧可以测得的温度数据有个。相比于传统的检测方法，虽然它的检测像素低，但是在后面的算法计算中，它的计算量会降低，它的优势在于成本低、体积小易于隐蔽，而且不易受环境因素的影响，比如黑夜、电磁干扰等。在人体识别部分，本文采用的是改进RBF神经网络算法，RBF神经网络是一种采用局部接受域来执行函数映射的人工神经网络[1]。而如何确定RBF神经网络的隐层基函数的个数、中心向量以及宽度是训练RBF神经网络的关键所在。假如设定的隐层基函数的个数偏多会造成训练和测试的时间加长，不仅容易产生过拟合[2]，而且还会造成网络的泛化能力下降。相反，设定偏少的话会造成神经网络的收敛误差变大。一般采用K-mean聚类算法来确定径向基函数的个数和中心向量，但其依赖初始中心的选择，只能获得局部最优解[3]。

粒子群算法（PSO）是基于群体智能的优化算法，通过粒子间的合作与竞争的群体智能理论的优化搜索，它可以记忆所有粒子都共享的迄今为止问题的最优解[4]。PSO的优势在于简单且易于实现。但基本PSO的缺点在于其参数是相对固定的，会导致在优化某些函数时，造成精度差、收敛速度慢等。因此本文针对基本PSO的缺点，提出了结合惯性权重模型，将适应度择优选取引入基本PSO算法的方法进行改进。RBF神经网络首先采用最近邻聚类算法来确定隐层基函数的个数，中心向量即为聚类的的均值。同时将改进的粒子群优化算法来优化最近邻聚类算法的聚类半径，从而确定出RBF神经网络最优的隐层基函数和中心向量，使其不用依靠初始中心的选择，减少了现有算法中人为因素的影响，从而有效地提高了RBF神经网络的精度和收敛速度。独立训练特定的RBF网络并合成其预测结果，可以有效得提高神经网络表达对象的准确性[5，6]。将改进PSO优化RBF神经网络的方法应用于人体入侵检测识别中，通过实测数据验证，准确率相对基本RBF神经网络有了显著的提高。

2 RBF神经网络设计

2.1 RBF基本原理

RBF 神经网络，即径向基神经网络，是前馈神经网络的一种，具有三层结构，如图 1 所示。它的基本思想是用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接（即不需要通过权链接）映射到隐空间，当RBF神经网络的中心确定之后，映射关系也就随之确定了。隐含层的作用是把向量从低维映射到高维，这样低维线性不可分的情况到高维就线性可分了，隐含层空间到输出空间的映射关系是线性的。

（1）假设已经有个聚类中心，分别为：，分别计算与它们之间的距离，。

（2），即到中心的欧式距离最小。

（3）比较与的大小，如果，则就会被设定为一个新的聚类中心，如果，则按照更新，。

（4）重新选取下一个输入的样本数据，返回1）。

（5）所有的输入数据取完则结束。

从上面的算法步骤来看，可以得出，隐层基函数的中心的确定，最主要的因素是聚类半径，若过大，会造成基函数的中心个数较少的情况，从而导致网络的收敛误差偏大，反之则会造成基函数的中心个数较多的情况，从而导致网络的泛化能力下降。因此本文在最近邻聚类算法中选取合适的聚类半径时，采用改进的粒子群算法，最后可以确定出最优的RBF神经网络的隐层基函数的中心向量。

3 粒子群优化算法

3.1 基本粒子群优化算法

粒子群优化算法（PSO）是由Kennedy和 Eberhart于1995年提出的一种通过模仿鸟类群体捕食行为研究的群体智能算法[7]。粒子群优化算法的基本思想是通过群体中个体之间的协作和信息共享来寻找最优解[8]。它的优势在于简单容易实现并且没有许多参数的调节[9]，目前已被广泛应用于函数优化、神经网络训练、模糊系统控制以及其他遗传算法的应用领域。在由 m 个粒子组成的粒子群中，每个搜索空间中的潜在的解由粒子的位置来确定，新的个体在取值时主要由粒子的当前速度、粒子群中的最优个体以及当前粒子的历史最优解3个因素来决定，其中粒子的当前速度控制着搜索的步长，算法的全局以及全局搜索能力由其决定，对PSO的收敛速度和质量有着重要的影响；后两者则主要用于控制搜索的方向，反映了可利用的梯度信息[10]。粒子根据如下三条原则来更新自身状态：（1）保持自身惯性；（2）按自身的最优位置来改变状；（3）按群体的最优位置来改变状态。

算法描述：在一个 n维的搜索空间中，是由m个粒子组成的粒子群，其中，为第个粒子的位置为，为速度。其中，为个体极值，为种群的全局极值。接下去粒子会根据公式（6）不断更新自己的速度，根据公式（7）不断更新自己的位置。

3.2 惯性权重因子的引入及其改进

为改善粒子群算法的搜索性能，以及基本PSO参数固定优化某些函数时精度较差的问题，Shi和Eberhart对基本PSO算法进行了改进，在粒子的速度进化方程中引入惯性权重[11]。一般地，较大的权重有利于提高算法的全局开发能力，而较小的权重则能增强算法的局部搜索能力[12]。因此惯性权重因子对当前速度的大小起决定性因素，提升PSO性能的关键一环是惯性权重因子和调整策略的合理设置[13，14]。将代入公式（6）可得：

上式中，和分别代表第个粒子和最优粒子在第次迭代时相应的函数值。的计算是用来判断目标函数的平整度[16]。由图2可以看出，在迭代时变化越明显，表明目标函数越不平整，相反则表示越平整。通过跟随的变化而变化，以此来实现的动态变化。

4 基于改进PSO算法的RBF神经网络训练

前面提到RBF神经网络基函数个数和中心向量难以获取最优的缺点，本文将改进PSO算法应用到RBF神经网络的训练学习中，有效地提高了RBF神经网络的精度和收敛速度，大大地增强了网络的泛化能力。粒子群算法的神经网络训练过程如图3所示。具体的优化步骤如下：

1）首先对样本进行归一化处理。

2）初始化。由参数，，组成粒子群，然后随机赋上初始值，并根据这些S机值来初始化粒子群的位置和速度。

3）计算适应度值。根据得到的RBF神经网络输入输出值，应用公式：

来计算粒子群的适应度值，以此来确定和。其中和分别为训练样本数和输出神经元个数，、分别为第个样本的第个分量的输出值和期望输出值。

4）根据公式（8）更新粒子的位置和速度，得到新的粒子群。

5）判断优化目标是否满足终止条件，若满足，则结束算法；否则返回到（3）。

5 实验验证及结果分析

本文在对上述改进PSO算法训练的RBF神经网络算法进行寻优测试后发现，改进后的RBF神经网络算法在寻找最优值时，收敛速度和精度上都优于基本RBF神经网络算法，且大大提高了网络的泛化能力。然后将改进后的RBF神经网络运用到实际的人体识别检测中来进行验证。在实验中，通过MLX90621红外阵列传感器配合电机采集一个空间在不同情况下的温度数据作为实验数据，每一帧有16X36个温度数据，共测得297组数据用于训练。下面附上其中一张实测数据结果验证图（见图4）：

图中坐标轴中显示的温度数据就是实测的空间温度数据，绿色区域为热源干扰物，红色区域为目标。根据采集获得的温度数据将其分为最高温度、最低温度、平均温度三类，在正常情况下，由于人体的正常温度存在一个绝对范围，因此结合这个绝对范围并将分割处理后的图像一起作为训练的特征值对改进PSO算法训练的RBF神经网络进行训练，实现了对人体目标的检测，然后利用训练好的RBF神经网络直接对新的温度数据进行分类，检测并判断每一帧是否有人。

下面分别采集无人无干扰和无人有热源干扰的两种情况下的空间温度数据，用这两组数据作为训练样本对基本RBF神经网络和改进PSO算法训练的RBF神经网络进行训练，训练结果如表1所示：

从训练结果来看，改进后的RBF神经网络算法的训练效果有了很大的提高，无论在无人无干扰还是无人有热源干扰的数据中，测得的无人的准确率都高于基本RBF神经网络。最后用测得的有人有热源干扰的空间温度数据用来进行结果验证，验证结果如表2所示：

重新在一个空间中测得99组有人有干扰的温度数进行结果验证，在基本PSO的基础上引入惯性权重因子，对基本RBF神经网络的训练效果有明显的提升，改进PSO算法训练的RBF神经网络算法测得有人的准确率明显高于基本RBF神经网络。

6 结论

对人体识别算法进行了研究，最终确定使用RBF神经网络作为研究对象，并使用最近邻聚类算法来确定RBF神经网络的中心向量，成功地消除了操作时人为因素的参与。本文通过引入动态惯性权重因子对基本PSO算法进行改进，将改进PSO算法训练的RBF神经网络与基本RBF神经网络进行对比，对比训练的过程及结果可以得出，改进后的RBF神经网络在训练效果上有了很大的提升，精度、收敛速度以及稳定性都优于基本RBF神经网络。最后将改进后的RBF神经网络应用到人体入侵检测识别中，经过实测数据验证，虽然改进PSO算法训练的RBF神经网络在排除干扰的问题上提升不是非常明显，但是识别的准确率有了很大的提高，说明改进后的RBF神经网络更加适用于低精度且计算量少的人体入侵检测识别中。

参考文献：

[1]SimonHaykin.Neural Networks：A comprehensive Foundation，SecondEdition[M]. U.S：Prentive Hall，1988.

[2]段其昌.一种改进PSO优化RBF神经网络的新方法[J]计算机仿真，2009，26（12）：126-129.

[3]Y Moddy and C J Darken. Fast learning in network of locally tuned processing unites [C] .Neural Computation，1989（01）：281-294.

[4]Kennedy J and R C Eberhart. Particle swarm optimization[C]. Conf.Neural Networks.1995.1942-1948.

[5]王桂洋，张亚庭.基于APSO优化算法的 GCHP 系统神经网络预测控制[J].计算机测量与控制，2014，22（01）：106-108.

[6]谭子平.基于白适应权值神经网络的 PID 参数优化[J].计算机光盘软件与应用，2014，17（07）：97-98.

[7]皮倩瑛，叶洪涛.一种动态调节惯性权重的粒子群算法[J].广西科技大学学报，2016，27（03）：26-31.

[8]胡珀，娄渊胜.改进粒子群优化算法在服务组合中的应用[J].计算机工程，2011，37（17）：130-133.

[9]任圆圆，刘培玉，薛素芝.一种新的自适应动态文化粒子群优化算法[J]. 计算机应用研究，2013（30）11：3240-3243.

[10]于海鹏，翟红生.基于混合策略的自适应粒子群优化算法[J].计算机工程与设计，2014，35（07）：2552-2556.

[11]Shi Y，Eberhart R C.A Modified Particle Swarm Op-timizer[C]/ / Proceedings of the IEEE Congress onEvolutionary Computation.Now York： IEEE，1998：303-308.

[12]罗金炎.粒子群优化算法惯性权重的一种动态调整策略[J]沈阳化工大大学学报，2013（04）：371-375.

[13]De Silva I J，Rider IM J，Romero R，et al.Transmission network expansion planning with security constraints[J].IEEE Proc Gener Transm Distrib，2005，152（6）：828-836.

[14]左浩，李雯.混沌粒子群与模糊聚类在图像分割中的应用[J].计算机工程与应用，2012，48（02）：194-196.

[15]田雨波.混合神经网络技术[M].北京：科学出版社，2009.

第3篇：训练神经网络的优化方法范文

【关键词】双目视觉;神经网络;摄像机标定

1.引言

双目测距技术在非接触式测量，机器人视觉等领域都有广泛引用。本文研究的是被动式远距离目标的距离测量系统中系统的标定技术研究，双目测距系统标定方法研究对计算机视觉技术发展有重要意义。摄像机标定的目的在于确定摄像机的位置，以确定物体在空间坐标系与成像平面之间相应的位置关系。

这些位置关系以及摄像机光学和几何参数在一些场所并不需要一一解出，而只需要构建二维成像平面上像点坐标与三维空间坐标投影点之间的一种映射关系。而神经网络有非常强的非线性映射能功能，因此我们可以通过采用神经网络对摄像机进行标定。

2.基于神经网络的摄像机的标定方法

2.1 神经网络、双目视觉神经网络摄像机标定

人工神经网络也称神经网络，是一门新兴技术，用以处理一些难以用标准数学模型描述的系统，模拟人类大脑的一些机理，实现某些特定功能。它具有很强的自学习及自适应能力，而其中可自由设定隐层节点的多层前馈神经网络，可以完成任意精度近似任意连续函数[1，2]。

由于网络由相连的非线性单元组成，因此就具有了学习非线性过程的能力。与摄像机标定工作机制相似，神经网络可以从一些已知数据通过计算得到未知参数。而神经网络标定的畸变模型有任意性，可以避免传统标定方法非线性标定可能无解、标定精度低等多种问题。本文通过运用神经网络学维平面图像像点与三维空间物点坐标之间的关系，提出了改进神经网络双目摄像机的标定方法。

本文双目视觉神经网络摄像机标定具有的优点是不用假设初始值，也不用建立精确的标定模型，只要输入三维空间中物体在两个图像上的像点坐标，神经网络便可输出物体在的三维空间的世界坐标。进行多次的神经网络学习、训练，最后可得到相对理想的输入、输出非线性映射关系。

2.2 改进的RBF神经网络

径向基函数（Radial Basis Function， RBF）神经网络是一种三层前向神经网络，它结构简单，训练简洁，学习收敛速度快，能够以任意精度逼近任意连续函数，广泛应用于众多领域[3，4]。RBF网络模拟了人脑中局部调整、相互覆盖接收域的神经网络结构，是一种局部逼近网络。并且RBF神经网络在逼近能力、分类能力及学习速度等多方面都优于BP神经网络，

遗传算法是模拟生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟生物在自然进化过程中形成的一种自适应全局优化搜索最优解的方法[5]。

本文提出了一种基于改进的RBF神经网络的摄像机标定方法，引入了遗传算法，优化了径向基函数网络的学习算法。

2.2.1 RBF网络的结构

RBF网络是一种三层前向网络，三层分别是输入层，隐藏层和输出层。输入层由信号源节点组成;输出层是对输入作出响应;隐藏层中节点数由需要而定，其中的径向基函数是局部响应函数。

从输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间是线性的。RBF网络是局部逼近网络，三层组成（m个输入、h个隐节点、n个输出），常用的径向基函数是高斯函数，因此径向基神经网络的激活函数可表示为：

（1）

式中：是欧式范数;X是输入样本，;是高斯函数的中心，也是网络隐含层节点的中心;为高斯函数的方差;i是隐含层节点数。

RBF网络的结构输出为：

（2）

式中：wij是隐含层到输出层的连接权值;yj是第j个输出节点的实际输出。

假设d是样本的期望输出值，则基函数的方差为：

（3）

式中：P是样本总数。

RBF网络学习方法求解需要的参数：基函数的中心、方差以及隐含层到输出层的权值。RBF网络的输出是隐单元输出的线性加权和。本文采用的是自组织选取中心法。

2.2.2 优化的RBF神经网络

本文加入遗传算法用以优化已有的神经网络，用全局搜索找到最优网络结构，确定较理想非线性映射关系，进而达到双目视觉的标定。采用实数编码、最佳保留（elitist model）选择机制，交叉概率采用自适应方式，再对数据做归一化处理。

2.3 整体算法步骤

用遗传算法对神经网路的参数进行优化，得到权值与偏差值范围。再用RBF网络在局部搜索得出最优网络结构标定系统。

1）将多组对应的双目视觉系统图像像点坐标作为输入的训练样本，组成群体;

2）采用梯度下降法学习样本网络个体基函数的中心、方差;

3）采用最小二乘法学习隐含层到输出层的线性权值;

4）采用遗传算法优化隐含层中节点数;

5）通过循环交替学习、训练，得到相对理想的RBF网络标定系统。

3.实验说明

分别采用线性标定、标准BP网络、和改进的RBF网络做双目视觉标定，后两种做非线性函数逼近，对测试结果进行比较。得出结果：较其他两种，改进的RBF网络测试误差最小。

表1 测试结果比较

隐节点数 训练误差 测试误差

线性标定 * * 0.2945

标准BP 26 0.0935 0.0356

改进RBF 13 0.0576 0.0123

4.结论

在不考虑镜像畸变及环境等因素的形象下，将基于改进的RBF神经网络应用于双目视觉摄像机标定方法中，提高了测量精度，减少了因传统标定方法建立的模型不完善而带来的误差，为双目视觉测量应用于精密测量提供了一种新的有效方法。标定后的测量系统在双目视觉空间具有很高的测量精度。

参考文献

[1]阎平凡，张长水.人工神经网络与模拟进化计算[M].清华大学出版社，2000：410-420.

[2]钱光耀，杨入超，赵光兴.基于人工神经网络的压力传感器三维数据融合[J].传感器与微系统，2007，26（2）：79-81.

[3]Liu Hongmei，Ouyang Pingechao，Wang Shaoping.Fault detection based on RBF neural network in a hydraulic position servo system[A].The 6th World Congress on Control and Automation[C].Dalian， China，2006：5708-5712.

[4]杨耀华，李昕，江芳泽.基于OLS算法的RBF神经网络高速公路事件探测[J].系统仿真学报，2003，15（5）：709-712.

第4篇：训练神经网络的优化方法范文

关键词：遗传算法 神经网络 瓦斯突出 预测

中图分类号：TD712 文献标识码：A 文章编号：1672-3791（2017）01（a）-0000-00

预测煤层中的瓦斯含量是进行煤与瓦斯突出风险研究的重要一环，由于影响瓦斯含量的地质因素复杂多样，以及各因素间存在着复杂的非线性关系，迄今为止，对瓦斯突出的预测主要使用回归分析方法，预测的结果往往跟实际的情况差别较大，因此需要使用新的方法建立预测模型来实现对瓦斯突出高精度的预测。

1 利用遗传算法改进的神经网络建立瓦斯突出预测模型

（1）网络输入参数的确定：经查阅相关文献和咨询得知瓦斯突出的主要影响因素有：煤层底板标高、煤层到断层距离、煤层到最近剥蚀面距离、顶板砂岩比、统计单元中有无断层、基岩厚度、煤厚。

（2）网络输出参数的确定：选择二进制数0和1分别表征瓦斯不突出和突出。

（3）网络的构造： 一般地可以用一个三层神经网络实现预测功能，此神经网络的输入层有n个神经元，根据经验公式选取隐含层有（2n+1）个神经元，输出层有m个神经元，因此本模型中的神经网络可以采用3层神经网络。

（4）网络的训练：训练样本取自唐山开滦多个矿井具有代表性的10个突出点，利用突出点的数据训练神经网络，得到预测模型。

（5）网络的精确度验证： 利用已完成的人工神经网络对实际问题进行试验研究。把在开滦矿井采取的11～20组数据的瓦斯突出指标输入已经训练的网络中，验证人工神经网络的预测结果与实际突出情况的吻合度，如果吻合度低，就需要对网络进行改动，直至达到满意的吻合度。

（6）利用遗传算法对神经网络的权值和阈值进行优化

个体的编码：将神经网络各层之间可能存在的连接权值和阈值编码成实数码串或者进行二进制码串，每条码串中包含着网络中的所有权值、阈值其排列顺序可以随意定义，不受限制，组成一个染色体。

产生初始种群：随机生成一定数量的码串个体作为一个初始种群。

计算适应度：设网络有K个训练样本，让所有的训练样本依次通过解码后生成的神经网络，计算所有训练样本一次通过的平均总误差作为每条染色体的适应度， 其中， 为瓦斯含量的实测值， 为网络的输出值。

④将网络的所有连接权值和阈值进行实数编码，构成一个染色体，每条染色体代表一个神经网络模型的权值和阈值。设定初始种群规模为20，进化代数为220，交叉概率0.2 ，变异概率为0.1，为了防止遗传算法的早熟现象，变异概率先定义为0.1，然后在逐渐递增。算法运行到158代时获得最佳的连接权值，网络平均总误差为0.001。

2 实例分析及算例求解

选取唐山开滦煤矿为例，对该地进行瓦斯含量预测研究。对影响瓦斯含量的主要因素进行分析，归纳确定了神经网络的输入层神经元个数为7，对应为7个输入变量即7个影响瓦斯含量的因素。其中对输入变量中的顶板砂岩比、统计单元中有无断层、顶板基岩厚度、煤层厚度四个影响因素采用二变量比值法将其定量化。处理方法的划分条件如表1所示，输出层神经元个数是1。在开滦集团获得的相关数据如表2所示，其中1～10作为网络训练样本，11～20作为网络检验样本，用来检验模型的预测精度。

利用前10组数分别训练自适应的BP神经网络和与遗传算法结合改进的网络得到瓦斯突出预测模型，如图1和2所示。然后利用11～20组的样本对网络性能进行检验，并将检验结果和实测值的数据进行对比，对比后的结果如表3所示。 由图1、2可知用遗传算法改进的神经网络收敛速度更快，由表3可知用遗传算法改进后的神经网络预测的值跟实际的值更加的逼近即预测精度高。

3 结论

本文采用遗传算法与神经网络相结合的方法，通过优化神经网络的权值和阈值，使得预测的绝对误差从-0.0119～0.2000缩小到-0.0013～0.0611，提高了预测的精度，加快了收敛速度。对煤矿安全发展具有一定的意义。

参考文献

[1]曾文飞，张英杰，颜玲.遗传算法的基本原理及其应用研究[J]，软件导刊，2009

[2]梁芳.遗传算法的改进及其应用[D].武汉理工大学，2008.

[3]彭海雁.影响煤与瓦斯突出的主控因素研究[D].东北大学，2013.

第5篇：训练神经网络的优化方法范文

[关键词] 船舶供应商 评价体系 遗传算法 神经网络

选择合适的供应商直接关系到船舶企业降低成本、提高企业竞争力。现有的平价方法在确定指标权重时存在主观随意性，评价结果缺乏客观与公正。BP神经网络具有容错性、自适应性等特点，解决了评价过程中指标权重随意性和人为因素。本文构建了BP神经网络的船舶供应商评价模型，并针对BP神经网络收敛速度慢的缺点，采用遗传算法对构建的BP神经网络模型进行优化，从而构建评价船舶供应商遗传神经网络模型。

一、船舶供应商评价指标体系的构建

原材料供应商和船舶配套企业的产品质量性能以及管理水平等都会对船舶企业的正常运行带来重大影响，直接关系到企业的盈利能力。因此，构建科学的合理的供应商评价体系，是船舶制造企业综合评价供应商的依据。

周期长、成本高等特点决定了船舶是一种特殊的产品，需要结合船舶自身的特点来构建船舶供应商评价指标体系。综合学者的研究成果与船舶公司实际状况，本文认为应该从质量、成本、交货、柔性、财务与信誉状况以及服务与管理水平6个方面构建船舶供应商的评价指标体系。

二、基于遗传神经网络的船舶供应商评价模型

1.BP神经网络在船舶供应商评价中的应用

BP神经网络模型是一个分层型网络，具有输入层、中间层和输出层。供应商评价指标由输入层到输出层的传递是一个前向传播的过程，若输出结果与期望结果的误差超过允许范围，则误差反向传播，并根据各层误差的大小来调节权值,寻找最佳权集，实现正确输出。基于BP神经网络的船舶供应商评价模型结构及学习原理如图2所示。

2.基于遗传算法改进的BP神经网络模型

BP算法是沿梯度下降(平方误差函数)来指导搜索的，学习过程收敛速度慢，易陷入局部极小点。而遗传算法对于全局搜索具有较强的鲁棒性和较高的效率，克服了BP网络的局限性。将遗传算法与BP网络相结合,可以达到全局寻优和快速高效的目的。

遗传算法改进BP神经网络模型的步骤是:（1)确定网络参数；（2）设定的种群规模N，产生初始种群;（3)求N组网络权系数,得到具有相同结构的N个网络;（4)求N组网络权值对应的N个网络输出;（5）网络性能评价;（6)若不满足评价条件，由对染色体进行遗传选择、变异和交叉操作，产生新的染色体，直到满足评价函数;（7)选择一个最优染色体作为网络权重，进行网络的训练和评价。其工作流程如图3所示。

三、应用仿真算例

以中船公司的25家供应商数据为基础，采用matlab7.0编程，建立三层遗传神经网络模型。

将前15家供应商作为训练集，训练该网络；其余10家供应商作为测试集，模拟待评价的对象。设置误差精度为0.00001。首先用遗传算法，经过450次优化，得到全局最优的网络权值。然后以前15家供应商的二级评价指标为样本，经过BP神经网络4700次训练，得出对应的6个一级评价指标的训练样本;再以所得出的输出值为样本，经过BP神经网络4450次训练,训练出最终的遗传神经网络模型，并用于综合评价工作。输入后10家供应商二级评价指标值，得到其一级评价指标的输出值,以该输出值为输入，计算出10家供应商的综合评价结果。见表。

四、结束语

基于遗传神经网络的船舶供应商评价模型借助BP神经网络的容错性和自适应自学习能力克服了传统评价方法在指标权重赋值时存在的主观随意性问题，并用遗传算法的优化解决了BP存在的收敛速度慢的问题，为评价船舶供应商提供了一条新的途径。

参考文献:

[1]金朝光 纪卓尚 林 焰:船舶企业选择供应商的策略研究[J]. 计算机集成制造系统,2003,9(10):886～890

[2]马士华 林 勇 陈志祥:供应链管理[M].北京:机械工业出版,2004

第6篇：训练神经网络的优化方法范文

关键词：LVQ神经网络；遗传算法；故障诊断

中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2013）03-0156-02

本文将故障诊断问题看成一类特殊的分类问题，利用LVQ神经网络的分类功能，建立齿轮箱故障诊断的神经网络模型。模型通过对一些典型的故障特征进行训练学习后，用于齿轮箱的故障诊断。

一、LVQ神经网络原理

早在1990年，著名的神经网络专家Kohonen就提出了学习向量量化（Learning Vector Quantization，LVQ）算法。LVQ神经网络是用于模式分类是一种神经网络模型，允许对输入分到哪一类进行指定。LVQ算法对应的网络结构如下：①包含n个输入神经元，输入向量为X=（x1，x2，…，xn），即样本是n维的，X所对应的类别为T；②每个输出神经元j都对应一个权向量，Wj=（w1，w2，…，wn），记所有输出神经元构成的集合为Ω；③Cj为输出神经元j所代表的类别，不同的输出神经元可以代表同一个类别。

下面介绍LVQ算法：①初始化权向量Wj，？坌j∈Ω，设初始学习率为α（0）；②从训练集中选取一输入向量X，找出与X具有最小欧氏距离的Wk；其中k=arg■X-Wj；③按下列公式调整神经元k的权值，如果T=Ck，即分类正确，则Wk（t+1）=Wk（t）+α（t）（X-Wk（t）），如果T≠Ck，即分类不正确，则Wk（t+1）=Wk（t）-α（t）（X-Wk（t））；④选择下一个输入向量，返回第二步，直到样本集中所有的向量都提供一遍为止；⑤判断停机条件是否满足。若满足，停机；若否，转第二步。

二、遗传算法优化的LVQ神经网络

LVQ神经网络具有很好的分类识别特性，能对任意输入向量进行分类，无论它们是否可分，但LVQ神经网络有两个不足：（1）存在“死神经元”，即未被充分利用的神经元；（2）算法天然对初始权值敏感，即如果初值的选择偏差太大就会影响聚类的结果，从而影响诊断结果。为了克服LVQ算法对初始权值的敏感性，本文采用遗传算法对LVQ的初始权值进行优化，形成基于遗传算法的LVQ神经网络。遗传算法是模拟生物进化过程中自然选择和遗传变异的一种随机优化算法，它只是要求被优化的函数是可计算的，不要求目标函数具有连续性和可微性，搜索能力不依赖于特定的求解模型，具有很强的全局搜索能力。目前遗传算法已被广泛应用于各个领域，如自适应控制、优化组合、机器学习等。遗传的操作步骤为：（1）种群初始化。由于染色体代表的是LVQ网络的权值，故染色体采用实数编码，假设训练样本输入向量的维数为n，则选择n个0-1的随机数作为初始网络权值，并组成染色体，染色体的长度为m×n，m为输出神经元的个数，重复上述过程，得到S个染色体。（2）计算每一条染色体的适应度。在本算法中，记适应度最小的染色体为Wmin，Wmin为一个好的初始权值。因为LVQ算法是有导师的学习，所以，本文将适应度函数定义为：fitness=■■■（yi（k）-ti（k））■。其中，r为输出层节点数，q为样本个数。（3）交叉操作。将染色体群体中的个体随机两两配对，采用双点交叉算子进行交叉操作，产生新一代群体。（4）变异操作。变异操作是遗传算法种群多样化的保证。在该算法中，由于染色体对应于LVQ神经网络的权值，因此采用位置变异算子，以较小的变异率对新一代种群进行变异操作。基于遗传算法和LVQ神经网络的故障检测算法如下：（1）产生初始种群，并指定最大运行代数。（2）建立网络，并用种群中的个体对网络的权值进行初始化。（3）用训练集对网络进行训练并仿真。（4）计算当前群体的适应度值。（5）染色体进行选择、交叉和变异。（6）选择最优的染色体，得到网络权值。（7）用测试集，测试遗传算法优化的LVQ神经网络的性能。

三、实验与讨论

本实验分别用LVQ神经网络和遗传算法优化的LVQ神经网络对相同的训练集进行学习训练，再用测试集分别测试学习好的网络的性能。训练集是通过安装在箱体8个敏感点的压电加速度传感器拾取各测试点的振动信号，经数据采集系统和数据处理系统处理后的12组数据，测试集为3组数据。齿轮的三种故障模式为：无故障1；齿根裂纹2；断齿3。实验过程中，两个网络都是三层网络结构，隐层都含有5个神经元。基于遗传算法的LVQ神经网络利用遗传算法优化了输入层到隐层的权值。

Figure 1 训练集数据

Figure 2 训练集所属的类别

Figure 3 测试集数据

Figure 4 测试集所属的类别

Figure 5 遗传算法优化的LVQ网络的仿真结果

Figure 6 LVQ网络的仿真结果

结果表明，遗传算法优化LVQ网络比LVQ网络有更高的诊断精度。

四、结论

第7篇：训练神经网络的优化方法范文

【关键词】BP神经网络；预测；误差

1.引言

许多金融学家和计量学家对发达国家成熟市场的波动性进行了广泛的研究，但是在对股市的预测上，由于人们在知识、能力、经验上存在着较大的差异，加之问题本身又具有很大的随机性和高度的非线性，即使是一些金融专家、炒股高手对出现的同一复杂行情进行分析，往往也会得出不同的结论。此外，传统方法还要事先知道各种参数，以及这些参数在什么情况下应作怎样的修正。这都给预测股市带来一定的困难。

基于以上股市预测的困难性，本文提出了人工神经网络的预测方法。随着计算机、人工智能尤其是专家系统的发展，人工神经网络技术逐渐成熟并开始应用于各个领域。人工神经网络（ANN，简称神经网络）作为一种由大量简单神经元广泛相互联接而成的非线性映射或自适应动力系统，恰好能有效解决股市预测处理中常见的困难，因此它很快在股市预测分析与处理领域得到了广泛的应用。

2.BP神经网络介绍

2.1 BP 网络算法的基本原理

2.1.1 标准的BP 网络算法的基本原理

BP(Back Propagation)网络是反向传播的多层前馈式网络，是目前使用最为广泛的一种人工神经网络。它的核心是BP算法，一种对于多基本子系统构成的大系统进行微商计算的严格而有效的方法，采用最小均方差学习方式。BP 神经网络的原理说到底就是给它一些输入变量，然后就有一个输出，输出值的情况与实际的情况进行比较，差多少，然后再进行网络的内部调整，属于有导师的学习规则，使得网络输出与实际逼近。

神经网络能学习和存贮大量的输入―输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。人工神经网络由非线性函数组成，而由一系列不同权重的线性过滤器组合而成：

2.1.2 BP网络算法的优化

由于常用的BP算法主要缺点为收敛速度慢，局部极值，难以确定隐含层和隐含层的个数，使得在实际应用中BP算法很难应用，因此，出现了许多改进算法。BP算法的改进主要有两种途径，一种是采用启发式学习方法；另一种则是采用更有效的优化算法，本文采用了动量法和学习率自适应调整的策略，从而提高了学习速度并增加了算法的可靠性。动量法降低了网络对于误差曲面局部极值的敏感性，有效地抑制了网络陷于局部极小。

2.2 BP神经网络的模型识别及步骤

模式通常指对事物的一种定量描述或结构描述，“识别”是指对客观事物按其物理特征进行分类。模式识别的基本原理就是从待识别对象和理想标本之间若干特征的相似性推断它们之间总体的相似性。BP神经网络模式识别过程分为训练阶段和模式分类阶段，分为初始化、数据与处理、网络训练以及模式分类四个步骤。以下利用实证分析来进行着四个步骤。

3.实例分析

下面以上证的某股600个交易日的股票价格收盘指数作为原始样本数据，对上述神经网络模型进行求解，预测20天的收盘价，与实际收盘价进行比较，并求出其误差：

式中，表示第日的实际收盘指数，表示第日的预测值，表示误差。主要按照如下几部分来处理：（1）准备600个数据的时间序列，进行归一化。BP神经网络中每个神经元的输出值由传递函数Sigmoid函数来计算，其输出值的范围是（0，1）；（2）留出最后20个数据，作为预测检验使用；（3）绘制图像，包括实际值和预测值，能量函数；（4）分析实际和预测两曲线的趋势。

采用I-J-K学习模型，该模型是输入层I个神经元，隐层J 个神经元，输出层K个神经元。利用BP神经网络模型训练500次、800次、1000次的输出值和期望值以及能量函数（或者叫误差函数）E，结果见图1到图3。

通过上面的图示，可以看到用BP神经网络预测的效果比较明显，这说明该模型适用于短期预测吗，股市的波动在很多地区都是非常剧烈的，各种因素的综合作用也使得长期股指的变动具有极大的不确定性，使得预测变得很困难。而BP网络的算法原理和自学习的特点使其能够充分挖掘出隐含在样本数据中的规律性，实现从输入空间到输出空间的非线性映射，对样本数据进行精确的拟合。从而BP神经网络的方法对于股市上的一些很难看出规律的数据列的预测而言，无疑是一个比较精确的预测方法。

4.结论

本文介绍了股市的特点以及股市预测的困难性，提出了利用BP神经网络的方法来解决股市预测问题。文章介绍了BP神经网络算法的基本原理，BP神经网络算法的优化，BP神经网络模型识别及步骤，最后后以上海证券交易所每日股票价格收盘指数为分析对象，把原理应用于实际，利用BP神经网络对股票价格收盘指数进行了短期预测，并计算出预测值和实际值的误差。通过实验发现该模型收敛速度快，预测精度非常高，对预测短周期内股指波动具有较强的适用性。

参考文献

[1]高琴.人工神经网络在股市预测模型中的应用[J].微电子学与计算机,2007年第24卷第11期.

[2]周翠红,路迈西.线性回归与人工神经网络预测煤炭发热量[J].煤炭科学技术,第37卷第12期.

[3]尹庆双,奉莹.人工神经网络在第三产业就业分析中的应用[J].人口与经济,2009年第6期.

[4]邹文安,刘宝,姜波,杨春生.基于Excel 技术平台人工神经网络BP模型及应用[J].水文,第30卷第1期.

[5]康进,刘敬伟.非参数回归估计与人工神经网络方法的预测效果比较[J].统计与决策,2009年第23 期.

[6]杨本昭,田耕.基于人工神经网络的客户价值分类研究[J].科技管理研究,2007年第12期.

第8篇：训练神经网络的优化方法范文

关键词：热舒适度；预测；反向传播神经网络；粒子群优化算法；模型

中图分类号： TP183

文献标志码：A

Abstract： Aiming at the problem that thermal comfort prediction， which is a complicated nonlinear process， can not be applied to realtime control of air conditioning directly， this paper proposed a thermal comfort prediction model based on the improved Particle Swarm OptimizationBack Propagation （PSOBP） neural network algorithm. By using PSO algorithm to optimize initial weights and thresholds of BP neural network， the problem that traditional BP algorithm converges slowly and is sensitive to the initial value of the network was improved in this prediction model. Meanwhile， for the standard PSO algorithm prone to premature convergence， weak local search capabilities and other shortcomings， this paper put forward some improvement strategies to further enhance the PSOBP neural network capabilities. The experimental results show that， the thermal comfort prediction model based on the improved PSOBP neural network algorithm has faster algorithm converges and higher prediction accuracy than the traditional BP model and standard PSOBP model.

Key words： thermal comfort； prediction； Back Propagation （BP） neural network； Particle Swarm Optimization （PSO） algorithm； model

0引言

近年来，单纯以室内温度为控制目标的空调系统已无法满足人们对舒适度的要求，而以人体热舒适度为控制目标的空调系统，不仅能提高室内人员的舒适度，还能减少建筑能耗[1-2]。在该空调控制系统中，准确预测空调房间内的热舒适度成为了关键部分。

随着智能优化算法的发展，近年来，学者们提出了不少热舒适度预测算法。文献[3-4]均提出了基于模糊聚类的室内热舒适预测方法，该方法尽管降低了算法训练的复杂度和过拟合度，但其预测误差较大。为提高预测精度，文献[5]提出了基于人工神经网络的热舒适度预测算法，该算法虽然达到了一定预测精度，但该神经网络的训练却很复杂。文献[6]提出的基于反向传播（Back Propagation， BP）神经网络的舒适度预测算法，降低了网络训练的复杂度和预测误差；但是，该算法对网络初始权值和偏置较敏感且易陷入局部最小。文献[7-8]提出采用粒子群优化（Particle Swarm Optimization， PSO）算法BP神经网络的算法，通过利用PSO算法的全局搜索能力，对网络的初始权值和偏置进行了优化，改善了传统BP算法收敛速度慢及对网络初始值敏感的问题，并在数控机床热补偿和股市预测方面取得了较好的应用效果。因此，本文提出将PSO优化BP神经网络的算法应用于热舒适度预测建模上，并针对标准PSO算法存在的局部寻优能力弱、易早熟收敛等缺点，对标准PSO算法的速度更新公式、惯性权值、加速因子进行了改进。本文采用改进的PSOBP神经网络算法，得到了一种新的热舒适度预测模型。该模型提高了PSO算法的收敛速度和寻优能力，解决了BP网络对初始值敏感以及收敛速度慢的问题，因此，既提高了模型的预测精度，又提高了算法的收敛速度。

1预测平均投票模型

Fanger教授提出的预测平均投票（Predicted Mean Vote， PMV）指标模型，表征了人体冷热感的评价指标，代表了大多数人在同一室内环境下的冷热感觉的平均。该指标是关于4个环境变量和2个人体参数的函数，变量分别是空气温度、空气相对湿度、空气流动速度、平均辐射温度、人体活动程度和衣服热阻。PMV指标的取值范围是-3～3，分别对应着人从冷到热的感觉，其中0代表冷热感适中状态。

3.3改进PSO优化BP神经网络预测算法

PSO优化BP神经网络的实质是利用PSO算法的全局搜索能力，优化BP网络的初始权值和阈值。具体过程就是BP神经网络通过PSO算法中的粒子，其位置向量代表神经网络的一组权值和阈值的潜在解，在构建好的神经网络中，以训练样本集的均方误差作为适应度函数，按PSO算法的步骤，经迭代寻优后，找到使适应度值即均方误差最小的全局最优解的过程，该全局最优解就是神经网络的最优初始权值和阈值。

改进的PSOBP神经网络预测算法主要包括以下部分：样本数据准备，构建BP神经网络，利用PSO优化网络的初始权值和阈值，训练优化后的网络。该算法的具体步骤如下：

步骤1收集和准备样本数据。根据传统的PMV数学模型的输入变量范围，以及热舒适度模型的实际应用情况，获取一定数量的样本数据，并经预处理后作为神经网络的训练样本和测试样本数据。

步骤2构建BP神经网络。根据传统模型及样本数据形式，确定神经网络层数，各层节点数，及隐含层、输出层的激活函数。

4.2BP网络构建及PSO参数设置

由于三层的BP神经网络能任意逼近任何非线性函数，因此，本文采用三层的BP神经网络建立舒适度预测模型。根据样本数据的输入输出向量可确定网络的输入层节点数为6，输出层节点数为1；通过反复仿真尝试，隐含层节点数确定为10，即BP网络的结构最终确定为6101结构。BP神经网络的其他参数设置如下：最大步数1000，学习率0.01，学习目标0.001。隐含层激活函数为S型函数，输出层激活函数为线性函数。

根据上述确定的BP网络结构，PSO算法搜索空间维数D=6×10+10×1+10+1=81；种群规模M为40；最大迭代次数为160；最小训练误差为0.001；学习因子c1、c2的初始值分别为2.75，0.5，最终值分别为1.25，2.25；惯性权重w初始值和最终值分别为0.9，0.4；粒子的最大速度为1。

4.3仿真结果及讨论

本文在Matlab 7.11版本下，采用Matlab语言编写算法程序，结合Matlab神经网络工具箱，利用上述的参数设置及样本数据构建了基于改进的PSOBP神经网络的热舒适度预测模型。为了证明本文算法预测模型性能的优越性，本文采用同样的样本数据与参数设置，对改进的PSOBP预测模型、PSOBP模型和BP模型均进行了仿真。图3中（a）、（b）、（c）分别给出了3种预测模型的训练误差随迭代次数变化的曲线。图4中（a）、（b）、（c）分别给出了3种预测模型对60组测试样本的预测值与期望值的相关曲线以及绝对误差曲线。表1给出了3种预测模型的迭代次数、均方误差和最大绝对误差对比。

从图3和表1中可看出，3种预测模型均经有限的迭代次数达到收敛状态，但改进的PSOBP预测模型的收敛速度比PSOBP模型和BP模型快。从图4和表1中可看出，改进的PSOBP预测模型的预测精度明显高于PSOBP模型和BP模型。

5结语

上述实验仿真说明，采用PSO算法优化BP神经网络的初始权值和阈值后，改善了传统BP算法收敛速度慢及对网络初始值敏感的问题，提高了模型的精度和算法的收敛速度；而且，改进的PSOBP模型比标准PSOBP模型的预测精度更高且收敛速度更快，由此可知，本文的改进策略通过改善标准PSO的早熟收敛和局部寻优能力弱等问题，进一步提高了PSO算法对BP神经网络的优化能力。

本文的热舒适度预测模型，是以传统的PMV数学模型为基础，以PSOBP神经网络算法建模来逼近传统的PMV数学模型而建立的。实验结果证明，本文热舒适度预测模型不仅解决了传统模型中计算复杂、不便于实时控制应用的难题，还提高了模型的预测精度和算法收敛速度。

参考文献：

[1]DUAN P， LIU C， DUAN C， et al. Indoor dynamic thermal comfort control method based on particle swarm optimization [J]. Information and Control， 2013， 42（1）： 100-110.（段培永，刘聪聪，段晨旭，等.基于粒子群优化的室内动态热舒适度控制方法[J].信息与控制，2013，42（1）：100-110.）

[2]YANG C， ZHANG Q， YANG J， et al. Analysis of comfort and energyconsumption on temperature control airconditioning system [J]. Journal of Hunan UniversIty， 2012， 39（5）： 18-22.（杨昌智，张清琳，杨菊菊，等.定温控制空调系统的舒适性及节能性分析[J].湖南大学学报，2012，39（5）：18-22.）

[3]XU Y， CHEN X， WANG L， et al. Forecast method based on fuzzy causation clustering for indoor thermal comfort [J]. Chinese Journal of Scientific Instrument， 2006， 27（6）： 850-852.（徐远清，陈祥光，王丽，等.一种基于模糊因果聚类的室内热舒适预测方法[J].仪器仪表学报，2006，27（6）：850-852.）

[4]XU W， CHEN X， PENG H， et al. PMV index forecasting system based on fuzzy Cmeans clustering and suport vector machine [J]. Systems Engineering――Theory and Practice， 2009， 29（7）： 119-124.（徐薇，陈祥光，彭红星，等.基于模糊C均值聚类与支持向量机的PMV指标预测系统[J].系统工程理论与实践，2009，29（7）：119-124.）

[5]CASTILLA M， ALVAREZ J D， ORTEGA M G， et al. Neural network and polynomial approximated thermal comfort models for HVAC systems [J]. Building and Environment， 2013， 59： 107-115.

[6]ATTHAJARIYAKUL S， LEEPHAKPREEDA T. Neural computing thermal comfort index for HVAC systems [J]. Energy Conversion and Management， 2005， 46（15）： 2553-2565.

[7]REN B， REN X， LI G. Thermal error compensation for CNC machine tools based on PSOBP neural network [J]. Machine Tool and Hydraulics， 2013， 41（3）： 59-61.（任兵，任小洪，李国志.基于PSO算法优化BP神经网络的数控机床热补偿[J].机床与液压，2013，41（3）：59-61.）

[8]AI Y， ZHU W， YAN D. Stock market forecast model based on PSOBP neural network [J]. Journal of Computer Applications， 2008， 28（12）： 105-108.（艾永冠，朱卫东，闫冬.基于PSOBP神经网络的股市预测模型[J].计算机应用，2008，28（12）：105-108.）

[9]LI S， LIU L， LIU Y. Prediction for chaotic time series of optimized BP neural network based on modified PSO [J]. Computer Engineering and Applications， 2013， 49（6）： 245-249.（李松，刘力军，刘颖鹏.改进PSO优化BP神经网络的混沌时间序列预测[J].计算机工程与应用，2013，49（6）：245-249.）

[10]LIAN Z， JIAO B. Particle swarm optimization algorithm with mixed search [J]. Control Theory and Applications， 2010， 27（10）： 1404-1410.（连志刚，焦斌.一种混合搜索的粒子群算法[J].控制理论与应用，2010，27（10）：1404-1410.）

[11]GUO W， CHEN G. Discrete particle swarm optimization algorithm and its application [M]. Beijing： Tsinghua University Press， 2012： 5-6.（郭文忠，陈国龙.离散粒子群优化算法及其应用[M].北京：清华大学出版社，2012：5-6.）

第9篇：训练神经网络的优化方法范文

摘要:

高轨卫星是我国卫星导航系统的重要组成部分。提升该类卫星的轨道预报精度有利于用户定位精度的提高。提出了一种改进高轨卫星轨道预报精度的新方法。该方法避开了精化动力学模型的困难，尝试从轨道预报误差的规律中寻找突破。利用神经网络作为建立预报模型的工具，将某历史时刻的轨道预报误差作为训练样本，利用训练好的神经网络模型补偿当前时刻的预报轨道以提高轨道预报精度。对影响神经网络模型补偿效果的各因素进行了详细分析，制定了适应于高轨卫星短期、中期和长期预报的神经网络最优模型。利用实测数据进行了试验分析，结果表明:预报8，15及30d应选择的训练步长分别为10，20及25min；轨道预报8~30d时，训练噪声均选取0.01。神经网络模型有效地改进了高轨卫星的轨道预报精度，预报4~30d，轨道精度提高幅度为34.67％~82.37％不等。

关键词:

神经网络；轨道预报；训练噪声；训练步长；地球静止轨道卫星；倾斜地球同步轨道卫星

高轨卫星在我国的航天系统中应用十分广泛。特别是我国的卫星导航系统BDS(Beidousystem)，其主要包括GEO卫星和IGSO卫星。导航卫星星历的精度是定位精度的基础，而广播星历本身便是轨道预报的结果。预报精度问题是制约BDS卫星导航系统服务性能的关键因素，因此有必要对导航系统中的高轨卫星轨道预报精度展开研究[1]。改进轨道预报精度的一种方法是建立更加精准的动力学模型[2￣3]。然而由于该方法需要长期精密轨道数据的支撑，周期长、难度大。改进轨道预报精度的另一种方法可以从轨道预报误差的规律中寻找突破[4]。神经网络作为一种新兴的建模工具，特点在于处理高维性、非线性的问题时不需要准确知道输出输入函数的结构参数。只要通过训练来掌握它们之间的内在关系，在输入训练集以外的数据时，神经网络可以获得它们之间正确的映射关系。该方法的优势在于不确定性系统的控制和预测。目前在轨道预报中使用神经网络工具的相关研究较少，文献[5]根据GPS卫星星历的相关周期特性，以时间系列预报作为基础，利用神经网络建立预报模型。在没有任何动力学模型的情况下得到了精度为数百米(1周)的预报结果。但是由于将卫星位置量直接作为神经网络的输出，神经网络算法的状态量动态范围大，限制了预报精度的提高。文献[6]利用GPS卫星精密星历已知的优势，将神经网络与动力学模型相结合组成混合预报模型，改进GPS导航卫星的中长期预报。该方法可以在一定程度上改进轨道预报精度，但不是每次改进均能成功，存在改进失效的情况。针对高轨卫星的高精度轨道预报这一难题展开研究。以神经网络作为建立预报模型的工具，在动力学模型基础上建立神经网络模型，通过对历史时刻预报误差的学习及训练，掌握其变化规律，再用于补偿和改进当前时刻的预报轨道，以达到提高预报精度的目的。针对神经网络训练及补偿特性，分析了不同因素对神经网络模型性能的影响。基于此制定了短、中、长期轨道预报的最优模型，最后利用不同类型卫星进行了试验分析。

1基于BP神经网络的轨道预报算法

BP神经网络是一种多层网络的“逆推”学习算法[7￣9]。利用神经网络进行轨道预报分为训练和补偿两个阶段。在训练阶段，采用拼接方法得到一条长时间的精密轨道，用于衡量动力学模型预报误差及神经网络模型的训练误差。针对拼接处小量级的跳跃现象，采用Robust￣loess数值滤波方法进行轨道预报误差平滑[10]。由于预报轨道和预报误差为训练样本，故需要对两者的特性进行分析。同时神经网络模型参数在一定程度上影响神经网络的训练效果，因此有必要对影响神经网络模型的一些关键因素进行分析，以确定最优的神经网络模型。在补偿阶段，将当前时刻的预报轨道X(T)和V(T)作为神经网络模型的输入；将利用函数f(X，V)计算得到神经网络模型的输出作为当前时刻预报轨道的补偿值ΔXNN(T)，将改进后的预报轨道X(T)和V(T)作为最终轨道输出。在神经网络具体应用中，为了提高网络性能以完成预定任务，需要认真考虑训练集预处理、网络结构设定以及训练算法等内容。网络的性能主要表现在训练效率及泛化能力。泛化能力是指辨识训练样本中所隐藏的规律并且当被输入样本以外数据时，网络能正确地反应这种规律的能力。关于网络泛化能力的相关讨论及改进措施，已有文献进行了比较详实的总结。这里涉及到的方法主要包括下列3个方面:一是处理训练样本的方法[11]，将神经网络的训练样本进行归一化处理，使其在[－1，1]变化，以提高神经网络的性能；二是训练步长的选取；三是增加随机噪声[12￣13]。

2不同因素对神经网络模型性能的影响

分别针对预报轨道和预报误差特征、训练步长的选择、训练噪声的大小对神经网络模型性能的影响进行讨论。

2.1预报轨道和预报误差的特征分析

2.1.1中长期预报轨道和预报误差特征将短期轨道预报弧长定位为1~13d，中期轨道预报弧长为14~27d，长期轨道预报弧长大于27d。以某初始时刻的预报误差作为训练样本训练得到的神经网络可以对其他初始时刻的预报轨道提供补偿，但前提是两个初始时刻的预报误差数值大小及波形图要相近。对GEO卫星的预报误差进行时间序列分析，结果可以看出，预报误差最大值呈现以14d为周期的变化规律；IGSO卫星具有相同的特征。文中选取的训练弧长与当前时刻的轨道预报弧长相等。对于中长期轨道预报可以采用以下方案:假设预报弧长为md(14n≤m≤14(n＋1)，n≥1)，用当前时刻起14(n＋1)d之前那天的预报误差和预报轨道作为训练样本，训练弧长为md，训练得到神经网络模型。采用神经网络模型计算得到的补偿误差波形对当前的预报误差进行补偿。对于短期预报，由于预报弧长小于14d，其轨道预报方案中还考虑了预报误差波形的最佳匹配。即充分结合预报误差和预报轨道的动力学特性，建立了一个训练样本集。根据当前时刻的预报误差波形变化特征在样本集中搜索最佳训练样本，实现两者波形变化的最优匹配，从而实现最优的补偿效果。在中长期预报中未采用波形匹配算法的主要原因是，需要兼顾工程应用中的实时性，波形匹配耗时较长。

2.1.2短期预报中的波形匹配算法航天器是一个受摄动力系统，其初值不稳定性使得利用不同初始轨道得到的预报轨道和预报误差的特性均不同。这就导致不同初始时刻的预报误差并无规律。为了实现最佳的神经网络模型补偿效果，必须找到与当前时刻预报误差变化波形最为相近的历史时刻中的一条预报轨道。采用历史时刻的预报轨道和预报误差作为训练样本，训练得到神经网络模型。在实际工程应用中，因为当前时刻之后的预报弧段中的精密轨道无法获取，故不能获得当前时刻的预报误差波形变化规律，所以并不能直接通过预报误差波形比对来寻找补偿当前时刻预报轨道的训练样本。但是基于动力学模型外推可以得到当前时刻的预报轨道，如果能找到预报轨道与预报误差之间的波形变化对应关系，就可得到当前时刻的预报误差波形变化规律。由于预报误差的变化周期与轨道周期相同，对于GEO/IGSO卫星均为1d，通过对比预报误差波形变化最大值和最小值出现的时刻，搜寻得到用于补偿当前时刻预报误差的训练样本。由于预报轨道在数值上远远大于预报误差，为了便于分析问题，将两者进行归一化处理，即分别将两者除以各自的最大值，这样它们就在±1之间变化。图2和图3分别给出了某GEO卫星和某IGSO卫星在2013年第23天预报8d的轨道与相应的预报误差之间的对应关系。其中，横坐标表示预报时间，单位为d；纵坐标表示归一化后的数值，无量纲。1)对于两种类型的卫星，在J2000坐标系中X和Y轴方向，当预报轨道X/Y＝0时，对应时刻的预报误差为最大值(峰值)或最小值(谷值)。预报轨道从正值变化为负值经过零值的时刻对应着预报误差的峰值，从负值变化为正值经过零值的时刻则对应着预报误差的谷值。2)在Z轴方向，GEO卫星的预报轨道和预报误差之间并无明显的对应关系；IGSO卫星存在与X/Y轴相同的对应关系。将作为训练样本的预报误差选择定义在J2000坐标系中，主要是因为在该坐标系中预报误差的规律性强，并且与预报轨道之间存在一定的对应关系。

2.2训练步长对预报精度的影响预报误差改进率的计算公式如下。以某GEO卫星为例，表1给出了不同预报弧长、不同训练步长下利用神经网络模型得到的预报误差改进率。分析表1中的数据可以看出下列3点。1)训练步长越小，神经网络模型的改进率就越高。2)预报弧长的长度与对训练步长的敏感度成反比，即弧长越长，训练步长的延长对改进率的影响就越小。训练步长从5min延长至40min，预报8，15和30d的改进率分别降低5.68％，3.9％和1.36％。3)由于训练步长越小，训练时间越长，因此改进率与训练时间是一对矛盾体。从综合改进率和训练时间的要求考虑，即改进率应尽可能高，而训练时间应尽可能短。故预报8，15和30d应选择的训练步长分别为10，20和25min。

2.3训练噪声对预报精度的影响以某初始时刻的轨道预报误差(称为训练值)作为训练样本训练神经网络模型，用其补偿另一个初始时刻利用动力学模型外推得到的预报误差(称为期望值)。如果训练值和期望值在同一时刻吻合的很好，那么利用神经网络模型一定能很好地修正动力学模型的预报误差。以某GEO卫星轨道预报8d为例，图4给出了采用不同噪声值时训练值和期望值之间的吻合关系。分为无噪声、噪声为0.01、噪声为0.05和噪声为0.10共4种情况。从图4中可以看到，不加噪声时训练值与其期望值的差别较大，因此应加入训练噪声以提高神经网络的泛化能力；加入噪声后训练值与期望值吻合的较好，但无法区分噪声值为多大时预报精度最高。表2给出了采用不同训练噪声时，经神经网络模型补偿后的轨道预报误差最大值的统计结果。其中原始预报误差为未进行补偿时的采用动力学模型外推得到的预报误差。表2不同训练噪声下的预报分析表2中数据可以看出下列两点。1)无噪声时，前4d无改善，精度反而降低；预报8d及更长弧段时预报误差略有改善，故应加入训练噪声。2)增加噪声后，噪声从0.001~0.100的变化对预报精度的改进幅度相当。但从总体来看，噪声越小，前6d的预报精度越高；但预报8d以及更长弧段时噪声为0.010的预报误差最小，故应选择训练噪声为0.010。

3试验结果及分析

根据上述短、中、长期轨道预报方案，并结合不同神经网络模型参数的优化设计分析，给出了利用神经网络模型进行轨道预报的试验结果。通过与精密星历比对可以分别得到动力学模型和神经网络模型的预报精度。表3列出了BDS系统中两颗GEO、三颗IGSO共5颗卫星在2013年第23天利用神经网络模型和动力学模型外推得到的预报误差(其中NN代表神经网络模型；Dyn代表动力学模型)。Sat02卫星由于轨道机动未能统计其中长期预报结果。表3中误差是在一定弧段内预报误差的最大值。从表3可得，神经网络模型1d预报误差有时会大于动力学模型的预报误差；但预报4，8，15及30d各卫星采用神经网络模型补偿后的预报精度均有所提高。这主要因为1d的预报弧段规律性不强，不利于神经网络模型的学习及训练。随着弧段的增长，训练样本的规律性增强，神经网络模型的补偿效果有所提高。为了更好地衡量神经网络模型的改进效果，给出各卫星的预报精度提高幅度，其与预报误差改进率的计算公式相同。表4给出了各卫星经神经网络模型补偿后的预报精度提高幅度。从表4中可以看出，预报4d各卫星的轨道精度改进幅度为40.25％~60.31％；预报8d各卫星的轨道精度改进幅度为63.28％~72.59％；预报15d改进幅度为47.01％~82.37％；预报30d改进幅度为34.67％~82.35％。可见神经网络模型在改进轨道预报误差中的作用显著。

4结论