神经网络过拟合的表现精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的神经网络过拟合的表现主题范文，仅供参考，欢迎阅读并收藏。

第1篇：神经网络过拟合的表现范文

关键词：BP神经网络；RBF神经网络；损伤识别；损伤预测

Abstract:In this paper, the BP neural network and the RBF neural network are compared combined with practical engineering examples. The analysis result shows that the RBF neural network was closer to the actural working conditions of structure.Then， the Least squares method was used to fit and predict the deflection damage parameters.Finally, the predicted data was recognised by using RBF neural network, to achieve the objectve of prevention.

Keywords: BP neural network; RBF neural network; damage recognition; damage prediction

中图分类号：TU74文献标识码：A 文章编号：

目前，神经网络由于自身的特性，在损伤模式识别领域中有着越来越广泛的应用。当桥梁结构出现损伤时，结构中的各个参量或部分参量将表现出与正常状态下的不同特征。桥梁损伤识别的主要任务就是如何找到损伤的特征描述，并利用其进行损伤诊断和结构安全度的评估。前向BP网络和RBF网络的学习算法属于有教师型的。这种算法模型具有很好的推广能力，用于损伤模式识别的效果比较好。训练好的BP网络和RBF网络计算速度快、内存消耗低，可用于实时监测和诊断。以下，着重介绍BP网络和RBF网络。

1基于BP算法的多层前馈网络模型

采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络，BP网络是一种具有三层或三层以上的神经网络，包括输入层、中间层（隐层）和输出层。上下层之间实现全连接，而每层神经元之间无连接。在多层前馈网络的应用中，以单隐层网络的应用最为普遍。一般习惯将单隐层前馈网络称为三层前馈网或三层感知器。

2径向基函数（RBF）网络

径向基函数（Radial-Basis Function，RBF）网络包括三层，输入层由信号源节点（感知单元）组成，它们将网络与外界环境连结起来；径向基隐层含S1个神经元，线性输出层含S2个神经元。分别是两层网络的权值和阈值；S1、S2是两层的神经元的个数；是两层的输出；P是输入；下标表示量的行列数。隐层中的神经元采用径向基传递函数()。输出层中的神经元采用线性传递函数()。

3小沟桥桥跨结构损伤识别模型

小沟桥的各个子系统运行以来，工作状态良好，性能可靠。经过比对实验，该系统能够真实的反映桥梁的各个待测参数，并且具有自动归纳分类的功能。小沟桥右幅桥在某两年24个月的数据训练样本格式为，输入向量依次为挠度、振动、应力、温度、载重、通行量，目标向量是挠度和应变两项的期望输出值（“0”表示完好状态，“1”表示危险状态）。同时，对模型进行损伤仿真的模拟训练。接下来，借助于MATLAB7里所对应的神经网络工具箱，分别用BP网络和RBF网络对以上表1所规定的数据样本进行网络训练。

3.1基于BP网络的损伤识别

由于网络输入变量已经确定，需要进行归一化处理，这里将其变换在[0，1]的范围内，经过归一化处理的数据对于神经网络更容易训练和学习。利用以下代码来创建以上刚刚设计的网络。

Threshold=[01;01; 01;01;01;01]

net=newff(threshold,[13,2],{‘tansig’,‘logsig’},‘trainlm’)；

其中，变量threshold定义了输入向量的最大值和最小值。接下来，对所建网络进行训练，通过调整，使网络的输出误差达到最小，满足实际应用的要求。训练函数trainlm是利用Levenberg-Marquardt算法对网络进行训练的。

网络训练结果为：

TRAINLM, Epoch 0/1 000, MSE 0.471 248/0.001, Gradient 2.116 8/1e−010

TRAINLM, Epoch 19/1 000, MSE 0.000 158 792/0.001, Gradient 0.037 399 1/1e−010

TRAINLM, Performance goal met.

经过19次训练后，网络的性能就达到了要求，并利用原始样本输入数据进行网络训练，得到逼近误差曲线。

3.2基于RBF网络的损伤识别

利用函数newrb创建一个径向基神经网络，调用格式为：

[net,tr]=newrb(P,T,GOAL,SPREAD,MN,DF)；

在网络设计过程中，需要用不同的SPREAD值进行尝试，以确定一个最优值。最终，确定网络创建函数为：net=newrb (P, T, 0,0.2,25,5)；

通过上述代码，创建了一个目标误差为0、径向基函数分布密度为0.2、中间层神经元个数最大值为25、显示间隔为5的RBF网络。当中间层神经元个数增至25时，网络输出的误差SSE已经非常小了，数量级为10−31。

以训练样本对上面建立的RBF网络进行测试，得到逼近误差曲线数量级为10−16。因此，可以判定经过训练后，网络是可以满足要求的。

3.3BP网络和RBF网络比对

综合对比两种网络的训练误差、逼近误差等，发现BP网络由于收敛速度慢、较长的训练时间、网络往往存在很大的冗余性，在一定程度上增加了网络学习的负担，并且网络的学习和记忆具有不稳定性。因此，BP网络明显不如RBF网络，认为用RBF网络更能准确地评估桥跨结构的损伤，接近于实际工作状态。

3.4最小二乘拟合的Matlab设计与实现

Matlab软件是集数值计算、符号运算及出色的图形处理、程序语言设计等强大功能于一体的科学计算语言。由于挠度是桥梁工作性能的一个重要参数，它更加直接地反应了桥梁结构的工作状况，所以接下来以挠度数据为例运用最小二乘法进行曲线拟合，并预测。

确定参量的测量值：

=[1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9]；

=[11.83 12.48 11.84 11.97 11.76 11.48 11.68 11.89 12.57 11.49 11.52 11.59 11.45 11.61 11.53 11.83 12.52 12.41 12.13 11.95 12.26]；

用Matlab语言中的plot函数的曲线散点趋势图，以此图对比典型曲线图，选择合适的经验公式，确定多项式的拟合次数，多次实验后，确定为4；

Matlab系统设计polyfit函数采用最小二乘法原理对给定的数据组进行多项式拟合，最后给出拟合的多项式系数，温度拟合曲线的多项式为：

并拟合接下来的两个月的挠度值；

同理，对振动、应力、温度、载重、通行量项目的数据进行拟合。

3.5对预测数据进行损伤评估

以表3中最后两列的预测数据作为输入量，即

p_test=[12.11 3.31 0.91 7.66 162.9534 30.5539;

11.93 3.32 0.92 −3.12 162.6354 30.5567]；

经过归一化处理后为P_test，利用先前所建立的RBF网络来进行损伤评估，y=sim(net,P_test)；

得到两个指标的损伤指数分别为：[0.2187e−0080.0001e−008；−0.0144e−0080.0629e−008]，数量级为10−8，接近于“0”，表明结构在接下来的两个月应该处于完好状态。

4结束语

针对小沟桥的历史数据，分别用BP网络和RBF网络对样本数据进行损伤训练、测试。综合对比后，采用RBF网络对桥跨结构进行损伤评估，并作为后续对桥梁结构进行整体评估的两个底层指标。

采用最小二乘法对24个月以来的历史数据进行曲线拟合，预测出后续的两组数据；然后对预测出来的两组数据进行损伤识别，得出两个指标的损伤指数，从而真正达到预测，进而达到预防的目的。

参考文献：

[1] 飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].北京：电子工业出版社，2005.3：89~108

[2] 胡伍生.神经网络理论及其工程应用[M].北京：测绘出版社，2006：63~83

[3] 王可，毛志.基于Matlab实现最小二乘曲线拟合[J].北京广播学院学报(自然科学版)，2002，12(2)：52~56

[4] 李丽，王振领.MATLAB工程计算机应用[M].北京：人民邮电出版社，2001

第2篇：神经网络过拟合的表现范文

关键词: 铁路交通; 信息预测; 数据融合; 神经网络

在城市地铁交通中，各车站交通流量信息(如候乘数量、下车数量等) 的准确预测有利于地铁运行高效、及时地调度，从而既达到增加效益的经济目的，又可以更好地满足人们的乘车需求。传统的预测方法有回归分析算法以及Kalman 滤波等。这些方法假定过程是平稳的，系统是线性的，系统的干扰是白噪声，因此在线性系统平稳的随机时间序列预测中能够获得满意的结果。然而，交通问题是有人参与的主动系统，具有非线性和扰动性强的特征，前述方法难以奏效，表现为以下缺点: ① 每次采样的数据变化较小时适用，数据变化大误差就大; ② 预测值的变化总是滞后于实测值的变化; ③ 无法消除奇异信息的影响。基于小波分析的动态数据预测方法以小波变换后的数据进行预测，克服了传统预测方法不能消除奇异信息的缺点， 有效地预测动态的流量信息[ 1 ] 。但该方法只能对单个的数据序列进行处理，而事实上能够用于预测的数据可以是多方面的。

数据融合(Data2Fusion) 技术起源并发展于军事领域，主要用于目标的航迹跟踪、定位与身份识别以及态势评估等[ 2 ] 。传统的数据融合技术大多采用概率理论(如Bayes 决策理论) 对多种信息的获取与处理进行研究，从而去掉信息的无用成分，保留有用成分[ 3 ] 。在信息处理中，分别运用各种体现数据不同属性特征的方法处理(如预测) 后进行融合是一个有待深入研究的问题。为了充分利用各方面已有的数据，获得可靠的交通流量动态预测，本文借鉴数据融合的基本思想，提出了在数据处理方法上的融合预测方法。

1 　流量融合预测模型

1. 1 　预测模型的结构

由于预测对象的复杂性，为了表现与预测对象相关联的其他对象或属性，每个关联对象(属性) 用一个时间序列来表示，作为预测对象的相关序列。所有用于预测的相关序列构成预测对象的相关序列集。由于在预测中具有不同的作用，各相关序列将使用不同的处理和预测方法。在相关序列集上的地铁客流量融合预测模型结构，如图1 所示。

下面针对城市地铁车站客流量的预测进行论述。

1. 2 　构造相关序列集

为了预测车站(序号为0)在第i 天t 时刻的流量^F0 i(t) ( 实测值为F0 i(t)) ，设t 时刻^F0 i(t)的相关时间序列集为f(t) = {fj(t) ，1 ≤ j ≤ n} ( 1 ) 式中，fj(t)为t时刻^F0 i(t)的相关时间序列; n 为相关时间序列数。

为了获得精确的预测，可以根据关联特性构造任意多个相关时间序列。本文意在阐明本算法的基本思想，将流量数据仅仅构造为3 类相关序列:当前序列、历史序列和邻站序列。

当前序列　预测时刻t之前本站最近k次流量按时间先后记录下来的数据构成的时间序列为当前序列，即

f1 (t) = { F0 i(t -l)，1 ≤ l ≤ k} ( 2 )

该序列数据的主要影响因素是时刻，同时还受人为、气温、天气等其他扰动因素的影响，数据分布的非线性特性较大，频带较宽。第l 班列车的流量如图2 所示。

历史序列　同为工作日或同为节假日的相邻数天，其流量曲线形状相对类似，流量曲线相似的日期在预测中具有较大的参考意义。本站最近m 天在时刻t 的流量按日期先后记录下来的数据构成的时间序列为历史序列，即f2 (t) = { F0 i-p(t) ，1 ≤ p ≤ m} ( 3 )

工作日和节假日流量差别较大，可将它们分类处理。该序列整体分布较平稳，有震荡，但频带较窄。第p个工作日在时刻t的流量如图3 所示。

邻站序列　图4 为本站与邻近2 个车站24 h 的流量曲线经DB2 小波3 层变换后的近似分量，可见各分量关联性较大。如果根据以前的数据将各邻近车站相互关系解算出来，就可以利用这种函数关系预测时刻t在本站的流量。最近m天在时刻t 的流量按日期先后记录下来的各邻站历史序列为本站的邻站序列，即

qf2 +q(t) = { Fi-p(t) ，1 ≤ p ≤ m，1 ≤ q ≤ s} ( 4 )

q式中， Fi-p(t)表示第q个邻近站的第(i -p)天的流量;s 表示邻近站数。

1.3 　相关序列的预测

由于各相关序列在预测中具有不同的影响，且分布规律和特点差异较大，因而各序列使用不同的预测方法。本文对当前序列进行小波分解后用Kalman 预测，对历史序列直接进行Kalman 预测，对邻站序列用幂级数多项式进行拟合。

1.3.1 　小波分析

根据设置的分解指数η对序列进行小波N 尺度分解，得到一组低频信号和N 组高频信号，对这N + 1 组信号分别用Mallat 塔式算法重构到原尺度上，得到N + 1 组在原始尺度上的经过分解重构处理的信号。分别对信号用Kalman 滤波进行预测，得到N + 1 个预测值，再将这N + 1 个预测值用权系数合成最终的预测值。具体算法请参见文献[1 ]。

1.3.2 　Kalman 滤波离散线性Kalman 滤波方程为

F(t) = Φ(t -1) F(t -1) + W(t -1)( 5 ) 式中，Φ (t) 为系统状态转移量; W(t) 为系统误差。Kalman 滤波通过t -1 时刻的状态F(t -1)估计t 时刻的状态F(t) 。具体算法请参见文献[1 ]。

1.3.3 　多项式拟合

分别对各邻站序列用幂级数多项式拟合本站数据，拟合模型如下

n

i

p

^Fp(t) = αp，i(t) F(t) ( 6 )

i=0

i

6 式中， Fp (t)为对第p个邻站在时刻t 的流量的i 次i 幂;αp，i(t)为Fp (t)的系数。当n= 2 时，上述拟合算法简化为线性回归模型。

1.4 　流量的融合预测设预测对象共有n个相关的时间序列fi(t) ，经过预处理分别为fi(t) ，融合预测模型可表示^F(t)在f(t)上的映射，即^F(t) =ζ(f(t)) =ζ(f1 (t) ，f2 (t) ，fn(t)) ( 7 ) 式中，ζ(·)表示映射关系。特别地，式(7)可简化为如下的线性映射组合^F(t) = αi(t)ξ(fi(t)) ( 8 ) i=16

式中，αi(t)为t 时刻的序列fi (t)的权系数;ξ(fi (t)) 为以fi (t)为依据的局部预测值。为了确定上述算法中映射关系ζ(·)，本文采用神经网络进行解算。

2 　模型的神经网络解算

神经网络是由大量简单的神经元以某种拓扑结构广泛地相互连接而成的非线性动力学系统[4 ]。神经网络在数据融合技术中具有无法替代的作用，通过神经网络对各相关序列的局部预测进行最终融合，具体过程如下。

2.1 　数据的局部处理

广州市地铁某站一个方向的流量数据是以每班列车到站上车的人数记录的(流量单位:人/班) 。根据2002 年5 月1 日 2003 年3 月2 日的流量数据，运用本文算法进行预测。按照1.2 节的方法构造了4 个相关序列:当前序列f1 (t) 、历史序列f2 (t)以及相邻2 个车站的邻站序列f3 (t)和f4 (t) 。 2.2 　神经网络的设计

因为3 层神经网络可以一致逼近任何非线性函数[5 ]。采用具有单隐层的3 层神经网络作为模型，即输入层、隐层和输出层。

以各相关序列的局部预测值作为输入向量，实测值F(t)为期望输出，有4 个输入节点，1 个输出节点。隐层神经元数量关系到网络的训练速度和精度问题。对于一定数量的样本，需要一定数量的隐层神经元数， 神经元少了，不能反映样本的规律;多了，则神经网络以过于复杂的非线性关系来拟合输入输出之间的关系，使得模型的学习时间大大增加。本例中，8 个隐层神经元数是最好的。以误差平方和SSE(Sum2Squared Error ) 作为训练评价标准， SSE = p j (Ypj-Opj)2 ，其中Ypj和Opj分别为输出层第j个神经元的第p个样本的期望输出和实际输出(本例中j= 1 ，p= 60) 。

用MATLAB 的ANN 工具箱构造神经网络。隐层神经元的激励函数为tansig 函数( 正切S 型传递函数)，输出层神经元的激励函数为purelin 函数(线性传递函数)，这样整个网络的输出可以取任意值。采取批处理学习方式和快速BP 算法训练。

2. 3 　神经网络的训练

将网络的训练标准SSE 设为64(60 组训练样本)， 利用上述样本对神经网络进行训练，训练6 000 次时网络的权值和阈值将达到最佳值，即达到了训练目标。神经网络训练目标接近过程，如图5 所示。

从图5 中可以看出，训练开始时，网络收敛速度较快，接近目标时收敛速度会减慢。可见，训练次数越多，得到的结果越好。当然，这是以训练时间的增长作为代价的。

3 　实验对比分析

采用本文算法和传统的Kalman 算法分别对2003 年3 月2 日的各整点时刻的流量进行预测。算法各时刻均通过训练后的神经网络预测，预测与实测结果的比较，如图6 所示。

传统的Kalman 滤波是直接在当前序列的基础上进行预测的， 预测与实测结果的比较如图7 所示。2 种预测方法的误差指标对比见表1 。

表1 　实验结果对比

比较可得，由于传统的Kalman 预测方法只能以某一类序列的数据作为预测基础，无法利用其他序列信息，且对变化大的数据采样要求较高，因而具有较大的误差，而本文所述方法有效地克服了这些缺点。

4 　结论

通过分析城市地铁站客流量的相互关系和特点， 在对流量信息进行以预测为目的相关序列集构造的基础上，提出了一种基于数据融合的预测模型。该预测模型不仅是一个多信息接收和处理的融合模型，而且还是一个动力学系统，网络的训练样本也是动态的，如果训练的次数适当，预测的精度也可以随之变化调整。实验结果表明，基于数据融合的预测与传统的预测方法相比，由于充分利用了所有预测信息，在预测的准确程度上有较大提高。

参考文献:

[1 ] 李存军， 等. 基于小波分析的交通流量预测方法[J ] . 计算机应用， 2003 ， 23(12) : 7 —8.

[2 ] 权太范. 信息融合: 神经网络 模糊推理理论与应用[M] . 北京: 国防工业出版社， 2002.

[3 ] . 信息融合技术[ M ] . 北京: 国防工业出版社， 1996.

第3篇：神经网络过拟合的表现范文

[关键词] 药品；神经网络；组合预测；需求预测

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 08. 051

[中图分类号] TP183 [文献标识码] A [文章编号] 1673 - 0194（2014）08- 0084- 05

0 引 言

随着人工智能技术的发展，人工神经网络得到了广泛研究和应用。由于神经网络具有良好的学习能力和较强的非线性处理能力、不依赖于特定数学模型等优势，其作为一种预测方法已被广泛应用于许多领域。

在医药企业、医药卫生管理领域，药品需求预测一直是管理部门关心的热点问题。药品需求除了受由药品自身属性影响外，还受国家政策或医药行业规定等因素的影响，如药品在某地区是否中标、是否为处方药等；同时，制药企业自身制定的定价、渠道以及促销等营销策略和销售团队的组建制度也对药品需求产生不同程度的影响。药品需求特征的多样性，决定了药品需求预测本质上是一个复杂的非线性系统建模问题。

国内外众多学者对药品需求预测进行了深入的研究，产生了一批有价值的研究成果。目前，药品需求预测的主要方法包括：回归分析法、时间序列分析法、神经网络、遗传算法等。这些方法从不同角度出发建模，均取得一定效果，尤其是BP神经网络，已经在药品预测研究中取得了众多应用。尽管相关讨论和研究不断增多，但是目前常用的神经网络预测方法普遍存在以下问题：由于药品需求特征颇为复杂的特殊性，运用单项预测方法对其进行预测无法涵盖其较多的特征信息，通常表现为对某类特定的药品预测效果良好，而对其他药品则预测性能较差，从一定程度上限制了预测模型的适用范围。

本文采用基于神经网络的组合预测模型来解决上述问题。组合预测方法（combined forecasting）是指通过一定数学方法将不同的单项预测模型组合起来，综合利用各种单项预测方法所提供的信息，从而达到提高预测精度的目的。组合预测方法最早由Bates和Granger[1]于1969年提出，他们认为对于一个包含系统独立信息的单项预测方法，与预测精度较小的预测方法进行组合预测完全可以增强系统的预测性能。

考虑到各种神经网络预测方法的特点及其适用范围，本文选择BP神经网络预测方法、RBF神经网络预测方法和基于广义回归神经网络（GRNN）3种常用的神经网络预测方法作为组合预测模型中的单项预测方法。在此基础上，用平均绝对相对误差（MAPE）和方差为衡量标准，并根据设置的阈值对单项预测方法进行筛选，最后选取了MAPE作为最优准则计算得到权重，从而建立组合预测模型，在提高组合预测模型精度的同时，使得组合预测模型具有现实意义。实验结果表明，本文提出的模型的预测精度高于传统的线性组合模型的预测精度。

1 相关工作

基于神经网络的预测方法具有很多其他预测方法所不具备的优点，近年来越来越被人们所关注。吴正佳 等（2010）[2]针对某备货型企业的产品需求量，建立了基于良好学习能力的BP神经网络预测模型，并通过实证分析与简单移动平滑法和加权移动平滑法的预测结果相比较，结果表明BP神经网络预测结果比其他两种更为有效果。童明荣 等（2007）[3]提出一种季节性RBF神经网络预测模型，对具有季节性的产品月度市场需求进行预测，最后利用构建好的RBF神经网络模型进行仿真实验，并与ARIMA模型、分组回归模型等常用季节预测模型做对比分析，结果表明前者的预测误差均方差最小，预测精度较高。Maria Cleofé（2005）[4]利用人工神经网络（ANN）对圣保罗地区的降雨量进行预测，并通过实证分析与其他线性回归模型作对比评价，实验结果表明人工神经网络有着更好地预测效果。此外还有其他很多学者在交通、航运、气候等多个领域运用神经网络进行了预测[5-7]，不在此赘述。

针对药品销量预测这一特定问题，国内外部分学者也做了一定的研究工作，试图寻找合适的预测方法对药品需求做出较为准确的预测。马新强 等（2008）[8]提出了一种基于BP神经网络的药品需求预测模型，该文先利用数据仓库及数据挖掘技术分析提取了相关有效的药品销售信息作为研究对象，在此基础上利用BP神经网络对其进行预测，最后在较为精确销售量的基础上提出了一种优化的生产决策系统方法。王宪庆 等（2009）[9]利用BP神经网络模型对药品超市的药品销售情况进行预测并做了相关实证分析，该文通过观察药品预测的显著性差异评价模型的性能，最终取得了良好的效果，支持了其BP神经网络非常适用于资金有限、仓储量不大的药品超市的结论。刘德玲（2012）[10]提出了一种针对大范围内的药品销售的预测方法。该文利用遗产算法优化支持向量机药品销售预测方式进行预测，提高了药品销售预测的精确度，得到了较为满意的结果。

尽管有关研究不断增多，但由于药品需求特征颇为复杂的特殊性，运用单项预测方法对其进行预测无法涵盖其较多的特征信息，从一定程度上限制了预测模型的适用范围。本文根据药品需求高度非线性的特点选取了3种不同特性神经网络模型作为单项预测方法，每种神经网络都有其所针对的药品需求特征，并在此基础上建立组合预测模型，扩大了药品预测模型的适应范围，对于提高药品预测精度和预测稳定性具有重要意义。

2 基于神经网络的药品需求组合预测模型的建立

基于神经网络的药品需求组合预测模型的具体步骤如下：

（1）数据异常点预处理。为提高组合预测模型的适用范围和预测精度，本文运用基于距离的异常点检测方法对存在异常点的药品需求数据进行异常点修复，得到正常的需求数据。

（2）单项预测方法的选取。针对药品需求的不同特征，选取3种不同特性的神经网络模型作为单项预测方法，以此作为组合预测模型单项预测方法的筛选基础。

（3）单项预测方法的筛选与变权重的计算。因为不同药品具备不同需求特征，在进行组合预测时仍需要在已选取单项预测方法的基础上再次筛选合适的单项预测方法进行组合，以相对误差为最优准则，通过求解二次规划问题得到权重并按照一定的变权规则进行变权。

（4）根据权重建立组合模型进行预测。

2.1 药品数据异常点预处理

在药品销售数据中，由于特殊事件（如铺货）等原因，个别数据会表现出明显突变，导致药品历史数据存在异常点，掩盖了数据本身的规律。本文通过基于距离的异常点检测方法和多项式拟合方法对药品数据做预处理，具体处理步骤如下：

首先，选择一个较大的数（如1010）将缺失数据补足，然后运用基于距离的异常点检测方法进行检测。第一步，对药品需求数据进行归一化处理并计算出各个数据之间的距离，得到距离矩阵P。计算公式如下：

Pij=|xi-xj|，i，j=1，…，n（1）

式中，xi表示时间序列中第i期的数据，Pij表示时间序列中i期数据与j期数据之差的绝对值。距离矩阵P的第i列表示时间序列第i期数据与长度为n的时间序列中所有数据（包括第i期数据本身）的距离。

P=p11，p12，…，p1np21，p22，…，p2n… … … …pn1，pn2，…，pnn（2）

通过设置距离阈值d，计算出所有满足Pij>d的距离个数，记di，得到判别矩阵D。

D=[d1，d2，d3，…，dn]（3）

将di与阈值f进行比较，若大于f，则识别该点为异常点，否则为正常值。最后利用多项式拟合方法，将检测出来的异常点作拟合处理，得到建模需要的正常数据。

2.2 单项预测方法的选取

药品需求预测是一个复杂的非线性系统建模问题，相对于传统分析方法（如指数平滑方法、ARMA模型、MTV模型），神经网络依据数据本身的内在联系建模，具有良好的自组织、自适应性，以及抗干扰能力以及非线性映射能力，能够较好地解决非线性数据拟合问题。

本文选取3种具有不同特征的神经网络模型，即BP神经网络、RBF神经网络和GRNN广义回归神经网络，综合其各自优势建立组合预测模型，提升整个预测模型的泛化能力，提高预测精度与预测稳定性。

2.2.1 基于BP神经网络的药品需求预测方法

BP神经网络由Rumelhard和McClelland于1986年提出，它是一种典型的多层前向型神经网络。药品销售记录作为BP神经网络输入值，药品需求预测即为BP神经网络输出值。当输入节点数为m，输出节点数为n时，BP神经网络就表达了从m个自变量到n个因变量的非线性函数映射关系。

BP神经网络侧重对全样本的学习，因此适合对样本整体特征相近的时间序列进行预测，即适应受某一特定因素影响显著，且该影响因素相对稳定的药品预测。

2.2.2 基于RBF神经网络的药品需求预测方法

径向基函数（RBF，Radical Basis Function）由Powell于1985年首次提出，它是一种三层前馈网络，即输入层、隐含层和输出层。从输入层到隐含层是一个非线性到线性的变换过程，从隐含层到输出层是一个线性处理过程。RBF神经网络在处理非线性问题时，引入RBF核函数将非线性空间映射到线性空间，极大地提高了非线性处理能力，且RBF神经网络采用自组织有监督的学习算法进行训练，其训练收敛速度具有显著的优势。

RBF神经网络具有很好的非线性处理能力，其学习算法属于局部激活性较高的高斯函数，对于相似的样本有着较高的逼近能力，因此适用于受会随时间变化而较为显著变化的因素影响的药品需求预测。

2.2.3 基于GRNN的药品需求预测方法

广义回归神经网络（GRNN，Generalized Regression Neural Network）由美国学者Donald F. Specht在1991年提出，它是径向基神经网络的一种。GRNN具有很强的非线性映射能力和柔性网络结构以及高度的容错性和鲁棒性，适用于解决非线性问题。

GRNN在逼近能力和学习速度上较RBF网络有更强的优势，网络最后收敛于样本量积聚较多的优化回归面，并且在样本数据较少时，预测效果也较好。此外，网络还可以处理不稳定数据。因此GRNN适用于数据不全、异常点较多的药品。

综上所述，3种神经网络都具有良好的非线性处理及预测能力，因为学习算法的不同有着各自侧重的学习方向，皆为应用广泛的预测方法，且对各自适应范围内有着较好的预测效果。因此本文选择BP神经网络、RBF神经网络以及广义回归神经网络作为单项预测方法，并在此基础上建立组合预测模型。

2.3 单项预测方法的筛选与变权系数的计算

本文在已选取3种单项预测方法的基础上，再根据合适的MAPE和误差方差筛选出组合模型中的单项预测方法，计算出变权系数。假设药品需求的实际时间序列为y（t），t=1，2，…，N，N+1，…，N+T，其中t表示预测区间，T表示预测步长。

（1）单项方法筛选

单项方法进一步筛选的具体步骤为：

①预先设置选择单项方法MAPE阈值m 和误差方差阀值ε

②进行逐期单步预测，预测序列为：

{i（t），i=1，2，…，n；t=N+1，…，N+T}

③计算n种单项方法的相对误差ei（t）、误差方差εi（t）和MAPE。其中，单项预测方法的相对误差序列为：

ei（t）=i=1，2，…，n；t=N+1，…，N+T（4）

单项预测方法的误差方差为：

εi（t）=（5）

单项预测方法的MAPE为：

MAPEi（t）=ei（j），（i=1，2，…，n；t=N+1，…，N+T）（6）

④若MAPEi（t）

（2）变权系数的计算

本文考虑预测效果，选用基于相对误差为最优准则的最优加权法进行计算。

假设从n中方法中筛选出p（p≤n）种单项预测方法，则组合模型第t+1期的权系数w（t+1）由相对误差ei（1），…，ei（t）决定，其中i=1，…，p。变权规则如表1所示。

权系数具体计算过程如下：

①设组合权重wi为方法mi在组合预测方法中权重，则组合预测方法第t期相对误差为：

e（t）=wi*ei（t），i=1，2，…，p（7）

②组合模型前t期的相对误差平方和为：

e2=e（1）2+e（2）2+…+e（t）2（8）

令w=[w1，w2，…，wP]T，

E=e1（1），e2（1），…，ep（1）e1（2），e2（2），…，ep（2） … … … …e1（t），e2（t），…，ep（t）

建立如下目标规划：

min P=e2=wT*ET*E*w

s.t. wi=1（9）

③求解该目标规划得到变权系数w。

2.4 建立组合模型进行预测

组合预测模型可表示为：

式中， wi（t）表示第t期单项方法mi的变权系数，（t）表示第t期组合预测方法的预测值。根据该模型对药品进行预测。

3 实验与分析

本文以上海市某制药企业月度销售额为药品需求预测的实证数据，根据销售地区的不同抽取有代表性的药品销售数据，其中选取上海地区10种药品，北京地区4种药品及全区域销售数据12种药品，数据长度皆为30（2009-1至2011-6）。

数据选择依据如下：①药品销售有一定的连续性，为公司主推或在某地区主推药品，具有代表性及预测意义；②在考虑异常点和数据缺失时，选取异常点和缺失数据较少的药品。

3.1 单项方法筛选和变权系数计算

根据不同销售区域药品需求的具体情况，设定单一省市药品的MAPE阈值和方差阈值分别为20%和0.1；设定公司的MAPE阈值和方差阈值分别为30%和0.1。shy03和all03的单项预测方法选取结果如表2 所示。

利用单项预测方法的6期预测结果计算组合预测模型的3期权重，选相对误差最优准则进行权重计算，运用MATLAB的二次规划函数quadprog求解。变权规则及权重计算结果如表3所示。

3.2 预测模型的精度比较

本文选取平均绝对相对误差（MAPE）和预测有效度两个指标来综合评价模型的预测精度。当MAPE越小时，说明预测精度越高。然而当实际值非常小时，即使是预测值与真实值之差较小，其平均绝对相对误差也会很大，而预测有效度能很好地避免此类问题，故我们引入预测有效度来综合评价预测精度，预测有效度越大，预测精度越高。

用单项预测方法BP、RBF、GRNN与组合预测方法单一省市和全区域药品销售预测值的MAPE和有效度，对MAPE和有效度的情况进行统计并且计算MAPE和有效度的平均值，比较结果如表4所示。

可以看出，运用组合预测方法对单一省市的14种药品进行需求预测时，MAPE小于标准值20%的有8个，占药品总数的57.14%，优于BP（7）、RBF（4）、GRNN（6）方法；14种药品的MAPE平均值为19.81%，优于BP（26.71%）、RBF（28.45%）、GRNN（40.59%）方法。预测有效度大于标准值0.5的有11个，占药品总数的78.57%，优于BP（8）、RBF（10）、GRNN（8）方法；14种药品的预测有效度平均值为0.62，优于BP（0.57）、RBF（0.61）、GRNN（0.57）方法。

此外，运用组合预测方法对全区域销售的12种药品进行需求预测时，MAPE小于标准值30%的有7个，占药品总数的58.33%，优于BP（4）、RBF（6）、GRNN（3）方法；12种药品的MAPE平均值为25.22%，优于BP（35.90%）、RBF（32.07%）、GRNN（70.59%）方法。预测有效度大于标准值0.45的有10个，占药品总数的83.33%，优于BP（7）、RBF（9）、GRNN（5）方法；12种药品的预测有效度平均值为0.58，优于BP（0.46）、RBF（0.56）、GRNN（0.49）方法。

通过上述实证结果，从整体上看，组合预测方法的预测精度优于单项预测方法，而且模型的适用范围较广。

3.3 预测模型的稳定性比较

本文选择预测误差的方差作为评价模型稳定性的指标。将单项预测方法BP、RBF、GRNN与组合预测方法的误差方差进行比较，单一省市和全区域的比较结果如表5所示。

可以看出，运用组合预测方法对单一省市的14种药品进行需求预测时，误差方差小于标准值0.1的有12种，占药品总数的85.71%，优于BP（10）、RBF（11）、GRNN（10）方法；此外，14种药品误差方差平均值为0.0263，优于BP（0.0613）、RBF（0.0361）、GRNN（0.0522）方法。运用组合预测方法对全区域销售的12种药品进行需求预测时，误差方差小于标准值0.1的有11个，占总数的91.67%，优于BP（9）、RBF（10）、GRNN（8）方法，此外，14种药品的误差方差平均值为0.031 0，优于BP（0.092 7）、RBF（0.033 5）、GRNN（0.065 0）方法。因此从整体上看，组合预测方法的预测稳定性优于单项预测方法。

4 总结及展望

本文选择3种具有不同适应特征的神经网络模型作为单项预测方法，建立了基于神经网络的药品需求组合预测模型，以上海市某药企的实际销售数据作为实证对象，验证了该模型在预测精度和预测稳定性上均优于单项预测方法。当然，虽然建立的神经网络组合模型在一定程度上弥补了现有方法的不足，扩大了预测方法的适用范围，但在研究过程中依然存在亟待解决的问题：

（1）单项预测方法的参数优化有待进一步研究。本文在参数优化时，大部分采用遍历法和经验法进行设置，缺乏相应理论依据和方法指导。如何采用合适参数寻优方法进行参数确定是下一步亟待解决的问题。

（2）进行组合预测时，选择合适的最优准则有待于进一步研究。本文选取相对误差作为最优准则进行需求预测，该准则的选取忽视了量纲统一性，未来的研究应该综合考虑量纲统一、预测误差和预测稳定性，使组合预测方法更科学、更合理。

主要参考文献

[1]J M Bates，C W J Granger.The Combination of Forecasts[J]. Operations Research Quarterly，1969，20（4）：451-468.

[2]吴正佳，王文，周进.BP神经网络在备货型企业销售预测中的应用[J].工业工程，2010（1）：105-108.

[3]童明荣，薛恒新，刘路冰.基于季节性RBF神经网络的月度市场需求预测研究[J].运筹与管理，2007（3），146-150.

[4]Maria Cleofé，R Valverde.Artificial Neural Network Technique for Rainfall Forecasting Applied to the S？觔o Paulo Region[J].Journal of Hydrology，2005，1（20）：146-162.

[5]A A Khan，K E Marion，C Bil. The Prediction of Ship Motions and Attitudes Using Artificial Neural Networks[C].19th National Conference of the Australian Society for Operations Research， Melbourne， Victoria， 2007.

[6]D C Park，El-Sharkawi.Electric Load Forecasting Using an Artificial Neural Network[J].IEEE Transaction on Power Systems， 1991， 6（2）：442-449.

[7]Maria Cleofé， Valverde Ramírez.Artificial Neural Network Technique for Rainfall Forecasting Applied to the S？觔o Paulo Region[J]. Journal of Hydrology ， 2005， 301（20）：146-162.

[8]马新强，黄羿.基于BP神经网络的药品销售预测模型设计[J].重庆文理学院学报，2008（2）：64-66.

第4篇：神经网络过拟合的表现范文

[关键词]人力资源管理；人力资源需求预测；BP神经网络

[中图分类号]F270.7[文献标识码]A[文章编号]2095-3283（2013）01-00-02

一、 应用BP神经网络的必要性

随着经济全球化和信息技术的加快发展，我国企业面临着更为严峻的竞争压力。为了适应现代市场需求，企业必须优化配置人力资源，并科学制定人力资源规划。其中，科学的人力资源需求预测是人力资源开发和规划的基础，对人力资源管理活动将产生持续和重要的影响。

企业人力资源需求预测分析方法多种多样。在进行人力资源需求预测时，企业要考虑的因素复杂多变，如企业的目标和经营战略、生产状况的变化、工作设计或组织结构的变化等，而且各种影响因素与预测结果之间的相关性难以用定量的方法表示出来，是非线性相互制约的映射关系。将BP神经网络方法应用于人力资源需求预测领域，弥补和改进了人力资源需求预测分析方法，能较好地实现各指标与需求结果之间非线性关系的映射，对企业人力资源决策具有一定的参考和指导作用。

二、BP神经网络的基本原理

人工神经网络，简称神经网络，是一种包括许多简单的非线性计算单元或联结点的非线性动力系统，是用大量简单的处理单元广泛连接组成的复杂网络。Back-Propagation Network，简称为BP网络，即基于误差反向传播算法的多层前馈网络，是目前应用最成功和广泛的人工神经网络。它由输入层、隐含层和输出层组成。隐含层可以是一层或多层。BP神经网络自身具有的非线性映射、自学习、自适应能力、容易实现并行计算等优点，弥补和改进了供应商选择和评价方法，能较好地实现各指标与评价结果之间非线性关系的映射。

基于BP神经网络，构建供应商的选择评价模型，其基本思想为：假设输入变量为X=（X1，X2，···，Xi）'，隐含层输出变量为Y=（Y1，Y2，···，Yj）'，输出层变量为Z=（Z1，Z2，···，Zl）'，期望输出的目标变量为T=（T1，T2，···，Tl）'，Wij、Wjl分别为输入层到隐含层、隐含层到输出层的连接权值（如图1所示）。对于i个输入学习样本X1，X2，···，Xi，已知与其对应的输出样本为Z1，Z2，···，Zl。通过BP算法的学习，沿着负梯度方向不断调整和修正网络连接权值Wij和Wjl，使网络的实际输出Z逐渐逼近目标矢量T，也就是使网络输出层的误差平方和达到最小。

图1三层BP网络结构图三、BP神经网络在企业人力资源需求预测中的应用

根据上述BP神经网络主要思想，以A公司为例，分析如何运用MATLAB工具箱实现基于BP神经网络的企业人力资源需求预测。

1.样本数据处理

选取年份、产值、资产总计、利润4个指标作为输入向量，从业人员作为目标向量（见表1）。在对BP网络进行训练前，应该对数据进行归一化处理，使那些比较大的输入仍落在传递函数梯度大的地方。本例采用MATLAB工具箱中的premnmx（）函数把数据归一到[-1，1]之间，如表2所示。

对于BP网络，有一个非常重要的定理。即对于任何在闭区间内的一个连续函数都可以用单隐层的BP网络逼近，因而一个三层BP网络就可以完成任意的n维到m维的映射。本例采用单隐层的BP网络进行从业人员预测。由于输入样本为4维的输入向量，因此，输入层一共有4个神经元，网络只有1个输出数据，则输出层只有1个神经元。隐含层神经元个数根据最佳隐含层神经元数经验公式取15个。因此，网络应该为4×15×1的结构。隐含层神经元的传递函数为S型正切函数tansig（），输出层神经元的传递函数为线性激活函数purelin（）。

3.BP网络训练及仿真

建立网络后，对表2中的数据进行训练，训练参数的设定如表3所示，其他参数取默认值。

训练次数12100012目标误差120.00112学习速率120.01训练结果如图1所示，可见经过52次训练后，网络的目标误差达到要求。

图1训练结果网络训练结束后，运用MATLAB工具箱中的sim（）函数，将经过归一化后的数据表2进行仿真模拟，获得网络的输出，然后将运算结果通过postmnmx（）函数进行反归一化处理，得到BP网络预测值，最后检查BP网络预测值和实际从业人员数之间的误差是否符合要求，如表4所示。

4.预测结果评价

图2反映了该BP网络较好地逼近了输入矢量，即年份、产值（万元）、资产总计（万元）和利润（万元）与目标矢量，即从业人员（人）之间的线性关系。用BP神经网络对现有人力资源状况进行分析拟合，是人力资源需求预测的较理想方法。与传统的人力资源需求预测方法相比，将BP神经网络用于人力资源需求预测，克服了输入矢量和目标矢量非线性、不符合统计规律的问题。BP神经网络模型良好的容错和自学习能力，调用MATLAB工具箱函数，使预测过程更易实现，可以更好地对人力资源进行规划，提高人力资源预测精度。

图2BP神经网络的函数逼近结果将BP神经网络应用于企业人力资源需求预测，能较好地建立起各影响因素与预测结果之间的非线性关系，是企业预测人力资源需求的一种较理想的方法。但BP神经网络也存在着一些不足和问题。主要表现在学习速率太小可能会造成训练时间过长；BP算法可以使权值收敛到某个值，但并不能保证其为误差平面的全局最小值；网络隐含层的层数和单元数的选择一般是根据经验或者通过反复实验确定，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。因此，BP神经网络在企业人力资源需求预测领域的应用仍需根据企业自身实际情况做进一步的改进和完善。

[参考文献]

[1]飞思科技产品研发中心神经网络理论与MATLAB7实现[M]北京：电子工业出版社，2005.

[2]（美）海金（Simon Haykin）神经网络原理（原书第2版）[M]叶世伟，史忠植译北京：机械工业出版社，2004.

[3]丛爽面向MATLAB工具箱的神经网络理论与应用[M]中国科学技术大学出版社，1998.

[4]刘跃基于BP神经网络的人力资源估价研究[J]统计与信息论坛，2007（1）：96-99.

[5]艳明四种人力资源的定量预测方法及评述[J]统计与决策，2008（7）：30-32.

[6]国家统计局固定资产投资统计司，中国行业企业信息中心中国大型房地产与建筑业企业年鉴[M]北京：中国大地出版社，2003-2008.

[7]王文富企业人力资源预测与规划研究[D]天津大学，2004.

第5篇：神经网络过拟合的表现范文

关键词：壁纸识别；BP神经网络；不变矩

中图分类号：TP391.41

贴标的识别以往是通过人工识别，人为因素影响大，识别速度慢，精度低，不能满足大批量生产的需要。因此，在经济社会高速发展的今天，此方法越来越不能满足壁纸行业发展的需要。随着计算机的发展，通过计算机智能识别壁纸的纹理就成为可能，主要思路是将壁纸拍摄获知的图像进行纹理特征的提取，只要建立足够的特征库，就可以把需要判别的壁纸图片输入计算机，通过检索来判别该壁纸是哪种材种。因此，本文引入图像处理技术和BP神经网络技术，提出一种壁纸贴标自动识别算法，以解决贴标大批量生产的需要。

1 壁纸纹理特征的提取

不变矩是指物体图像经过平移，旋转以及比例变换仍保持不变的矩特征量，设物体的二维离散图像函数用f（x，y）表示，其（p+q）阶矩定义为：

（1）

相应的（p+q）阶中心矩定义为：

（2）

其中，x0=m10/m00，y0=m01/m00，x0表示二维图像的灰度在水平方向上的重心，y0表示二维图像的灰度在垂直方向上的重心。

HuM.K.等人利用二阶、三阶中心矩得到了7个不变矩特征参数，具体如下：

Φk=|log|Φk，k=1，2，3，4，5，6，7 （3）

在本设计的实验中要求样本的尺寸是256×256，从每一类原始样本中采集100个能表现该样本纹理的图片，形成识别样本库，之后提取了所有样本的不变矩纹理特征。

图1 壁纸样本图片

2 BP-神经网络分类器的设计

2.1 BP神经网络概述

BP神经网络（Back Propagation）是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种基于误差逆传播算法的多层前馈神经网络，目前广泛应用于分类、识别、函数逼近等领域。BP神经网络结构如图2所示，包括输入层、输出层和隐含层。

图2 BP神经网络结构图

BP学习算法的工作过程由正向传播和反向传播组成。正向传播过程是指输入信号从输入层经隐含层，在输出层产生输出信号。如果输出层不能得到期望的输出信号，输出信号将反向传播，将误差信号沿原有路径返回，并按照一定规则修改网络参数，逐渐地向输入层传播去进行计算，正向传播和反向传播两个过程的反复运用，直到误差信号满足要求。

2.2 BP神经网络分类器设计

2.2.1 网络输入节点数的设计

输入层节点数主要根据数据特征向量的维数来确定，本文输入节点数为不变矩特征向量的维数，即输入节点数为7。

2.2.2 网络隐含层数的设计

通常情况下，增加网络的隐含层数可以使网络误差降低，提高网络的精度，但同时也使网络变得复杂化，使得网络的训练时间增加，而且容易出现网络过拟合的情况。有研究表明，具有Sigmoid非线性函数的3层BP神经网络能够逼近任何连续函数。因此，本研究中神经网络分类器的隐含层数选为3层。

2.2.3 网络隐含层节点数的设计

在确定BP神经网络隐含层数后，下一步就需要确定隐含层节点数。隐含层神经元个数一般由 是公式确定，其中n是隐含层神经元个数，n0是输入层神经元个数，n1是输出神经元个数，a∈（1～10）。

2.2.4 网络输出层的设计

输出层的节点数是根据BP神经网络分类器的输出类别数量决定，也就是说，输出层的节点数应为类别总数。例如，本研究需要将待识别的壁纸样本分成8大类，那么输出层节点数应设置为8，并将每类对应的目标向量依次设置为[1 0 0 0 0 0 0 0]T、[0 1 0 0 0 0 0 0]T、[0 0 1 0 0 0 0 0]T、[0 0 0 1 0 0 0 0]T、[0 0 0 0 1 0 0 0]T、[0 0 0 0 0 1 0 0]T、[0 0 0 0 0 0 1 0]T、[0 0 0 0 0 0 0 1]T，对应目标向量的数目为对应输入壁纸样本的数目，即目标向量与输入壁纸样本是相互对应的。

本文BP神经网络分类器采用MATLAB神经网络工具箱进行设计，训练函数选择Trainlm，训练次数为200，误差为0.001，将壁纸样本其分成训练样本与测试样本2部分，并利用训练好的BP神经网络对样本进行自动识别，识别率达到90.0%。

3 结束语

实验结果表明不变矩纹理特征参数可以用于表征壁纸样本，使用本文设计的BP神经网络分类器可以有效识别不同种类的壁纸样本。

参考文献：

[1]高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003：55-63.

[2]杨斐，王坤明，马欣.应用BP神经网络分类器识别交通标志[J].计算机工程，2000（10）：120-121.

[3]Yaping JIANG，Zuxin XU，Hailong YIN.Study on improved BP artificial neural networks in eutrophication assessment of China eastern lakes [J].Journal of Hydrodynamics，2006（03）：528-532.

[4]严晓梅，耿国华，周明全.基于改进BP神经网络的指纹自动分类器[J].微计算机信息，2007（01）：281-282+288.

[5]李梅，孟凡玲，李群.基于改进BP神经网络的地下水环境脆弱性评价[J].河海大学学报（自然科学版），2007（03）：245-249.

[6]闵惜琳，刘国华.用MATLAB神经网络工具箱开发BP网络应用[J].计算机应用，2001（08）：163-164.

第6篇：神经网络过拟合的表现范文

关键词 基本药物 采购行为 BP神经网络

中图分类号：F713.54 文献标识码：A 文章编号：1006-1533（2013）05-0047-05

2009年国家基本药物制度实施后，国家将执行基本药物集中采购作为实施基本药物制度的评价标准之一，于是各省将原有的药品集中采购分为基本药物和非基本药物两类。2010年11月，国务院《建立和规范政府办基层医疗卫生机构基本药物采购机制的指导意见》，旨在对现阶段较为无序的药品采购行为进行规范，推行科学合理的采购模式，对基本药物采购方面的研究开始得到关注。

现行采购模式是省集中采购平台通过统计各基层医院上报的用药需求之后，再统筹面向中标企业进行集中采购。但是，作为基本药物集中招标采购体系中继招标过程之后的重要环节，采购过程并未得到足够的重视，基于基本药物采购行为的微观研究的理论和文献更是少之又少。在缺乏科学理论和方法支持下的采购决策，容易受主观如采购主体寻租以及客观如厂商合谋等因素干扰而不稳定，这种不稳定带来的滞后效应会掣肘社区卫生服务中心对基本药物的需求预测，继而带来后续基本药物的供需矛盾。除此之外，采购量错误统计或填写不够准确的偶然误差将会进一步加剧这个矛盾。基本药物集中招标采购体系下的基本药物采购在执行过程中有必要加强监督管理和调控。因此，寻找合理与灵活的理论和方法来保证基本药物的采购决策行为的稳定性就成为关注点。

由于BP （Back Propagation）神经网络模型尚未在基本药物招标采购体系中进行相关的理论研究和应用探索，未能发挥其在其他领域中发挥出的功效。本文针对这一环节进行探索，拟在建立BP 神经网络模型的基础上，统计分析社区卫生服务机构的药品使用等特征后，将BP神经网络模型运用到社区医疗机构的需求预测中来，使采购主体在决策时能有更多的支持信息，实现采购数量科学化，从而保证社区医疗机构对基本药物的供应充足，以期从这一环节上减轻民众对基本药物的获取负担，使整个基本药物的供应实现资源优化配置，也可为基本药物集中采购的理论和方法提供借鉴和参考。

1 BP神经网络预测功能的研究

由于人工神经网络是非线性、非局域性和非定常性的复杂网络系统，具有并行分布的信息处理结构和自适应的脑模式的信息处理的本质与能力，它可以通过“自学习”或“训练”掌握大量的知识，完成特定的工作。人工神经网络对建立预测模型十分有效，它能从数据样本中自动学习以前的经验而无需复杂的查询和表述过程，并自动地逼近那些最佳的数据蕴含的规律，它在时间序列预测方面，尤其是高复杂度的非线性时间序列方面明显优于传统的预测方法。在预测方面，目前应用最广泛且较为成功的是前向神经网络。

1.1 BP神经网络基本理论

BP神经网络也称误差反向传播神经网络，为有监督的学习，是梯度下降法在多层前馈网络中的应用。它有一个输入层、一个输出层、一个或多个隐含层。每一层上包含若干个节点，每个节点代表一个神经元。同一层上的各节点之间无连接关系，相邻层采取全互连。信息从输入层开始在各层之间单向传播，依次经过各隐含层，最后到达输出层。

BP算法的学习过程是一个反复迭代的过程，由正向传播和反向传播组成。其算法的基本思想是根据网络输出层的误差，从输出层开始反过来调整网络的权值和阀值，最后使得输出的均方误差最小。经过对一定数量样本进行反馈学习后，网络所持的权值便是网络通过自适应学习得到的正确的内部表示。这时将待识别样本的特征数据输入训练好的网络，则网络就可以对样本的属性进行自动推理和识别。在非线性建模方法中，神经网络理论证明了在选择适当的隐层数及相应的神经元数目下，前馈神经网络能以任意精度逼近任意非线性函数[1]。

1.2 BP神经网络在预测领域的实现

由于BP学习算法本质上是一个非线性优化问题，网络模型的确立分为两个阶段：学习阶段和检验阶段。学习阶段是通过对历史资料的学习，使己有的模式以权系数的方式存储于网络之中，这实质上是一个拟合的过程；检验阶段是将已有历史数据输入网络之中，检验网络输出与实测值的误差是否达到一定的精度要求，如果满足要求，则BP网络可以被用于预测。采用BP网络学习方法进行模拟分析，构造BP网络的基本步骤是：

1） 确定BP网络的输入向量、输出向量的维数和隐含层数及节点数；

2） 确定隐含层传递函数和输出层传递函数关系；

3） 将网络学习样本划分为学习段和检验段；

4） 训练网络，拟合学习段时间序列，使其误差平方和达到最小；

5） 用检验段数据检验训练好的网络模型，利用该模型对未来进行预测。

1.3 BP神经网络在医药行业的应用

BP神经网络在医药行业的应用包括药品采购资金管理、医疗器材需求和药品销售预测3个方面。据文献报道[2-3]，出于降低库存，提高管理有效性和运作灵活性的目的，运用BP神经网络对研究对象的历史数据进行分析，得出预测值，并与经验性的实际值进行对比，发现基于BP神经网络进行预测，可以有效节约采购和生产安排的不稳定性，降低库存，从而节约成本，提高效益。

2 BP神经网络在湖北省基本药物采购量预测中的应用

2011年3月13日，湖北省政府办公厅印发《湖北省基层医疗卫生机构基本药物集中采购管理办法（试行）》，标志着该省建立和规范基本药物统一招标采购新机制的出台[4]。在该办法中，实行以省为单位集中采购、统一配送，与药品生产企业签订购销合同，一次完成采购全过程，最大限度地降低采购成本，促进基本药物生产和供应。

2.1 湖北省基本药物采购量预测模型的建立

2.1.1 研究对象及数据准备

湖北省每月采购的基本药物品种有1 000种之多，从理论上来说，为了更好地估计湖北省的基本药物采购量的预测值，需要将每种药物根据其历史采购量来建立预测模型，如此一来会带来巨大的工作量。因此，应选择使用频率比较高、采购比较频繁、使用特点具有相似性的一大类药物品种来进行研究。综合对湖北省每月采购通报的分析，选定药物大类为抗生素类。样本纳入标准为统计期内的采购时间是连续的，并且属于同一大类的不同规格。

本文建模对象及数据见表1。

2.1.2 基本药物采购量神经网络预测模型的实现

在进行神经网络预测之前，为避免原始数据过大造成网络麻痹，要对原始数据进行归一化处理，对于预测值，由于变化幅度较大，也不宜直接作为神经网络的输出。对于单极型Sigmoid函数来说，应用如下归一化处理公式对样本数据进行归一化处理：

2.2 实证检验

湖北省基本药物采购量神经网络模型就是利用神经网络的非线性特性去逼近一个时间序列或一个时间序列的变形，通过神经网络清晰的逻辑关系，利用过去时刻的值去表达未来时刻的值。本文以湖北省部分基本药物品种采购量为数据，以月度基本药物采购量为预测目标，用上述的建模方法建立月度基本药物采购量预测模型。

第一步，建立预测模型，对归一化的数据用MATLAB中提供的函数进行学习（图1），学习程序如下：

net=newff（minmax（P）， [8 1]， {'tansig'， 'purelin'}， 'traingdx'， 'learngdm'）；

net.trainparam.epochs=10 000；

net.trainparam.goal=0.005；

net.trainparam.show=500；

[net， tr]=train（net， P， T）；

首先，我们设定的隐层节点数为8，目标误差为0.005，学习率设置为0.01，网络经过222次迭代之后达到了指定精度，误差为0.004 966 8。再分别设定隐层节点数为：6，8，12，15，20；目标误差不变，仍为0.005，学习结果如表2所示。

结合学习次数和误差的比较，可以得出在隐层节点数设为15时，学习效果较好。

由17个月样本药品的采购量数据P为训练值，以第17个月的采购量为目标值，进行训练。由于2012年12月的采购量未知，如果要预测第18个月采购量则无法用实际的数据进行检验。因此在预测值调整为第17个月的采购量数据。测试程序如下：B=sim（net， T）。

误差为[0.024 9， -0.118 5， -0.170 7， -0.242 2， -0.040 5， 0.143 9， -0.047 5， 0.078 3， -0.066 6， -0.057 3， -0.036 6， 0.003 2， -0.043 6， -0.009 9， 0.020 5， -0.031 0， -0.016 8， 0.057 3， -0.025 1， 0.018 0， 0.036 4， -0.218 0， -0.159 0， -0.112 9， -0.014 81， -0.120 8， 0.134 9， -0.043 6]。误差均在可接受的范围内，认可数据已得到很好的训练，具备较好的仿真能力。

学习的误差基本上在我们可以接受的范围内，其学习效果如图2所示。通过前面己经验证，该网络的学习能力以及预测能力有很大的优越性。

2.3 预测结果分析

通过反归一化公式：得到第17个月即2012年11月各药品的采购值。将2012年11月的实际采购量与实证检验建立模型后所得到的预测中结果进行比较，结果见表3。

从表3中我们可以看出，除了个别品种误差较大以外，如注射用苯唑西林钠为530.21%、硫酸奈替米星注射液为52.60%，阿莫西林胶囊为42.89%，BP神经网络模型对基本药物的采购量的预测误差率大多数在10%以下，经Excel数据分析工具中成对双样本均值t检验分析，结果见表4。

因为P > 0.05，故预测值与实际值均值差异无统计学意义。

模型预测结果是比较令人满意的。由于在本次研究中药品采购量的变化是在时间序列上面进行的，所采取的预测方法是单步预测，每月的药物采购量还要受很多因素影响，不可能做到预测结果与实际的数据完全一致。除此之外，基本药物制度实施的时间并不长，在湖北省基本药物集中采购平台上所获取采购量的数据时间范围也不长，所以个别药品误差的较大偏倚也在预料之中。

根据计算得出的结果，可以很好地预测一个月或几个月内内湖北省的基本药物采购量，相关基本药物生产企业可以根据预测结果做好生产计划安排和原料采购等工作，提高企业生产运作效率和经济效益；基本医疗机构可以根据情况调整药物储备和使用量，以使基本药物的利用率和可及性都能得到很好的保障。

3 总结与展望

本文对湖北省2011年5月-2012年11月抗生素大类的部分基本药物品种的采购量预测进行了定量分析，主要采用了BP神经网络法进行预测的实证研究，不仅简化了网络结构，而且提高了预测精度。结果比较理想，说明本文所建立的基于BP神经网络预测模型具有较好的预测能力和推广潜力。

1） 采购决策行为是由主观因素及客观因素相互影响共同构成，具有动态性和复杂性等特点。人工神经网络作为高度非线性体系，能够对影响采购行为的各变量之间的非线性关系进行高精度的逼近，从而实现预测功能。

2） 实证表明，人工神经网络虽然存在不足，但其优势还是显而易见的。人工神经网络是一个高度自动化的系统，只要有基本药物的历史采购量，通过神经网络的训练和仿真，达到满意精度后即可输出特定时间点的采购量，为基本药物采购决策提供科学的信息支持。但由于影响基本药物采购的各因素并不明了，难以对基药采购量的波动情况进行解释，无法提供有意义的干预措施。

3） 由于社区卫生服务机构长期以来缺乏对药品使用数据的收集，在对其药品需求分析时没有足够多的信息予以支持，所以在对BP神经网络的推广应用中，需要保证社区医疗机构对药品使用数据的收集、整理与统计，从而增加预测的准确性。

4） 加强有关基本药物采购分析的理论研究。基本药物不同于一般商品，其供需关系虽然较为稳定，但是在现存医患信息极不对称的情况下，由于诱导需求、道德风险等问题造成劣品驱逐良品的现象，而对基本药物的可及性和供需带来不必要的风险。现行的有关基本药物采购理论还需进一步完善。

5） 对基本药物采购量分析方法的探索。本文运用BP神经网络在基本药物采购量短期预测上面进行一次有益的探索，结论虽然具备理论指导意义和实际应用价值。但是由于BP神经网络无法探知对变量造成波动的影响因素，若从现实意义进行指导，还需要结合其他的分析方法如多元回归分析、主成分分析等方法来相互补充，扬长避短。

参考文献

[1] 王维， 贺京同， 张建勋， 等. 人工神经网络在非线性经济预测中的应用[J]. 系统工程学报， 2000， 15（2）： 202-207.

[2] 刘卫红， 崔振霞. 基于BP神经网络的药品采购资金管理研究[J]. 中国乡镇企业会计， 2012， 20（1）： 70-71.

[3] 张俊才， 黄万杰. BP神经网络在医疗器材需求预测中的应用[J]. 医疗卫生装备， 2004， 25（4）： 8-9.

第7篇：神经网络过拟合的表现范文

（黑龙江民族职业学院，黑龙江 哈尔滨 150066）

摘　要：盈余预测具有引导投资者投资行为的作用，因此受到投资者的广泛重视。然而，国内对公司未来盈利进行预测的研究还相当少。提出了以决策树作为基分类器，采用集成学习方法，利用上市某公司2001至2005年的财务数据对该上市公司在2006年的盈利状况进行预测研究。首先，采用有放回的随机抽样技术分别从训练样本和测试样本中产生50个训练子集和1个测试集；然后利用决策树，采用CHAID算法对50个训练子集分别进行训练，得到50个基决策树分类器；通过采用Bagging方法，构建决策树集成模型。所得到的集成模型在测试集上的分类准确率达到96%以上，通过比较由不同数目的基分类器构成的集成模 型和单个分类器的预测准确率，证明了该集成模型的预测准确率高且稳定。

关键词 ：神经网络；集成学习；盈利预测

中图分类号：F275文献标志码：A文章编号：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者简介：潘道华（1981-），女，汉族，黑龙江哈尔滨人，研究生，主要研究方向：人工智能、数据挖掘与决策支持。

1 引言

公司的财务状况及其未来盈利情况不但对公司的管理层十分重要，而且对其他投资者也非常重要。如果能够利用公司以往的财务报表数据和其它一些宏观经济数据（如GDP、CPI、利率等）及早准确预测公司未来的盈利状况的话，那么就可以更有效地对公司进行管理和指导投资者的投资行为。但是，一个公司的财务报表往往只反映了公司在过去的财政年度内的经营状况，并不反映出公司在下一年中的管理情况。因而，一个公司的财务状况与其未来盈利之间的关系并没有那么明显，它受到很多因素的影响，要构建一个精确的模型反映它们之间的关系是很困难的。针对此情况，本文提出采用决策树集成方法，构建模型来刻画公司财务状况与其未来盈利之间的关系，利用上市公司已有的财务数据，并结合主要的宏观经济变量来预测公司未来的盈利状况，这必将是公司财务处理的一个新发展。

数据挖掘技术越来越多地被用于预测研究。集成学习方法作为数据挖掘技术中一种较新的方法，由于其在提高预测的准确性上的优点，正被越来越多的研究者使用。

尽管许多领域都应用集成学习方法来进行研究，但在对公司未来盈利的预测研究上还很少，在国内尚未见到任何报导。虽然Takashi Washio等人对日本上市公司的未来盈利状况进行了研究，但是他们只是将盈利状况分为两种情况来进行研究。本文通过利用集成学习方法，考虑宏观经济对公司盈利可能造成的影响，提出将宏观经济变量纳入变量体系，同时，为了使结果更有指导意义，将上市公司的每股收益（EPS）指标将公司盈利的情况划分为三类，即EPS为负，EPS大于均值及EPS介于二者之间，对其进行预测研究。

2 研究方法

2.1神经网络

人工神经网络是由大量并行分布式处理单元组成的简单处理单元[1]。由于神经网络具有非线性，自学习能力、自适应性强和容错性高等优点，因而被广泛用于各种非线性预测问题。

所有神经网络都有一个输入层和输出层，一个网络结构可以包含一个或多个隐含层。神经网络的学习是通过调整连接权重和偏差实现的。Cybenko等人证明了如果神经网络利用一个有界的，连续的，非递减的激活函数时，只要不对隐含层的神经元数进行限制，一个三层网络（包含一个隐含层）就能够学习任意一个在输入和输出空间的连续映射[2]。在实际应用中用的最多的是BP神经网络。

BP神经网络是一种基于误差后向传播算法（BP算法）的多层感知器网络。BP神经网络的激活函数一般采用Log-Sigmoid或Tangent Sigmoid等可微函数。BP算法分为两个阶段。第一阶段是前向过程，逐层计算各神经元的输出值，第二阶段是误差后向传播过程，从后向前逐层传播输出层的误差并据此修正各层权重，直到输出结果满足预先设定的精度要求或达到算法设定的最大循环次数。

2.2神经网络集成

如何根据观测数据学习得到精确估计是机器学习领域中人们非常关注的一个问题，机器学习的一个重要目标就是对新的测试样本尽可能给出最精确的估计。构造一个高精度估计是一件相当困难的事情，然而产生多个只比随机猜测好的粗糙估计却很容易。传统的机器学习方法是在一个由各种可能的函数构成的空间中寻找最接近实际分类函数的分类器。常用的单个分类器模型主要有决策树、人工神经网络等。

集成学习（ensemble learning）的基本思想是在对新的实例进行分类的时候，把若干个单个分类器集成起来，通过对多个分类器的分类结果按某种方式来进行组合，决定最终的分类，以取得比单个分类器更好的结果。如果把单个分类器比作一个决策者的话，集成学习方法就相当于多个决策者共同进行一项决策。

尽管单个神经网络在处理非线性问题上表现良好，但是用单个神经网络来进行预测，一个不足的地方就是结果的稳定性差。因为神经网络的预测结果受网络各层之间的初始权重影响很大。为了克服这一不足，本文利用集成学习的思想，采用以BP神经网络作为基分类器的神经网络集成方法来对公司未来盈利状况进行预测。

以神经网络作为基分类器构建集成模型的方法主要有Bagging和Boosting。本文选择采用Bagging方法，因为Bagging方法较易于实现，而且不容易产生过拟合现象。对一个已知的有n个数据元素的数据集，Bagging法的原理是[1]：对每次循环（=1，2，…，），采用有放回的随机抽样方法从数据集中抽取m个数据形成训练集（mn），分类器模型从中学习。为了对一个未知的元素X分类，每个都返回一个分类值，将该分类值看成是一票，而最后的集成分类器，通过统计这些投票，将X归为得票最多的那一类。

3 研究步骤与具体实例分析

3.1样本选取

本文采用的上市公司数据样本来自天软数据库。在剔除了财务变量有大量缺失值后，样本共包含从2001年至2006年的深市和沪市A股的1174家上市公司。其中，沪市上市公司734家，深市440家。本文选取了反映上市公司偿债能力，成长能力，经营能力，资本结构，盈利能力，现金流，每股指标等方面的29个财务变量作为初始变量。此外，为了研究宏观经济环境对公司未来盈利的影响，相应的选择了2001年至2006年的三个宏观经济变量：国内生产总值增长率（GDP），居民消费价格指数增长率（CPI）及一年期金融机构贷款基准利率。这几个变量都与公司的盈利状况有着密切的关系。国内生产总值反映了整个国家的经济状况，而居民消费价格指数是反映居民购买并用于消费的商品和服务项目价格水平的变动趋势和变动幅度的相对数，它可以全面反映多种市场价格变动因素及其对居民实际生活的影响程度。一年期金融机构贷款基准利率会影响公司的营运成本，会对公司的利润产生直接的影响。所有变量见附表。

为了预测未来公司的盈利状况，本文将数据样本分为训练样本和测试样本。其中，训练样本由2001年至2005年的公司样本数据用有放回的随机抽样方法得到，每个训练样本包含1000个观测，测试样本是用相同方法得到的上市公司在2006年的数据样本，包含400个观测。

3.2指标选择

对于初始变量表，变量之间存在着相关性。虽然神经网络对变量间的相关性具有较强的容忍度，但是，变量太多会增加网络的复杂度，还有可能使网络过适应，从而使得网络在测试样本上的表现很差，而且并不是变量越多，神经网络的预测精度就越大，所以适当选择具有代表性的指标变量既可以达到与用所有变量相同的预测精度，又能降低网络的复杂度，避免使网络陷入过适应，提高网络的训练速度。

然而，运用神经网络方法，对输入变量的选取目前并没有一个公认的方法。为了从众多的初始变量中选择具有代表性的变量，本文利用spss Clementine11.1数据挖掘软件包选项面板中的建模栏中的特征选择节点来对变量进行筛选。通过构建一个带有特征选择节点的流，可以为每一训练集筛选出重要的变量。利用筛选出来的变量和全部变量分别对训练样本进行训练，得到两种神经网络模型，分别对测试样本进行分类，并分别构建集成模型。

3.3 建立模型

本文是对2001年至2005年上市公司的数据样本进行训练得到单个神经网络模型，用该模型对测试样本进行预测。如何产生不同的分类模型是影响集成模型准确性的一个重要因素[4]。以下四种方法——不同的初始条件，不同的网络结构，不同的训练数据，不同的训练算法常用来产生分类模型。本文采用不同的训练数据和不同的网络结构这两种方式结合得到基神经网络。

按照Bagging方法的要求，本文采用有放回随机抽样方法，从训练样本中随机抽取了15个子训练集，并用相同的方法从测试集中抽取了400个样本数据组成测试集。每个子训练集含有1000个样本，它们均由2001至2005年的200个公司样本组成。利用特征选择节点在每个训练集上选出的变量分别在这15个子样本上进行训练得到子分类器，然后用这些子分类器对测试样本进行分类。采用多数投票法对子分类器进行集成，得到集成方法在测试集上的预测结果。

3.4 结果分析

为了比较集成模型与单个神经网络预测准确率的差异，按照单个神经网络模型预测准确率按升序进行排序，分别计算了由7个、9个、11个、13个、15个基神经网络模型构成的集成模型的预测准确率，集成模型，不论是由用全部变量进行训练得到的基神经网络构建还是由用筛选出的变量进行训练得到的构建，都显示出了很高的准确率，而且得到的预测准确率相当稳定。

4 结论

本文利用神经网络集成的方法，以上市公司过去的财务数据和宏观经济数据为样本，对上市公司的未来盈利状况进行预测。研究结果表明，相比于单个神经网络模型，尽管选用7个预测精度最差的单个神经网络作为基神经网络，其集成网络的预测准确率仍然很高，因而集成方法得到的结果更稳定，更具有说服力。

由于上市公司管理水平的差异，影响公司盈利状况的因素又多，所以要想较好的刻画它们对盈利状况的影响，是一个很有挑战性的问题。本文的研究结果还表明，采用神经网络集成方法来研究未来盈利状况是可行的。进一步的研究可以从以下几个方面考虑：

（1）变量的选取。为了使预测更为准确，在建模时，需要考虑更多的影响因素。由于公司盈利状况跟公司的管理水平直接相关，因此，如何合理选取量化一些有关公司治理的指标变量，将它们加入到模型中去，是一个值得深入研究的问题。

（2）产生集成神经网络的方法。除了Bagging方法，还有其他产生集成神经网络的方法，比如Boosting方法。不同的方法会得到不同的结果，从而通过比较不同的结果，可以得到一个用来研究此类问题的最好的方法。

参考文献：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：机械工业出版社，2006．

第8篇：神经网络过拟合的表现范文

关键词：GPS；高程拟合；大地高；正常高；拟合精度

Abstract: This paper discussed in detail the problems of GPS leveling survey, summarizes the commonly used methods of GPS height fitting, quasi geoid instances to two surface, polyhedral function, BP neural network method to fit the calculation by using MATLAB language program, analysis and draw some conclusions.

Key words: GPS; height; geodetic height; normal height; fitting accuracy

中图分类号：P228.4 文献标识码： A文章编号：2095-2104（2012）01-0020-02

一、引言

由于精度的限制,长期以来,工程应用领域在利用GPS测量中平面位置信息的同时,浪费掉了大量高程信息。因此,GPS测高在一定程度上取代几何水准的限制性和可行性一直受到各方面关注。利用GPS水准进行测高，主要是通过GPS水准拟合所测区域的高程异常分布，将GPS所测点的大地高转化为正常高。由GPS得到正常高，其精度取决于多方面因素，本文采用多种拟合模型，对大范围GPS水准实测数据做了实验研究，对其结果进行了比较，讨论了相关问题，得出了具有实际应用的参考意见。

二、似大地水准面的模拟与GPS高程拟合

GPS高程测量的基本原理

由高程系统的理论可知,测站点的大地高H与正常高h之间有如下关系:

h=H-ζ (1)

式中ζ称为高程异常。

由(1)式可看出, 若能求出GPS点的高程异常,就可确定GPS点的正常高h。因此,高程异常的确定成为GPS高程转换的关键。

纵观高程异常的确定方法，可以分为几何解析法和重力法两类。

几何解析法是用一个1次或高次的解析多项式拟合出测区的似大地水准面，进而内插出GPS点上的高程异常值。

GPS重力高程是用重力资料求定点的高程异常，结合GPS求出的大地高，再求出点的正常高（或正高）的一种方法，应用中需结合地形数字模型和地球重力场模型数据。对于一般工程单位而言，无法获得必要的重力数据，故重力法难于普及。

本文主要研究从几何观点出发推求大地水准面的方法，此类方法的基本思想如下：

假设在测区内有若干个既进行了GPS测量又联测了水准高程的GPS点，那么可利用大地高和高程异常之间的关系，推算出各水准重合点的上的高程异常，利用这些离散数据点上的异常值，可以拟合出测区所在局部区域的似大地水准面，进而可以内插出未知点上的高程异常，实现椭球高向正常高的转换。

几种常用的拟合方法

绘等值线图法

这是最早的GPS水准方法。其原理是：设在某一测区，有m个GPS点，用几何水准联测其中n个点的正常高，根据GPS观测获得的点的大地高，按（1）式求出n个已知点的高程异常。然后，选定适合的比例尺，按n个已知点的平面坐标（平面坐标经GPS网平差后获得），展绘在图纸上，并标注上相应的高程异常，再用1~5cm的等高距，绘出测区的高程异常图。在图上内插出未联测几何水准的（m-n）个点的高程异常，从而求出这些待求点的正常高。

三次样条曲线拟合

当测线长，已知点多，ζ变化大时，如果进行整体拟合，精度较低，若分段拟合计算，则分段点上将不连续，且影响拟合精度，这时宜用三次样条曲线拟合。

多面函数拟合

多面函数是从几何观点出发，解决根据数据点形成一个平差的数学曲面问题。其理论根据是认为“任何一个圆滑的数学表面总可以用一系列有规则的数学表面总和，以任意的精度逼近”。它在每个数据点上同各个已知点分别建立函数关系（这种函数称为核函数，其表现形式为一规则的数学曲面），将这些规则的数学曲面按一定的比例叠加起来，就可以拟合出任何不规则的曲面，且能达到较好的拟合效果。多面函数的核函数可以按几何关系确定，它是距离的函数，且顾及了待定点和已知点间的相关关系，起权系数矩阵作用。

加权平均值法拟合

采用加权平均值法推算未知点的高程异常进行GPS高程转换时，必须使水准重合点沿控制网比较均匀地分布，使推算点位于已知点所围成的多边形内，否则不能保证内插点上计算结果的可靠性。另外，还应使多边形范围内有一定数量的水准重合点，并尽可能地均匀分布。一些实验与分析资料显示，控制网中水准重合点的数量越多，密度越大，分布情况越好，利用加权平均值法求得的高程异常值的准确程度越高 （即GPS大地高转换为正常高的实际精度越高）。一般要求一个网中水准重合点的数量要保持在10个左右，至少为 6个。

曲面拟合法

当GPS点布设成一定区域面时，可以应用数学曲面拟合法求定待定点的正常高。其原理是：根据测区中已知点的平面坐标（X，Y），或大地坐标（B，L）和ζ值，用数值拟合法，拟合出测区似大地水准面，再内插出待求点的ζ，从而求出待求点的正常高。

神经网络法

人工神经网络是一门新兴交叉科学，它是生物神经系统的一种高度简化后的近似，是处理非线形映射问题的有效工具。基于神经网络来转换GPS高程是一种自适应的映射方法，设作假设，理论上比较合理，能避开未知因素的影响，减少人为构造的数学模型的误差。

拟合法进行GPS高程转换的几个问题

（1）拟合函数的选取。大范围GPS水准高程异常分布的严格确定是十分困难的，高程异常的确定不仅取决与地球内部密度变化而且还取决地形起伏等各种因素。因此，用一种数学函数去拟合测区中给定的高程异常点，其模型误差是不可避免的，选取模型误差较小的拟合方程来描述其高程异常分布是一种相对合理的方法。

（2）如果选择的拟合模型较好，能否较准确的拟合出该测区的局部似大地水准面的关键在于已知高程异常值的准确性。采用拟合法确定地面点的正常高是建立在两个前提基础上的：平差后的GPS高程观测值具有很高的精度，可以看作是精确值；已知高程控制点上的正常高亦可看成精确值。

（3）GPS网中水准点的选择和分布。水准点的分布对于拟合效果有着至关重要的影响。原则上要求水准重合点的分布尽可能的均匀，而且在网的边界上布设水准重合点，这样可以大大降低内插出的非重合点上的高程异常的不可靠性。

三、实验研究

为研究拟合模型，水准点的精度及布设形式对拟合精度的影响，本文利用上述模型中的曲面拟合法、多面拟合法及神经网络法，用MATLAB语言编程实现了对某GPS网的高程拟合。

（1）实验区概况

该GPS控制网共有15个点与水准点重合，控制面积为150k m2, 测区水准点分布图如图1，高程成果表见表1。

图1点位分布图

测区高程成果表表1

从表 1 中的高程异常值可知，该测区的局部似大地水准面较为平缓，且没有显现孤值性，均可参加拟合计算。

（2）为了选择较好的拟合方案,对如下的几种情况做了计算,并分析比较拟合结果。

(1)随机选择10个已知点，用二次曲面、多面函数、BP网络进行拟合，结果见表2。

(2)选择10个分布比较均匀的已知点，用二次曲面、多面函数、BP网络进行拟合,结果见表3。

不同模型随机选点拟合结果 表2

不同模型均匀选点拟合结果表3

四、结论

从上面拟合结果比较得出如下结论：

（1）某一区域的GPS高程拟合与模型的选择有很大关系，选择某一模型的时候，既要横向比较，即同一模型不同条件比较，也要纵向比较，即不同模型之间比较。

（2）GPS水准高程拟合精度与已知点的精度有关。当已知点精度降低时，待定点精度明显降低，要得到较高精度的GPS水准高程，就需要保证已知点精度。

（3）已知点的位置对GPS水准高程拟合的精度影响很大。待定点精度在很大程度上取决与已知点的分布状况。在进行GPS水准高程拟合时，一定要使已知点均匀分布整个测区，并具有一定的代表性。

（4）在较大范围内，用神经网络方法转换GPS高程优于二次曲面和多面函数法，所获得的正常高可满足各种大比例尺测图的精度要求。

参考文献：

[1]陶本藻，蔡风萍 大范围GPS水准拟合模型的选取及其实验研究[J].工程勘察，2005，（1）。

[2]李崇贵，牟玉香，赵书河用岭估计研究不完全三维趋势面在GPS工程水准测量中的应用[J].测绘通报，1998，（8）。

第9篇：神经网络过拟合的表现范文

关键词： 高维BP神经网络； 粒子群算法； 神经网络； 结构优化

中图分类号： TN711?34； TP311 文献标识码： A 文章编号： 1004?373X（2017）03?0157?03

Research on a neural network structure optimization method based on

high?dimensional particle swarm optimization

HUANG Yu1， 2

（1. College of Computer Science， Chongqing University， Chongqing 400044， China； 2. Yibin Vocational and Technical College， Yibin 644003， China）

Abstract： In order to eliminate the shortcomings of the traditional BP neural network in the operation process， a neural network optimization method based on the high?dimensional particle swarm optimization algorithm is proposed. The acceleration constant with random variation is introduced into the high?dimensional PSO algorithm to acquire the optimal weight to optimize and train the BP neural network. The optimized high?dimensional BP neural network is applied to the automatic detection of the traffic incident. The trained data is performed with class test with the detection and training algorithm， and its result is compared with those tested with the traditional BP neural network algorithm and classical event detection algorithm. The results show that the detection rate and performance of the algorithm optimized with high?dimensional particle swarm optimization BP neural network algorithm are better than those optimized with BP neural network algorithm and classical algorithm， the values of 2 test samples are different with the expected values of 97 and 50 test samples， the rest samples can meet the test requirement， and the average optimal testing time is half of the detection time of the traditional BP neural network. The optimized BP neural network algorithm has excellent performance.

Keywords： high?dimensional BP neural network； particle swarm optimization； neural network； structure optimization

0 引 言

目前关于高维多目标优化问题的理论和方法大都限于少数几种算法，如NSGA?II算法，粒子群优化（PSO）算法。粒子群优化算法是Kennedy等受到飞鸟集群活动的启发而提出的一类新兴的基于集群智能优化算法[1?5]。相比进化算法，PSO具有易于实现和收敛速度快等优势。近年来PSO在多目标优化领域的研究上取得了较大进展[6?9]，在神经网络训练、复杂函数优化、图像处理、工业系统优化等领域应用广泛[10]，PSO在特性的函数优化问题上更是发挥着重要作用，这些特性函数通常具备维数高、非线性、规模大、非凸和不可微等特点，一般计算方法运算困难。针对粒子群优化算法的优点以及传统BP神经网络存在的诸如较慢的收敛速度、较低的学习效率，并且在计算过程中较难计算出局部极小值等问题[11?14]，提出一种基于高维粒子群算法的神经网络优化方法，结合二者优点使其更好地应用于实际中。

1 基于高维PSO算法的BP神经网络优化

1.1 高维PSO算法简介

粒子群算法是一种集群行为的计算方法，在不局限于二维空间，考虑高维时，即是高维PSO算法。设搜索空间为[D]维，粒子集群是由[M]个粒子组成，其中，第[i]个粒子的空间位置表示为[Xi=xi1，xi2，…，xiD，i=][1，2，…，M，]其飞行速度应表示为[Vi=][vi1，vi2，…，viD。]将空间位置和飞行速度数值代入优化目标函数中，从而计算出用于衡量[x]优劣的适应值。假设粒子[i]搜索到的最优位置为[Pi=pi1，pi2，…，piD，]整个粒子群搜索到的最优位置记为[PK=pK1，pK2，…，pKD。]此时，对于每一代粒子，其第[d]维[1≤d≤D]的速度和位置根据式（1），式（2）迭代：

[vktt+1=ut?vitt+c1r1pid-xidt+c2r2pid-xidt] （1）

[xidt+1=xidt+vidt+1] （2）

[ut=umax-umax-umintitmax] （3）

式中：[ut]代表惯性权值数值，一般为线性惯性权值，惯性权值的作用是提高粒子群算法的全局、局部优化能力；[t]代表现在的迭代次数；[itmax]代表迭代的最大次数；[c1]和[c2]代表学习因子；[r1，r2]代表在[0，1] 范围内变化的两个随机数值。

粒子位置的更新如图1所示。

1.2 BP神经网络

BP神经网络在结构上一般由输入层、隐含层、输出层三层构成，属于多层前馈神经网络，包括输入信号前向传递和误差反向传播两个过程。BP神经网络广泛应用在各种预测模型中。网络结构一般只需单个隐含层就能以任意精度逼近任意有理函数。训练样本的输入、输出向量的维数分别决定了网络的输入、输出层神经节点个数，典型的只有单个隐含层、单个输出的BP神经网络结构如图2所示。

在图2中，[xi=x1，x2，…，xn]代表一组BP神经网络的输入向量；[y]代表一组BP神经网络的目标输出值；[wij]代表输入层和隐含层两层级之间的连接权值；[wj1]代表隐含层和输出层两层级之间的连接权值。[aj，b]分别为隐含层和输出层的节点阈值。若设隐含层节点个数为[m，]则[j=1，2，…，m=1，]在输入信号前向传递过程中，[xi]从输入层逐层传输到隐含层和输出层，由传输过程中各层连接权值矢量、阈值矢量和相应的激励函数计算，得出输出层的预测输出值[Y，]若预测值[y]与目标值[Y]之间有误差，则误差部分转入反向逐层传递，沿误差减小的方向调整网络各层连接的权值、阈值。反复执行以上过程，使得BP神经网络的预测值不断逼近实际输出值。

1.3 PSO算法的优化

在实验过程中，种群的中间粒子更容易得到全局最优位置而不是PSO算法中的所有粒子。因此，本文基于PSO算法并采用惯性因子[σ，]惯性因子更容易追踪种群中最优粒子的位置并确保速度连续变化，即粒子下一时段的运行速度是在上一时段\行速度的基础上迭代产生的，提高了PSO算法的性能，该优化算法称为带惯性项的粒子群算法。采用惯性因子[σ]后，新的粒子速度公式为：

[Vidt+1=σVidt+c1r1Pid-Xidt+c2r2Pgd-Xidt] （4）

优化后的PSO算法更容易找到最优位置。在最优位置找寻过程中，如果粒子探索的程度是在新的方向则被称为探测，而仍然在原始轨迹搜索则称为开发。探测和开发是找寻最优位置的必经过程，调整粒子探测和开发程度可以更好地找寻最优位置并达到优化效果。所以，常将随机变化的加速常数[c1]和[c2]应用到带惯性项的粒子群算法，代表粒子向个体极值和全局极值推进过程中的随机加速权值，从而动态改变探测和开发所占的比例，使其尽快找到全局最优位置，该优化算法称为引入惯性项和随机加速常数的粒子群算法。其中，加速常数[c1]和[c2]定义为：

[c1=random（a）+tTmax] （5）

[c2=random（b）-tTmax] （6）

式中：[random（a）]和[random（b）]代表系统随机生成的数；[t，Tmax]代表当前进化代数和最大进化代数。

1.4 BP网络权值优化方法

由BP网络的三层结构可知，用[ujht]代表输入层和隐含层的网络权值，[wkj（t）]代表隐含层和输出层的网络权值，[θk]代表输出节点阈值，[θj]代表隐含层节点阈值。具体更新公式如下：

[wkjt+1=wkjt+αδkHj] （7）

[ujht+1=ujht+αkσjIh] （8）

[θKt+1=θKt+βδk] （9）

[θjt+1=θjt+βσj] （10）

式中：[Hj]代表隐含层节点[j]的输出信号；[Ih]代表输入层节点[h]的输入信号；[δk]代表输出层节点[k]的误差；[σj]代表隐含层节点[j]的误差；[α， β]代表学习参数，参数取值范围为0.1～0.9。

1.5 高维粒子群BP的算法实现

高维粒子群优化BP神经网络需要确定网络的拓扑结构，根据网络的拓扑结构确定粒子搜索空间的维数，即粒子长度，以误差均方值作为基准调节BP网络中的权值和阈值，以粒子群优化的适应度函数作为BP网络误差的反传函数，据此建立误差均方值与粒子群优化的适应度函数的对等关系，目标函数的表达式如下：

[fi=1Nk=1Nyk-ymk2] （11）

式中：[N]代表总训练样本数；[fi]代表目标函数的误差平方和；[y（k）]代表目标函数的目标输出值；[ym（k）]代表目标函数的实际输出值。

改进粒子群算法寻优的具体步骤如下：

（1） 初始化粒子群参数。初始化粒子群规模、最大迭代次数[Tmax、]学习因子[c1]和[c2、]惯性权重[wmax]和[wmin]在特定位置与速度范围内随机初始化位置向量和速度向量。

（2） 初始化BP神经网络。由实际情况确定BP神经网络的拓扑结构，并建立下一步运算的网络模型，进一步明确粒子维度。

（3） 输入网络训练样本。通过步骤（1），步骤（2）初始化的位置向量输入网络训练样本，确定网络的权值和阈值，计算出期望输出的误差均方值和实际输出的误差均方值，由二者的误差均方值可以得到粒子群的适应度函数。在粒子群适应度函数的基础上结合位置和惯性因子可以计算粒子新的运动位置和运动速度。

（4） 迭代运算。确定每个粒子的个体极值和全局极值：粒子[i]的适应度值[fi]与个体最优值[Pbest]比较，如果小于[Pbest]则取代它作为当前的个体最优；适应度值[fi]与全局极值[gbest]比较， 如果小于[gbest]则取代它作为当前的全局最优。当停止迭代时，会得到粒子在全局的最优位置，此时需要把该数值作为BP网络的最后权重值，映射为BP神经网络的权值和阈值。

（5） 将样本数据源中训练样本输入到已确定的网络模型中进行训练，用测试样本做预测。

2 高维粒子群BP算法实例仿真

高维粒子群BP算法仿真实验的实验数据采集自沈阳市和平区易发生交通拥堵的某一路段，采集方式是在测试车辆上安装激光测距仪和 GPS设备，采样时间设置为2 s，采样时间段为早、中、晚高峰期三小时的时间区间，并多次测量采集数据，选择每组中发生事件的实验数据为6 rain，参照上述标准共采集150组样本数据，把样本数据归一化。将100组训练数据、50组测试数据输入到Matlab进行运算，电脑内存为8 GB，利用本文的高维粒子群算法的BP神经网络优化算法训练，最后将测试样本分类判别，检验最后的计算性能。部分原始样本数据见表1。

设置高维粒子群算法的参数，其中，种群数量设置为[m=30，]维数设置为[D=12×13+13×4+4=212，]加速因子设置为[c1=c2=1.50，]惯性因子设置为[ω=0.720，]速度最大值[Vmax=1，]速度最小值[Vmin=-1，]位置最大值为5，位置最小值为?5，最大迭代次数[N=100。]当计算循环过程达到终止迭代次数时则终止计算。

通常采用交通事件的检测率（DR）、平均检测时间（MTTD）、误判率（FAR）评价交通事件自动检测的算法效率。通过采用本文优化的计算方法对采集到的数据进行分类训练等一系列计算分析，并将最终分析结果和经典事件检测算法、BP神经网络算法比较。结果表明，经过优化后的高维粒子群BP神经网络的检测率、算法性能均优于经典算法和BP神经网络算法，其中97，50个测试样本中仅有2个测试样本与应该达到的数值不一致，其他样本都满足测试要求，并且平均优化测试时间是传统BP神经网络检测时间的一半，结果对比见表2。

3 结 语

本文基于高S粒子群算法的BP神经网络结构优化方法，改进了传统运算方法的检测时间长、收敛速度慢的缺点，且容易实现，是一种新兴的群智能优化算法，优化全面，适用范围广泛，具有较高的精度和较好的拟合性能。

参考文献

[1] 姚尔果，闫秋粉，南振岐，等.基于改进粒子群算法的BP神经网络模型研究[J].佳木斯大学学报（自然科学版），2012，31（1）：107?109.

[2] 谢铮桂，钟少丹，韦玉科.改进的粒子群算法及收敛性分析[J].计算机工程与应用，2011，47（1）：46?49.

[3] 闰纪如.粒子群优化的神经网络在交通流预测中的应用[D].杭州：浙江工业大学，2013.

[4] 刘洪波，王秀坤，孟军.神经网络基于粒子群优化的学习算法研究[J].小型微型计算机系统，2005，26（4）：638?640.

[5] 胡卫东，曹文贵.基于改进粒子群算法的BP神经网络在边坡稳定性评价中的应用[J].湖南理工学院学报（自然科学版），2014，27（2）：71?77.

[6] 刘坤，谭营，何新贵.基于粒子群优化的过程神经网络学习算法[J].北京大学学报（自然科学版），2011，47（2）：238?244.

[7] 徐以山，曾碧，尹秀文，等.基于改进粒子群算法的BP神经网络及其应用[J].计算机工程与应用，2009，45（35）：233?235.

[8] 张德慧，张德育，刘清云，等.基于粒子群算法的BP神经网络优化技术[J].计算机工程与设计，2015，36（5）：1322?1328.

[9] 肖俊生，任讳龙，李文涛.基于粒子群算法优化BP神经网络漏钢预报的研究[J].计算机测量与控制，2015，23（4）：1302?1305.

[10] 沈学利，张红岩，张纪锁.改进粒子群算法对BP神经网络的优化[J].计算机系统应用，2010（2）：57?61.

[11] 江丽，王爱平.基于粒子群与BP混合算法的神经网络学习方法[J].计算机应用，2012，32（z2）：13?15.

[12] 徐大明，周超，孙传恒，等.基于粒子群优化BP神经网络的水产养殖水温及pH预测模型[J].渔业现代化，2016，43（1）：24?30.