神经网络回归问题精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的神经网络回归问题主题范文，仅供参考，欢迎阅读并收藏。

第1篇：神经网络回归问题范文

    自20世纪50年代以来,世界旅游业发展迅速。蓬勃发展的旅游业给目的地带来经济效益与社会效益的同时,也给旅游风景区的自然生态环境造成了威胁。怎样协调好经济效益、社会效益和生态环境三者的关系,是我们亟待解决的问题。许多旅游景点的游客量呈现持续增长的趋势,但这种增长并不是一条直线,往往表现为在旺季人满为患,在淡季却门庭冷落。游客数量在时间上的不均衡波动给景区管理带来很大挑战。要实现风景区科学规划与永续利用,需要把握游客的时空变化规律,准确预测游客数量。其中短期游客量的预测是景区进行资源科学管理与合理调度的基本依据,对此进行深入研究有重要的现实意义。

    2问题提出与解决框架

    2.1研究区域九寨沟位于四川省阿坝藏族羌族自治州九寨沟县境内,海拔在2000米以上,沟内遍布原始森林,分布了108个湖泊,是我国被列入世界遗产名录的着名旅游风景区之一。九寨沟一年四季景色都十分迷人,各个季节有不同的景致,因此游客络绎不绝,其中以4月至11月游客量最多(章小平,朱忠福,2007)。图1研究路径

    2.2问题提出国内外学者对旅游景区容量及游客量预测问题的研究始于20世纪60年代,几十年的发展取得了丰富的成果,如Law(1999)利用神经网络模型预测游客需求,Mello(2001)使用向量自回归方法预测英国旅游者的长期旅游需求及目的地份额,Stucka(2002)使用了计量经济学中普通最小二乘法(OLS)与相似非相关模型(SUR)来预测克罗地亚的旅游需求。国内学者的研究成果也比较丰富,如楚方林研究发现非季节性自回归移动平均结合模型能获得较优的预测结果(ChuFonglin,1998),王朝宏使用模糊时间序列与混合灰色理论预测到台湾的美国和香港游客的旅游需求(WangChao-Hung,2004),曾忠禄、郑勇(2009)使用计量经济学模型预测了内地赴澳门的游客量,雷可为、陈瑛(2007)应用了BP神经网络和ARIMA组合模型预测中国入境游客量,颜磊等(2009)提出了小波分析法并用此方法分析了九寨沟景区游客旅游时间流的特征,胡小猛等(2006)通过研究得出三个主要阻碍上海居民去崇明岛旅游的障碍因素,得出了游客量与潜在游客规模及各类阻碍相关的预测模型。这些方法大多以预测某地游客量的发展趋势以及分析影响这些地区游客量的因素为主。虽然国内外学者对年际游客量的预测形成了丰富的成果,但是对日游客量的预测问题鲜有研究。随着游客的旅游方式的变化,影响一个地区游客量的因素已经不仅仅是由旅游的季节性因子和景区基础条件所决定,各种社会因素、自然突发状况也会对一个景区的游客量产生重要影响(吴耀宇,黄震方,2010)。本文研究日游客量的预测问题正是基于对上述变化的思考。考虑季节与季节之间的

    2.3解决框架本研究通过实地调查和数据采集获得研究数据。采用逐步回归法对日游客量预测建立回归模型,再利用BP神经网络对回归模型计算出的预测结果进行误差的修正,最后将修正出来的结果作为最终预测的日游客量。图1为本文的研究路径。

    3实证研究

    3.1多元线性回归模型本研究通过实地调研采集了大量数据,其中包括九寨沟2009年和2010年上半年日游客量数据、九寨沟2009年和2010年每日的气象数据,全国2009年和2010年法定假日的数据等。有研究表明气候的季节性固然会一个景区游客量的大小产生重要的影响,但是也应该加大对社会因素、自然突发状况的关注。因此本文重点考虑社会因素和自然突发状况对游客量的影响,设定出与游客量波动有关的主要因子。影响游客量的因子在季节与季节之间差异大,在相邻两日之间差异小,因此在考虑到景区前后两日季节性因子相差不大的情况下,设定出前日游客数量级、前日温度、前日降雨等因子,再考虑到前后两日的社会因子可能会因为放假等原因而产生差异的情况,设定出法定假日、寒暑假、旅游淡旺季等几个因子。由于自然突发状况无法准确预测以及定量,因此将其作为影响随机误差的一个因子。综合考虑上述因素对景区游客量的影响之后,得出了可能影响九寨沟日游客量的因子。本文通过研究2009年数据来建立模型。首先利用SPSS软件分别对设定的因子与九寨沟游客量之间进行相关性分析,得到前日温度、前日降雨、法定假日、前日游客数量级、寒暑假、旅游淡旺季几个与九寨沟游客量相关性较高的因子。然后将九寨沟实际游客量的数据和因子导入SPSS,通过模块—逐步回归建立回归模型。逐步回归的基本思想是,在考虑对Y已知的一群变量(X1…Xk)回归时,从变量X1,…,Xk中,逐步选出对已解释变差的贡献最大的变量进入回归方程,并且同时满足偏解释变差的F统计量的值fj的显着性概率p小于等于选定的显着性水平α。采用逐步回归法,在显着性水平α为0.05水平下,一共有4个因子依次进入回归方程,依次是前日游客数量级、法定假期、前日温度和旅游淡旺季,从模型汇总表中可以看出,最后一个包含了以上4个因子的回归模型的判定系数R=0.919,校正判定系数R2=0.918,各种影响因子对实际游客量的回归效果良好。检验模型的多重共线性、异方差性和序列相关性,三个问题均不存在。模型方差检验、回归系数检验也都通过。根据高斯-马尔柯夫(BLUE)定理,回归系数表所求得的回归系数具有最优性、线性和无偏性。以上从SPSS中获取的结果证明通过多元回归得出的模型拟合度比较高,结果比较理想。最后根据回归系数得出的多元回归方程为:y=-14394.805+781.351x1+1143.616x2+45.851x3+416.860x4+μ(1)其中y为预测的日游客量,x1为前日游客数量级,x2为法定假期,x3为前日温度,x4为旅游淡旺季,μ为随机误差。

    3.2BP神经网络修正理论已证明,三层BP网络可以以任意精度逼近任何连续函数(张兴会,等,2004)。以多元回归模型的预测误差作为输入的学习样本,在神经网络中经过不断修正可以得到更好的预测结果。BP神经网络可以从大量的离散实验数据中,经过学习训练,提取其领域知识,并将知识表示为网络连接权值的大小与分布,建立起反映实际过程内在规律的系统模型。BP网络可以包含不同的隐层,理论上已经证明,在不限制隐层节点数的情况下,只有一个隐层的BP网络可以实现任意非线性映射。在模式样本相对较多的情况下,较多的隐层节点,可以实现模式样本空间的超平面划分,因此本文使用具有单隐层的BP网络来实现对多元线性回归模型的修正(陈如云,2007)。图2为BP神经网络原理示意图,其中Wij是输入层到隐层的权重,Wjl是隐单元层到输出层的权重。

    3.2.1训练样本归一化原始样本中数据为预测游客量的误差均大于1,而BP神经网络所处理的是数值在[-1,1]区间的数据,因此这些样本数据在研究中都需要将它们转化为区间之间的数据。本文对样本数据采用的归一化公式如下:式中I为原始误差输入数据,I^为归一化后的输入数据,g为原始样本期望目标数据即实际游客量,g^为归一化后的期望目标数据。

    3.2.2网络训练本文采用三层的神经网络进行建模,对游客数量预测误差进行修正。采用2009年数据作为训练样本,因数据量比较大,隐层神经元的节点个数n2要尽量多,故本文选择n2=150,这里的隐层神经元节点个数不是固定的,要根据实际训练的检验修正。输入层神经元节点个数n1=5,输出层神经节点个数n3=1,将1月1日-5日、2日-6日、3日-7日等的游客数量预测实际误差作为网络输入,以6日、7日、8日等的实际游客量作为网络输出,组成样本数据对网络进行训练,最后得出预测误差。采用MATLAB测试,输入层到中间层和中间层到输出层的传递函数均受用正切函数,学习率设为0.5,训练次数设为5000,训练目标误差为1×1010。使用MATLAB进行神经网络训练得到归一化处理过的输出层数据,首先需要对输出层数据还原,根据归一化公式得到还原公式:式中I为还原的神经网络输出数据,I*为神经网络原始输出数据。经过MATLAB的处理,将预测误差与回归模型预测值相加,得到最终预测值。

    3.3模型验证

    3.3.1回归部分将2010年数据带入回归方程,通过计算得出游客量预测值。下图3所示为根据回归方程(1)计算得到的2010年上半年日游客量的实际值与预测值之间的对比图,其中y为预测游客量,g为期望目标数据,即实际游客量,横坐标为日期的序列值,纵坐标为游客数。

    3.3.2BP神经网络部分要预测某天的游客数量误差,应该将回归模型预测的前五日实际误差作为神经网络输入,经过神经网络的运算之后得到输出为当日游客量预测误差,将此输出的预测误差与回归模型的当日游客量值进行相加或相减,得到最终游客量预测值。图4是经过BP神经网络修正前后的两个日游客量预测值的对比图,其中,y为多元回归预测值,Y为BP神经网络修正值,横坐标为日期的序列值,纵坐标为游客数。由图4可以看到经过BP神经网络修正前后的游客数变化趋势是基本一致的,只是在游客数的多少上存在差别。下图5为经多元回归模型预测,BP神经网络修正后的最终预测到达人数(Y)与九寨沟实际到达人数(g)对比图,横坐标为日期的序列值,纵坐标为游客数。从多元回归模型的预测到BP神经网络的修正,预测值与实际值的变化趋势是基本一致的,从图2与图5的对比可以看出:九寨沟游客每年实际到达人数呈现出多峰性;实际到达人数与预测到达人数所呈现出的峰值是基本一致的;二者的对比图显示二者在数量上的预测也基本准确。而且经BP神经网络修正后,游客到达预测值与游客实际到达值之间更为接近,通过计算,可以得到神经网络模型对预测值修正后误差显着变小,经计算得修正预测值与实际值的平均误差率为2.05%。其中误差在1%以内的占总预测量的33.5%。误差在2%以内的占65.9%,误差在10%以上的占0.6%。分析有如下几个可能产生误差的原因:(1)由于回归模型选择的影响因子而造成的预测误差。影响一个地区游客量的因素众多,并不能全部被挑选出来,因此影响因子的选择是造成误差的一个最主要原因。(2)自然突发状况。由于自然突发状况存在突发性和偶然性,事先很难准确预测,也是一个误差来源。(3)除法定假日以外的周末。由于周末多是九寨沟周边城镇的游客去旅游,而去九寨沟所花的时间可能较多,因此周末可能不是一周当中游客最多的时候,但是周末会对游客量有一定影响。(4)单位组织旅游。现在许多单位都会选择一个相对于自身合适的时间组织员工集体旅游。(5)地震的残留影响。

第2篇：神经网络回归问题范文

【关键词】BP神经网络；预测；误差

1.引言

许多金融学家和计量学家对发达国家成熟市场的波动性进行了广泛的研究，但是在对股市的预测上，由于人们在知识、能力、经验上存在着较大的差异，加之问题本身又具有很大的随机性和高度的非线性，即使是一些金融专家、炒股高手对出现的同一复杂行情进行分析，往往也会得出不同的结论。此外，传统方法还要事先知道各种参数，以及这些参数在什么情况下应作怎样的修正。这都给预测股市带来一定的困难。

基于以上股市预测的困难性，本文提出了人工神经网络的预测方法。随着计算机、人工智能尤其是专家系统的发展，人工神经网络技术逐渐成熟并开始应用于各个领域。人工神经网络（ANN，简称神经网络）作为一种由大量简单神经元广泛相互联接而成的非线性映射或自适应动力系统，恰好能有效解决股市预测处理中常见的困难，因此它很快在股市预测分析与处理领域得到了广泛的应用。

2.BP神经网络介绍

2.1 BP 网络算法的基本原理

2.1.1 标准的BP 网络算法的基本原理

BP(Back Propagation)网络是反向传播的多层前馈式网络，是目前使用最为广泛的一种人工神经网络。它的核心是BP算法，一种对于多基本子系统构成的大系统进行微商计算的严格而有效的方法，采用最小均方差学习方式。BP 神经网络的原理说到底就是给它一些输入变量，然后就有一个输出，输出值的情况与实际的情况进行比较，差多少，然后再进行网络的内部调整，属于有导师的学习规则，使得网络输出与实际逼近。

神经网络能学习和存贮大量的输入―输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。人工神经网络由非线性函数组成，而由一系列不同权重的线性过滤器组合而成：

2.1.2 BP网络算法的优化

由于常用的BP算法主要缺点为收敛速度慢，局部极值，难以确定隐含层和隐含层的个数，使得在实际应用中BP算法很难应用，因此，出现了许多改进算法。BP算法的改进主要有两种途径，一种是采用启发式学习方法；另一种则是采用更有效的优化算法，本文采用了动量法和学习率自适应调整的策略，从而提高了学习速度并增加了算法的可靠性。动量法降低了网络对于误差曲面局部极值的敏感性，有效地抑制了网络陷于局部极小。

2.2 BP神经网络的模型识别及步骤

模式通常指对事物的一种定量描述或结构描述，“识别”是指对客观事物按其物理特征进行分类。模式识别的基本原理就是从待识别对象和理想标本之间若干特征的相似性推断它们之间总体的相似性。BP神经网络模式识别过程分为训练阶段和模式分类阶段，分为初始化、数据与处理、网络训练以及模式分类四个步骤。以下利用实证分析来进行着四个步骤。

3.实例分析

下面以上证的某股600个交易日的股票价格收盘指数作为原始样本数据，对上述神经网络模型进行求解，预测20天的收盘价，与实际收盘价进行比较，并求出其误差：

式中，表示第日的实际收盘指数，表示第日的预测值，表示误差。主要按照如下几部分来处理：（1）准备600个数据的时间序列，进行归一化。BP神经网络中每个神经元的输出值由传递函数Sigmoid函数来计算，其输出值的范围是（0，1）；（2）留出最后20个数据，作为预测检验使用；（3）绘制图像，包括实际值和预测值，能量函数；（4）分析实际和预测两曲线的趋势。

采用I-J-K学习模型，该模型是输入层I个神经元，隐层J 个神经元，输出层K个神经元。利用BP神经网络模型训练500次、800次、1000次的输出值和期望值以及能量函数（或者叫误差函数）E，结果见图1到图3。

通过上面的图示，可以看到用BP神经网络预测的效果比较明显，这说明该模型适用于短期预测吗，股市的波动在很多地区都是非常剧烈的，各种因素的综合作用也使得长期股指的变动具有极大的不确定性，使得预测变得很困难。而BP网络的算法原理和自学习的特点使其能够充分挖掘出隐含在样本数据中的规律性，实现从输入空间到输出空间的非线性映射，对样本数据进行精确的拟合。从而BP神经网络的方法对于股市上的一些很难看出规律的数据列的预测而言，无疑是一个比较精确的预测方法。

4.结论

本文介绍了股市的特点以及股市预测的困难性，提出了利用BP神经网络的方法来解决股市预测问题。文章介绍了BP神经网络算法的基本原理，BP神经网络算法的优化，BP神经网络模型识别及步骤，最后后以上海证券交易所每日股票价格收盘指数为分析对象，把原理应用于实际，利用BP神经网络对股票价格收盘指数进行了短期预测，并计算出预测值和实际值的误差。通过实验发现该模型收敛速度快，预测精度非常高，对预测短周期内股指波动具有较强的适用性。

参考文献

[1]高琴.人工神经网络在股市预测模型中的应用[J].微电子学与计算机,2007年第24卷第11期.

[2]周翠红,路迈西.线性回归与人工神经网络预测煤炭发热量[J].煤炭科学技术,第37卷第12期.

[3]尹庆双,奉莹.人工神经网络在第三产业就业分析中的应用[J].人口与经济,2009年第6期.

[4]邹文安,刘宝,姜波,杨春生.基于Excel 技术平台人工神经网络BP模型及应用[J].水文,第30卷第1期.

[5]康进,刘敬伟.非参数回归估计与人工神经网络方法的预测效果比较[J].统计与决策,2009年第23 期.

[6]杨本昭,田耕.基于人工神经网络的客户价值分类研究[J].科技管理研究,2007年第12期.

第3篇：神经网络回归问题范文

[关键词]多元线性回归；BP神经网络；预测模型

[DOI]10.13939/ki.zgsc.2017.06.098

1 引 言

HN省林业发展虽然迅速，但总体规模小，林业产业化水平低，林产品没有规模化的发展。预测林产品的物流需求，能够探索出HN省林产品的发展规律，发现林业转型升级过程中存在的问题。本文运用与林产品物流运输需求有强相关性的经济指标来预测HN省林产品物流运输需求量。

2 多元线性回归模型

2.1 多元线性回归

确定两种及以上变量间相互定量关系的统计方法称为回归分析。在回归分析中，如果有两个或两个以上的自变量，就称为多元回归分析，如果自变量与因变量间存在线性关系，就称为多元线性回归。其模型的一般形式为：

2.2 多元线性回归模型构建

设物流运输需求量[JB（（]Y[JB））]与影响因素[JB（（]X1，X2，…，XP[JB））]存在线性相关，可建立回归函数模型Y=F[JB（（]X1，X2，…，Xp[JB））]，以此为基础，对林产品物流运输需求做出预测。

3 BP神经网络模型

3.1 BP神经网络

BP神经网j是一种按误差逆传播算法训练的多层前馈网络，BP网络模型拓扑结构包括输入层、隐含层和输出层。

3.2 构建物流运输需求预测模型

利用BP神经网络构建林产品物流运输需求预测模型，强相关性的经济指标是输入变量，林产品物流运输需求量是输出变量。

3.2.1 设计网络输入、输出样本

设Xi=[JB（（]Xi1，Xi2，…，Xin[JB））]表示第i年的经济指标向量，Yi=[JB（（]yi[JB））]表示第i年的物流运输需求量向量。以第1年至第n-1年的经济指标值作为输入样本P，以第2年至第n年的物流运输需求量作为输出样本T，用输入样本P和输出样本T对BP网络进行训练，训练完成后，输入第n年的输入指标Xn来预测第n+1年需求量。

3.2.2 确定网络层数、隐层节点数

本文选用典型的三层BP网络。根据Kolmogorov定理n1=2n+1确定隐含层节点数。

4 HN省林产品物流运输需求预测实证分析

货运量能反映出物流运输需求的变化规律，HN省铁路网发达，故选择“林产品铁路货运量”作为输出指标，设为Y。依据预测指标选取原则，选取“人均生产总值、居民消费水平、林业生产总值、林业固定资产投资、铁路营业里程”作为输入指标，分别设为X1，X2，X3，X4，X5。本文选取的原始数据来源于历年HN省统计年鉴，选取2005―2013年的数据作为样本数据，如表1所示。2014年的数据作为预测数据加以验证。本文以木材作为木产品的代表。

4.1 多元线性回归模型算例分析

本文借助SPSS软件对五个经济指标和林产品铁路货运量指标之间进行相关性分析和线性回归分析，从而对林产品物流运输需求进行预测。

4.1.1 相关性分析

本文依据数据特点，对其采用Pearson相关系数，如表2所示。

4.1.2 线性回归分析

选择X1、X2、X3、X4、X5作为自变量，Y作为因变量。在SPSS软件的计算下，根据SPSS的输出结果得到林产品物流运输需求量多元线性回归模型为：Y=550.119+0.009X1-0.047X2-0.230X3-2.060X4+0.017X5

4.2 BP神经网络模型算例分析

本文借助MATLAB软件的神经网络工具箱，通过编程来建立林产品物流运输需求神经网络预测模型。

4.2.1 对数据归一化处理

4.2.2 设计网络结构参数

通过试验，隐含层节点数目为2×7+1=15个最为合适。训练函数设为traingdx函数，传递函数第一层设为tansig函数，第二层设为logsig函数，学习率设为0.1，动量因子设为0.9，学习误差设为10-5。

4.2.3 网络训练与测试

取归一化后2005―2010年的输入指标值作为训练样本输入p-train，2006―2011年的输出指标作为训练样本输出t-train。在MATLAB软件中编辑训练语句，结果如下图所示。

训练结果曲线

经过了146次训练后，网络达到设定学习误差，训练效果较好。

4.3 模型预测对比

多元线性回归方程及BP神经网络对2014年的数据进行预测的结果如表3所示。

由表3知，BP神经网络预测模型对2014年预测误差为7.9%，多元线性回归预测模型误差为8.1%。相比而言，BP神经网络预测模型的预测精度更高，更稳定。

通过模型可以预测到未来几年林产品物流运输需求量呈递减趋势，说明对树木的砍伐在逐年递减。

5 结 论

本文介绍及建立了多元线性回归模型和BP神经网络模型，以HN省林产品物流运输需求量为算例，得出的研究结果表明BP神经网络在对新数据的预测能力方面有略微的优势，但是BP神经网络每一次训练运行的结果都是不同的，具有一定的不确定性，因此并不能简单地以此判断两者之间在预测能力方面哪个更有优势，但总的来说，BP神经网络较多元线性回归模型的预测精度更高。

参考文献：

[1]陈思远，郭奕崇.基于BP神经网络的安徽省物流需求预测研究[J].物流技术，2012（17）：231-233.

第4篇：神经网络回归问题范文

关键词：卡尔曼滤波，BP神经网络，状态估计，导航系统

 

1 引言

捷联惯导系统(SINS)和GPS组合而成的导航系统是当今导航领域最主要的组合方式，它有效的减少了系统误差，提高精度，降低了导航系统的成本，这种组合方式已在航天航空、航海、陆地平台导航、测绘等领域得到了广泛应用。在传统的SINS/GPS组合状态估计中，经典卡尔曼滤波器[3]发挥重要作用，但其要求条件苛刻，主要体现在要求模型的状态方程和量测方程精确、系统噪声和量测噪声的统计模型为零均值的高斯白噪声；但在复杂环境下，噪声的统计信息不可能预见，更不可能是理想的高斯白噪声，因此，许多在仿真条件下表现非常好的系统运用到实际环境中就容易出现精度下降甚至发散现象。而回归BP神经网络具有较强的并行计算能力，容错性好，在神经元数量足够时，逼近非线性函数的程度比较好。本文在经典滤波的基础上引入回归BP神经网络[4]对组合导航系统进行状态估计，尽可能减少非线性噪声对系统的影响；首先利用经典卡尔曼滤波对不同特性的噪声输入下的系统进行估计，得到各条件下的状态后，将各条件下的状态估计均值作为样本输出，以各种噪声集对网络进行训练；在训练结束后，将训练后的回归BP神经网络作为状态估计器输出组合导航系统估计值。

2 回归BP神经网络算法

误差反向传播BP算法是前向网络学习算法中应用最为广泛的算法，回归BP网络是在BP算法中采用的梯度下降法推广到回归网络中，其具有反馈和前馈机制，即在网络的一个训练周期中，网络的输出同时反馈给网络的输入神经单元作为网络的外部输入。如图1所示为一个典型的三层回归BP网络。

图1回归BP网示意图

在图1中有一个关联层，每一个隐含的结点都有一个相应的关联层结点与之连接，并且连线的权值可调，而关联层的信号来自于输出，关联层节点起到了存储网络内部状态的作用，当关联层与中间层连接后，起到了状态反馈的作用，这为组合导航系统这种典型的时间序列信号分析提高了有力的工具，具有“记忆”功能的回归BP网络能够对一阶马尔科夫序列很好的滤波和预报。反馈网络的反馈激励的加入使得局部的记忆特性被放大易造成传统的梯度下降学习方法过早的收敛，本文采用可修正速率的梯度下降学习法，其本质是综合考虑当前和前一时刻的梯度向量，调整其具有适应性，不因为某一时刻的梯度变化而改变网络的收敛状态。算法的基本要求与传统梯度法基本相同，学习的准则是让网络实际输出与样本比较，直至误差平方和达到最小。在算法中加入速率因子，使神经网络权值的更新不仅考虑了当前梯度方向，还考虑了前一时刻的梯度方向，减少网络反馈对阐述调整的敏感性，有效抑制了局部最优；速率因子的取值应当根据网络可能陷入局部最优的程度而定。

3 导航系统的状态表达与组合滤波

根据SINS/GPS组合导航系统得理论，可以得到如下组合误差的状态方程：

F(t)为系统的动态矩阵；G(T)为系统噪声系数矩阵；W(t)为系统噪声。

本文中对系统噪声仍确定为高斯白噪声，这是由于系统噪声的统计特性一般不会剧烈变化，而系统量测噪声的统计特性变换是引起卡尔曼滤波器性能下降的主要因素。系统量测噪声容易受到外界环境的干扰，如温度、电磁场、湿度等等，因此本文主要针对卡尔曼滤波中的量测噪声统计特性变化进行研究。

4 回归BP神经网络对组合导航系统的状态估计

4.1 回归BP神经网络对组合导航系统状态估计模型设计

神经网络的训练是神经网络能够应用的前提。在样本训练中对同一状态量输入X，选取不同的噪声集合，通过卡尔曼滤波器，取得一系列的不同条件下的最优估计,将这些最优估计的状态均值作为神经网络期望样本输出的真实值，构成了不同噪声集合下得输入样本和卡尔曼滤波器得到的输出样本；通过不同噪声集合样本的训练，使得神经网络具有处理各种统计特性噪声的自适应能力。训练结束后，就可以利用普通的无偏卡尔曼滤波器和训练好的神经网络进行状态估计。图2为卡尔曼滤波和神经网络组合的示意图。

图2 卡尔曼滤波与回归BP神经网络组合示意图

在实际的参数选取和设计中，本文采用卡尔曼滤波器的初始估计和SINS/GPS的参数误差作为回归BP神经网络的状态变量。选取参数误差X作为回归BP网络的状态变量。

以上参数依次为：纬度误差、经度误差、高程误差、东向速度误差、北向速度误差、垂直速度误差，三个姿态角误差。将普通卡尔曼滤波器的输出作为初始值。

4.2 仿真实验与分析

1）不进行任何滤波的SINS位置误差曲线

图4 不加滤波器的SINS位置误差曲线 图5 组合滤波后北向位置估计误差曲线

图4是断开卡尔曼滤波器和神经网络的结果。没有GPS和滤波器的辅助，在很短的时间内，单纯的SINS输出就会偏移很多。。。

2）进行组合滤波后的误差曲线

在加入GPS和滤波器后，从图5可以看出，滤波器状态估值与真实值之间的误差变化保持在较高的水准，说明滤波器明显减少了SINS的漂移和积累误差，并且在噪声复杂多变的情况下仍然表现出了平滑过渡的状态。需要说明的是由于GPS的位置精度从长期看是高于SINS的，本文在进行位置估计的时候，出于以SINS为主的思想，给予GPS的权值较小。

图6 组合滤波后滚动角估计误差曲线 图7卡尔曼滤波滚动角估计误差曲线图

从姿态角的误差分析可以看出，滤波器能够很快的收敛。。SINS的姿态误差受到外界条件影响是比较大的，即量测噪声的影响超过系统噪声，从图6中可以看出，在噪声统计特性变化的条件下，误差值仍然很小，说明神经网络系统能够有效地对量测噪声进行滤波。

3）组合误差与普通卡尔曼滤波误差的比较

对单纯卡尔曼滤波系统和组合系统分别输出的姿态角的比较。对实测数据中SINS和GPS原始数据加载入滤波器。误差图进行了部分的放大，如图7所示，从图7中可以明显看出，单纯的卡尔曼滤波系统对复杂噪声的滤波能力远远差于组合系统，表现在数据曲线上就是跳动很明显，也验证了组合系统具有较好的对不同统计特性的复杂噪声的适应能力。

5 结论

本文探讨了采用神经网络系统对导航系统滤波的问题。采用卡尔曼滤波器与回归BP神经网络系统的组合能够有效地提高导航系统在复杂环境下的导航精度，并且能够做到较快的收敛。但是这种方法的缺点在于需要大量的样本输入和需要完善的噪声组合选择，同时也受到计算能力的限制。此外，隐含层层数的选择和结点个数的选择应当如何优化，也是一个需要探索的问题。

参考文献：

[1] 以光衢，惯性导航原理[M]，航空工业出版社，1987

[2] 张守信，GPS卫星测量定位理论与应用[M]，国防科技大学出版社，1996

[3] 张玲，张钹，人工神经网络及其应用[M]，浙江科学技术出版社，1997

[4] 秦永元，卡尔曼滤波与组合导航原理[M]，西北工业大学出版社，1998

[5] Kanckar A J , Fellachi A. State estimation using artificial neural networks[A]. Proceedings of the 1994 IEEE Int.Conf. on Robotics and Automation[C],1994

[6] 周鑫，船用惯导卫星全组合技术[D], 长沙，国防科技大学硕士学位论文，2005

[7] 刘志俭，GPS载波相位差分技术、捷联惯性导航系统初始对准技术及其组合技术研究[D]，长沙，国防科学技术大学博士学位论文，2003.3

第5篇：神经网络回归问题范文

【关键词】zeta电位 Elman神经网络 BP神经网络 建模

1 实验数据的测量

本文所使用的药剂PAC和PAM都取自广西博世科环保技术有限公司，使用Nano-ZS90型Zeta电位测定仪（英国Malvern Instrument Ltd.）测量废水中的Zeta电位值，测量原理是根据经典Helmholtz―Smoluchowski（H-S）方法计算Zeta电位。

2 神经网络

由于废水处理的复杂性，系统参数较多，各参数之间又相互耦合，以及非线性等特点，使得很难建立其精确有效的数学模型。然而神经网络具有自学习、自组织和自适应能力等优点，从而为废水处理絮凝剂工段的建模提供了新的手段。

2.1 BP神经网络

采用的BP神经网络由三层组成。一个输入层，一个隐层和一个输出层。如图2-1所示：

2.2 Elman神经网络

Elman网络是 J. L. Elman于 1990年首先针对语音处理问题而提出来的， 它是一种典型的局部回归网络（ global feed for ward local recurrent）。Elman神经网络是两层反向传播网络，隐层神经元的输出不仅作为输出层的输入，还反馈至隐层的输入，如图2-2所示。

3 网络建模

3.1 模型结构

系统的下一个阶段的状态是由系统当前状态和当前阶段的控制量决定的。因此，将系统的药剂PAC和PAM作为系统模型的输入量，将Zeta电位值作为系统的模型的输出量。此系统模型为2个输入向量，1个输出向量的神经网络模型。

3.2 BP神经网络建模

由于单隐层神经网络即可实现对任意函数的任意逼近，故对于废水处理投放絮凝剂工段的模型采用单隐层BP神经网络，进行拟合能力和泛化能力的测试。由于数据自身的原因，选用其他转移函数效果都不如双曲正切S型传递函数，因此隐层转移函数选用tansig函数（双曲正切S型传递函数）；学习率选择太小会使得训练次数增加，太大会使得训练出现震荡，经过多次试凑，选用学习率为0.01；选用不同的训练次数作对比，最后选用最大训练次数为200次。

隐层节点数的多少与样本数的多少及样本蕴含规律的复杂程度有关。当选取不同的隐层节点数时，对比其拟合泛化能力。

BP神经网络隐层节点数分别为10，30，50时都达到了较好的泛化效果。其节点数依次增多时，该网络的泛化能力对于整个泛化数组来说没有明显的增强，但是对于个别的数据点却有一定的影响，如对于第五个数据点，随着隐层节点数的增加，它的泛化能力越差，对于第20个数据点，随着隐层节点数的增加，它的泛化能力越好。虽然其隐层节点数的不同会对个别的数据点产生微小的影响，考虑到训练时间的问题和数据整体泛化效果，对于BP神经网络来说，选取10个隐层节点数为最佳。

3.3 Elman神经网络建模

Elman神经网络采用MATLAB系统工具箱建模和训练，其MATLAB语句实现如下：

其中，newelm函数是用来建立Elman神经网络模型，而训练算法有很多种，经过多次选取不同的训练函数对比，最后本文采用trainscg函数（SCG算法的变梯度反向传播算法），隐层转移函数为tansig函数（双曲正切S形传输函数），输出层转移函数为purelin函数（线性传输函数）。

学习率为0.01，训练次数为200，选取的方法与BP网络相似。误差训练目标为0.005。

当隐层节点数为10时，其拟合泛化图形如图3-7，3-8所示。

当隐层节点数为50时，其拟合泛化图形如图3-9，3-10所示。

网络性能的好坏主要是看它的泛化能力。由图3-8，3-10，可知，随着Elman神经网络隐层节点数的增加，其泛化能力得到了比较明显的提高。当Elman神经网络的隐层节点数为50时，其泛化能力更强，由图3-10所示，其泛化效果与实际值基本相同。之所以Elman神经网络的泛化拟合能力比BP神经网络的强，就是由于Elman神经网络比BP神经网络多了一个承接层，即隐层具有反馈连接功能。

4 结论

综上所述，尽管目前BP神经网络得到了比较广泛的应用，但是由于它没有反馈连接，其收敛速度较慢，又容易收敛到局部最小值。相比之下，动态回归神经网络具有学习效率高，逼近速度快、泛化能力强的特点，能够更好地反映系统的动态特性。

（1）神经网络的非线性映射能力，保证了对废水处理投放絮凝剂工段建模的可行性（2）神经网络的自学习能力，在建模过程中能够自动解耦各参数之间的关系。（3）神经网络的并行协同处理能力，使得网络具有很强的实时性。（4）神经网络的分布式存储信息的能力，使得其在建模方面具有很好的容错性和鲁棒性。

参考文献

[1]王国勇.4万吨污水处理厂自动化监控系统设计与研究[D].山东大学，2008.

[2]孙体昌等.水污染控制工程[M].北京：机械工业出版社，2009.

[3]李闯.水处理滤料表面的zeta电位及其过滤除油性能研究[D].兰州：兰州交通大学，2009（06）.

[4]王利平等.水中胶体Zeta电位及影响混凝效果的研究[J].包头钢铁学院学报，1999，18（04）：484-486.

[5]王晓敏等.混凝剂对胶体电动电位的影响研究[J].工业安全与环保，2006，32（02）：7-9.

[6]韩立群.人工神经网络理论、设计及应用[M].北京：化学工业出版社，2007.

第6篇：神经网络回归问题范文

Abstract： In this paper， a model combining BP neural network and Hopfield is proposed to obtain the tropospheric delay fusion model HBPF by using sounding data and CORS base station observation data. By comparing the results of the fusion model with GAMIT， it shows that the HBPF model is reliable and highly accurate.

关键词：对流层延迟；Hopfield模型；BP神经网络；融合模型

Key words： troposphere delay；Hopfield model；BP neural network；fusion model

中图分类号：P228.4 文献标识码：A 文章编号：1006-4311（2017）15-0227-03

0 引言

当今社会，用户对GPS精度以及可靠性的要求越来越高，影响GPS高程精度有关的误差主要来自传播路径折射误差中的对流层折射误差。建立一个适用于多种导航定位用户精度需求的高精度对流层延迟改正模型，有着很重要的战略及现实意义[1]。

目前，国际上对流层延迟改正的方法主要是模型函数法，包括Hopfield模型、Saastamoinen模型、Black模型、UNB系列模型和EGNOS模型等。但是，由于对流层本身的复杂性，现存模型对于水汽在对流层空间的分布情况以及在时间上的变化规律仍然很难确切地描述[2]。人工神经网络模型具有学习、记忆、计算和智能处理功能[3]，在地球科学与测绘工程中发挥了重要作用。本文分析研究线性回归模型、Hopfield模型、神经网络融合模型（BP模型）、线性回归模型与神经网络融合模型（F1模型）、Hopfield模型与神经网络融合模型（HBPF模型）共五种模型对研究区域的改正效果，以期建立较高精度的区域对流层延迟改正模型。

1 Hopfield模型原理

Hopfield模型仅将大气层分为对流层和电离层两层。在对流层中，其主要分析对流层中各个气象参数与海拔高度之间的关系，然后经过推导分别得出折射率干分量和湿分量与高程之间的关系，进而后通过地面气象参数来推演整个对流层延迟。

完整的Hopfield模型的计算公式如下：

式（1）中前半部分为干延迟，后半部分为湿延迟。其中T0为测站气温，h0为测站高度，e0是地面的水汽分压，P0与T0分别为测站的地面气压与绝对温度，Hw为湿对流层顶，一般取Hw=11000m；而HT为折射率为0处的大气层高度，k1（K・mbar-1）、k2（K・mbar-1）、k3（105K2・mbar-1）为大气折射率试验常数。

Hopfield模型干延迟精度为2cm，湿延迟为5cm，另外地区和季节性变化会对模型产生3cm以上的延t变化。欧吉坤[4]指出，在我国Hopfield模型的误差有时可达10cm以上，而且存在系统误差。

2 用于计算对流层延迟BP神经网络模型的建立

影响对流层湿延迟的水汽是一个有着极复杂变化的非线性的物理量，那么利用在处理非线性问题上有独特优势的神经网络技术来讨论延迟的变化，应该比传统的方法更有效。

在众多神经网络模型中，BP神经网络是目前应用最广泛的模型[5]。BP神经网络的模型结构包括输入层、隐含层和输出层三个部分（见图1）。

BP算法计算过程分为两个阶段：信号正向传播以及误差反向传播。这个过程引导各层权值调整，即网络学习训练的过程，这两个阶段的反复运用，在误差达到所希望的精度时，网络的学习过程就结束。

用于计算对流层延迟BP神经网络的建立主要分两个步骤：

2.1 网络结构的确定

网络结构的确定是BP神经网络在工程中应用的重要工作。需要我们确定的内容有：①输入层节点个数；为与Hopfield模型进行比较，文章采用和Hopfield模型一样的输入参数，即：测站的地面气压与绝对温度P0与T0、测站海拔高度h0以及测站的地面水汽分压e0。②输出层节点个数；输出层节点数为1，为对流层延迟δ。③隐含层节点数的选取；本文采取遗传算法和神经网络相结合的方法，将隐含层节点设置为从10～30，每次计算均输出最佳计算结果。

2.2 网络参数的设置

BP神经网络模型的网络参数包括：学习速率η、平滑因子α、学习误差E。通过试算，学习速率η取值范围为[0.5，2.5]，平滑因子α取值范围为[0.5，0.9]，学习误差控制E在[0.005，0.01]。

通过以上两个步骤，即建立用于计算对流层延迟的神经网络模型。

3 对流层天顶延迟的融合模型的建立

考虑到模型的应用简便特性和获取数据的限制，在此，选择Hopfield模型来与BP神经网络进行融合来建立区域对流层延迟融合模型（HBPF模型）。BP神经网络具有强大的误差补偿能力，可用来补偿Hopfield模型的系统误差，然后将所得出的误差返加到Hopfield模型上，即可求得精确的对流层延迟值。为了与HBPF模型进行对比验证，同时用BP神经网络对多元线性回归模型进行误差补偿，所得到的融合模型简称为F1模型。两融合模型具体的网型结构如下：

将地面测站的气压P0、绝对温度T0、海拔高度h0、地面露点温度td，另加Hopfield模型或多元线性回归模型计算的对流层延迟δH作为输入层，将Hopfield模型或多元线性回归模型计算延迟的误差ΔδH作为输出层，建立一个5×N×1的神经网络模型（N为隐含层节点数）。那么模型所得到的值为Hopfield模型或多元线性回归模型所得值与对流层延迟真值的误差ΔδH'。融合模型所求得的延迟δ2可通过δ2=δH+ΔδH'来计算。在具体的计算时，采用与BP神经网络相同的计算步骤。

经过上述过程，我们就建立了与BP神经网络相融合的融合模型。

4 工程及实例分析

为精确确定测站的气象参数，本文采用气象站的探空气球采集的实时大气参数作为计算数据，计算各个等压面的大气干、湿折射率，描述出测站上空对流层的折射率变化情况，再通过路径积分精确的求出探空数据在海拔高程范围内的对流层延迟值。

本文所选取的探空数据为徐州地区2010年全年的气象数据，限于篇幅问题，这里仅仅将由2010年7月1号8点的探空数据计算的部分数据列于表1。

由于气象探空数据的真实性，再加上探空数据最高高度之上所采用的中纬度大气模型与大气的真实轮廓近似，即气象探空数据高度之上延迟的无差异性，我们可以认为通过路径积分计算出来的对流层延迟与其真值无异。

4.1 对流层天顶延迟的多元线性回归模型算例

根据探空气球数据的格式，本文中的多元线性回归中自变量X将包括四个参数，分别为测站的地面气压与绝对温度P0与T0、测站海拔高度h0以及测站地面露点温度td，分别表示为X1、X2、X3、X4，待求参数就有5个，分别是a0、a1、a2、a3、a4，具体公式表达见式（2）：

然后通过最小二乘法求解出参数，得出对流层延迟与大气参数之间的多元线性关系。以表1中的数据作为学习样本，经计算得到的模型参数值如表2。

4.2 各模型检验精度汇总

为了各模型间的对比分析，每个模型均选取2010年7月1日8点的20个探空站观测数据作为学习样本，以探空数据计算得到的对流层延迟值作为基准，分别选取当天8点剩余对流层延迟样本和20点对流层延迟样本来进行检验，进而比较检验样本的精度。检验样本的精度汇总见表3。

从表3中，我们可以看出，Hopfield模型在研究区域内精度最差，线性回归模型和常规BP神经网络模型、F1模型的精度都比Hopfield模型要高，HBPF模型精度最高。这是因为，线性回归模型和常规BP神经网络模型都是对获取的四个气象参数的数学分析，没有实际的物理意义。而Hopfield模型是基于全球气象参数建立的经验物理模型，是对全球对流层延迟的模拟，在针对特定的区域应用时，会出现相应的系统误差。由于BP神经网络强大的误差补偿能力，在Hopfield模型较大系统误差下，HBPF模型能够达到最优的精度，相比其他模型，极大地提高了对流层延迟的精度。

4.3 模型计算对流层延迟精度验证

由于GAMIT软件的对流层天顶延迟参数估计精度好于±1cm[6]，因此在应用中比较公认的看法是可将GAMIT软件计算出来的对流层延迟值视为真值。本文上述融合模型是建立在探空数据的基础上的，为了进一步验证HBPF模型的有效性，将其计算结果与GAMIT计算的“真值”进行对比分析。

利用GAMIT软件对徐州地区5个CORS基站2010年7月份的数据进行了高精度基线解算，并得到了时间步长为2小时的对流层延迟。采用融合模型同样的计算结构，在计算CORS基站天顶对流层延迟时，学习样本依然是探空站地面气象数据（见表1）。为了进一步分析融合模型方法计算得到对流层延迟的可靠性，本文选取2010年7月25日到7月29日连续五天的数据，每天选取两个时刻（8点，20点），以GAMIT计算得到的对流层天顶延迟数据作为对比样本，并与现今常用的UNB3m模型相比。三种模型解求的某个CORS基站天顶对流层延迟值对比列表如表4。

将表4中数据绘制成图，模型数据图见图2。从图2可以看出，本文中求出的融合模型与GAMIT解算出来的结果在7月25日到7月29日期间具有相同的变化规律，两者之间的差值都在1cm左右。UNB3m模型由于是采用的差值格网模型，在选定经纬度和年积日之后，计算结果在相当长的一段时间内大致相同。

综合这几种常规模型，可以得出结论：本文得出的HBPF模型具有最高的精度，而且结果稳定可信，能够满足较高精度的GPS定位等需求。

5 结束语

近年来，GPS技术已经应用到人们生活的许多方面，要提高GPS定位精度，必须要建立一个高效、可靠的对流层延迟模型来实现对对流层延迟的反演。本文利用区域实测的气象探空数据求得具有较高精度的区域融合模型HBPF模型，经验证表明其在反演区域对流层延迟方面，相对于传统模型有着更加良好的效果。但本文所选取的探空数据仅局限在徐州地区，所提出的“HBPF模型”在本区域内能取得很高的改正效果，能否在其他地区进行推广应用，也还有待于进一步验证分析。

参考文献：

[1]徐酃Γ徐宗秋，隋心.精密单点定位中卫星星历对天顶对流层延迟估计的影响[J].测绘科学，2013，38（02）：19-21.

[2]戴吾蛟，陈招华，匡翠林等.区域精密对流层延迟建模[J].武汉大学学报（信息科学版），2011，36（04）：392-396.

[3]胡伍生.神经网络理论及其工程应用[M].测绘出版社，2006.

[4]欧吉坤.GPS测量的中性大气折射改正的研究[J].测绘学报，1998，27（01）：34-39.

第7篇：神经网络回归问题范文

关键词：应急； 预测； 支持向量机； 人工神经网络 ；案例推理法

一、引言

“预测”这一件事，从古到今都是人们苦苦追求与探索的话题：从“先知三日，富贵十年”到“凡事预则立，不预则废”；从活跃在中国民间的算命先生，再到西方观测星象的占卜师，无不寄予着世人对未知的好奇和对未来的向往。随着科技进步与时展，特别是计算机技术的飞跃，给予人们更强大、更客观的手段和方法进行预测。本文以应急物资需求为背景，通过对各类预测方法的介绍和对比，为应急物资的需求预测寻求最佳途径。

二、预测方法分类及研究现状

由于预测的对象、目标、内容和期限的不同，近几十年来形成了多种多样的预测方法。据不完全统计，目前世界上有近千种预测方法，其中较为成熟的有150多种，常用的有30多种，用得最为普遍的有10多种，但目前为止还没有一个完整、统一、系统的分类体系。本文依照我国常用的分类方法，将预测方法分为定性分析和定量分析两大类。

1. 定性分析预测法

定性分析预测法是指预测者根据历史与现实的观察资料，依赖个人或集体的经验及智慧，对未来的发展状态和趋势做出判断的预测方法。其主要方法包括专家意见法、头脑风暴法和德尔菲法等。定性预测的优点在于，能够较大程度地发挥人的主观能动作用，简单迅速，省时省力，具有较大的灵活性；同时它的缺点也是显而易见的：由于它较为依赖于人的经验和主观判断能力，从而易受人的知识、经验和能力的多少大小的束缚和限制，尤其缺乏对事物发展作数量上的精确描述。因此，定性分析预测法在现代预测技术中逐渐淡出，定量分析预测法成为预测的主要手段。

2. 定量分析预测法

定量分析预测法主要依据调查研究所获取的数据资料，运用统计方法和数学模型，近似地揭示预测对象及其影响因素的数量变动关系，建立对应的预测模型，据此对预测目标做出定量测算的预测方法。它通常可分为时间序列分析预测法和因果分析预测法。

（1）时间序列分析预测法

时间序列分析预测法是以连续性预测原理作指导，利用历史观察值形成的时间数列，对预测目标未来状态和发展趋势做出定量判断的预测方法。较为常用的时间序列分析预测法主要有指数平滑法（包括双指数平滑、三次指数平滑和无季节指数平滑等）、移动平均法、ARIMA模型（也称Box-Jenkins法）等。

（2）因果分析预测法

因果分析预测法是以因果性预测原理作指导，以分析预测目标同其他相关事件及现象之间的因果联系，对事件未来状态与发展趋势做出预测的定量分析方法。较为常用的主要有回归分析预测法、计量经济模型预测法和投入――产出分析预测法等。随着数学方法在计算机上的运用和实现，经济学的研究与数学和计算机科学的联系更为紧密。近年来，许多人工智能预测模型层出不穷，极大丰富了预测的方法和手段。

三、应急物资需求预测的研究现状

应急物资是指为应对自然灾害、事故灾难、公共安全事件和社会安全等突发性公共事件应急处置过程中所必需的保障性物资。应急物资的需求是应急物资保障的首要环节，它具有时间上和数量上的不确定性等特点。因此，做好应急物资的需求预测有着重要的现实意义。就国内目前的研究来看，主要体现在运用人工智能方法构建预测模型，时下最流行、使用最广泛的方法有CBR（案例推理法），ANN（神经网络模型），SVM（支持向量机模型）等。

1.案例推理法（CBR）

案例推理法（Case―Based Reasoning，简称CBR）最早是由耶鲁大学Schank 教授在Dynamic Memory：A Theory of Reminding and Learning in Computers and People（1982）一文中提出的，它是人工智能领域的一项重要推理方法。国外自上世纪 8O 年代后期对 CBR 的理论和方法进行了系统研究，在通用问题求解、法律案例分析、设备故障诊断、辅助工程设计、辅助计划制定等领域取得实用性成果[1]；国内运用CBR方法对应急物资需求进行预测，取得了一定的进展：傅志妍，陈坚[2]运用欧氏算法寻求最佳相似源案例，建立案例推理――关键因素模型对目标案例进行需求预测，并通过实例验证了模型的科学有效；王晓、庄亚明[3]将模糊集理论、神经网络Hebb学习规则和多元线性回归与案例推理法相结合，较为准确地预测出非常规突发事件的资源需求；Fu Deqiang[4]等人使用了一种基于案例推理和BP神经网络的精度预测法，同样通过目标案例证实了模型的可靠性。

虽然案例推理法出现的时间较早，且在各领域得到了广泛的运用，但是这种预测方法有着较大的经验成分，且案例库的建立是进行案例推理分析的首要步骤和困难之处。而目前对于案例库的建立存在着数据不全，缺失以及无系统整理归档的问题。

2.人工神经网络（ANN）

人工神经网络最早是由Lapedes和Farber于1987年在《运用神经网络进行非线性信号处理：预测和系统模型》[5]一文中提出并使用的，他们用非线性神经网络对计算机生成的时间序列仿真数据进行训练和预测。王其文[6]等人和Chin Kuo[7]等分别通过对神经网络和传统回归预测方法的比较，证明了神经网络在预测中的优越性。

对于神经网络在应急物资需求预测中的使用，国内相关文献较少。笔者认为具有启发性的是在《大型地震应急物资需求预测方法研究》[8]一文中，郭金芬和周刚先利用 BP 神经网络算法对灾后人员伤亡人数进行预测，然后结合库存管理知识估算出灾区应急物资的需求量；随后，郭在其硕士论文中对该问题做出较为系统的研究[9]。而神经网络在物流需求预测中的运用，对应急物资需求预测是同样具有借鉴意义的：后锐、张毕西[10]提出基于MLP 神经网络的区域物流需求预测模型，揭示了区域经济与区域物流需求之间的非线性映射关系， 为区域物流需求预测提供了一种新思路和新方法；苗鑫[11]等人用扩展卡尔曼滤波和人工神经网络相结合的复合算法对物流需求进行预测，并在与常规BP神经网络算法的预测误差比较中，显示出其较高的可靠性；牛忠远[12]依据物流需求的时间序列统计数据，应用人工神经网络多步预测和滚动预测方法建立预测模型，对我国物流需求进行实证分析研究。

3. 支持向量机（SVM）

支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以求获得最好推广能力的一种方法。它是由Vapnik等人于1995年提出的[13][14]，现已广泛地应用于模式识别、语音识别、时间序列分析、生物信息学及经济学等领域。

支持向量机在应急物资和物流需求预测中的研究，国内文献一般集中在以下几个方面：赵一兵[15]等人运用支持向量机回归算法建立了地震中人员伤亡预测模型，而后结合库存管理模型对应急物资进行了估算，并在实例中验证了模型的有效性；吴洁明[16]等运用支持向量机对历史物流需求量的数据进行学习，而后通过粒子群算法获得模型最优参数对物流需求进行预测；何满辉[17]等针对支持向量机在处理数据时无法将数据简化的问题，提出了基于模糊粗糙集与支持向量机的区域物流量预测方法；朱莎[18]提出了基于小波分析和支持向量机的组合预测方法，建立了针对紧急救援阶段和后续救援阶段的血液需求预测模型，并在汶川地震的案例中体现出该模型较高的精度。

从以上文献中我们可以发现，案例推理法，人工神经网络和支持向量机的应用，都体现出跨学科，跨专业的特点，它们将生物学或计算机科学等自然科学的研究方法推广到经济管理等社会科学中，并很好地解决了现实问题。

四、结束语

本文首先通过对现有预测方法的简要介绍，提出运用近年来兴起的人工智能方法对预测问题的研究；而后从应急物资需求的视角出发，对国内外解决应急物资需求预测方法做出总结回顾。通过分析，笔者认为支持向量机（SVM）更适合运用于对历史数据较少或不全的应急物资需求进行预测。下一步的工作将是对预测指标的选取和影响因子的量化，以及对输入SVM训练数据的处理，并在实例中验证该预测方法的精确度和有效性。

参考文献：

[1]侯玉梅，许成媛. 基于案例推理法研究综述[J]. 燕山大学学报（哲学社会科学版）， 2011， 12（4）： 102-108.

[2]傅志妍，陈坚.灾害应急物资需求预测模型研究[J].物流科技，2009（10）：11-13.

[3]王晓，庄亚明.基于案例推理的非常规突发事件资源需求预测[J].西安电子科技大学学报，2010，12（7）：22-26.

[4]Fu Deqiang， Liu Yun， Li Changbing， Forecasting the Demand of Emergency Supplies： Based on the CBR Theory and BP Neural Network， Proceedings of the 8th International Conference on Innovation & Management. Fukuoka， Japan， November， 2011.

[5]Lapedes A， Farber. Nonlinear signal processing using neural networks： prediction and system modeling [R]. Technical Report LA-UR-87-2662，Los Alamos National Laboratory. Los Alamos. NM，1987.

[6]王其文， 吕景峰， 刘广灵等. 人工神经网络与线性回归的比较[J]. 决策与决策支持系统， 1993， 3 （3） ： 205-210.

[7]Chin， Kuo， Arthur， Reitsch. Neural networks vs. conventional methods of forecasting， The Journal of Business Forecasting Methods & Systems， Winter 1995/1996 17-22.

[8]郭金芬，周刚.大型地震应急物资需求预测方法研究[J].价值工程，2011（22）.27-29.

[9]郭金芬.面向大型地震的应急物资需求预测方法研究[D]. 天津：天津大学，2011.

[10]后锐，张毕西. 基于MLP神经网络的区域物流需求预测方法及其应用[J]. 系统工程理论与实践，2005， 25（12）： 43-47.

[11]苗鑫，西宝，邹慧敏. 物流需求的动态预测方法.哈尔滨工业大学学报[J]. 2008， 40（10）： 1613-1616.

[12]牛忠远. 我国物流需求预测的神经网络模型和实证分析研究[D]. 浙江：浙江大学， 2006.

[13]VAPNIKV. The Nature of Statistical Learning Theory [M].New York ： Spring Verlag，1995.

[14]VAPNIKV，张学工译.《统计学习理论的本质》 [M]. 北京：清华大学出版社，2000.

[15]赵一兵，高虹霓，冯少博. 基于支持向量机回归的应急物资需求预测[J]. 2013， 30（8）： 408-412.

[16]吴洁明，李余琪，万励. 物流需求预测算法的仿真研究[J]. 2011， 28（9）： 246-249.

[17]何满辉，逯林，刘拴宏. 基于模糊粗糙集与支持向量机的区域物流量预测[J]. 2012，12（3）：129-134.

第8篇：神经网络回归问题范文

关键词：计算机 网络预警 信息安全

中图分类号：U441 文献标识码：A 文章编号：1007-9416(2012)05-0101-01

随着网络安全事件的不断升级，网络安全问题引起了人们的高度重视，人们开始反思导致网络安全事件发生的原因，开始探索防御各类攻击事件和入侵行为的手段，网络预警技术应运而生。网络预警技术是近年来发展起来的新一代安全防范技术，是一种集检测、记录和报警于一身的网络安全技术，对计算机网络或系统中的信息进行收集和分析，判断其是否具有威胁性，如果有则立即发出警报，使操作人员提前做好防御准备，确保网络安全。

1、预警的概念

从应用角度，预警可以理解为在灾难或其他具有威胁性的事件发生前，根据事物的发展规律和以往的经验总结，运用现有技术手段判断目标事件是否存在问题或威胁，并向相关部门发出相应的信号提示，让相关部门提前做好应对准备，从而将危害可能造成的损失降至最低[1]。本文研究的主要是网络预警技术，即通过对计算机网络或系统内的信息进行搜集分析，对其威胁性进行判断，一旦发现威胁立即发出警报，使操作人员做好防御准备，维护网络信息安全。

2、网络预警的意义

网络预警的意义主要表现在以下几个方面:

(1)有效预警系统内部的入侵行为：据统计，约有80%的入侵行为发生于系统内部，网络预警技术对于内部用户的越权行为和内部用户泄密行为具有较强的预警功能，因而对于防御内部入侵行为具有重要意义[2]。

(2)最大限度地减少攻击事件造成的损失：网络预警技术能够监控、分析系统和用户的行为、评估关键数据文件的完整性、核查并恢复系统漏洞、预警入侵行为的发生等[3]。一旦发现目标事件具有威胁性，系统立即发出警报信号，使操作人员及时做好防御准备，最大限度的减少了入侵行为造成的损失。

(3)最大限度的避免同样的攻击事件再次发生：当攻击事件发生后，网络预警系统会自动收集相关信息并添加到数据库中，一旦发现相似攻击事件信息，系统将自动检索数据库并立即调取相关信息作为操作人员防御参考，增强了系统的防范能力，最大限度的避免同样的攻击事件的再次发生。

(4)入侵行为发生后，系统自动保留入侵者的信息：网络预警系统能够在入侵行为发生的同时，记录并保留入侵行为相关信息，作为可以指证入侵者非法行为的证据。

3、网络预警技术的方法及其比较

3.1 网络预警技术的四种主要方法

一个完整的预警过程通常要历经预警指标选择和确定、预警方法选择和确定、警限界定确定、报警这几个阶段。目前，预警方法和理论有很多，本文主要介绍4种：Logistic回归法、案例推理预警法、失败树预警法和基于神经网络预警法。

(1)Logistic回归法：Logistic回归常用于流行病学，较为常见的情况是探寻某疾病的危险因素，并根据危险因素预测疾病发生率，目前Logistic回归被预警领域广泛应用，如金融危机预警、财务预警等。Logistic回归通过目标事件影响因素分析来创建分析模型：首先对预警目标进行验证，根据验证结果对指标进行相关性分析，确定并剔除相关度较高的指标，根据目标事件具体情况确定警界点，对这一过程中利用的分析方法进行分析并检验，创建Logistic回归模型。

(2)案例推理预警法：案例推理首先要创建一个案例库，当新的案例发生时，对该案例进行特征描述，根据其特征从案例库中检索具有相似特征的案例并进行对比分析，最终实现预警的效果。

(3)失败树预警法：失败树分析法具有易理解、直观、高效的特点，被广泛应用于预警领域，如工程预警。失败树预警法的实现过程首先要对已发生的失败事件进行分析归纳，确定其失败的影响因素、控制条件和路径等，之后根据失败路线和分析结果创建模型。

(4)基于人工神经网络（ANN）的预警法：基于人工神经网络的预警法的工作原理是将同系列的样本输入和理想输出作为训练的“样本”，并根据一定的训练算法对神经网络进行充分训练，直至神经网络发掘蕴含在“解”中的隐含关系，之后利用训练完的人工神经网络对相同问题进行求解，从而实现预警目的[4]。

3.2 网络预警技术方法比较

Logistic回归分析法具有操作简单的优点，只需较少的变量就能实现预警目的，但是，Logistic回归分析法是一种静态预警法，无法处理遗漏信息的状况，且缺乏自我调整力、自我学习力以及容错能力；

案例推理预警法具有强大的记忆功能，只要检索案例库就能实现对相似问题的预警，无需重复预警过程。目前，案例推理预警法尚处于不断完善阶段，未能充分认识很多预警对象的知识；

失败树预警法具有简单、直观、易理解、针对性强等特点，对特定的问题能够产生实质性的预警。但是，由于目标对象的失败事件影响因素是多方面的，使失败树模型的建立受到目标对象的约束；

基于人工神经网络预警法具较强的自我学习能力、联想记忆能力，极佳的并行性、非线性、模糊性、全局性以及容错性。

目前，存在多种神经网络预警模型，每一种都存在自己的优势和弊端，因此在选择预警方法时，要根据具体情况慎重选择网络模型。

4、结语

随着网络安全事故的升级，网络安全问题成为信息社会一个极为重要的研究课题，网络预警技术应运而生，对于维护网络信息安全具有积极意义。网络预警方法和理论有很多，主要有Logistic回归法、案例推理预警法、失败树预警法和基于神经网络预警法四种，且每一种预警方法都有各自的优势和弊端，因此要根据具体情况选择网络预警模型。

参考文献

[1] 李翔,马嘉川.信息网络安全预警技术[J].办公自动化,2010(16).

[2] 孙红霞.计算机网络安全探讨[J].信息与电脑(理论版),2010(04).

第9篇：神经网络回归问题范文

关键词：长株潭城市群；数据挖掘；逐步线性回归；BP神经网络

中图分类号：F207文献标识码：A文章编号：1672-3309（2008）05-0026-05

1．引言

消费、投资和净出口共同构成整个国民经济，消费对国民经济起着支撑作用。2004年统计数据显示,7个主要工业化发达国家消费率英国最高达86.53%,其次是美国86.13%,平均比例达到79.93%,消费对经济贡献相当显著，4个新兴经济体中俄罗斯、印度、巴西消费比重分别为65.19%、70.88%、79%，中国的这一比例为54.44%。就地区而言，2006年湖南消费率为60.95%，长株潭城市群总体消费率仅为46.33%，提升消费对中国经济的贡献空间广阔。中国的经济发展由粗放的产值增长和供应推动型，向集约化、需求拉动型转移，将是我国城市经济发展的必由之路。

城市群这一区域经济模式对国民经济发展起着重要作用。美国三大城市群对美国经济整体贡献率为67%；日本三大城市群对日本经济整体贡献率超过70%；而中国的珠江三角洲、长江三角洲、京津唐环渤海湾地区三大城市群对中国经济整体贡献率仅达35%。从地区来看，目前长株潭城市群占全省经济比重为37.9%，影响力、吸引力和辐射力有很大的成长空间。城市群消费水平不仅是人民生活水平的体现，也是区域经济实力和城市群竞争力的重要因素。

当前城市群研究，针对城市主要有城市化、城市开发区、产业结构、房地产经济、城市基础设施、城市可持续发展、城市竞争力、城市发展战略等方面，而作为城市集合体的城市群其研究则包含城市群概念与内涵、城市群类型和模式、城市群形成机制、城市群空间结构、城市群规划、城市群协调发展、城市群发展阶段等领域。总的来说，由于城市和城市群的系统特征，使得该领域的研究具有系统性和复杂性，目前对于城市竞争力、城市产业以及城市可持续发展研究等方面有着较多关注。

本文运用数据挖掘方法研究城市群消费，以SAS的Enterprise Miner及SEMMA方法为工具，对长株潭城市群消费进行分析。研究发现，影响长株潭城市群消费显著性因素在于财政、农业和人口因素，分地域影响因素则具多样性。研究先采用双重逐步线性回归对各区域层次消费的显著性因素进行筛选，分析其特征及问题；然后参考城市群回归方程所提取变量，运用BP神经网络模型对线性回归模型的预测进行优化；通过回归模型和神经网络模型建立城市群问题发现和预测模型，对城市群消费进行监测。

2．影响消费的显著性因素分析

研究的目标变量为社会消费品零售总额，分15个地区、3个地级市辖区以及城市群总体的层次进行系统分析。考虑到各县市有其各自特征，各统计指标对于社会消费品零售总额的贡献度存在差异，因此在变量选取上应尽量考虑到多种因素的共同影响。数据样本来源于1990-2007年《湖南统计年鉴》，由于数据统计口径、一致性、完整性等因素，主要从数据源中抽取以下指标，指标及变量说明见表1。

2.1 逐步回归方法

要考察各因素增长对消费的贡献度，则采用线性――对数多元回归模型。变量同时进入模型可提高拟合优度，但解释变量之间可能存在共线性，估计结果无法通过显著性检验。综上，采用逐步回归分析对多种影响因素中的主要影响因素进行筛选。回归方法选择逐步筛选法（Stepwise）,逐步筛选法每次引入模型一个最显著变量，然后考虑从模型中剔除一个最不显著变量，直到既无变量引入也无变量剔除为止，也称双重逐步回归。模型选择标准交叉验证误差，从验证数据集中选择最小误差，这种方法类似于以SSE为标准选择最佳模型。

2.2 逐步回归结果

城市群总体：

Y=-16671192.36+3942965.34lnX10

+3331453.3lnX12-11630474.75lnX15

t= (-2.201590) (3.169381) (5.204872) (-5.789535)

p= (0.0031)(0.0068) (0.0001) (0.0000)

R2=0.989067；R2=0.986725；F=422.1905

按地级市辖区分长沙、株洲、湘潭三市：

长沙市：Y=-305296767.4+53288202.23lnX1-7664702.56lnX15

t= (-18.53315) ( 22.77283)(-4.635727)

p= (0.0000)(0.0000) (0.0003)

R2=0.973299； R2= 0.969739； F=273.3870

株洲市：Y=-10402017.23+914793.66lnX10

+173356.02lnX11+397082.87lnX12

t= (-22.11772) (5.467101) (3.590788) (3.160809)

p= (0.0000)(0.0001) (0.0030)(0.0069)

R2=0.991155； R2= 0.989259； F=522.9165

湘潭市：Y= 345212.81lnX13-876304.47lnX17

t= (44.09447) (-37.10352)

p= (0.0000) (0.0000)

R2= 0.991513； R2= 0.990983； F= 1869.232

分县市区域结果归纳如表2，变量顺序按贡献度降序排列。

以上回归截距变量及偏回归系数均具有显著性，县市域方程省略了方程具体形式。望城县、炎陵县与湘潭市地市一级方程采用了逐步回归建立NOINT方程的方法。

2.3 实验结果评价

分县市区域结果中，中心城市长沙市区、株洲市区、湘潭市区模型变量与Y全部正相关。长沙市区方程变量贡献度X18>X12>X17；株洲市区方程变量贡献度X1>X12；湘潭市区的方程X3>X12>X7>X16。所有正相关变量中，X3对消费均存在正相关特征，相对突出的是湘潭市区；收入因素X4和X5对消费均产生正向影响；财政因素X12和X13对居民收入、经济和消费环境产生影响，均与消费呈正相关；所有负相关变量中，X2均显示出与消费显著负相关的性质，变量见于宁乡县、茶陵县和炎陵县的方程中，从经济学角度理解，从业人员增加可能降低平均工资而影响消费。X14-X18这5个变量主要是教育和医疗相关变量，呈现出中心城市正相关，县域城市负相关的特点。

地级市辖区模型中，从贡献度看，长沙市X1>X15，株洲市X10>X12>X11,湘潭市X13>X17。从相关性来看，除株洲市全部正相关外，长沙市与湘潭市分别存在负相关变量X15、X17，长沙市中等学校教师和湘潭市医务工作人员其人口比例增加将降低消费。值得注意的是，对比长沙市方程与所辖县市方程发现，X15未进入县市地区回归模型中，湘潭市的X17也未在辖区方程中出现，可见，由于分析的区域层次不同，某些因素可能被掩盖。

城市群总体方程中，贡献度X10>X12>X15。农业机械动力贡献度较高，提高农业机械化程度，会对消费产生较大影响；财政收入构成因素较多，它包括国内增值税、企业所得税、营业税、增值税和消费税、个人所得税等，财政收入增长，会影响社会消费；与财政收入对应，财政支出包括公务支出、国防、教育、卫生、社会保障及福利、住房和公共环境等，对消费环境具有广泛影响，其本身与消费相关度较高，但未进入模型；负相关变量X15其数量变化对消费影响相对较大，应考虑中等教育队伍质的提升而不是量的增加。

总的来说，双重逐步回归所得到的模型，对显著性变量的筛选是有效的，回归方程线性拟合和预测的特征，使其预测相对误差较大，以下将通过非线性拟合的方式对城市群消费总量进行拟合预测。

3．基于BP神经网络的消费预测

3.1 BP神经网络

神经网络模拟人脑工作，它由网络分布的神经元构成，神经元层次连接成知识处理和表达系统。BP神经网络属于前馈神经网络，是多层感知器（MLP）系统，它采用反向传播学习的方式对前馈神经网络进行训练。其原理是，对于每个训练实例，反向传播首先通过网络反馈实例，并计算网络输出，输出节点的误差反向传播到与其相关的节点并修改其网络权重值，进行充分迭代后，反向学习一定收敛。BP神经网络的网络拓扑结构如下所示：

一般而言，隐层的数量主要要考虑到输入变量的数量、训练数据中观测值的数量、训练数据潜在分布的噪声等级因素等。

3.2 结构与方法

BP神经网络具备很强的非线性映射能力，模型输入变量的选取以城市群回归模型及其变量作为参考，实验过程中根据模型拟合效果考虑变量的去留。备选变量主要考虑与目标变量的相关程度，根据模型需要选择，最终输入变量为X6、X10、X12、X13、X19，输出变量为Y。理论和实践证明，在数据显著性和可靠性的保证之下，仅含一个隐层的BP神经网络通过调整隐层神经元的数量足以解决许多复杂问题，因此优先使用三层网络结构。通过实验，网络结构最终选择5-14-1，即隐层含14个神经元，学习率0.022。

归一化采用标准差方法，它通过标准差来除以输入值减去样本均值将输入变量转换到[0，1]之内，为EM的默认方式。激活函数采用双曲线Tanh函数，其函数形式为：f(x)=(exex)/(ex +ex)，该函数值域

[-1，1]，符合神经网络特性，且比其它函数具有更快的收敛性能。模型选择采用平均误差方法选择平均误差较小的模型，目标变量为区间型变量适合采用这种方法。考虑对模型进行泛化，将数据分区为训练数据、检验数据、测试数据，分区比例为80%、10%、10%，综合考虑训练数据与非训练数据的平均误差大小来选择模型。

3.3 预测结果评价

模型平均误差参数及输出值对照如下：

神经网络模型中分析模型对样本规律的逼近情况，即泛化能力，要考虑训练数据与非训练数据之间误差的大小，不能只考虑拟合能力。若非训练数据平均误差小于或接近于训练数据平均误差，则模型反映了数据所蕴涵的规律。在误差参数中，检验数据和测试数据平均误差小于训练数据平均误差，同时模型中预测值相对误差小于10%，模型基本上反映出数据内在的规律，认为该神经网络模型是合理的。

4.结论与展望

通过以上研究，可以得出以下结论：

（1）从消费增长的角度观察，影响因素存在区域层次差异，刺激消费要注意总体和个体区别，灵活采取策略。城市群区域总体要注重农业机械动力的投入、扩大财政收入以及促进中等教育者素质和效率的提高；对于收入因素，城市在岗人均工资和农民人均纯收入对消费均有正向影响，提高城乡居民收入有利于提高消费；财政收入和支出包含对收入影响因素，也包含影响消费环境的成分，增加财政收入，加大财政对教育、医疗、社会保障、环境等方面的投入，有助于提升消费，从建设和谐社会的层面来说也是必要措施。固定资产投资对消费影响较小，在结果中也未得到体现。

（2）从城市发展的角度看，城市化、工业化是城市发展的重要特征，城市人口数与消费全部正相关，城市化对消费有明显作用；工业对消费的影响存在地区差异，并出现负相关项，工业发展要注重惠及广大人民。农业因素中农业机械动力投入均正相关，并表现在城市群方程中，在城市化导致耕地面积减少的情况下，推进城市化与工业化要更注重提高农业生产率，农业机械化值得重视。教育、医疗相关因素共有5个变量，在县域、长沙市与城市群的模型中全部负相关，而地级市区方程则全部正相关，可以认为，中心城市医疗和教育水平高于县域城市，县域城市需要针对性地提高医疗、教育水准。

（3）从所采用方法来分析，双重逐步线性回归具有半自动的提取显著变量特点，能够保证显著性水平，但预测结果相对误差较大，BP神经网络具有良好的预测能力，两者结合能够较好的对问题进行认识，同时根据需要可通过递推方法，对未来数据进行预测。

长株潭城市群的发展要注重借鉴与实践相结合。首先，长株潭城市群具备区位优势，拥有城市区域发展的基本条件，也存在管理体制、重复建设、能源和原材料短缺，基础设施滞后、污染严重等制约因素。吸取国外城市群发展经验，不但注重产业集聚的成本效应，更注重产业发展的质量；关注公共设施建设，完善公共交通体系；强调城市群区域竞争力乃至国际竞争力的发展，建设学习型城市和城市群；注重提高城市群内人民生活质量等。其次，长株潭城市群总体消费率发展空间大。促进消费水平的提高，有利于城市第三产业的发展，能推动产业结构调整。提高城市群消费的成功经验主要有提高最低工资标准、减免税收、低收入者消费补贴、拓展信用卡消费、解决住房问题等措施。

随着长株潭城市群建设两型社会展开以及交通同环、电力同网、金融同城、信息同享、环境同治“五同”专项规划的持续推进，将使城市群发展步入一个新的台阶，城市群内联系将进一步加强，促进城市和经济和谐发展、人民消费和生活水平将不断提高。

参考文献：

［1］ 姚士谋、朱英明、陈振光.中国城市群［M］.合肥：中国科学技术大学出版社，2001.

［2］ 中国科学院可持续发展战略研究组编. 2004中国可持续发展战略报告［M］.北京：科学出版社，2004.

［3］ 赵勇、白永秀.城市群国内研究文献综述［J］.城市问题.2007,(07):6-11.

［4］ 赵伟.城市经济理论与中国城市发展［M］.武汉：武汉大学出版社，2005.

［5］ Roiger・Geatz著、翁敬农译.数据挖掘教程［M］.北京：清华大学出版社，2003.

［6］ Randall Matignon. Neural Network Modeling Using Sas Enterprise Miner［M］. Authorhouse，2005.