公务员期刊网 精选范文 神经网络的权值范文

神经网络的权值精选(九篇)

前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的神经网络的权值主题范文,仅供参考,欢迎阅读并收藏。

神经网络的权值

第1篇:神经网络的权值范文

关键字:智能手机;安全;神经网络;病毒病毒识别模型在智能手机监测中的优越性以及可行性。

0 引言

现阶段,互联网已成为当今社会不可或缺的一部分,智能手机的数量也是与日俱增,与此同时不断发展的是手机病毒,手机病毒已成为现代病毒发展的趋势。

所谓手机病毒,其实是一种破坏手机系统的程序,且其传播手段极为广泛,可通过短信、彩信、邮件、网站或者下载文件、蓝牙等传播,手机一旦被病毒感染就会根据所感染病毒程序的要求对手机实施破坏,其表现方式不尽相同,可以使关机、死机、删除手机资料、自动通话、发邮件等,有的病毒还能够破坏手机SIM卡和芯片等手机硬件设备。

怎样才能避免手机遭受病毒的破坏?其主要措施还是杀毒软件和防火墙:

①定期对杀毒软件的病毒库进行更新升级,尽可能的保证其拥有当时已出现的病毒程序的破解,若病毒库中不存在某个病毒的特征,则杀毒软件就不能对该病毒进行查杀。此外,现在的手机杀毒软件病毒库采用的是特征代码法,病毒的细微的变化都需要病毒库对其进行辨别,然而智能手机的存储空间和运算能力都是有限的,所以这种防杀毒的方法对智能手机而言,并不是完美的。

②而智能手机的防火墙主要的作用是拦截骚扰电话等,而并不是对手机病毒进行监控,面对现存的多样易变的病毒,防火墙更是显得微不足道。

究竟该选择何种方式来保护手机,这也是本文研究的重点―神经网络。

1 神经网络

神经网络是依据生物神经的机制和原理,对信息进行处理的一种模型。它能够模拟动物大脑的某些机制机理,实现一些特定的功能。人工神经网络具有很大的优越性:

①具有自学功能。比如说,当对一幅图像进行识别时,将各种不同的图像样本及其对应的结果输入人工神经网络,它就能够自己学习识别相同类型的图像。

②具有联想存储功能。人工神经网络中的反馈网络具备了联想存储的功能。

③具有高速寻找优化解的功能。

2 神经网络安全监控系统

神经网络安全监控系统就是监控手机应用程序,使手机的正常业务能够顺利进行,而对那些异常业务则进行阻止。所谓正常的业务就是那些手机用户已知的、按照用户的意愿运行的、并且其运行并不破坏用户手机中的资源和产生额外费用的已经授权的程序。

通过神经网络监控手机的而应用程序的流程图如图1所示:

图1 神经网络安全监控流程图图2 单层感知器神经网络结构

神经网络智能手机安全监控的第一步是获取所运行程序的特征,然后借助于神经网络的识别功能,对所提取的应用程序的行为特征进行识别,如果识别结果为病毒手机会向用户发出提示信息,若不为病毒则程序将继续运行。

3.1 程序行为特征的获取

这里举个例子说明。例如OwnSkin.A病毒,该病毒以手机主题的形式诱导手机用户进行下载安装,一旦该病毒被安装进了手机,它就会在用户不知情的情况下自动连接网络,自动想外界批量发送短信,对手机收到的短信的信息内容进行删除等等。从对病毒的描述详细程度方面来说,病毒具有很多种特征,本文以3个为例,进行说明,这3个特征分别是有无按键、是否自启动、是否特殊号码,程序行为特征获取的方法如下:

①针对手机自启动的行为特征:每种手机的系统,都有其正常的程序启动方式,例如Windows Mobile通过“启动”设置,Symbian的系统式通过“Recognizer”来设置程序的启动,Linux系统是将启动语句加入/ect/init.d/rcs,或者/usr/etc/rc.local中,在程序启动的时候对这些个位置进行监控,就可以很容易的判别其是否为自启动。

②针对按键这个行为特征:塞班的系统对是否有按键这个行为特征的监控是粗略的监控,以短信为例,手机短信的使用一般是先按功能键启动功能图标,然后选取短信的图标,接着是对短信内容的编辑,即一系列的数字键,监控可得到一个相应的按键序列,这样就可以通过是否有按键这个行为特征来监测手机程序的启动是否正常。

③针对“被叫号码”和“文件信息”的特征: 对于被叫号码主要执行的是,查看所要拨出去的电话号码是否是设置在黑名单里的电话,对于文件信息则是查看信息中所添加的附件是否是安装文件,如果是手机用户之间的正常传输行为,则必定有按键行为特征,这样也就会避免手机中的病毒程序隐蔽性的自启动来传输文件。

3.2 神经网络建模

仍旧以上述3个行为特征为例,将其三个特征分别用“0”或者“1”来表示,若无按键、自启动、特殊号码,其特征值都取“1”,反之则取“0”,这三个特征值一共组合成了8中可能出现的情况,将其标记为矩阵如下:

(1)

借助于神经网络的识别功能,本文以单层单神经元的神经网络为例进行说明,采用以下的参数对神经网络进行设计:

该网络包含有一个输入向量,包汗三个元素,并且每个元素取0―1之间的值。

神经网络中的神经元通过hardlim函数为传输手段,根据这个函数设计出如图2所示的神经网络结构,:

(2)

该结构输出结果为二值向量“0”或者“1”,其中“0”表示不是病毒特征,“1”则表示是行为特征。

在智能手机的实际应用中,传输函数和网络结构、层数极易神经元等的类型多种多样,可根据病毒的实际情况进行选择和应用,在此笔者只是举个例子来论述神经网络是如何识别网络的。当网络建好之后,就需要通过适当的方法对病毒样本进行训练得出误差。

仍以上述例子为例进行训练:

输入向量为:p= ;目标向量选为:t= ,在MATLAB7.1的环境中对病毒进行训练,根据所的结果得出训练的误差性能曲线,如图3所示:

图3 训练误差性能曲线

经过训练并获取矩阵权重,至此,神经网络的建模基本完成,其模型为

a=hardlim(P1*2+P2*2+P3*1-3)

在手机中所执行的应用程序,计算程序的行为特征向量与病毒的行为特征向量(111)之间的欧式距离,当所得之数比程序的特征行为向量和正常行为特征向量之间的欧式距离大时,系统将将此程序判定为病毒。

运用神经网络系统对手机进行监测不需要像杀毒软件一样需要定期更新,这对手机的安全具有更好的防护作用。

3结语

随着现代社会智能手机数量的增多和日常化,网络黑客技术也在不断的发展和完善,因此智能手机安全问题已然不能忽视或者小视。本文针对这个问题,以及杀毒软件和防火墙的不足之处,论述了神经网络病毒识别模型在智能手机监测中的优越性以及可行性。

参考文献

[1]刘一静,孙莹,蔺洋. 基于手机病毒攻击方式的研究[J]信息安全与通信保密, 2007, (12) .

[2]李锦. 手机病毒特点及防范对策[J]通信技术, 2009, (02) .

[3]杨建强,吴钊,李学锋. 增强智能手机安全的动态恶意软件分析系统[J]. 计算机工程与设计, 2010, (13) .

[4]智能手机安全防护框架浅析[J]. 信息安全与通信保密, 2010, (10).

第2篇:神经网络的权值范文

【关键词】自组织神经网络;智能建筑管理;BP神经网络

1 基于自组织神经网络技术原理

基于大规模自组织神经网络技术[1]是在自组织神经网络技术和专家系统的基础原理运用多层数据融合弥补了单循环数据在智能建筑工程管理分析数据处理的不足和逻辑的缺陷学科.多跳自组织神经网络是智能传感器采集数据训练样本仿真学习模型即自动增速各个自组织神经元连接权阀值与感知识别隐式分布在整个网络结构体系中实现自组织神经网络模式记忆与信息处理应用.

2 基于大规模自组织神经网络在智能建筑管理中研究

2.1 基于多跳自组织神经网络在造价预测研究

基于大规模自组织BP神经模型应用40个高层智能建筑工程样本训练并用工程实例进行验证高精确性;而用大规模自组织神经网络模拟与输入层和隐含层加入了偏置自组织神经元来促进学习训练样本数据中有噪声、干扰等会造成过度学习现象,同时采用遗传优化算法进行建筑结构优化.基于BP神经在智能建筑工程估价中的应用“特征提取器”的运算大量过去的工程资料中自动提取工程特征与预算资料的规律关系数据.

2.2 基于大规模自组织神经网络在工程管理绩效评价中的应用

运用大规模自组织BP神经模型对工程管理绩效评价问题进行研究建立综合考虑工期、质量、费用、安全四大控制指标的工程管理绩效评价模型[2].实践证明,基于BP神经网络在运算工程管理绩效评估模型有利于多跳自组织神经网络预测工程工期、质量、成本、安全与绩效之间复杂的非线性关系来提高管理绩效的评价数据.

2.3 基于遗传算法模型在建设工程评标结构优化应用

基于多层神经网络的工作原理是先将输入信号传输到下一层节点运算函数处理后再将该节点的输出信息向下一层节点传输到信号传输到输出层节点为止.同时运用遗传算法模型构造及算法设计进行方案优劣排序、换位矩阵以及能量函数构造、大规模自组织神经元之间连接和输出,并用实例说明了该方法的优越性和实用性与非线性.

2.4 基于BP神经网络模型在建设工程招投标管理应用研究

基于BP神经网络多层数据融合多跳自组织神经网络技术原理分析自动预测工程招投标的招标价格和风险因素分析以及竞标单位资格审查等方面的应用指出多跳自组织神经网络具有的高度并行处理和可完成复杂输入输出的非线性映射组合结构,不仅可以保证高的中标率,且可避免招标过程中不确定性因素的影响.运用大规模自组织神经网络的工程承包招投标报价的研究,提出了一个多因素确定高层智能建筑投标报价的大规模自组织模型影响报高率的诸多因素,并确定了其权值即确定了用BP神经网络实施黑箱操作的样本输入值和目标值再通过训练样本自主调整修正输入节点和输出节点间的联系得出符合各种情况要求的权值矩阵算法.

2.5 基于智能建筑算法模型研究

基于BP神经网络是以训练样本算法即误差反向传播算法即BP神经算法的学习过程分为信息的正向传播和误差的反向传播[1],其通过训练样本前一次迭代的权值和阈值来应用神经网络技术的第一层向后计算各层大规模自组织神经元的输出和最后层向前计算各层权值和阈值对总误差的梯度进而对前面各层的权值和阈值进行修改运算反复直到神经网络样本收敛 BP神经网络输入向量为

X=( )T;隐含层输出向量为Y=( )T;输出层的输出向量为O= )T;期望输出向量为 ;输入层到隐含层之间的权值矩阵 ,其中列向量 为隐含层第j个大规模自组织神经元对应的权向量;隐含层到输入层之间的权值矩阵 ,其中列向量 为输出层第k个大规模自组织神经元对应的权向量.各层信号之间的算法结构为:

以上式中的 均为S类型函数, 的导数方程为: (5)

神经网络输出与期望输出的均方误差为: (6)

则训练样本输出层和隐含层的权值调整量分别为:

式中: 为比例系数,在模型训练中代表学习速率.如果BP自组织神经网络有 个隐含层,各隐含层节点分别记为 ,各隐含层输出分别记为 ,则各层权值调整计算公式分别如下:

输出层

综合上述预测分析在BP神经学习算法运用各层权值调整公式均由学习速率、本层输出的误差信号和本层输入数字离散信号决定在训练样本学习的过程受决策环境复杂程度和训练样本的收敛性即需要增大样本量来提高网络技术所学知识的代表性应注意在收集某个问题领域的样本时,注意样本的全面性、代表性以及提高样本的精确性,增大抗干扰噪声,还可以采用其他方法收集多层训练样本数据.

3 结束语

自组织神经网络技术应用在智能建筑管理领域是在多层智能传感器等多种信息技术飞速发展的多学科交叉研究领域得到广泛应用.

参考文献:

[1]周小佳.电力系统可靠性神经网络模型及实现研究[D].博士学位论文,1997.

[2]胡保清等.神经网络在土木工程领域的应用[J].低温智能建筑,2004(2).

作者介绍:

第3篇:神经网络的权值范文

【关键词】遗传算法;BP神经网络;柴油机;故障诊断

柴油机缸盖振动信号中包含着丰富的工作状态信息,在对其现代诊断技术中,基于振动信号分析的诊断方法显示出了其优越性,利用缸盖振动信号诊断柴油机故障是一种有效方法。故障特征的提取和故障类型的识别是利用振动信号分析法在对柴油机进行故障诊断过程中两个最为重要的过程。根据提取的故障特征识别柴油机的故障类型是一个典型的模式识别问题,对柴油机故障类型识别采用恰当的模式识别方法就尤为重要。神经网络作为一种自适应的模式识别技术,其通过自身的学习机制自动形成所要求的决策区域,而不需要预先给出有关模式的经验知识和判断函数;它可以充分利用状态信息,对来自于不同状态的信息逐一进行训练而获得某种映射关系。鉴于其自身特性,在故障模式识别领域中有着越来越广泛的应用。而据统计,有80%~90%的神经网络模型都是采用了BP网络或者是它的变形。BP网络是前向网络的核心部分,是神经网络中最精华、最完美的部分。但是它也存在一些缺陷,例如学习收敛速度、不能保证收敛到全局最小点、网络结构不易确定。遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法。其基本操作是选择、交叉和变异,核心内容是参数编码、初始群体的设定、适应度函数的设计、遗传操作设计和控制参数的设定。遗传算法通过种群随机搜索,对数据进行并行处理,将结果收敛到全局最优解。因此,将遗传算法与BP神经网络结合应用于柴油机故障诊断中,可以提高网络的性能,避免网络陷入局部极小解,进而实现对设备故障的识别。

1 BP神经网络

1.1 BP神经元模型在柴油机故障诊断中的应用

BP神经网络是一种多层前馈型神经网络,其神经元的传递是S型函数,输出量为0至1之间的连续量,它可以实现从输入到输出的任意非线性映射。由于权值的调整采用反向传播学习算法,因此也称为其为BP网络。

图1 BP神经元模型

上图给出一个基本的BP神经元模型,它具有R个输入,每个输入都通过一个适当的权值和ω下一层相连,网络输入可表示为:

a=f(wp+b)

f就是表示输入/输出关系的传递函数。

BP神经网络的结构与所有影响齿轮故障的特征因素有关。柴油机运动部件多而复杂,激励源众多且其频率范围宽广,加之噪声的融入,使得柴油机表面振动信号极为复杂。基于这种特点,可以确定用于柴油机故障诊断的BP神经网络的输入层、输出层隐含层以及节点数等。由小波包提取各柴油机故障的特征值作为输入节点,输出节点数目与柴油机故障类别的数目有关。

1.2 BP神经网络与遗传算法

BP神经网络又称为反向传播算法,其算法数学意义明确、步骤分明,是神经网络中最为常用、最有效、最活跃的一种网络模型。常用方法梯度下降法和动量法,但是梯度下降法训练速度较慢,效率比较低,训练易陷入瘫痪,而且其实质是单点搜索算法,不具有全局搜索能力;动量法因为学习率的提高通常比单纯的梯度下降法要快一些,但在实际应用中速度还是不够;BP神经网络学习训练开始时网络的结构参数是随机给定的,因此结果存在一定的随机性。

遗传算法(Genetic Algorithm,GA)是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型,它是由美国密歇根大学的J.Holland 教授于1975年首先提出来的,遗传算法具有很强的宏观搜索能力和良好的全局优化性能,因此将遗传算法与BP神经网络结合,训练时先用遗传算法对神经网络的权值进行寻找,将搜索范围缩小后,再利用BP网络来进行精确求解,可以达到全局寻找和快速高效的目的,并且可以避免局部极小点问题。该算法不仅具有全局搜索能力,而且提高了局部搜索能力,从而增强了在搜索过程中自动获取和积累搜索空间知识及自应用地控制搜索的能力,从而使结果的性质得以极大的改善。

2 基于遗传算法的BP神经网络

遗传算法优化BP神经网络主要分为:BP神经网络结构确定、遗传算法优化权值和阀值、BP神经网络训练及预测。其中,BP神经网络的拓扑结构是根据样本的输入/输出个数确定的,这样就可以确定遗传算法优化参数的个数,从而确定种群个体的编码长度。因为遗传算法优化参数是BP神经网络的初始权值和阀值,只要网络结构已知,权值和阀值的个数就已知了。神经网络的权值和阀值一般是通过随机初始化为[-0.5,0.5]区间的随机数,这个初始化参数对网络训练的影响很大,但是又无法准确获得,对于相同的初始权重值和阀值,网络的训练结果是一样的,引入遗传算法就是为了优化出最佳的初始权值和阀值。

2.1 基于遗传算法的BP神经网络在柴油机故障诊断中的应用

通过基于遗传算法的BP神经网络建立小波包特征量与故障之间的对应关系。表1为柴油机常见故障在不同频段的能量分布,构成了人工神经网络的训练样本。表2为网络输出样本,“0”代表没有故障,“1”代表发生故障。利用表1中的训练样本对基于遗传算法的BP神经网络进行训练,经1000次训练达到了理想训练效果。

表1 训练样本

表2 网络理想输出

表3 待诊断的故障样本

表4 诊断结果

将表3中的待诊断的故障样本输入到已经训练好的BP神经网络,得到诊断结果如表4所示。第1组待诊断的信号第1个输出节点接近1,可以根据训练样本结果判断该组数据故障为供油提前角晚;第2组待诊断的信号第4个输出节点接近1,根据训练样本结果可以判断该组数据故障类型为供油提前角早;第3组待诊断的信号第7个数据节点接近1 ,可以判断故障类型为针阀卡死,其诊断结果和现场勘查结果一致。

3 结语

遗传算法优化BP神经网络的目的是通过遗传算法得到更好的网络初始值和阀值。通过以上研究可以看出,遗传算法和BP算法有机的融合,可以有效地弥补BP神经网络结构、权值和阀值选择上的随机性缺陷,充分利用了遗传算法的全局搜索能力和BP神经网络的局部搜索能力,克服了传统的BP神经网络柴油机故障诊断的缺点,提高了柴油机故障诊断的精度。

【参考文献】

第4篇:神经网络的权值范文

关键词:谐波分析 神经网络 遗传算法 MATLAB

中图分类号:TM1文献标识码:A文章编号:1007-3973(2010)06-083-02

随着现代工业科技的发展,电力电子装置的应用越来越广泛,非线性和时变性电子装置大量投入到电网使得电力系统中的非线性负荷急剧增加,导致了配电网中电压和电流波形的严重失真,由此而产生了电网谐波污染问题,谐波的产生降低了电能质量,直接影响工业用电设备和居民用电设备的正常安全运行。另一方面随着科技的发展,各种精密仪器的投入使用对电能质量提出了更高的要求。谐波问题作为降低电能质量问题的核心内容对电力系统的安全经济运行带来了巨大的挑战 。

对谐波含量准确进行分析计算时保证谐波治理效果的重要前提,本文采用遗传算法改进神经网络算法进行谐波含量计算,其实时性和结果精确性都有较大提高。

1谐波含量计算问题

原始理想的电压和电流波形应该是标准的正弦波波形, 可以假设电源瞬时电压为

考虑到负载电流发生畸变,含有谐波分量,根据傅里叶级数将负载电流分解为:

其中,为基波有功电流;为基波无功电流;为高次谐波电流,可以将式(2)改写成权值模式:

对谐波含量的分析计算目标即为求出的值,其中体现高次谐波的含量 。实际电网中由于电力系统为三相系统,偶次谐波基本消除,因此只考虑奇次谐波,占总谐波含量97%以上的谐波集中在25次谐波以下,本文只分析25次以下(包括25次)奇次谐波含量,根据以上分析,式(4)可以简化成

其中 谐波分析即为求取式(5)中权值系数 的值。

2基于神经网络谐波检测算法

本系统采用单层感知器―误差修正学习法 。由式(5)可知,神经网络谐波权值计算可用如图1所示,作为网络的输入,为理论电流:

为实测电流值,也就是期望电流值,为期望电流值与网络实际输出之差,即误差信号:

误差信号为驱动控制信号,其目的是修正调节各次谐波权值,使网络输出一步一步接近期望输出 ,这一目标通过最小化性能指标来实现 ,性能指标定义如下:

权值修正法则如下:

其中表示第n个输入量第k+1表示第次迭代后结果,为学习率,为学习误差,为第n个输入向量。

综合以上分析可知,采用单层感知器-误差修正神经网络的谐波算法计算步骤如下:

(1)给定初始谐波权值

初始权值赋值可采用在规定区间内的随机赋值法,初值赋值区间为[-2,2]。

(2)给定当前输入

由前面分析可知为神经网络输入,输入量在不同的时刻t不同,因此必须建立查表机制来查询不同时刻的网络输入,用表示第n次迭代中第个输入量( 的顺序依次编号)。

(3)由权值和输入量计算网络输出值

(4)根据网络输出和期望输出计算学习误差,如式(7)所示。

(5)根据学习误差调节权值

其中表示第次迭代中第n个输入量的连接权值

(6)回到2继续进行下一次迭代计算

基于单层感知器-误差修正学习网络最大的优点就是迭代过程相对简单,最后系统能稳定收敛到目标范围。但系统的稳定性受系统反馈参数影响较大,学习率的选取对于系统重复学习过程中的稳定性和收敛性是非常重要的,的值过大,会加快收敛速度但误差过大,的值过小,学习速度过慢,也将影响系统实时响应速度。

3遗传算法改进神经网络算法

上一节中提到的单层感知器-误差修正神经网络是一种简单的寻优算法,但神经网络权值寻优算法存在全局搜索能力差的缺点,初始权值随机性过大影响网络的泛化能力,而遗传算法可以对复杂的,非线性的、多峰的不可微函数实现最优全局搜索,能有效利用历史信息来推测下一代更优质的寻优点集 。这样不断进化,最后收敛到一个最适应环境的个体上,进而得出问题的最优解。因此,可以先用遗传算法对初始权值进行优化,在大范围解空间定位出适用于优化目标的较好搜索空间,然后利用神经网络在这一个较小解空间进行局部寻优,这样既可以避免在寻优过程陷入局部最优,还可以加快算法收敛。据此本文将遗传算法与单层感知器-学习修正神经网络算法进行结合来优化谐波含量计算。遗传算法进化步骤如下 :

第一步:确定决策变量和约束条件

包括基波权值在内,一共有13组,总共有26个权值,谐波权值的范围一般在[-1,1],权值可能溢出,本文将权值范围扩大到[-2,2],即:

第二步:建立优化模型

优化目标为使得性能指标到合理范围

第三步:确定编码、解码方法

对于每一个权值其取值区间为[-2,2],由于遗传算法计算目的为搜索最优区间,而非最优解,因此将[-2,2]区间以0.2为单位分为20等份,计算最终目标只需求出最优解所在区间即可,可知每个权值从-2到2有21个取值可能,可用4位二进制编码串表示,一共有26个权值,按照的顺序需要104位二进制编码串来表示,这便构成了染色体编码方法。解码时先将104位的二进制编码串截成26段4位二进制编码串,每一段编码串表示一个权值编码,设某一段编码为,解码后表示权值实际值为,可知

第四步:确定个体评价方法

可知个体评价方法即为性能指标控制到合理范围。

第五步:设计遗传算子

选择运算选用比例选择算子;交叉运算使用单点交叉算子;编译运算使用基本位变异算子。

第六步:设定遗传算法运行参数

包括群体大小、终止代数、交叉概率和变异概率

结合前面神经网络算法的分析,可得出遗传算法改进神经网络算法计算谐波的总计算流程,如图2所示:

4MATLAB仿真分析

根据前面对算法的分析,使用MATLAB提供的神经网络和遗传算法工具性进行仿真处理 。设置遗传算法群体大小为80,终止代数为100,交叉概率为0.7,变异概率为0.001,神经网络算法学习率为0.1,使用遗传算法改进神经网络算法的训练样本曲线如图3所示,单独使用神经网络算法的训练样本曲线如图4所示:

由图3和图4可知,采用遗传算法改进神经网络算法进行谐波分析,在遗传算法完成100步迭代后适应度最高样本的训练误差已经降到,此后进行神经网络训练到160步后训练误差已经降到,相比单独使用神经网络算法,需要到350步训练误差才能到,可见采用遗传算法改进神经网络算法大大加快了迭代速度和计算结果的准确性。

5遗传算法改进神经网络算法的优点

使用遗传算法改进神经网络算法为谐波计算分析提出了新的解决思路,主要特点包括:(1)全局搜索能力强,算法精确度高 。(2)抗干扰能力强.。(3)自适应能力强。智能算法进行谐波分析作为一种新兴的谐波分析思路,但是由于智能算法对于训练样本的依耐性非常大,算法参数的设置对于整体计算精度和效率影响非常大,现场应用不够,因此还需作更为深入的探索研究。

注释:

吕润如. 电力系统高次谐波[M].北京:中国电力出版社,1998.

危韧勇,李志勇.基于人工神经元网络的电力系统谐波测量方法[J]. 电网技术,1999,23(12):20-23.

焦李成.神经网络计算[M].西安:西安电子科技大学出版社,1993.

危韧勇,李志勇,李群湛.一种基于ANN理论的谐波电流动态检测方法研究[J]. 铁道学报,2000,22(1):40-43.

陈国良,王熙法,庄镇泉,王东生.遗传算法及其应用[M].北京:人民邮电出版社,1999.

王小平,曹立民.遗传算法-理论、应用于软件实现[M].西安:西安交通大学出版社,2002.

第5篇:神经网络的权值范文

关键词:神经网络 BP网络

中图分类号:TP3 文献标识码:A 文章编号:1672-3791(2014)01(c)-0240-02

神经网络是一门发展十分迅速的交叉学科,它是由大量的处理单元组成非线性的大规模自适应动力系统。神经网络具有分布式存储、并行处理、高容错能力以及良好的自学习、自适应、联想等特点。该模型对于拟合现实复杂世界有着重要的实用价值。

1 神经网络简介

人工神经网络(Artificial Neural Network,ANN),亦称神经网络(Neural Network,NN),是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型,它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的,它是根植于神经科学、数学、统计学、物理学、计算机科学以及工程科学的一门技术。心理学家Mcculloch,数学家Pitts在20世纪40年代第一次提出了神经网络模型,从此开创了神经科学理论的研究时代,此后半个世纪神经网络技术蓬勃发展。神经网络是一种计算模型,由大量的神经元个体节点和其间相互连接的加权值共同组成,每个节点都代表一种运算,称为激励函数(activation function)。每两个相互连接的节点间都代表一个通过该连接信号加权值,称值为权重(weight),神经网络就是通过这种方式来模拟人类的记忆,网络的输出则取决于网络的结构、网络的连接方式、权重和激励函数。而网络本身通常是对自然界或者人类社会某种算法或函数的逼近,也可能是一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型向结合,借助数学统计工具来实现。另一方面在人工智能学的人工感知领域,我们通过数学统计学的方法,使神经网络能够具备类似于人的决定能力和简单的判断能力,这种方法是对传统逻辑学演算的进一步延伸。

2 神经网络模型及训练

2.1 生物神经元模型

人脑是自然界所造就的高级动物,人的思维是由人脑来完成的,而思维则是人类智能的集中体现。人脑的皮层中包含100亿个神经元、60万亿个神经突触,以及他们的连接体。神经系统的基本结构和功能单位就是神经细胞,即神经元,它主要由细胞体、树突、轴突和突触组成。人类的神经元具备以下几个基本功能特性:时空整合功能;神经元的动态极化性;兴奋与抑制状态;结构的可塑性;脉冲与电位信号的转换;突触延期和不延期;学习、遗忘和疲劳;神经网络是由大量的神经元单元相互连接而构成的网络系统。

2.2 人工神经网络模型

人工神经网络,使通过模仿生物神经网络的行为特征,进行分布式并行信息处理的数学模型。这种网络依靠系统的复杂度,通过调整内部大量节点之间相互连接的关系,从而达到信息处理的目的。人工神经网络具有自学习和自适应的能力,可以通过预先提供的一批相互对应的输入输出数据,分析两者的内在关系和规律,最终通过这些规律形成一个复杂的非线性系统函数,这种学习分析过程被称作“训练”。神经元的每一个输入连接都有突触连接强度,用一个连接权值来表示,即将产生的信号通过连接强度放大,每一个输入量都对应有一个相关联的权重。处理单元将经过权重的输入量化,然后相加求得加权值之和,计算出输出量,这个输出量是权重和的函数,一般称此函数为传递函数。

2.3 神经网络的训练

当神经网络的结构确定以后,接下来的工作就是训练和学习。神经网络不是通过改变处理单元的本身来完成训练和学习过程的,而是依靠改变网络中各神经元节点的连接权重来完成的。因此若处理单元要学会正确的处理所给定的问题,唯一用以改变处理单元性能的元素就是连接权重。

2.4 神经网络的分类

神经网络按照不同的结构、功能,以及学习算法,对网络进行分类,可以分为:(1)感知器神经网络:最简单的神经网络类型,只有单层的神经网络结构,采用硬限值作为网络传递函数,主要适用于简单的线性二类划分问题,在此类问题中处理的效率较高。但不适合本论文的课题。(2)线性神经网络:单层结构的神经网络,采用线性函数作为网络的传递,主要也是用于解决线性逼近问题。

3 BP神经网络

目前应用最为广泛的网络,具有多层网络结构,可以由一个或者多个隐含层。BP网络采用Widrow―Hoff学习算法和非线性传递函数,典型的BP网络采用的是梯度下降算法,也就是Widrow―Hoff算法所规定的。BP,即Back Propagation,就是指为非线性多层网络训练中梯度计算是采用信号正向传播、误差反向传播的方式。通过采用非线性传递函数,BP网络能够以仁义的精度逼近任何非线性函数,由于采用隐含中间层的结构,BP网络能够提取出更高阶的统计性质,尤其是当输入规模庞大时,网络能够提取高阶统计性质的能力就显得非常重要了,结合本文的课题,将采用BP神经网络及其改进算法进行组合集成实验,用以解决财务预警的实际问题,在后面的章节会采用相关实验证明组合集成的BP神经网络的优势。

4 径向基神经网络

径向基神经网络又称为RBF网络,它与BP网络同为多层前向网络,也能够以任意的精度逼近任何非线性函数,只是它与BP网络采用的传递函数不同,BP通常采用的是Sigmoid函数或线性函数作为传递函数,而RBF网络则采用径向基函数作为传递函数。本文后面将采用径向基函网络与BP网络进行对比。

5 竞争神经网络

竞争神经网络的特点是它的各个神经元之间是相互竞争的关系,众多神经元之间相互竞争以决定胜出者,或胜神经元决定哪一种原模型最能代表输入模式。

6 反馈神经网络

BP神经网络(Fredric M.Ham Ivica Kostanic Principles of Neurocomputing for Science―Engineering 2007)BP神经网络具有sigmoid隐含层以及线性输出层,具有很强的映射能力,本节我们对BP网络神经元和网络结构进行介绍。神经网络方法的具体步骤是:向网络提供训练例子,即学习样本,包括输入和期望的输出。确定网络的实际输出和期望输出之间允许的误差。改变网络中所有连接权值,使网络产生的输出更接近于期望输出,直到满足确定的允许误差。下图给出了一个具有N个输入的基本的BP神经元模型结构。途中每一个输入都被赋予一定的权值,与偏差求和和后形成神经元传递函数的输入。

我们来看看三层BP神经网络模型的数学表达,首先我们来确定途中各个参数所代表的涵义:

(1)输入向量:X=(x1,x2,…,xi,…,xn)T;

(2)隐层输出向量:Y=(y1,y2,…,yj,…,ym)T;

(3)输出层输出向量:O=(O1,O2,…,Ok,…,Ol)T;

(4)期望输出向量:d=(d1,d2,…,dk,…,dl)T;

(5)输入层到隐层之间的权值矩阵:V=(V1,V2,…,Vj,…,Vm);

(6)隐层到输出层之间的权值矩阵:W=(W1,W2,…,Wk,…,Wl)。

BP神经网络就是通过构建上述变量来完成网络的描述。

我们从上至下,从输出层开始看BP网络的工作原理,对于输出层:

k=1,2,…,l (1)

k=1,2,…,l (2)

对于隐层:j=1,2,…,m (3)

j=1,2,…,m (4)

其中的是传递函数我们可以采用单极性Sigmoid函数: (5)

(1)网络误差与权值调整

输出误差E定义:

(6)

(7)

在这一步的基础上,进一步展开至输入层:

(8)

j=0,1,2,…,m;k=1,2,…,l (9)

i=0,1,2,…,n;j=1,2,…,m (10)

式中负号表示梯度下降,常数η∈(0,1)表示比例系数。在全部推导过程中,对输出层有j=0,1,2,…,m;k=1,2,…,l,对隐层有i=0,1,2,…,n;j=1,2,…,m

(2)BP算法推导

对于输出层,式(9)可写为:

(8)对隐层,式(9)可写为:(10),对于隐层,利用式(7):

可得: (11)

将以上结果代入式(8),并应用式(5):,得到:

(12)

(13)

至此两个误差信号的推导已完成。将式(12)代回到式(8),得到三层前馈网的BP学习算法权值调整计算公式为:

(14)

第6篇:神经网络的权值范文

关键词:神经网络;模式;分类

中图分类号:TP183文献标识码:A文章编号:1009-3044(2009)04-0922-02

The Research of the Classification of Model with Neural Network

GUO Xiao-yan

(Gansu Agriculture University, Information & Science Technology College, Lanzhou 730070, China)

Abstract: The problems of classification of model with neural network can be solved by the help oftutors information, and also be solved by the help of clustering without the tutors information.This article analyzes andcompares several neural network models being used for classification of model,reach a conclusionthat inparticular situation different models of neural network can bechoiced , and if nessesary aintegratedway can be used.

Key words: neural network; classification; model

传统的分类方法对于同类相聚,异类分离比较有优势,但客观世界中许多事物在样本空间中的区域分割曲面非常复杂,相近的样本可能属于不同的类,而远离的样本可能属于同一类1。模式是对某些感兴趣的客体的定量描述或结构描述,模式类是具有某些共同特征的模式的集合。模式分类可分为两种类型,分类和聚类,分类是在类别知识等导师信息的指导下,将待识别的输入模式分配到各自的模式类中去。聚类是无导师的分类方法,它是将相似的模式样本划归为一类,而将不相似的分离开,实现了模式样本类内相似性和类间分离性。通过聚类,可以发现原始样本的分布特性。

神经网络对外界的输入样本具有很强的识别能力,可以发现输入样本自身的联系和规律以及输入样本和期望输出之间的非线性规律,因此在模式分类方面具有传统分类方法无法比拟的优点。人工神经网络在模式分类方面提出了大量了网络模型,发现了许多学习算法。

1 无导师分类机制

对于无导师的模式分类只从输入样本入手,通过分析与比较,找到输入样本的特征和内在规律,从而将具有相似性的样本聚为一类。

1.1 SOM网

SOM 网属于自组织映射神经网络,SOM神经网络接收外界的输入模式时,会分为不同的对应区域,各区域对不同的输入模式会有不同的响应特征,利用这个特征可以对输入模式进行分类。

算法思想:

它的学习规则是“胜者为王”。找出和输入向量最为相似的竞争层神经元(即获胜神经元),在一个以该神经元为中心的邻域内对本区域内的所有神经元的权值进行不同程度的调整,调整的原则是由远及近,由兴奋变为抑制,权值调整的结果是使竞争层的特定神经元变得对输入层的某些样本敏感,从而达到分类的目的。

算法步骤:

1) 找出获胜神经元

对于每一个输入模式向量 X,竞争层的所有神经元对应的内星权向量Wj(j=1,2,…,m)均与X进行比较,将与X最为相似的神经元判为获胜神经元。其权值记为Wj*。相似性量度为X和W的欧氏距离或夹角余弦。

m是竞争层神经元个数。

d=||X-Wj*||=min||X-Wj*||(j=1,2,…,n)

d为输入向量X离获胜神经元的距离

2) 找出一个Wj*的一个邻域Sj,对于Sj内的所有权值进行调整。

3) 权值调整

Wj(t+1)=Wj(t)+α[X-Wj(t)]

α为学习率,随着t的增加,α的值在不断地减小。

权值的调整是使得获胜结点更加接近输入样本,从而使竞争层的每一个神经元变为一个聚类中心。当向网络输入一个模式时,竞争层中哪个神经元获胜使输出为1,当前输入就归为哪类。

通过聚类进行模式划分的方法还有模糊聚类,K-均值聚类,HCM,最近邻聚类(NN算法)等,这些算法的最主要优点就是不需要导师信号,这对于一些无法得到导师信号的模式分类情况来说是有优势的。

2 有导师分类机制

基于无导师的聚类算法只考虑输入样本,而没有考虑输入样本所对应的输出、这就使得这样的分类不是最优的。

2.1 BP神经网络

BP神经网络利用导师信号和输入样本来训练网络的权值,从而找到从输入样本到导师信号(期望输出)之间的非经性变幻规律来修整权值,经过测试样本和期望输出的多次训练来使成熟的网络稳定,当有新的输入时,就可根据此规律对它样本进行正确的分类。

BP神经网络的算法思想是:输入样本自输入层传入,由各隐层处理后,传向输出层,这属于正向传播;如果输出与期望输出(导师信号)不符,得到误差值,输出误差通过隐层向输入层逐反向传播,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号成为修正各单元权值的依据。

2.1.1 BP神经网络的描述1(图2)

1) 正向传播

对于有单个隐层单元的BP神经网络而言

隐层输出:

输出层:

l 为输出层神经元的个数m为隐层神经元的个数n为输入层神经元的个数

f(x)可采用单极性的Sigmoid函数:

2)反向修正权值

输出误差E定义如下:

其中d为导师信号(期望输出),o为实际输出

进一步展开至输入层,有:

权值修正:

η是学习率,可以控制学习的时间和快慢。

在BP神经网络中,利用导师信号和神经网络的输出得到总误差E,调整权值时,按误差梯度下降的原则进行。利用BP神经网络进行分类时,可以利用导师信息先规定类别信息,再利用输入样本和类别信息得出E,从而反向调整ω,ν值,如果网络的总误差小于一个特定的值,可认为网络训练结束,得到最终的ω,ν值。对于新的样本,此训练好的网络便可进行正确分类。

3 径向基函数神经网络

利用BP网络进行分类时,完全没有考虑输入样本的特征,只利用导师信息进行权值的修正,因此学习时间很长,分类的精度也不是非常高,错分的情况很多。通常,输入样本本身具有某种规律性,利用现有样本的自身规律加上导师信号的限制,可以大大提高分类的精度,同时可以缩短学习的时间。径向基函数网络就是基于这种思想。

用径向基函数作为隐单元的“基”,构成隐含层空间。隐含层对输入向量进行变换,将低维空间的模式变到高维空间中,使低维空间中的不可分问题在高维空间中变得可分。

算法思想:

1)找到分类中心向量,也称基向量,(一般用K-均值法,动态聚类法等),假定分类中心向量个数为 个,这也就决定隐层神经元的个数。

2)算出输入样本到各个分类中心向量的距离d,利用基函数f(x),自变量为d,得到隐层输出,只有离分类中心最近的向量得到较大的输出。

p是输入样本个数,j是聚类中心的个数,k是样本和聚类中心向量的维数。

3)最后通过隐层到输出层的线性变换得到最终的输出,则:

学习算法:

1)利用无导师机制选取分类中心向量;

2)利用有导师信号修正隐层到输出层的权值,权值的修正仍用类似BP神经网络的梯度下降算法。

径向基函数网络对于输入层向隐层的变换是非线性的,而隐层到输出层变换进线性的,在确定中心结点时,可采用无导师的聚类机制,当修正隐层到输出层的权值时可采用有导师机制,此两种方法结合即可发现输入样本中的内在规律,又可利用导师信号进行约束从而提高分类的精度和缩短学习的时间。

3 结论

利用神经网络进行分类时,如果可以得到导师信号,可采用径向基神经网络,或BP神经网络,径向基神经网络收缩速度快,不容易陷入局部极小值,在解决分类时和般优越于BP神经网络,如果无法得到导师信号,则可采用自组织神经网络SOM网络,通常SOM也可以用在径向基神经网络的选用中心向量问题上。

参考文献:

[1] 韩力群.人工神经网络理论、设计及应用[M].2版.北京:化学工业出版社,2007.

第7篇:神经网络的权值范文

关键词:BP神经网络 MATLAB仿真

中图分类号:TP39文献标识码:A 文章编号:1007-3973(2010)06-061-02

1 BP神经网络概述

BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP一般为多层神经网络,其模型拓扑结构一般包括输入层(input)、隐层(hide layer)和输出层(output layer)。如图1所示:

2BP网络的学习算法

(1)最速下降BP算法(steepest descent backpropagation,SDBP)

如图2所示的BP神经网络,设k为迭代次数,则每一次权值和阈值的修正案下式进行:

式中:w(t)为第k次迭代各层之间的连接权向量或阈值向量。x(k)= 为第k次迭代的神经网络输出误差对个权值或阈值的梯度向量。负号代表梯度的反方向,即梯度的最速下降方向。 为学习速率,在训练时事一常数。在MATLAB神经网络工具箱中,其默认值为0.01,可以通过改变训练参数进行设置。为第k次迭代的网络输出的总误差性能函数,在MATLAB神经网络工具箱中,BP网络误差性能函数的默认值为均误差MSE(mean square error):

根据(2.2)式,可以求出第k次迭代的总误差曲面的梯度x(k)= ,分别代入式(2.1)中,就可以逐次修正其权值和阈值,并使总的误差向减小的方向变化,最终求出所要求的误差性能。

(2)冲量BP算法(momentum backpropagation,MOBP)

因为反向传播算法的应用广泛,所以已经开发出了很多反向传播算法的变体。其中最常见得事在梯度下降算法的基础上修改公式(2.1)的权值更新法则,即引入冲量因子,并且0≤

标准BP算法实质上是一种简单的最速下降静态寻优方法,在修正W(K)时,只按照第K步的负梯度方向进行修正,而没有考虑到以前积累的经验,即以前时刻的梯度方向,从而常常使学习过程发生振荡,收敛缓慢。动量法权值调整算法的具体做法是:将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上,作为本次的实际权值调整量,即公式(2.3)所示:是冲量系数,通常0≤

(3)学习率可变的BP算法(variable learnling rate backpropagation,VLBP)

标准BP算法收敛速度缓慢的一个重要原因是学习率选择不当,学习率选得太小,收敛慢;反之,则有可能修正的过头,导致振荡甚至发散。因此可以采用图3所示的自适应方法调整学习率。

自适应调整学习率的梯度下降算法,在训练的过程中,力求使算法稳定,而同时又使学习的不长尽量地大,学习率则是根据局部误差曲面作出相应的调整。学习率则是通过乘上一个相应的增量因子来调整学习率的大小。即公式(2.5)所示:

其中:为使步长增加的增量因子,为使步长减小的增量因子; 为学习率。

3 建立BP神经网络预测模型

BP预测模型的设计主要有输入层、隐含层、输出层及各层的个数和层与层之间的传输函数。

(1)网络层数

BP有一个输入层和一个输出层,但可以包含多个隐含层。但理论的上已证明,在不限制隐含层节点的情况下,只有一个隐含层的BP就可以实现任意非线性映射。

(2)输入层和输出层的节点数

输入层是BP的第一层,它的节点数由输入的信号的维数决定,这里输入层的个数为3;输出层的节点数取决于BP的具体应用有关,这里输出节点为1。

(3)隐含层的节点数

隐含层节点数的选择往往是根据前人设计所得的经验和自己的进行的实验来确定的。根据前人经验,可以参考以下公式设计:

其中:n为隐含层节点数;m为输入节点数;t为输出节点数;a为1~10之间的常数。根据本文要预测的数据及输入和输出节点的个数,则取隐含层个数为10。

(4)传输函数

BP神经网络中的传输函数通常采用S(sigmoid)型函数:

如果BP神经网络的最后一层是Sigmoid函数,那么整个网络的输出就会限制在0~1之间的连续;而如果选的是Pureline函数,那么整个网络输出可以取任意值。因此函数选取分别为sigmoid和pureline函数。

4 BP神经网络预测的MATLAB仿真实验

(1)样本数据的预处理

本文的样本数据来源于中国历年国内生产总值统计表,为了让样本数据在同一数量级上,首先对BP输入和输出数据进行预处理:将原样本数据乘上,同时将样本数据分为训练样本集和测试样本集,1991~1999年我国的三大产业的各总值的处理结果作为训练样本集,即1991~1998年训练样本作为训练输入;1999年训练样本数据作为输出训练输出;1992~2000年我国的三大产业的各总值的处理结果作为测试样本集,即1992~1999年的测试样本作为测试输入,2000年测试样本数据作为测试输出。

(2)确定传输函数

根据本文的数据,如第3节所述,本文选取S函数(tansig)和线性函数(purelin)。

(3)设定BP的最大学习迭代次数为5000次。

(4)设定BP的学习精度为0.001;BP的学习率为0.1。

(5)创建BP结构如图4所示;训练BP的结果图5所示:

正如图5所示的数据与本文所示设计的网络模型相符,且如图5所示当BP神经网络学习迭代到99次时,就打到了学习精度0.000997788,其学习速度比较快。

(6)测试BP神经网络

通过MATLAB对测试样本数据进行仿真,与实际的2000年我国三大产业的各生产总值比较(见表1),说明BP神经网络预测模型是可行的。、

5总结

总之,在人工神经网络的实际应用中,BP神经网络广泛应用于函数逼近、模式识别/分类、数据压缩等。通过本文可以体现出MATLAB语言在编程的高效、简洁和灵活。虽然BP在预测方面有很多的优点,但其还有一定的局限性,还需要进一步的改进。

参考文献:

[1]周开利,康耀红.神经网络模型及其MATLAB仿真程序设计[M].北京:清华大学出版社,2005.7.

[2]张德丰等.MATLAB神经网络应用设计[M].北京:机械工业出版社,2009.1.

[3][美]米歇尔(Mitchell,T.M.)著;曾华军等译[M].北京:机械工业出版社,2003.1.

第8篇:神经网络的权值范文

但当BP神经网络应用于预测模型尤其对于未来增长趋势比较明显的预测模型时,虽然其收敛精度较高,但其值域范围受限导致训练样本拟合函数与预测数据有较大差异,导致其局部搜索能力较强但全局搜索能力较差,易陷入局部最优值。本文通过引入遗传算法,发挥该算法全局搜索能力较强的特点,对BP神经网络权值和阈值进行预优化,赋予各层较佳输出解空间,发挥BP神经网络局部搜索能力强的特点,实现强强联合,提高时间序列预测的精准度。

1.1BP神经网络

BP(BackPropagationnetwork)神经网络是当今预测领域应用最广泛的一种神经网络算法。BP神经网络由3层组成:输入层、隐含层和输出层。每一层中都包含若干节点(神经元),不同层之间节点通过权值进行全连接,同层节点之间无连接。其中,隐含层可为多层,实际应用过程中有一个隐含层的三层神经网络结构即可实现非线性函数拟合。

1.2遗传算法

本文中的优化对象为BP神经网络各层间权值和阈值。因此,在种群初始化时,遗传算法采用常用的二进制编码,并由农业机械数量的历史样本数目确定遗传算法将优化的参数(权值和阈值)个数,从而确定种群的编码长度。因BP神经网络隐含层神经元采用S型传递函数,为减小计算误差,减少或避免计算结果落入局部最小值,权值和阈值应避免选择区间内较小和较大数值,选择在[-0.5,0.5]区间内的随机数。遗传算法计算流程。

2预测结果与分析

本文采用基于遗传算法的BP神经网络,以我国从1997-2013年的农业机械数量为基础数据进行训练和测试和预测。其中,遗传算法群体规模M=50,交叉概率pc=0.6,变异概率pm=0.01,BP神经网络权值阈值取值空间为[-0.5,0.5],训练次数为1000,训练目标为0.01,学习速率为0.1。我国在1997-2013年期间的农机总动力、农用大中型拖拉机数量和小型拖拉机数量的预测值与历史样本数据之间的绝对值平绝误差分别为1.080%、1.352%和1.765%。由此看出,使用基于遗传算法的BP神经网络对于以农业机械数量为预测对象的时间序列预测模型的预测精度较好,预测精度稳定性较佳。从预测误差可以看出,本文所使用的BP神经网络在预测本时间序列模型时,基本避免运算结果落入局部最小值,收敛性能较好,与前文中遗传算法和BP神经网络优势互补、强强联合的理论设想较为一致。2014年我国农机总动力、农用大中型拖拉机数量和小型拖拉机数量的预测结果来看,该预测结果与2013年度数值比较有较大增长,但增长幅度有所下降。预计到2014年,我国农机总动力、大中型拖拉机数量和小型拖拉机数量分别为11.251×108kW、587.012万台和2043.201万台,与1997年相比分别增加了167.86%、751.96%和94.87%,与2013年相比分别增加了4.17%、10.75%和2.16%。其中,2014年农机总动力和小型拖拉机数量增长率分别小于2013年的增长率5.88%和3.3%,农用大中型拖拉机数量增长率大于2013年的增长率9.19%。由于我国在2004年出台了一系列鼓励提高农业机械化的法律、政策、法规,中央财政农机购置补贴资金投入连年大幅增加,极大地调动了农民购机的积极性和企业生产的积极性,促进我国农机装备总量持续增长和农机结构优化。随着跨区作业和农业生产合作社的逐步发展,有效提高了农用大中型拖拉机在农业生产中的的利用率,降低了农民劳动强度,提高生产效率,因而其近几年的保有量有较大增幅。小型拖拉机受农业产业结构调整和农业机械大型化的影响,其近几年的保有量增幅逐年降低。

3结论

第9篇:神经网络的权值范文

关键字:BP神经网络; 数据库; 查询;准确度

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2017)04-0001-03

神经网络系统是根据人体神经系统的基本原理构建的,其在一定程度上实现了记忆和训练过程[1-2]。此项功能体现了神经网络与传统计算机算法存在的根本差异,其具备在线学习、自调节以及自适应性,同时具备信息的分布式信息存储特性。正是由于神经网络的学习特性,使其在联想记忆、数据非线性映射、在线学习模型构建、数据信息分类与识别等领域具有了广泛的应用空间。

在云数据应用时代,存储系统的应用领域及使用者的范围不断扩大[6],用户呈指数倍的增长使得数据的存储容量不断增长,用户访问数据库的频繁程度也将持续增加,这对存储系统数据库访问的吞吐量性能提出了更高的要求,也对数据查询的效率得出了更加严格的标准。

本文提出的基于神经网络的数据库优化查询方法主要通过对云存储数据的关键词进行相似度对比,利用神经网络算法对查询数据样本进行记忆训练,通过对查询关键字进行数据匹配,最终实现数据的准确查询。为了测试本文设计的基于神经网络的数据库优化查询方法的可行性及准确性能,作者在完成了模型构建后,Matlab软件中构建实验场景,模拟数据库检索过程,完成了对查询方法进行测试验证。

1 神经网络模型的建立

1.1 BP神经网络处理单元模型

为了不失一般性,选取BP神经网络的任意两层介绍其处理单元的数学模型。BP神经网络处理单元的结果如图1所示,其中,L1层的[n]个神经元和L2层的[p]个神经元进行全连接,定义连接权向量为[W={wij},i=1,2,…,n,j=1,2,…,p];L1层的[n]个神经元的输出作为L2层各神经元的输入列向量[X=(x1,…,xi,…,xn)T],L2层各个神经元的阈值设置为[θj,j=1,2,…,p],因此,L2层各神经元接收的输入加权和如下式所示[3-4]:

L2层各神经元的输出结果利用转移函数进行计算。一般情况下,BP神经网络将Sigmoid函数作为转移函数。Sigmoid函数的数学表达式为:

因此,L2层各个处理单元的输出为:

由于Sigmoid函数的输出类似于本文设计的神经网络的信号输出形式,本文设计的模型采用Sigmoid函数作为系统的转移函数,其能蜃既访枋鍪据检索过程中的非线性特性水平[5-6]。

1.2 BP神经网络学习算法

本文的无线通信选择机制采用三层BP神经网络结果,具体学习算法如下所述:

输入模式向量设为[Xk=(x1k,…,xik,…,xnk)T],[k=1,2,…,m],其中[m]表示样本模式对个数,[n]表示输入层神经元数量;输入模式对应的期望输出向量为[Yk=(y1k,…,yik,…,yqk)T],隐含层神经元的净输入向量设置为[Sk=(s1k,…,sik,…,spk)T],输出向量设置为[Bk=(b1k,…,bik,…,bpk)T],[q]表示输出层单元数量,[p]表示隐含层单元个数;输出层神经元净输入向量设置为[Lk=(l1k,…,lik,…,lqk)T],实际输出向量设置为[Ck=(c1k,…,cik,…,cqk)T];输入层神经元至隐含层神经元的连接权值设置为[W={wij}],其中,[i=1,2,…,n,j=1,2,…,p]隐含层至输出层的连接权值设置为[V={vjt}],隐含层神经元的阈值设置为[θ={θj},j=1,2,…,p],输出层各神经元的阈值设置为[γ={γt},t=1,2,…,q]。

(1)初始化操作。将连接权值矩阵[W]、[V]及阈值[θ]、[γ]在[[-1,+1]]区间内进行随机取值。

(2)随机从训练集合中选取一个学习模式对[(Xk,Yk)]作为BP神经网络的输入。

(3)输入层的输出的计算。输入层的各神经元不对输入模式进行任何处理,而是直接将接收到的数据关键词直接输出到隐含层各神经元,不做任何的数据处理。

(4)根据下式求得隐含层各处理单元的净输入和净输出:

(5)根据下式求得各输出层神经元的净输入和实际输出:

(6)根据设定的期望输出,通过下式求得各输出层神经元的校正误差[dkt],

(7)根据下式得出隐含层各神经处理单元的校正误差[ekj],

(8)根据下式调整隐含层至输出层的连接权值[V]和输出层神经元阈值[γ], [α]表示学习速率,[0

(9)根据下式调整输入层至隐含层神经元的连接权值[W]和输出层神经元阈值[θ], [β]表示学习速率,[0

(10)为BP神经网络随机输入下一个学习模式对,返回(3)处,直至训练完成[m]个学习模式对。

(11)对系统的全局误差[E]进行判断,查看其是否满足神经网络设定的精度需求。如果 [E≤ε],这说明满足结束条件,结束学习过程,如果未满足,则继续学习。

(12)更新神网络学习次数,如果未达到设定的学习次数,则返回Step2。

(13)BP神经网络学习过程结束。

在整个神经网络的学习阶段中,分别涵盖了输入模式的“顺传播过程”,全局误差的“逆传播过程”以及“学习记忆训练”过程,(11)至(12)表示是收敛过程。全局误差[E]的理想学习曲线如图2所示。

为了减小震荡,加快网络的记忆训练速度,作者在对连接权值进行调整时,在改变量基础上添加一定比例的权值改变值,称之为动量项。则附加动量项的连接权值调整方法如下式所示:

式中,[ηΔwij(n-1)]代表动量项,其中[n]为学习次数,[η]作为动量系数,[0

加入动量项的本质目的是使控制学习过程的学习速率[β]不仅仅是一个固定值,而是能够持续变化的。在引入动量项后,网络总是试图使连接权值的调整按照相同方向进行,即使前后两次连接权值的调整值方向相反,也能够降低震荡趋势,加快学习记忆速度,以及网络收敛速度[7]。

通常来说,动量系数的取值不宜过大。若动量系数过大,动量项所占比例过重,则本次误差修正项的作用会不太明显,以致完全没有作用,反而会减慢收敛速度,甚至导致整个网络震荡。一般情况下,动量系数的最大值在0.9作用,本文取值为0.6。

2 数据库查询方法测试

为了测试本文设计的基于神经网络的数据库优化查询方法的可行性及准确性能,作者在完成了模型构建后,Matlab软件中构建实验场景,模拟数据库检索过程,完成了对查询方法进行测试验证。数据库查询学习样本使用的是加州大学标准数据集,通过选择中度数据规模的样本空间进行设计网络的学习训练,主要训练搜索关键字与查询结果直接的对应关系,并进行存储记忆。通过不同查询次数的响应延时进行统计分析,与未使用任何算法的随机检索方法的搜索结果进行对比分析。数据检索实验对比结果如图3所示。

从数据检索对比结果得知,当迭代次数达到200次时,本文提出的基于神经网络算法的数据库查询方法满足收敛条件[f(x)≤e-10],此时可视为系统以及查询到最优数据结果。同时,较随机数据库检索方法,本设计的优化方法在响应延时方面平均降低了34.7%,同时搜索查询准确率高达99.3%。

3 总结

神经网络在联想记忆、数据非线性映射、在线学习模型构建、数据信息分类与识别等领域具有了广泛的应用空间。通过对云存储数据库查询过程的原理进行研究,本文提出的基于神经网络的数据库优化查询方法主要通过对云存储数据的关键词进行相似度对比,利用神经网络算法对查询数据样本进行记忆训练,通过对查询关键字进行数据匹配,最终实现数据的准确查询。为了测试本文设计的基于神经网络的数据库优化查询方法的可行性及准确性能,作者在完成了模型构建后,Matlab软件中构建实验场景,模拟数据库检索过程,完成了对查询方法进行测试验证。仿真结果表明,本文提出的基于神经网络的数据库优化查询方法的准确率高达98.3%,具有较高的检索精度及稳定性。

参考文献:

[1] 李中志.基于改进BP神经网络的水位流量关系拟合[J].中国农村水利水电, 2008(10):30-32.

[2] 任雯,胥布工.基于标准神经网络模型的非线性系统分布式无线网络化控制[J]. 控制与决策, 2015,30(4):691-697.

[3] 余开华.小波神经网络模型在河道流量水位预测中的应用[J].水资源与水工程学报, 2013, 24(2):204-208.

[4] 潘道宏.RBF神经网络模型拟合电力抽水站水位流量关系研究[J].水利科技与经济, 2010,16(3):300-301.

[5] 孔玉静,侯鑫,华尔天等.基于BP神经网络的无线传感器网络路由协议的研究[J].传感技术学报, 2013, 26(2):246-251.

[6] 田晓青,刘松良.基于人工神经网络的过闸流量软测量研究[J].电子产品世界, 2013(10):43-45.

相关热门标签