神经网络学习方法精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的神经网络学习方法主题范文，仅供参考，欢迎阅读并收藏。

第1篇：神经网络学习方法范文

（黑龙江民族职业学院，黑龙江 哈尔滨 150066）

摘　要：盈余预测具有引导投资者投资行为的作用，因此受到投资者的广泛重视。然而，国内对公司未来盈利进行预测的研究还相当少。提出了以决策树作为基分类器，采用集成学习方法，利用上市某公司2001至2005年的财务数据对该上市公司在2006年的盈利状况进行预测研究。首先，采用有放回的随机抽样技术分别从训练样本和测试样本中产生50个训练子集和1个测试集；然后利用决策树，采用CHAID算法对50个训练子集分别进行训练，得到50个基决策树分类器；通过采用Bagging方法，构建决策树集成模型。所得到的集成模型在测试集上的分类准确率达到96%以上，通过比较由不同数目的基分类器构成的集成模 型和单个分类器的预测准确率，证明了该集成模型的预测准确率高且稳定。

关键词 ：神经网络；集成学习；盈利预测

中图分类号：F275文献标志码：A文章编号：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者简介：潘道华（1981-），女，汉族，黑龙江哈尔滨人，研究生，主要研究方向：人工智能、数据挖掘与决策支持。

1 引言

公司的财务状况及其未来盈利情况不但对公司的管理层十分重要，而且对其他投资者也非常重要。如果能够利用公司以往的财务报表数据和其它一些宏观经济数据（如GDP、CPI、利率等）及早准确预测公司未来的盈利状况的话，那么就可以更有效地对公司进行管理和指导投资者的投资行为。但是，一个公司的财务报表往往只反映了公司在过去的财政年度内的经营状况，并不反映出公司在下一年中的管理情况。因而，一个公司的财务状况与其未来盈利之间的关系并没有那么明显，它受到很多因素的影响，要构建一个精确的模型反映它们之间的关系是很困难的。针对此情况，本文提出采用决策树集成方法，构建模型来刻画公司财务状况与其未来盈利之间的关系，利用上市公司已有的财务数据，并结合主要的宏观经济变量来预测公司未来的盈利状况，这必将是公司财务处理的一个新发展。

数据挖掘技术越来越多地被用于预测研究。集成学习方法作为数据挖掘技术中一种较新的方法，由于其在提高预测的准确性上的优点，正被越来越多的研究者使用。

尽管许多领域都应用集成学习方法来进行研究，但在对公司未来盈利的预测研究上还很少，在国内尚未见到任何报导。虽然Takashi Washio等人对日本上市公司的未来盈利状况进行了研究，但是他们只是将盈利状况分为两种情况来进行研究。本文通过利用集成学习方法，考虑宏观经济对公司盈利可能造成的影响，提出将宏观经济变量纳入变量体系，同时，为了使结果更有指导意义，将上市公司的每股收益（EPS）指标将公司盈利的情况划分为三类，即EPS为负，EPS大于均值及EPS介于二者之间，对其进行预测研究。

2 研究方法

2.1神经网络

人工神经网络是由大量并行分布式处理单元组成的简单处理单元[1]。由于神经网络具有非线性，自学习能力、自适应性强和容错性高等优点，因而被广泛用于各种非线性预测问题。

所有神经网络都有一个输入层和输出层，一个网络结构可以包含一个或多个隐含层。神经网络的学习是通过调整连接权重和偏差实现的。Cybenko等人证明了如果神经网络利用一个有界的，连续的，非递减的激活函数时，只要不对隐含层的神经元数进行限制，一个三层网络（包含一个隐含层）就能够学习任意一个在输入和输出空间的连续映射[2]。在实际应用中用的最多的是BP神经网络。

BP神经网络是一种基于误差后向传播算法（BP算法）的多层感知器网络。BP神经网络的激活函数一般采用Log-Sigmoid或Tangent Sigmoid等可微函数。BP算法分为两个阶段。第一阶段是前向过程，逐层计算各神经元的输出值，第二阶段是误差后向传播过程，从后向前逐层传播输出层的误差并据此修正各层权重，直到输出结果满足预先设定的精度要求或达到算法设定的最大循环次数。

2.2神经网络集成

如何根据观测数据学习得到精确估计是机器学习领域中人们非常关注的一个问题，机器学习的一个重要目标就是对新的测试样本尽可能给出最精确的估计。构造一个高精度估计是一件相当困难的事情，然而产生多个只比随机猜测好的粗糙估计却很容易。传统的机器学习方法是在一个由各种可能的函数构成的空间中寻找最接近实际分类函数的分类器。常用的单个分类器模型主要有决策树、人工神经网络等。

集成学习（ensemble learning）的基本思想是在对新的实例进行分类的时候，把若干个单个分类器集成起来，通过对多个分类器的分类结果按某种方式来进行组合，决定最终的分类，以取得比单个分类器更好的结果。如果把单个分类器比作一个决策者的话，集成学习方法就相当于多个决策者共同进行一项决策。

尽管单个神经网络在处理非线性问题上表现良好，但是用单个神经网络来进行预测，一个不足的地方就是结果的稳定性差。因为神经网络的预测结果受网络各层之间的初始权重影响很大。为了克服这一不足，本文利用集成学习的思想，采用以BP神经网络作为基分类器的神经网络集成方法来对公司未来盈利状况进行预测。

以神经网络作为基分类器构建集成模型的方法主要有Bagging和Boosting。本文选择采用Bagging方法，因为Bagging方法较易于实现，而且不容易产生过拟合现象。对一个已知的有n个数据元素的数据集，Bagging法的原理是[1]：对每次循环（=1，2，…，），采用有放回的随机抽样方法从数据集中抽取m个数据形成训练集（mn），分类器模型从中学习。为了对一个未知的元素X分类，每个都返回一个分类值，将该分类值看成是一票，而最后的集成分类器，通过统计这些投票，将X归为得票最多的那一类。

3 研究步骤与具体实例分析

3.1样本选取

本文采用的上市公司数据样本来自天软数据库。在剔除了财务变量有大量缺失值后，样本共包含从2001年至2006年的深市和沪市A股的1174家上市公司。其中，沪市上市公司734家，深市440家。本文选取了反映上市公司偿债能力，成长能力，经营能力，资本结构，盈利能力，现金流，每股指标等方面的29个财务变量作为初始变量。此外，为了研究宏观经济环境对公司未来盈利的影响，相应的选择了2001年至2006年的三个宏观经济变量：国内生产总值增长率（GDP），居民消费价格指数增长率（CPI）及一年期金融机构贷款基准利率。这几个变量都与公司的盈利状况有着密切的关系。国内生产总值反映了整个国家的经济状况，而居民消费价格指数是反映居民购买并用于消费的商品和服务项目价格水平的变动趋势和变动幅度的相对数，它可以全面反映多种市场价格变动因素及其对居民实际生活的影响程度。一年期金融机构贷款基准利率会影响公司的营运成本，会对公司的利润产生直接的影响。所有变量见附表。

为了预测未来公司的盈利状况，本文将数据样本分为训练样本和测试样本。其中，训练样本由2001年至2005年的公司样本数据用有放回的随机抽样方法得到，每个训练样本包含1000个观测，测试样本是用相同方法得到的上市公司在2006年的数据样本，包含400个观测。

3.2指标选择

对于初始变量表，变量之间存在着相关性。虽然神经网络对变量间的相关性具有较强的容忍度，但是，变量太多会增加网络的复杂度，还有可能使网络过适应，从而使得网络在测试样本上的表现很差，而且并不是变量越多，神经网络的预测精度就越大，所以适当选择具有代表性的指标变量既可以达到与用所有变量相同的预测精度，又能降低网络的复杂度，避免使网络陷入过适应，提高网络的训练速度。

然而，运用神经网络方法，对输入变量的选取目前并没有一个公认的方法。为了从众多的初始变量中选择具有代表性的变量，本文利用spss Clementine11.1数据挖掘软件包选项面板中的建模栏中的特征选择节点来对变量进行筛选。通过构建一个带有特征选择节点的流，可以为每一训练集筛选出重要的变量。利用筛选出来的变量和全部变量分别对训练样本进行训练，得到两种神经网络模型，分别对测试样本进行分类，并分别构建集成模型。

3.3 建立模型

本文是对2001年至2005年上市公司的数据样本进行训练得到单个神经网络模型，用该模型对测试样本进行预测。如何产生不同的分类模型是影响集成模型准确性的一个重要因素[4]。以下四种方法——不同的初始条件，不同的网络结构，不同的训练数据，不同的训练算法常用来产生分类模型。本文采用不同的训练数据和不同的网络结构这两种方式结合得到基神经网络。

按照Bagging方法的要求，本文采用有放回随机抽样方法，从训练样本中随机抽取了15个子训练集，并用相同的方法从测试集中抽取了400个样本数据组成测试集。每个子训练集含有1000个样本，它们均由2001至2005年的200个公司样本组成。利用特征选择节点在每个训练集上选出的变量分别在这15个子样本上进行训练得到子分类器，然后用这些子分类器对测试样本进行分类。采用多数投票法对子分类器进行集成，得到集成方法在测试集上的预测结果。

3.4 结果分析

为了比较集成模型与单个神经网络预测准确率的差异，按照单个神经网络模型预测准确率按升序进行排序，分别计算了由7个、9个、11个、13个、15个基神经网络模型构成的集成模型的预测准确率，集成模型，不论是由用全部变量进行训练得到的基神经网络构建还是由用筛选出的变量进行训练得到的构建，都显示出了很高的准确率，而且得到的预测准确率相当稳定。

4 结论

本文利用神经网络集成的方法，以上市公司过去的财务数据和宏观经济数据为样本，对上市公司的未来盈利状况进行预测。研究结果表明，相比于单个神经网络模型，尽管选用7个预测精度最差的单个神经网络作为基神经网络，其集成网络的预测准确率仍然很高，因而集成方法得到的结果更稳定，更具有说服力。

由于上市公司管理水平的差异，影响公司盈利状况的因素又多，所以要想较好的刻画它们对盈利状况的影响，是一个很有挑战性的问题。本文的研究结果还表明，采用神经网络集成方法来研究未来盈利状况是可行的。进一步的研究可以从以下几个方面考虑：

（1）变量的选取。为了使预测更为准确，在建模时，需要考虑更多的影响因素。由于公司盈利状况跟公司的管理水平直接相关，因此，如何合理选取量化一些有关公司治理的指标变量，将它们加入到模型中去，是一个值得深入研究的问题。

（2）产生集成神经网络的方法。除了Bagging方法，还有其他产生集成神经网络的方法，比如Boosting方法。不同的方法会得到不同的结果，从而通过比较不同的结果，可以得到一个用来研究此类问题的最好的方法。

参考文献：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：机械工业出版社，2006．

第2篇：神经网络学习方法范文

【关键词】双目视觉;神经网络;摄像机标定

1.引言

双目测距技术在非接触式测量，机器人视觉等领域都有广泛引用。本文研究的是被动式远距离目标的距离测量系统中系统的标定技术研究，双目测距系统标定方法研究对计算机视觉技术发展有重要意义。摄像机标定的目的在于确定摄像机的位置，以确定物体在空间坐标系与成像平面之间相应的位置关系。

这些位置关系以及摄像机光学和几何参数在一些场所并不需要一一解出，而只需要构建二维成像平面上像点坐标与三维空间坐标投影点之间的一种映射关系。而神经网络有非常强的非线性映射能功能，因此我们可以通过采用神经网络对摄像机进行标定。

2.基于神经网络的摄像机的标定方法

2.1 神经网络、双目视觉神经网络摄像机标定

人工神经网络也称神经网络，是一门新兴技术，用以处理一些难以用标准数学模型描述的系统，模拟人类大脑的一些机理，实现某些特定功能。它具有很强的自学习及自适应能力，而其中可自由设定隐层节点的多层前馈神经网络，可以完成任意精度近似任意连续函数[1，2]。

由于网络由相连的非线性单元组成，因此就具有了学习非线性过程的能力。与摄像机标定工作机制相似，神经网络可以从一些已知数据通过计算得到未知参数。而神经网络标定的畸变模型有任意性，可以避免传统标定方法非线性标定可能无解、标定精度低等多种问题。本文通过运用神经网络学维平面图像像点与三维空间物点坐标之间的关系，提出了改进神经网络双目摄像机的标定方法。

本文双目视觉神经网络摄像机标定具有的优点是不用假设初始值，也不用建立精确的标定模型，只要输入三维空间中物体在两个图像上的像点坐标，神经网络便可输出物体在的三维空间的世界坐标。进行多次的神经网络学习、训练，最后可得到相对理想的输入、输出非线性映射关系。

2.2 改进的RBF神经网络

径向基函数（Radial Basis Function， RBF）神经网络是一种三层前向神经网络，它结构简单，训练简洁，学习收敛速度快，能够以任意精度逼近任意连续函数，广泛应用于众多领域[3，4]。RBF网络模拟了人脑中局部调整、相互覆盖接收域的神经网络结构，是一种局部逼近网络。并且RBF神经网络在逼近能力、分类能力及学习速度等多方面都优于BP神经网络，

遗传算法是模拟生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟生物在自然进化过程中形成的一种自适应全局优化搜索最优解的方法[5]。

本文提出了一种基于改进的RBF神经网络的摄像机标定方法，引入了遗传算法，优化了径向基函数网络的学习算法。

2.2.1 RBF网络的结构

RBF网络是一种三层前向网络，三层分别是输入层，隐藏层和输出层。输入层由信号源节点组成;输出层是对输入作出响应;隐藏层中节点数由需要而定，其中的径向基函数是局部响应函数。

从输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间是线性的。RBF网络是局部逼近网络，三层组成（m个输入、h个隐节点、n个输出），常用的径向基函数是高斯函数，因此径向基神经网络的激活函数可表示为：

（1）

式中：是欧式范数;X是输入样本，;是高斯函数的中心，也是网络隐含层节点的中心;为高斯函数的方差;i是隐含层节点数。

RBF网络的结构输出为：

（2）

式中：wij是隐含层到输出层的连接权值;yj是第j个输出节点的实际输出。

假设d是样本的期望输出值，则基函数的方差为：

（3）

式中：P是样本总数。

RBF网络学习方法求解需要的参数：基函数的中心、方差以及隐含层到输出层的权值。RBF网络的输出是隐单元输出的线性加权和。本文采用的是自组织选取中心法。

2.2.2 优化的RBF神经网络

本文加入遗传算法用以优化已有的神经网络，用全局搜索找到最优网络结构，确定较理想非线性映射关系，进而达到双目视觉的标定。采用实数编码、最佳保留（elitist model）选择机制，交叉概率采用自适应方式，再对数据做归一化处理。

2.3 整体算法步骤

用遗传算法对神经网路的参数进行优化，得到权值与偏差值范围。再用RBF网络在局部搜索得出最优网络结构标定系统。

1）将多组对应的双目视觉系统图像像点坐标作为输入的训练样本，组成群体;

2）采用梯度下降法学习样本网络个体基函数的中心、方差;

3）采用最小二乘法学习隐含层到输出层的线性权值;

4）采用遗传算法优化隐含层中节点数;

5）通过循环交替学习、训练，得到相对理想的RBF网络标定系统。

3.实验说明

分别采用线性标定、标准BP网络、和改进的RBF网络做双目视觉标定，后两种做非线性函数逼近，对测试结果进行比较。得出结果：较其他两种，改进的RBF网络测试误差最小。

表1 测试结果比较

隐节点数 训练误差 测试误差

线性标定 * * 0.2945

标准BP 26 0.0935 0.0356

改进RBF 13 0.0576 0.0123

4.结论

在不考虑镜像畸变及环境等因素的形象下，将基于改进的RBF神经网络应用于双目视觉摄像机标定方法中，提高了测量精度，减少了因传统标定方法建立的模型不完善而带来的误差，为双目视觉测量应用于精密测量提供了一种新的有效方法。标定后的测量系统在双目视觉空间具有很高的测量精度。

参考文献

[1]阎平凡，张长水.人工神经网络与模拟进化计算[M].清华大学出版社，2000：410-420.

[2]钱光耀，杨入超，赵光兴.基于人工神经网络的压力传感器三维数据融合[J].传感器与微系统，2007，26（2）：79-81.

[3]Liu Hongmei，Ouyang Pingechao，Wang Shaoping.Fault detection based on RBF neural network in a hydraulic position servo system[A].The 6th World Congress on Control and Automation[C].Dalian， China，2006：5708-5712.

[4]杨耀华，李昕，江芳泽.基于OLS算法的RBF神经网络高速公路事件探测[J].系统仿真学报，2003，15（5）：709-712.

第3篇：神经网络学习方法范文

关键词：超声波测距，RBF网络，非线行误差校正

1、引言

超声波测距具有信息处理简单、快速和价格低，易于实时控制等许多优势，它被广泛的应用在各种距离测试的设备中。但超声波传感器在实际应用中也有一定的局限性。在超声波测距中，由于超声波传感器本身的结构和受外界温度等因素的干扰，其输入输出特性呈明显的非线性，靠硬件或软件补偿修正的方法对提高其测距精度的效果不大。所以，本文提出了基于径向基函数神经网络实现超声波传感器的建模，对超声波测距进行温度补偿和非线性误差校正的方法。

2、用 RBF神经网络改善超声波测距的精度

2.1神经网络实现非线性误差校正的原理

设超声波传感器要测量的实际距离为 d，实际距离d决定t2-t1，环境温度为T，超声波传感器测量输出的结果为h，经RBF网络校正后的距离为Dr，则超声波传感器测距系统可以表示为 h=f(d，T)，由于传感器产生的非线性误差和温度的影响，使得 f(d，T)呈现非线性特性。校正的目的是根据测的 h求未知的 d，即 d＝g(h，T)，也就是需要建立超声波传感器的模型其原理可以表示为图 1所示。

超声波传感器输出 Dr通过一个补偿模型，该模型的特性函数为Dr=g(h，T) ，其中Dr为非线性补偿后的输出， g(h，T)显然是一个非线性函数。通常非线性函数的表达式很难准确求解，但可以利用神经网络能很好地逼近非线性函数的特点，通过建立神经网络模型来逼近该非线性函数。本文选取RBF神经网络模型。

2.2 RBF 神经网络

RBF网络是一种局部逼近网络。它对于每个输入输出数据对 , 只有少量的权值需要进行调整。它采用一组正交归一化的基函数 ―― 径向基函数的线性组合来逼近任意函数。

常用径向基函数有高斯函数、多二次函数、薄板样条函数等。由于输入矢量直接映射到隐层空间 , RBF的中心确定后 , 这种非线性映射关系也就确定 ,因此 RBF的学习算法首先要确定径向基函数的中心 ,本文径向基函数的中心采用高斯函数（Radbas(n)=e-n2）,其隐含层的输入输出模型如图2。

对于本文的超声波传感器逆模型的RBF网络模型，输入为h和T，训练后的实际输出为Dr，期望输出为d。超声波传感器非线性校正逆模型采用RBF网络，输入层2个节点，输出层1个节点，扩展系数为0.5（实验结果表明扩展常数为 0.5 时对应隐含层神经元个数适中，故扩展常数选为 0.5），通过测量获取了50组数据集作训练样本，将输入量作归一化处理后，按照上述的RBF神经网络的学习方法学习。神经网络的训练和仿真是在Matlab 6.5环境下，通过神经网络工具箱，编制相应的程序而实现。

在matlab上应用 RBF神经网络进行仿真温度补偿和非线性误差校正后，系统的测距精度大大提高，表 1所示为未经神经网络处理和神经网络处理后的测距比较。

比较结果表明，神经网络处理后的结果与实际距离很接近，精度大大提高了。

3、结束语

实际应用中，超声波测距易受温度等多种因素的影响，利用RBF神经网络良好的非线性逼近特性、自适应能力学习能力，可优化超声波的输出特性，而且网络结构简单，便于单片机实现或固化在硬件中。仿真结果表明，利用RBF 神经网络能很好地逼近非线性函数，实现了超声波传感器建模，对传感器进行非线性误差校正，效果相当明显，大大提高了超声波测距的精度，使其测距误差控制在毫米级以内，这是采用其它校正方法是无法达到的。

参考文献：

[1]谭超，许泽宏，李维一，付小红，王健．基于小波神经网络建立虚拟仪器非线性较正型[J]．微计算机信息，2005．12（1）P157-159．

[2]田社平．基于神经网络模型的传感器非线性校正．（英文） 光学精密工程．2006

[3]Binchini M，Frasconi P，Gori M. Learning without local minima in radial basis function networks.IEEE Trans. on Neural Networks, 1995，6(3)：749～755）

[4] Xianzhong Dai， Ming Yin， Qin Wang． Artificial neural networks inversion based dynamic compensator of sensor.IEEE，2004，10：258－261

第4篇：神经网络学习方法范文

[关键词] 机器学习 遗传算法 人工神经网络 支持向量机

当前人工智能研究的主要障碍和发展方向之一就是机器学习。包括学习的计算理论和构造学习系统。机器学习与计算机科学、心理学、认知科学等都有着密切的联系，涉猎的面比较广，有许多理论及技术上的问题尚处于研究之中。

一、什么是机器学习

机器学习就是要使计算机能模拟人的学习行为，自动地通过学习获取知识和技能，重新组织已有的知识结构，不断改善自身的性能，实现自我完善。即机器学习研究的就是如何使机器通过识别和利用现有知识来获取新知识和新技能。它是人工智能的核心，是使计算机具有智能的根本途径。该门科学起源于心理学、生理学、生物学、医学等科学，研究发展过程中涉及到数学、物理学、计算机科学等领域。机器学习主要围绕学习机理、学习方法、面向任务这三个方面进行研究，其应用几乎遍及自然科学的各个领域。其中最多的是模式识别、通讯、控制、信号处理等方面。

二、机器学习系统

学习是建立理论、形成假设和进行归纳推理的过程。为使计算机系统具有某种程度的学习能力，使它能够通过学习获取新知识，以改善性能，提高智能水平，需要建立相应的学习系统。学习系统一般由环境、学习环节、知识库、执行与评价组成，整个过程包括信息的存储、知识的处理两大部分。机器学习系统模型如图1所示。

图1 机器学习模型

框架图中的箭头表示知识的流向；环境是指外部信息源；学习环节是指系统通过对环境的搜索获取外部信息，然后经过分析、综合、类比、归纳等思维过程获得知识并将获得知识存入知识库；知识库用于存储由学习得到的知识，在存储时要进行适当的组织，使它既便于应用又便于维护；执行部分用于处理系统面临的现实问题，即应用学习到的知识求解问题。另外从执行到学习必须有反馈信息，学习将根据反馈信息决定是否要进一步从环境中搜索信息进行学习，以修改、完善知识库中的知识。这是机器学习系统的一个重要特征。机器学习系统是对现有知识的扩展和改进。

三、机器学习的主要策略

学习是一项复杂的智能活动，学习过程与推理过程紧密相连。按照学习中使用的推理的多少，机器学习所采用的策略主要可分为机械学习、通过传授学习、类比学习和通过实例学习等。学习中所用的推理越多，系统的能力越强。本文主要介绍以下三种机器学习方法，即遗传算法、人工神经网络模型及支持向量机。

1、遗传算法

遗传算法是一类借鉴生物界的进化规律（适者生存，优胜劣汰遗传机制）演化而来的随机化搜索方法。其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应的调整搜索方向，不需要确定的规则。

由于遗传算法的整体搜索策略和优化搜索方法，在计算时是不依赖于梯度信息和其他辅助信息，而只需要影响搜索方向的目标函数和相应的适应度函数，所以遗传算法提供了一种求解复杂问题的通用框架，它不依赖于问题的具体领域，对问题的种类有很强的鲁棒性，所以广泛应用于自动控制、计算科学、工程设计、智能故障诊断、管理科学和社会科学等领域，适用于解决复杂的非线性和多维空间寻优问题。

2、人工神经网络模型

神经网络基本模型是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型（见图3）。

图3 神经网络基本模型

一个人工神经网络是由大量神经元节点经广泛互连而组成的复杂网络拓扑，用于人类进行知识和信息表示、存储和计算行为。神经元模型如图4所示。

每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号，信号的强弱与脉冲频率成正比。

在神经网络中，大量神经元的互连结构及各连接权值的分布就表示了学习所得到的特定要领和知识。在网络的使用过程中，对于特定的输入模式，神经网络通过向前计算，产生一个输出模式，并得到节点代表的逻辑概念， 通过对输出信号的比较与分析可以得到特定解。神经元之间具有一定的冗余性，并且允许输入模式偏离学习样本，因此神经网络的计算行为具有良好的并行分布、容错和抗噪能力。

神经网络模型包括前馈型网络、反馈型网络、自组织竞争人工神经网络等。

图4神经元模型

（1）前馈型网络(BP)

前馈型网络，最初称之为感知器（包括单层感知器和多层感知器），是应用最广泛的一种人工神经网络模型。前馈网络结构是分层的，信息只能从下一层单元传递到相应的上一层单元，上层单元与下层所有单元相联接。转移函数可以是线性阈值的。多层感知器也被称为BP网络。多层感知器的输入输出关系与单层感知器完全相同。前一层的输出是下一层的输入。

（2）反馈型网络(Hopfield)

反馈型网络,它是一种动态反馈系统，所有计算单元之间都有联接。比前馈网络具有更强的计算能力。

（3）自组织竞争人工神经网络

在实际的神经网络中，存在一种侧抑制的现象。即一个细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制在脊髓和海马中存在，在人眼的视网膜中也存在。

自组织映射模型是由Kohonen提出来的。模型是以实际神经细胞中的一种特征敏感的细胞为模型的。各个细胞分别对各种输入敏感，可以代表各种输入，反映各种输入样本的特征。如果在二维空间上描述这些细胞，则，功能相近的细胞聚在一起，靠得比较近。功能不同的离得比较远。开始是无序的，当输入样本出现后各个细胞反映不同，强者依照“胜者为王”的原则，加强自己的同时对周围细胞进行压抑。使其对该种样本更加敏感，也同时对其他种类的样本更加不敏感。此过程的反复过程中，各种不同输入样本将会分别映射到不同的细胞上。

人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。 但不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。

3、支持向量机（SVM）

支持向量机是一种基于统计的学习方法，它是对结构风险最小化归纳原则的近似。它的理论基础是Vapnik创建的统计学习理论。

SVM就是首先通过用内积函数K(xi，xj)定义的非线性变换将输入空间变换到一个高维空间，在这个空间中求（广义）最优分类面。SVM分类函数形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个支持向量。

由于统计学习理论和支持向量建立了一套较好的有限样本下机器学习的理论框架和通用方法，既有严格的理论基础，又能较好地解决小样本、非线性、高维数和局部极小点等实际问题，因此成为20世纪90年代末发展最快的研究方向之一，其核心思想就是学习机器要与有限的训练本相适应。

学习是人类智能的主要标志和获得智慧的基本手段，机器学习的研究就是希望计算机能像人类那样具有从现实世界获取知识的能力，同时进一步发现人类学习的机理和揭示人脑的奥秘。机器学习涉及到连接理论、认知理论、行为科学、神经科学等多门科学。因此，对于机器学习的研究，只有采用计算机科学、控制论、人工智能、认知科学、神经科学、心理学等多学科交叉的方法，才可望取得机器学习研究的更大进展。

机器学习是一个十分活跃、充满生命力的研究领域，同时也是一个比较困难、争议颇多的研究领域，虽然取得了一些令人瞩目的成就，但还存在许多尚未解决的问题。目前人工智能研究的主要障碍和发展方向之一就是机器学习，因此，机器学习有着广阔的研究前景。

参考文献:

[1] 张景绘，动力学系统建模［M］.北京：国防工业出版社，2000.

[2] 杨义勇等，机械系统动力学［M］.北京：清华大学出版社，2009.

第5篇：神经网络学习方法范文

关键词：自主学习；神经网络；姿B识别；机器人

中图分类号：TB

文献标识码：A

doi：10.19311/ki.16723198.2017.01.092

1引言

1.1机器人在现代社会中的重要性

随着城乡居民消费结构的持续升级，以及智慧中国战略的不断推进，智能机器人在家庭、农业、工业等生活的方方面面都有着极其广泛的应用。随着社会的不断发展，社会分工越来越细，与此同时工作也变得越来越单调。另外，社会上有些工作风险较高，若让人去做，不仅效率不高，而且更会产生生命危险。在这样高风险的作业领域，对机器人的需求越来越高。在这一背景下，各种各样的机器人被研制了出来，用它们代替人来完成枯燥、单调、高风险的工作。这极大的提高了劳动生产率和生产质量，创造出了更多的社会财富。

同时，社会服务也对机器人产生了大量的需求。从公共服务方面来说，目前我国老龄人口已超过总人口的10%，人口老龄化问题已成为中国需要面临的重大课题。此外，我国残疾人口占总人口的比重也位居世界较高国家之列。机器人的运用，可以为他们提供大量的护理服务，提高他们的生活质量。在医疗服务方面机器人也有很大的优势，手术机器人凭借其操作的精度及可长期工作等特性广泛应用于手术操作中。总而言之，机器人已成为我们的社会不可取代的一部分。

1.2当前机器人领域的现状及弊端

目前机器人正处于快速发展的阶段，但目前市场上的机器人仍存在着许多弊端。传统机器人需要设计者针对具体的任务进行手工编程，为了使机器人在环境改变时也能完成任务，设计者就需要尽量将各种情况考虑在内。但是这样的机器人存在一些问题：一方面程序员无法穷尽所有的可能情况，另一方面环境的复杂性也无形中加大了机器人可能出故障的概率，这使得机器人缺乏良好的环境自适应能力，给机器人的广泛应用带来了很大的限制。

基于无法动态适应具体任务目标这个问题，市场上出现了很多自主学习的机器人，比如有些作品使用了强化学习的算法，这种算法通过进行试错来寻求最优行动策略，从而有效解决了基于行为控制的机器人缺乏对动态环境适应能力这一问题。但同时这些该作品也存在出现了一些弊端。这一技术需要执行一些分层检索及优化的工作，因为机器人需要进行大量重复性实验来获得最优解，而任务变得复杂时该技术的性能就会变得很差，提高了学习的难度。

基于目前机器人存在的限制与不足，本文提出了基于神经网络的学习方法，使机器人环境适应能力提高。

2多任务学习机器人介绍

2.1机械结构

本文所设计的多任务学习机器人的机械结构主要由摄像头和仿生机械臂组成。为了使机器人能执行与人类一样非常细腻的动作，并能在某些应用中代替人，本文设计的机械臂拥有与人相似的机械结构。

如图1所示，该机械臂具有着与人体骨骼结构相似的关节，通过这些关节，机械臂可以完成人手臂的旋转、升降等动作。为了方便控制机械臂的运动状态，每一个关节都有相应的姿态参数。而根据不同关节的灵活程度不同，对应的参数数量也会存在差异。当机械手模仿人体动作时，可以通过设定对应机械手关节的姿态参数来完成，这样，人体的姿态与机械手关节的姿态参数之间就存在着一一对应的关系。我们所搭建的神经网络的目的，就是为了找到这样的对应关系，为机器人学习人的动作奠定基础。本文设计中的摄像头主要用于捕捉人体手臂姿态，并对采集到的视频流中的手臂姿态进行学习。通过将摄像头固定到一定位置，作为机器人的“眼睛”，机器人便可将人的动作记录下来，转化为视频信息。高速摄像头将人的连贯动作存储成一帧帧的图片，作为神经网络训练的原始输入信息。

2.2神经网络

人工神经网络，是人们利用仿生学观点，模拟人脑的结构及智能行为所构建的网络，它能模拟生物神经系统对真实世界做出交互反应。神经元的基本模型也叫“M-P神经元模型”。该模型中，神经元接收来自n个神经元的信号（x1，x2，…），通过带权重（w1，w2，…）的连接传递，将获得的总输入值与阈值q比较，通过激活函数f（x）最终得到该单元的输入y。

y=f（∑ni=1wixi-θ）

神经网络就是一个个这样的网络单元按一定的结构次序排列而成的。两层神经元形成的网络可以容易地实现与、或、非这样的基本逻辑运算，多层神经网络可以处理更加复杂的运算。神经网络的学习过程，就是根据获得的训练数据对自身的权重和阈值进行一定的调整，使神经网络输出的值与我们所给的输出值相差达到最小的过程。

为了达到这样的学习过程，就需要合适的算法。误差逆传播算法（简称“BP算法”）是目前最成功的算法之一。在训练开始时，随机产生权重值wi，输入训练集（xi，yi）和学习率η，神经网络根据对应权重和输入值计算出输出y，。BP算法以y与y之间差值的差值作为反馈，调整各个神经元的阈值和权重，进而更新神经网络，使网络的误差减小。其中，学习率η起着“控制神经网络学习速度”的作用，若学习率过小，神经网络变化相对迟缓，影响学习效率；而若学习率过大，则容易陷入局部最优解，影响最终结果。因此，给予足够的训练数据和适宜的学习率，神经网络就会快速调整到稳定而准确的状态。

利用神经网络，我们可以对摄像机获得的人体手臂各个关节的姿势进行学习，所获得的神经网络便表征了人体姿态与机械臂关节参数的映射关系。

2.3学习机器人原理

本文所用神经网络的作用是将输入的动作信息转化为机器人的姿态参数，以神经网络作为核心算法，机器人就可以在一定的学习训练后，具备识别人体关节姿态的能力，从而使机器人做出与人体输入动作一致的动作，具体的学习过程如下：

为了获得比较完备的训练数据，选择尽可能多的人采集手臂各关节姿态数据，提高神经网络的鲁棒性；使人于摄像头采集姿态的最佳角度，做各种各样的动作，以覆盖尽可能多的关节姿态参数范围；针对高速摄像头采集获得的图像数据的某一帧，手工采用测量工具标定该图像中人体每个关节的角度数据，以这些图像数据和标定获得的角度数据作为训练原始数据。

以采集的数据作为神经网络的输入，选择一定的学习速率，采用误差逆传播（BP）算法，完成训练后，得到一个能够根据图像数据输出关节姿态参数的神经网络。神经网络训练完毕之后，为了检测其准确性，需要对其进行测试。测试过程与实际使用过程类似。测试方法如下：使用摄像头采集人体手臂的几组图像数据，将这几组图像数据分别作为神经网络的输入，观察神经网络能否正确输出与人体手臂关节相对应的角度数据。如果机器人的动作有较大的偏差，则证明训练失败，需要重新检查训练数据，对摄像头捕捉关节的位置进行调整，或提高摄像头的性能，以便使摄像头获得更精确的信息。另外，根据神经网络测试的结果，适当调节神经网络模型学习过程中的参数如学习速率，样本容量等。

神经网络训练与测试完毕后，我们就获得了一个输入为一系列包含手臂各个关节的图像数据、能够识别人体关节各个姿态，并输出各个关节姿态角度的神经网络。利用这个训练并测试完成的神经W络，多任务学习机器人即可以根据人演示的动作，准确地模仿人的姿态，完成特定的任务，具体过程如下：

（1）针对某一环境下的任务要求，人体做任务动作，摄像头捕捉这个过程中的图像信息。

（2）每一时刻的图像信息输入神经网络，神经网络输出各个关节的角度值。

（3）各个关节角度值输入到机械臂相关关节控制单元，实现对机器人姿态的控制。

（4）每个时刻分别重复这个过程，就实现了机器人控制参数流的输出，机器人即可完成一系列动作。

由于神经网络的可复用性，机器人可以随时模仿各种各样的动作，实现了多任务学习的设计要求。实际的应用过程中，可以通过设计多个存储单元，分别存储多个动作的控制参数流序列，实现常用动作的记忆与切换功能。

3总结

本文所设计的机器人主要由摄像头及仿生机械臂组成，机器人以摄像头接收使用者的动作，首先通过训练过程，对神经网络进行训练。神经网络训练完毕后，在使用过程中，人体演示机器人做相应动作，机器人就可根据神经网络识别的结果反馈来操控机器人，完成指定动作。应用这一方法，可以有效提高机器人的环境应变能力，通过对某一新动作的学习，可以高效提取新动作的参数信息，根据这些信息输出对机器人的控制量，从而达到理想的效果。本作品解决了传统机器人功能单一的缺点，可以使得机器人能执行多种动作，使机器人“身兼数职”，也提高了机器人的灵活性与便捷性。

参考文献

[1]李扬.智能服务机器人引领智慧变革[J].高科技与产业化，2016，（5）：6971.

第6篇：神经网络学习方法范文

doi:10.11772/j.issn.10019081.2013.07.1942

摘 要:

针对极限学习机(ELM)算法随机选择输入层权值的问题，借鉴第2类型可拓神经网络(ENN2)聚类的思想，提出了一种基于可拓聚类的ELM(ECELM)神经网络。该神经网络是以隐含层神经元的径向基中心向量作为输入层权值，采用可拓聚类算法动态调整隐含层节点数目和径向基中心，并根据所确定的输入层权值，利用MoorePenrose广义逆快速完成输出层权值的求解。同时，对标准的Friedman#1回归数据集和Wine分类数据集进行测试，结果表明，ECELM提供了一种简便的神经网络结构和参数学习方法，并且比基于可拓理论的径向基函数(ERBF)、ELM神经网络具有更高的建模精度和更快的学习速度，为复杂过程的建模提供了新思路。

关键词:可拓聚类；极限学习机；径向基函数；回归；分类

中图分类号: TP18文献标志码:A

英文标题

Extension clusteringbased extreme learning machine neural network 

英文作者名

LUO Genghe*

英文地址(

Department of Mechanical Engineering, Xian Aeronautical University, Xian Shaanxi 710077, China英文摘要)

Abstract:

During the construction process of Extreme Learning Machine (ELM), its input weights are randomly generated, and these parameters are nonoptimized and contain no prior knowledge of the inputs. To solve these problems, combining the clustering method of Extension Neural Network type 2 (ENN2), an extension clustering based extreme learning machine (ECELM) neural network was proposed. In ECELM neural network, the radial basis function centers of hidden neurons were firstly taken as the input weights, then extension clustering method was used to adaptively adjust the hidden neurons number and center vectors, and this welladjusted information was trained by MoorePenrose generalized inverse to obtain the output weights. Meanwhile, the effectiveness of this network was tested by the Friedman#1 dataset and the Wine dataset. The results indicate that ECELM provides a simple and convenient way to train the structure and parameters of neural network, and it is of higher modeling accuracy and faster learning speed than Extension theory based Radial Basis Function (ERBF) or ELM, which will provide a new way to apply the ECELM to complex process modeling.

第7篇：神经网络学习方法范文

关键词：SOM神经网络;负荷特性曲线;聚类分析

中图分类号：TM7 文献标识码：A 文章编号：1007-0079（2014）33-0204-03

在国家提出建设坚强智能电网的背景下，提高电力营销服务水平和智能用电技术已成为电网企业关注的焦点。电力营销服务水平与智能用电技术的提升离不开在对电力用户用电行为特征的准确、全面、及时地掌握，而从海量负荷数据中提取用户日负荷特征曲线并进行深入分析成为研究用户用电行为特征的一种有效方式。

从研究对象层面来看，以往相关研究侧重专线用户（负荷数据来源为SCADA系统）和专变用户，并以传统意义上的行业分类作为提取负荷特征曲线时聚类的依据。从研究方法层面来看，电力用户日负荷特征曲线的提取多使用聚类算法，主要有统计方法、机器学习方法、人工神经网络方法和面向数据库的方法。人工神经网络因具有大规模的并行协同处理能力、较强的容错能力、联想能力、学习能力和自适应能力，故能够较好地适应海量数据背景下的数据挖掘。应用较多的典型的神经网络模型包括BP网络、Hopfield网络、ART网络和Kohonen网络。[1-3]BP网络属于有监督学习的神经网络，需要提供聚类对象类别数量的先验知识，而公变用户缺乏传统意义上类似专变用户的行业分类，故不适合采用BP网络。Hopfield网络、ART网络和Kohonen网络都属于无监督学习的神经网络，在解决聚类问题上有其各自的优缺点。

本文提出采用SOM神经网络[4-6]聚类算法提取公变用户日负荷特征曲线，用MATLAB软件进行仿真，输出可视化聚类结果，并对聚类结果进行分析，验证了采用SOM神经网络聚类算法提取出的公变用户日负荷特征曲线能够较好地显示不同类型公变用户用电行为特征上的差异，具备良好的聚类效果，同时为电网企业优化电力营销服务提供参考和指导。

一、SOM神经网络

SOM（Self-Organizing Map，自组织映射）神经网络是较为广泛应用于聚类的神经网络。它是由Cohonen提出的一种无监督学习的竞争型神经网络模型，通过不断缩小获胜神经元的邻域来达到聚类的目的。主要功能是将输入的高维空间数据映射到一个较低的维度，通常是一维或者二维输出，同时保持数据原有的拓扑逻辑关系。

SOM神经网络由输入层和输出层两层组成，输入层中的每一个神经元通过权与输出层中的每一个神经元相连，如图1所示。输入层的神经元以一维的形式排列，输入神经元的个数由输入矢量中的分量个数决定，输出层的神经元一般以一维或者二维的形式排列，计输入层的神经元数量为m，输出层神经元数量为c。输入的样本总数为n，第i个输入样本用矢量表示为，每个输出神经元的输出值记为，。与第j个输出神经元相连的权用矢量表示为：。

Kohonen算法是无教师示教的聚类方法，它能将任意维输入模式在输入层映射成一维或二维离散图形，并保持其拓扑结构不变，即在无教师示教的情况下，通过对输入模式的自组织学习，在输出层将聚类结果表示出来。此外，网络通过对输入模式的反复学习，可以使连接权矢量空间分布密度与输入模式的概率分布趋于一致，即连接权矢量空间分布能反映输入模式的统计特性。该算法往往在完成极高维数、超大量数据和高度非线性问题的聚类，模式表征和数据压缩，分类等任务时是一个很有效、很简便，且快速、稳健、泛化性好的算法。

Kohonen的学习算法如下：

（1）初始化：将整个输入向量存储在矩阵p中，对权值w进行初始化，权值向量的每一维的取值范围同输入向量每一维的取值范围。

（2）选择一个输入向量，提供给网络输入层。

（3）按照下式计算输出层每一个神经元 j 的权值与输入向量之差：，其中，。

（4）按照“胜者为王”的原则，对每一个神经元j，以minDist中的最小值所对应的神经元 k作为胜者，对它和它的邻域内的神经元的权值进行调整，假设当前处于学习的第l步，权值的修正按照下式进行：

其中，lr表示学习速率，br表示邻域调整率;表示获胜神经元的邻域，即：。

（5）选择另一个输入向量，返回（3），直到所有的输入向量全部提供给网络。

（6）返回（2），直到达到最大训练步数。

二、MATLAB仿真算例

1.MATLAB仿真实现

对于日负荷特征曲线的提取，负荷曲线的采样点越多，曲线越精细，越容易进行分类，研究数据来自于电力用户用电信息采集系统，从中提取公变用户每15分钟采集一次的有功功率构成其日负荷曲线，一天共96个采样点。从某省电力用户用电信息采集系统中随机抽取1000台公用变压器，选取其2012年7月10日（工作日，该省全年负荷最高日）作为典型日进行日负荷特征曲线提取和分析。每台公变日负荷曲线由96个有功采样点组成。由于每台公变额定容量大小不等，为了有效聚类，首先需要对负荷数据进行归一化处理。

本文采用聚类SOM神经网络，在MATLAB环境下，对这些数据进行聚类仿真。聚类SOM神经网络的MATLAB实现步骤如下：（1）准备数据源。首先从原始数据库读取相关数据（输入样本总数70，每一个样本有96个采集时点）作为输入矢量，并将其以二维数组70×96形式输入。（2）确定参数。输入神经元个数为采集时点的个数96;输出神经元以二维数组3×3形式呈现。（3）运用rand（ ）函数产生[0，1）之间的随机数作为权值。（4）调用SOM创建函数newsom（ ），创建自组织映射网络net=newsom（ ）。（5）对迭代次数net.trainParam.epochs赋值2000;对net.trainParam.show赋值20，表示每20次显示一下误差变化情况。（6）运用网络训练函数train（ ）训练上述初始化后的网络net=train（ ）。（7）调用plot（ ）画输入点; plotsom（ ）作训练后的权值点及其与相邻权值点的连线。

2.仿真结果分析

经MATLAB仿真运行后得到聚类结果图2所示：

图2所示为SOM神经网络聚类结果，将样本公变用户分为7个类别，为便于后文描述，不妨按照行优先的顺序为各激活的优胜神经元标识聚类编号，依次分别为为：公变用户第一类（包含13个样本用户）、公变用户第二类（包含12个样本用户）、公变用户第三类（包含5个样本用户）、公变用户第四类（包含10个样本用户）、公变用户第五类（包含10个样本用户）、公变用户第六类（包含10个样本用户）、公变用户第七类（包含10个样本用户）。

每个竞争层神经元与各输入神经元之间的连接权构成的向量代表了该优胜神经元所标识类别的聚类中心即日负荷特征曲线，竞争层神经元邻域权值距离如图3所示，颜色越深表示领域神经元间的权值距离越远，即邻域神经元的聚类中心距离越远、提取的日负荷特征曲线差异越大。

图4所示为通过SOM神经网络聚类算法提取的七大类公变用户日负荷特征曲线。日负荷特征曲线较为明显地反映了不同类型公变用户在该典型日的用电行为。

第一类公变日负荷特征曲线呈现出明显的午高峰和晚高峰特征，且晚高峰明显高于午高峰。推测此类为城镇居民生活的典型日负荷特征曲线，可能由于部分居民上班因素造成晚高峰高于午高峰;第二类公变日负荷特征曲线走势同全网负荷基本一致，呈现出明显午高峰和晚高峰，但午高峰一枝独秀，可能该公变下的用户类型较多，包括居民用户和一般工商业用户，由于各类用电特征比例与全网比例类似，形成具有全网负荷特征的曲线;第七类公变日负荷特征曲线与前六种主要集中在白天用电不同，主要在天黑时间段内（晚上7点左右至第二天早上6点）用电，推测这类用户主要集中在市政工程类。

三、总结与展望

本文将SOM神经网络聚类算法应用到电力用户日负荷特征曲线提取的研究中，选取某省公变用户作为分析样本，通过MATLAB仿真计算将样本公变用户分为七个类别，以优胜神经元与输入神经元之间连接权向量作为聚类中心即该类别用户的日负荷特征曲线。根据提取出的日负荷特征曲线，结合电力用户用电信息采集系统中的营销档案分析了不同类别公变用户的用电特征与习惯。分析表明，采用SOM神经网络聚类算法提取日负荷特征曲线具有良好的效果，提取出的日负荷特征曲线能够较好反映该类型用户的用电行为与特征，为电力企业了解用户用电习惯、细分电力市场、调整定价策略和实施需求侧管理提供了有益参考。

下一步研究将考虑采用电力用户全年负荷数据进行聚类分析，验证小样本下的聚类结果、发现新的用户类型;同时改进SOM神经网络算法，使其适应海量数据下的负荷曲线聚类分析，并通过调整竞争层神经元个数与抑制权值使训练结果更加稳定，得到更好的聚类效果。

参考文献：

[1]马玉梅，马志超.基于人工神经网络的手写阿拉伯数字识别[J].中央民族大学学报（自然科学版），2007，（4）.

[2]刘小波，李亚玲，赵景涛，等.基于KOHONEN神经网络的电压控制分区[J].浙江电力，2007，（3）.

[3]莫礼平.基于Kohonen神经网络的故障诊断方法[J].成都大学学报（自然科学版），2007，（1）.

[4]李培强，李欣然，陈辉华，等.基于模糊聚类的电力负荷特性的分类与综合[J].中国电机工程学报，2005，（24）.

第8篇：神经网络学习方法范文

中图分类号：G642

1 背 景

电子信息科学与技术是以物理和数学为基础，研究通过电学形式表达和操控信息的基本规律以及运用这些基本规律实现各种电子系统的方法。在进入电子时代和信息社会的今天，电子信息科学技术已渗透各个领域。随着电子信息技术日新月异，电子信息教学领域也面临着全新的挑战，需要培养具有全方位视野和超强能力的新一代工程师及领导者。本着这一目标，清华大学电子系自2008年开始着手进行课程改革，通过改革课程体系将原有课程重新整合，从学科范式的角度整理出电子工程本科教育的知识体系结构，从而梳理出新的本科课程体系，形成电子信息领域学科地图[1-2]。

2016年AlphaGo战胜李世石的事实，让人工智能技术再一次向世人展示了自己的潜力。人工智能无论在传统的制造加工行业，还是在新兴的互联网行业，都成为国内外各大企业争相研究开发的目标，在学术界也是如此。2016年底，Gartner全球峰会2017十大技术趋势报告[3]，预测2017年十大技术趋势：人工智能与机器学习、智能应用、智能事物、虚拟和增强现实、数字化双生、区块链和已分配分类账、对话式系统、格网应用和服务架构、数字化技术平台、自适应安全架构。Gartner预计2017年全球将有超过60%的大型企业开始采用人工智能技术。

在2016年开设的媒体与认知课程内容中，我们参考国内外诸多名校相关课程的理论及项目内容，结合电子工程系在该领域研究的基础优势和创新性成果，建设了一套媒体认知人工智能技术教学课程内容及平台，以期学生获得人工智能技术中深度学习技术的基础理论和开发能力。课程通过提供人工智能技术领域高层次专业人才必需的基本技能、专业知识及思维方式，力争培养具有国际一流科研创新能力的人工智能方向的专业技术人才。

2 人工智能技术教学内容

美国MIT大学的Statistical Learning Theory and Applications课程[4]，致力于从统计学习和正则化理论的角度介绍机器学习的基础和最新进展。除了经典的机器学习方法，如支持向量机、流形学习、有监督学习等之外，还重点介绍深度学习计算的理论框架并要求学生以项目形式给出基于机器学习和深度神经网?j的解决方案。

美国CMU大学的Deep Learning课程[5]通过一系列研讨会和课程实验介绍深度学习这一主题，涵盖深度学习的基础知识和基础理论及应用领域，以及大量数据学习的最新问题。通过若干实验题目，学生可以对深度神经网络原理及应用加深理解。

美国Stanford大学的Deep Learning for Natural Language Processing课程[6]深入介绍应用于自然语言理解的深度学习前沿研究，讨论包括循环神经网络、长短期记忆模型、递归神经网络、卷积神经网络等非常新颖的模型。通过上机实验，学生将学习使用神经网络工作的技巧来解决实际问题，包括实施、训练、调试、可视化和提出自己的神经网络模型，最终的实验项目涉及复杂的循环神经网络并将应用于大规模自然语言理解的问题。

媒体认知课程参考了上述著名课程的理论内容和项目特色。我们结合电子工程系在人工智能领域研究的基础、优势和创新性成果，设计开发了一套以人工智能技术为基础的前沿探索型媒体认知教学课程内容及实验平台，试图构建具有国际水准的人工智能技术教学课程内容。

3 深度学习技术发展概况

传统的人工智能系统一般采用机器学习技术，这类技术在处理原始形式的自然数据的能力上受到限制，一般困难集中在如何将原始数据变换为合适的内部表示或特征向量。深度学习（deep learning）近年来受到人工智能行业的广泛关注，是一种表征学习（representation-learning）方法，由于拥有可以逼近任意非线性函数的特性，深度神经网络（deep neural network，DNN）及其衍生的各种神经网络结构有能力取代传统模型，在语音、图像、文本、视频等各种媒体的内容识别系统中发挥作用。

著名的人工智能科学家Yann LeCun于2015年在Nature上发表文章[7]指出，深度学习允许多个处理层组成的计算模型学习如何表征具有多级抽象层面的数据。这些方法已经大大提高语音识别、视觉识别、目标检测以及诸如药物发现、基因学等许多领域的最新技术水平。深度学习通过使用反向传播算法发现大数据集中的复杂结构，以指示机器如何改变其内部参数，这些内部参数是从深度神经网络上一层的表示中计算每层中的表示。深度卷积网络在处理图像、视频、语音和音频方面带来突破性的进展，而递归网络则对文本、语音等顺序数据提供解决方案。

递归网络可被视作较深的前馈网络，其中所有层共享相同的权重。递归网络的问题在于难以在长期的时间内学习并存储信息。为了解决这一问题，长短期记忆（long short-term memory，LSTM）模型网络被提出，主要特点在于其存储器单元在下一个加权值为1的时间段内与自身连接，因此能够在复制自身状态的同时累加外部信号，此外这种自我连接被另一个单元通过学习决定何时清除此类信息。长短期记忆模型被证明在语音识别和机器翻译应用系统中比传统的递归网络更加有效。

4 基于深度学习的语音识别教学项目

在对上述课程及配套项目进行详细研究的基础上，结合现有科研及平台，我们构建了一种基于深度学习的连续语音识别项目平台，包括两个主要项目：深度神经网络语音识别项目及长短期记忆模型递归神经网络语音识别项目。

4.1 深度神经网络语音识别项目

典型的深度神经网络语音识别模型[8-9]核心是对声学特征进行多层变换，并将特征提取和声学建模在同一网络中进行优化。神经网络可以通过非线性激活函数来拟合任何非线性函数，可以使用神经网络取代原有声学模型中的高斯混合模型，用来计算每一帧的特征与每个音素的相似程度。深度神经网络原理的结构示意图如图1所示。

图1代表了一个拥有3个隐含层的深度神经网络。相邻两层中，每层的每一个节点都与另外一层的所有节点单向连接。数据由输入层输入，逐层向下一层传播。对于节点间的连接权重，采用BP算法。BP算法对于给定的输入输出训练数据，首先通过正向传播由输入得到输出，之后通过实际输出与理论上的正确输出之差得到残差，并由输出层向输入层根据激活函数与连接权重反向传播残差，计算出每一个节点与理想值之间的残差，最后根据每个节点的残差修正节点间连接的权重，通过对权重的调整实现训练，从而更加靠近理论输出结果。

将DNN实际利用到语音识别的声学模型时，其结构示意图如图2所示。深度神经网络的输入层输入从每一帧音频中提取出的特征，通过网络的正向传播，在输出?邮涑龅鼻爸《杂Σ煌?音素的相似程度，从而作为HMM的发射概率进行语音识别。考虑到DNN没有记忆特性，而语音信号即使是在音素层级上，其前后也有相当大的联系。为了提高DNN在处理前后高度关联的语音信号中的表现，一般选择同时将当前帧的前后部分帧作为网络的输入，从而提高对当前帧识别的正确率。

4.2 长短期记忆模型递归神经网络语音识别项目

长短期记忆模型应用于语音识别中声学模型的思路和深度神经网络类似[10-11]，取代高斯混合模型用于计算输入帧与各音素的匹配程度。原理为首先根据输入门判断输入的数据可以进入记忆细胞的比例，同时遗忘门决定记忆细胞遗忘的比例；之后由记忆细胞残存的记忆部分和新输入的部分求和，作为记忆细胞的新记忆值；将新的记忆值根据输出门的控制得到记忆细胞的输出，并通过递归投影层降维，降维之后的结果一方面作为3个控制门的反馈，另一方面作为网络的输出；非递归投影层则仅仅作为最终输出的补充，而不会影响控制门。将长短期记忆模型实际利用到语音识别的声学模型时，其结构示意图如图3所示。

与深度神经网络不同，长短期记忆模型递归神经网络因为有记忆特性，所以不需要额外的多帧输入，只需要输入当前帧。然而，考虑到语音前后的关联性，一般会将输入的语音帧进行时间偏移，使得对t时刻帧的特征计算得到的输出结果是基于已知未来部分帧的特征之后进行的，从而提高准确度。

第9篇：神经网络学习方法范文

关键词:故障诊断;神经网络;径向基函数;地铁列车

中图分类号:TM621文献标识码:A文章编号:1007-9599 (2010) 11-0000-02

The RBFNN Application in Fault Diagnosis for the Subway Train

Zhou Qiaolian1,Deng Yabo2,Chen Jianxiao2

(1.Shanghai Shentong Rail Transit Research and Consulting Co,Ltd,Shanghai2011031,China;2.Zhuzhou CSR Times Electric Co,Ltd,Zhuzhou4120012,China)

Abstract:The means is proposed in this paper about subway train malfunction diagnosing system applying RBFNN.Subway train running information is collected and preprocessed,which is used as training sample to build RBFNN.After RBFNN learned well,collected real-time information is inputted into the neural network,and then malfunction and coming malfunction is output correctly.

Keywords:Malfunction diagnosing;Neural network;Radial Basis

Function;Subway train

一、引言

我国城市轨道交通的高速发展,迫切需要保障地铁机车的运营安全。目前对地铁列车的故障诊断等方面还没有理想的解决方案。本文提出了一种方法,试图借助径向基函数神经网络来解决地铁列车的故障诊断的技术难题。

二、径向基函数神经网络

径向基函数神经网络(Radial Basis Function Neural Network,以下简称RBFNN)是一类特殊的三层前馈神经网络。

图1是RBFNN的基本结构。它可以实现由输入向量到输出向量的映射。

三、故障诊断应用

(一)建立神经网络

要把RBFNN运用到地铁列车的故障诊断中去,必须先利用训练样本建立好RBFNN。

1.数据分类:地铁列车的数据信息非常丰富,首先需要根据地铁列车的特点,将各类数据按功能单元分类,如中央控制单元的数据包括地铁列车状态、通信状态、网络命令、数字输入输出信号和模拟输入信号等,牵引单元的数据包括牵引工作状态、输入指令、电机转速、电机转矩、电机电流、网压、电机温度、级位信号和载荷信号等,制动单元的数据包括轮径、载荷信号、速度信号、制动级位、传感器状态等,门控单元的数据包括车门打开状态、车门开关反馈、门速度反馈、门防夹状态、门切除状态等。

2.生成样本数据:针对地铁列车的典型故障和临界故障等情况,通过模拟产生n类故障方式,收集来自传感器的检测数据、表征地铁列车状态及车载设备的模拟量、数字量以及地铁列车总线上的相关数据等信息。然后按照上述的分类方法,对数据信息按照功能单元(中央控制单元、牵引单元、制动单元、门控单元等)分类和综合(系统级),形成建立各径向基函数神经网络所需的训练样本向量,如中央控制单元的训练样本向量为,牵引单元的训练样本向量为,制动单元的训练样本向量为,门控单元的训练样本向量为,系统级的训练样本向量为。

3.建立RBFNN的基本结构。通过上述训练样本可以确定各神经网络输入层节点个数为n,输出层的节点个数为。

(二)训练神经网络

训练时,隐含层神经元学习采用无监督学习的聚类算法;输出层神经元采用有监督的最小二乘法学习方法。下面以中央控制单元RBFNN的建立为例作具体说明。

对于中央控制单元,在模拟产生n类故障后,得到的训练样本的状态向量,包括地铁列车状态、通信状态、网络命令、数字输入输出信号和模拟输入信号等,该训练样本将作为神经网络的输入。

针对隐含层神经元的学习算法的具体步骤如下:

1.从状态向量中选取一组样本作为隐含层的各神经元中心,为隐含层神经元数。

2.然后对所有状态向量进行归类,输入的状态向量若满足条件

(1)

则将其归于第类向量;

3.归类完毕后,再求出隐含层每个神经元的新中心和宽度,即

对输出层神经元的学习的算法如下:记某故障诊断结果为,则对第个故障诊断结果有:

式中,表示隐含层第神经元到输出层第个故障诊断结果的权值,表示距的距离,是选取的高斯函数,

式中是隐含层第个神经元的输出中间向量,为高斯函数的宽度。

定义故障诊断输出的误差函数为

式中,为输出层第个神经元的期望故障诊断值,为其实际故障诊断输出值。将式(4)代入上式可得

求解使故障诊断误差函数最小时的一组权系数,可令

则得到一系列方程组,

求解上述方程组即可得到最优权系数。

最优权系数确定后,中央控制单元RBFNN就训练完毕。

通过相同的方法建立并训练牵引单元、制动单元、门控单元和系统级等的RBFNN。

(三)故障诊断

当地铁列车的单元或系统发生故障或将要发生故障时,采集的实时数据经过分类和综合处理后,输入训练好的各RBFNN,其稳态输出即为已经发生的故障种类或将要发生的故障。

故障诊断系统原理见下图2所示。

四、系统实现

为实现基于RBFNN的地铁列车故障诊断方法,需构建一个三层系统,包括应用层的上位机、采集数据的下位机和底层的传感器等。

底层传感器主要为现有地铁列车没有而故障诊断系统需要额外加装的传感器,如加速度传感器等。

下位机包含采集转换模块、模拟量采集模块、数字量采集模块和总线接口模块等。采集转换模块主要采集加装的传感器反馈的相关数据信息,如加速度、振动等数据。模拟量采集模块主要采集表征地铁列车运行状态的一些模拟量,如电压、电流、温度等。数字量采集模块主要采集表征地铁列车运行状态的数字量,如开关闭合状态、隔离装置状态等。总线接口模块主要采集地铁列车总线上的数据。针对不同的地铁列车总线(如MVB,MTB等),通过相应的接口和协议,采集需要的地铁列车相关数据。下位机将数据集中后再汇总给上位机。

上位机是完成故障诊断的核心部分,主要负责接收、处理并存储下位机汇总的地铁列车状态数据。首先完成对采集到的地铁列车相关数据的分类处理。训练阶段,把分类处理好后的数据作为各RBFNN的训练样本,然后利用训练样本生成地铁列车故障诊断所需的各RBFNN。应用阶段则不断采集地铁列车的实时数据信息。当地铁列车发生故障或将要发生故障时,上位机会依据各RBFNN诊断模块的输出作出相应的判断和预警。

系统结构图如图2所示。

五、结束语

本文从人工智能的角度,提出了一种基于RBFNN的地铁列车故障诊断方法。通过软件编程,建立并应用了故障诊断所需要的RBFNN。从应用效果看,基本能达到预期目的。

参考文献:

[1]W.F.Gabriel,Using Spectral Estimation Techniques in Adaptive Processing Antenna Systems”,IEEE Trans,Antenn.Propagat,1986

[2]靳蕃.神经计算智能基础原理、方法.西南交通大学出版社,2000

注:

1该课题属于国家863计划课题《轨道交通运营安全的关键装备监控预警及应急技术》的子课题,863项目课题编号:2007AA11Z247

作者介绍:

周巧莲,女(1966-)汉族、上海、高级工程师。