神经网络学习规则精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的神经网络学习规则主题范文，仅供参考，欢迎阅读并收藏。

第1篇：神经网络学习规则范文

【关键词】神经网络 手写 识别系统 应用

随着计算机技术的快速发展，其在人们的办公学习和日常生活成了不可替代的工具。键盘已经几乎完全替代了笔在人们生活中的地位，随之而来的后果就是人们越来越少的区书写汉字，导致越来越多的中国人甚至都忘记了汉字该如何书写，这种现象在很多研究和报道中都有体现。计算机和键盘是由西方国家发明的，其符合西方国家的语言习惯，对于中国人来说，用字母、符号去完成方块汉字的输入就需要使用者非常熟悉汉语拼音或者五笔编码，对于文化程度较低的使用者来说，这些都限制着他们使用计算机。鉴于计算机键盘的这些缺陷，联机手写输入法应运而生，这为计算机的输入带来了新的发展机遇和挑战。

1 联机汉字手写识别的意义及难点

联机汉字识别是用书写板代替传统纸张，笔尖通过数字化书写板的轨迹通过采样系统按时间先后发送到计算机中，计算机则自动的完成汉字的识别和显示。

1.1 联机汉字手写识别的意义

联机手写汉字识别的诞生具有非常重要的意义。首先这种输入方法延续了几千年中华文明的写字习惯，实现用户的手写输入，对于长时间不提笔写字的用户来说能够加强其对汉字书写方面的认识，防止“提笔忘字”现象的继续恶化。其次，手写汉字输入不需要学习和记忆计算机的汉字编码规则，其完全符合中国人的写字习惯，使人机之间的交流更人性化，更方便快捷。另外，随着移动智能终端的不断普及，联机汉字手写识别的应用范围将进一步扩大，以适用于不同层次人群对信息输入的需要，具有较大的市场发展前景。

1.2 联机手写汉字识别问题的难点

手写汉字识别是光学字符读出器中最难的部分，也是其最终的目标，手写汉字识别的应用主要依赖于其正确识别率和识别速度[1]。手写汉字识别系统的问题具有其特殊性：

（1）中国汉字量大。我国目前的常用汉字大概在4000个左右，在实际应用中的汉字识别系统应该能够完全识别这些常用的字才能够满足需要，由于超大的汉字量，使得手写识别的正确率和识别速度一直不高。

（2）字体多，结构复杂。汉字的手写字体丰富多彩，且汉字的笔画繁多，以及复杂的结构，再加上汉字中的形近字颇多，这些都为汉字识别系统的发展造成了很大的困难。

（3）书写变化大。不同用户在进行手写输入时其字体的变化是很大的，这种变化因人而异，对汉字识别造成了很大的干扰，增加了汉字匹配的难度。

2 人工神经网络概述

人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，通常简称为神经网络，是一种仿生物神经的信号处理模型。在二十世纪四十年代初人们开始进行神经网络的研究，经过几十年的发展，神经网络也产生了一系列的突破，目前应用最多的是Hopfield模型和BP算法。

神经网络的一般模型一般包括十个方面：环境、处理单元、传播规则、神经网络的状态、互联模式、稳定状态、操作模式、活跃规则、活化函数和学习算法。其中，神经元、互联模式、学习算法是神经网络模型中的三个关键因素。神经网络的一个重要内容就是学习，其学习方式可以分为监督学习和无监督学习，其学习过程一般遵循Hebb规则，误差修正学习算法以及胜者为王的学习规则，其中Hebb规则是神经网络学习中最基本的规则。

人工神经网络具有独特的优越性。首先其具有主动学习的功能，在汉字识别过程中，先将汉字模板及可能的识别结果输入到神经网络中，神经网络能够通过其自身的学习过程来实现对汉字的识别，自学功能对于神经网络的预测功能具有非常重要的意义。其次，神经网络系统具有联想存储功能，其反馈功能能够实现这种联想。另外，通过计算机的高速运算能力，神经网络具有高速寻找优化解的能力。

3 人工神经网络在联机手写识别系统中的应用

汉字识别属于大类别模式识别，人工神经网络可以通过函数逼近、数据分类、数据聚类三种作用方式以及“联想”的特殊模式对汉字进行识别。Hopfield神经网络作为反馈网络的一种，其自联想记忆网络可以使系统不需要通过大量的训练即可对汉字进行识别，因此Hopfield神经网络对于汉字识别来说具有独特的优势。其中的离散型Hopfield神经网络能够通过串行异步和并行同步的工作方式，使其反馈过程具有非常好的稳定性，而网络只有通过不断的演变稳定在某一吸引子状态时，才能够实现正确的联想。

联机手写识别可以分为训练阶段和识别阶段。训练阶段流程依次为：标准书写字符图像预处理，提取特征并建立特征库，建立Hopfield网络模型，训练网络，保存权值。识别阶段的流程为：坐标序列转化为bmp图像，预处理测试样本，提取特征，送入网络运行，运行网络到平衡状态，分析结果值。根据联机手写识别的工作流程以及Hopfield网络模型的理论，基于Hopfield神经网络的联机手写识别系统在Matlab环境下得到了仿真模拟，效果非常理想。

4 总结

手写识别系统能够弥补普通键盘的不足，在提高汉字书写频率的同时，能够满足不同层次人群对计算机应用的技术需要。基于Hopfield神经网络的联机手写识别系统一起自身独特的性能，不仅能够满足手写汉字识别的正确率，而且其识别过程速度非常快。因此它对于实现联机手写识别以及图像识别具有非常重要的意义。

参考文献

[1]俞庆英.联机手写汉字识别系统的研究与实现[D].安徽大学，2005（5）.

[2]郭力宾.交叉点的神经网络识别及联机手写字符的概率神经网络识别初探[D].大连理工大学，2003（03）.

[3]赵蓉.基于神经网络的联机手写识别系统研究与实现[D].西安电子科技大学，2011（01）.

第2篇：神经网络学习规则范文

【关键词】PID控制;BP神经网络;模糊PID控制

Abstruct：PID control are widely used in industrial process control，but the traditional PID control because of its control parameters are fixed，and it is difficult to adjust its parameters online.So this paper studies a new adaptive fuzzy PID control method，to solve problem without the ability to learn，and put forward a kind of adaptive fuzzy control method based on BP neural network in this paper.It is the effective combination of fuzzy control，neural network and PID control.Simulation results show that this fuzzy PID control method based on BP neural network has good control effect.

Keywords：PID control;BP neural network;Fuzzy PID control

1.引言

常规PID在控制领域被广泛应用，利用数学算法来整定参数。而且随着控制系统的复杂，被控对象很难建立数学模型，人们开始探索新的控制方式。模糊控制不要求掌握被控对象的精确的数学模型，根据人工控制规则组织控制决策表，然后由该表决定控制量的大小。在一般的模糊系统设计中，规则是由经验丰富的专业人员以语言的方式表达出来的。但对于某些问题即使是很有经验的专业人员也很难将他们的经验总结、归纳为一些比较明确而简化的规则。在这种情况下，就可以应用神经网络的方法，依靠BP神经网络的自学习功能，实现模糊控制的神经、模糊融合技术，并借助其并行分布的结构来估计输入到输出的映射关系，直接从原始的工作数据中归纳出若干控制规则。从而为模糊系统建立起行之有效的决策规则。

2.PID控制器原理

2.1 PID控制的微分方程

PID控制器是一种线性控制器，它将给定值r（t）与实际输出值c（t）的偏差的比例（p）、积分（I）、微分（D）通过线性组合构成控制量，对控制对象进行控制。

式中：

2.2 PID控制器各环节的作用

（1）比例环节：及时成比例地反应控制系统的偏差信号e（t），偏差一旦产生，控制器立即产生控制作用以减小偏差。

（2）积分环节：积分作用会使系统稳定性下降，Kd大会使系统不稳定，但能消除静态误差。

（3）微分环节：能反应偏差信号的变化趋势，并能在偏差信号值变得太大之前，在系统中引入一个早期修正信号，从而加快系统的动作速度，减小调节时间。Kd偏大时，超调较大，调节时间短;Kd偏小时，超调量也较大，调节时间长;只有Kd合适时才能超调小，时间短。

3.BP神经网络与模糊控制

模糊控制是运用语言归纳操作人员的控制策略，运用变量和模糊集合理论形成控制算法的一种控制。如何让机器像人一样识别、理解模糊规则并进行模糊逻辑推理，最终得出新的结论并实现自动控制是模糊控制研究的主要内容。模糊控制器的基本结构如图1所示。

图1 模糊控制结构

人工神经网络是由大量人工神经元经广泛互连二组成的，它可用来模拟脑神经系统的结构和功能。人工神经网络可以看成是以人工神经元为节点，用有向加权弧连接起来的有向图。BP网络是一种利用误差反向传播训练算法的神经网络，是一种有隐含层的多层前馈网络，系统地解决了多层网络中隐含单元连接权的学习问题。BP学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。也就是采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。网络学习过程是一种误差边向后传播边修正权系数的过程。其结构如图2所示。

图2中隐含层第一层神经元为7个，分别对应7个模糊子集：NB、NM、NS、ZO、PS、PM、PB。第二层49个神经元代表49条规则。第三层7个神经元代表输出的7个模糊子集。模糊控制不依靠对象的数学模型，但模糊规则的建立需要人工经验。采用BP算法对工程经验和专家经验的模糊规则进行训练，其实就是把模糊规则用神经网络来表示，即经过神经网络的学习，将模糊规则以加权系数的形式表现出来，规则的生成就转化为加权系数的确定和修改。

神经网络是大规模并行运算，但由于网络结构复杂，训练和学习需要大量的时间，所以目前还无法实现实时控制。在具体应用中，我们是先离线将神经网络的各层权值和阈值训练出来，将其参数固定下来，然后将有系统检测、计算得到的误差变化直接代入非线性映射关系中，由计算机算出控制量，再用作被控对象。在matlab下以、、为输出的BP网络仿真训练如图3、图4、图5所示。

4.模糊PID控制器的原理与仿真

对于某一BP神经网络控制系统，其中内部变化及被控对象的数学模型为：

利用模糊控制对PID参数实现在线调节，原理如图6。

图6 模糊PID控制原理图

采用Z-N法和试凑法相结合，借助MATLAB的SIMULINK平台，对被控对象进行常规PID仿真。参数值：kp=15，ki=6，kd=0.05。如图7。作为比较，建立模糊PID控制器的仿真模型如图8。

图9、图10分别为被控对象G（s）在阶跃输入下常规PID和模糊PID仿真结果的比较。

经过仿真发现，常规PID控制缺点是超调量大，调节时间长，动态性能差。优点是控制精度高，稳定性能好。模糊控制动态性能很好，上升速度快，基本无超调。但由于模糊化所造成的稳态误差，在没有积分环节的情况下很难消除，故稳态性能差。模糊PID继承了二者的优点，摒弃二者缺点，具有更全面优良的控制性能。

5.结论

针对大滞后、慢时变、非线性的复杂系统，提出了一种基于BP神经网络的模糊PID控制算法，该算法不依赖被控对象的精确数学模型，可实现在线自调整模糊规则，从而增强了模糊控制器的自学习能力。通过算法的仿真研究，验证了算法的可行性。

参考文献

[1]李华.计算机控制系统[M].北京：机械工业出版社，2007.

[2]高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2007.

[3]蔡自兴.智能控制[M].北京：电子工业出版社，2003.

[4]李国勇.智能控制及其MATLAB实现[M].北京：电子工业出版社，2005.

[5]张德丰.MATLAB神经网络应用设计[M].北京：机械工业出版社，2009.

[6]刘金琨.先进PID控制及其MATLAB仿真[M].北京：电子工业出版社，2003.

[7]刘玲.三容水箱的单神经元自适应PID控制研究[J].信息技术，2005，3（8）：32-137.

第3篇：神经网络学习规则范文

关键词 直觉模糊逻辑；直觉模糊规则；区间值描述；自适应直觉模糊神经网络

中图分类号：TP183 文献标识码：A 文章编号：1671-7597（2013）24-0045-02

基于自适应网络的模糊推理系统（ANFIS）采用反向传播算法和最小二乘法调整模糊推理系统的参数，并能自动产生模糊规则，堪称模糊神经网络的经典之作。自此，由于自适应模糊神经网络通过控制模糊规则的自动生成和修剪，可得到一个规则数更小和泛化能力更佳的网络结构，动态模糊神经网络就成为模糊神经网络研究的热点。为了克服动态模糊神经网络的高斯隶属度函数的不足，文献[1]在采用椭圆基函数使隶属函数宽度自适应输入变量的基础上，提出广义动态模糊神经网络（GD-FNN）。Gang等进一步将隶属函数宽度自适应于神经元，提出一种结构更为紧凑的自组织模糊神经网络（SOFNN）。

直觉模糊集是对模糊集最有影响的扩展，语义描述上具有独到的优势，并成功拓展到模糊推理、信息决策、非线性计算等领域。本文针对T-S模糊规则在语义描述上存在不足，在Xu最近提出的直觉模糊数运算的基础上给出了一种适合网络计算的直觉模糊规则，并将动态模糊神经网络拓展，提出了一种自适应直觉模糊神经网（AIFNN）结构。

1 直觉模糊逻辑和规则

模糊集的隶属函数值仅是一个单一值，不能同时描述支持、反对和犹豫。20世纪80年代末，Atanassov对Zadeh的模糊集合概念进行了一系列的拓展，提出了直觉模糊集的概念和理论。Gau于1993年提Vague集合理论，并构造了Vague集隶属度的子区间描述。最近，徐泽水教授提出了基于隶属度的区间值描述的直觉模糊集，并在直觉模糊集上构造了一系列运算规则。

定义1：（直觉模糊集）设是一个给定论域，则上的一个直觉模糊集为

（1）

其中定义隶属函数为：

非隶属函数为：

且恒有

并定义犹豫度或不确定度为：

定义2：（基于Vague集隶属度的直觉模糊集）设为上的一个Vague集，则的隶属函数满足：

（2）

即为[0，1]的子区间，重新定义直觉模糊集为，其中满足式（1），当退化为模糊集。

定义3：（基于区间值描述的直觉模糊规则）设区间值为神经网络结构中定义2给定的直觉模糊数区间值表示，表示直觉模糊数的隶属度中心，表示直觉模糊数的隶属度宽度，且满足

如是自然的将T-S模糊神经网络规则拓展为直觉模糊规则，具有以下的形式：

（3）

其中是直觉模糊集，为输入变量数，是直觉模糊规则数。

2 AIFNN结构和直觉模糊算子的数值计算

AIFNN的结构是一个六层的网络结构，如图1所示。

图1 AIFNN的结构

第一层：输入层，每个节点分别表示一个输入语言变量。

第二层：隶属函数层，每个节点分别表示一个直觉模糊隶属函数。隶属函数如下式所示：

（4）

其中，作为高斯隶属函数的中心，和 （ ）是高斯隶属函数的宽度。因此，节点隶属度函数的区间值输出。

第三层：范数层，每个节点分别代表一条直觉模糊规则中的if部分，采用一个简化的直觉模糊Bonferroni平均算子，第个节点的条件输出为区间值：

（5）

第四层：结论层，每个节点分别代表一条直觉模糊规则中的then部分，采用直觉模糊权重平均算子的变形，计算第个节点的结论输出为一区间值：

（6）

第五层：输出处理层，输出为，通过面积中心法进行求解，如下式所示：

（7）

其中和由归一化计算隶属度函数求得：

（8）

第六层：输出层，每一个节点都与一个语言变量相关联，通过去模糊化算子计算输出。

（9）

3 基于AIFNN的非线性函数逼近

通过典型的非线性函数逼近验证AIFNN算法的有效性，其试验效果图如图2所示。从图（a）可以看出，规则是一条一条地生成的；从图（b）可以看出，均方根误差陡峭的地方，表明该处生成了或删除了规则；图（c）为训练集的目标值和AIFNN输出的实际值的比较，期望值与实际值基本重合在一起；图（d）为训练集目标值与AIFNN输出的实际值之间的误差；图（e）为测试集的目标值和AIFNN输出的实际值的比较；图（f）为测试集目标值与AIFNN输出的实际值之间的误差。

为评估非线性函数逼近性能，采用误差平均百分比（APE）度量算法性能。

定义如下：

（10）

其中为第个样本的理想目标值，为第个样本的网络实际输出。

采用典型的三变量非线性函数为例，描述如下：

（11）

在定义域中随机选取216个训练样本和125个测试样本。

表1 非线性函数逼近性能比较

算法 规则数目 参数数目 训练APE 测试APE

ANFIS 8 50 0.043 1.066

GD-FNN 10 64 2.11 1.54

SOFNN 9 60 1.1380 1.1244

FAOS-PFNN 7 35 1.89 2.95

AIFNN 5 50 0.7420 0.9051

从表1可以看出，AIFNN生成的规则数最小，测试的APE最小，因此，生成的网络具有结构最紧凑和泛化性能最佳的特点。相对于GD-FNN和SOFNN性能显著提高，究其原因，高斯隶属函数的宽度对网络的结构和泛化能力影响巨大。AIFNN采用UKF学习高斯隶属函数宽度的环节，减小了对初值的依赖，并且精度能够达到二阶以上。更重要的是，AIFNN将高斯隶属函数的宽度定义为一个直觉模糊数的区间值表示，在不确定性表达和处理上更为灵活。

（a）规则的生成和删除 （b）均方根误差

（c）训练期望值与实际值 （d）训练函数值的误差

（e）测试期望值与实际值 （f）测试函数值的误差

图2 AIFNN非线性函数逼近

4 结束语

本文提出了AIFNN的结构，结构辨识和参数学习同时进行，采用动态的模糊规则的修剪策略。AIFNN将高斯隶属函数的宽度定义为一个直觉模糊数描述的区间值，在不确定性表达和处理上更为灵活。此外，AIFNN增加了一个用UKF学习高斯隶属函数宽度的环节，减小了对初值的依赖，并且精度能够达到二阶以上。因此，AIFNN训练的网络结构更为紧凑，泛化性能更佳。通过函数逼近实例，表明本文算法训练的神经网络的有效性，并且性能具有整体优势。

第4篇：神经网络学习规则范文

人脑是自生命诞生以来，生物经过数十亿年漫长岁月进化的结果，是具有高度智能的复杂系统，它不必采用繁复的数字计算和逻辑运算，却能灵活处理各种复杂的，不精确的和模糊的信息，善于理解语言、图象并具有直觉感知等功能。

人脑的信息处理机制极其复杂，从结构上看它是包含有140亿神经细胞的大规模网络。单个神经细胞的工作速度并不高（毫秒级），但它通过超并行处理使得整个系统实现处理的高速性和信息表现的多样性。

因此，从信息处理的角度对人脑进行探究，并由此研制出一种象人脑一样能够“思维”的智能计算机和智能信息处理方法，一直是人工智能追求的目标。

神经网络就是通过对人脑的基本单元---神经元的建模和联结，来探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。本文介绍神经网络的特征以及近年来有关神经网络和混沌理论、模糊计算和遗传算法等相结合的混合神经网络探究的动态。

一．神经网络和联结主义

回顾认知科学的发展，有所谓符号主义和联结主义两大流派。符号主义从宏观层次上，撇开人脑的内部结构和机制，仅从人脑外在表现出来的智能现象出发进行探究。例如，将记忆、判定、推理、学习等心理活动总结成规律、甚至编制成规则，然后用计算机进行模拟，使计算机表现出各种智能。

符号主义认为，熟悉的基本元素是符号，认知过程是对符号表示的运算。人类的语言，文字的思维均可用符号来描述，而且思维过程只不过是这些符号的存储、变换和输入、输出而已。以这种方法实现的系统具有串行、线性、准确、简洁、易于表达的特征，体现了逻辑思维的基本特性。七十年代的专家系统和八十年代日本的第五代计算机探究计划就是其主要代表。

联接主义则和其不同，其特征是从微观出发。联接主义认为符号是不存在的，认知的基本元素就是神经细胞（神经元），认知过程是大量神经元的联接，以及这种联接所引起的神经元的不同兴奋状态和系统所表现出的总体行为。八十年代再度兴起的神经网络和神经计算机就是这种联接主义的代表。

神经网络的主要特征是摘要：大规模的并行处理和分布式的信息存储，良好的自适应、自组织性，以及很强的学习功能、联想功能和容错功能。和当今的冯．诺依曼式计算机相比，更加接近人脑的信息处理模式。主要表现如下摘要：

神经网络能够处理连续的模拟信号。例如连续灰度变化的图象信号。

能够处理混沌的、不完全的、模糊的信息。

传统的计算机能给出精确的解答，神经网络给出的是次最优的逼近解答。

神经网络并行分布工作，各组成部分同时参和运算，单个神经元的动作速度不高，但总体的处理速度极快。

神经网络信息存储分布于全网络各个权重变换之中，某些单元障碍并不影响信息的完整，具有鲁棒性。

传统计算机要求有准确的输入条件，才能给出精确解。神经网络只要求部分条件，甚至对于包含有部分错误的输入，也能得出较好的解答，具有容错性。

神经网络在处理自然语言理解、图象模式识别、景物理解、不完整信息的处理、智能机器人控制等方面有优势。

符号主义和联接主义两者各有特色，学术界目前有一种看法摘要：认为基于符号主义得传统人工智能和基于联接主义得神经网络是分别描述人脑左、右半脑的功能，反映了人类智能的两重性摘要：精确处理和非精确处理，分别面向熟悉的理性和感性两个方面，两者的关系应该是互补而非互相代替。理想的智能系统及其表现的智能行为应是两者相互结合的结果。

接下去的新问题是，符号AI和联接AI具体如何结合，两者在智能系统中相互关系如何？分别扮演什么角色？目前这方面发表的文献很多，大致有如下几种类型摘要：

1．松耦合模型摘要：符号机制的专家系统和联接机制的神经网络通过一个中间媒介（例如数据文件）进行通讯。

2．紧耦合模型摘要：和松耦合模型相比较，其通讯不是通过外部数据进行，而是直接通过内部数据完成，具有较高的效率。其主要类型有嵌入式系统和黑板结构等。

3．转换模型摘要：将专家系统的知识转换成神经网络，或把神经网络转换成专家系统的知识，转换前的系统称为源系统，转换后的系统称为目标系统，由一种机制转成另一种机制。假如源系统是专家系统，目标系统是神经网络，则可获得学习能力及自适应性；反之，可获得单步推理能力、解释能力及知识的显式表示。当然，转换需要在两种的机制之间，确定结构上的一致性，目前主要新问题是还没有一种完备而精确的转换方法实现两者的转换。有待进一步探究。

4．综合模型摘要：综合模型共享数据结构和知识表示，这时联接机制和符号机制不再分开，两者相互结合成为一个整体，既具有符号机制的逻辑功能，又有联接机制的自适应和容错性的优点和特征。例如联接主义的专家系统等。

近年来神经网络探究的另一个趋向，是将它和模糊逻辑、混沌理论、遗传进化算法等相结合，即所谓“混合神经网络”方法。由于这些理论和算法都是属于仿效生物体信息处理的方法，人们希望通过她们之间的相互结合，能够获得具有有柔性信息处理功能的系统。下面分别介绍。

二．混沌理论和智能信息处理

混沌理论是对貌似无序而实际有序，表面上看来是杂乱无章的现象中，找出其规律，并予以处理的一门学科。早在七十年代，美国和欧洲的一些物理学家、生物学家、数学家就致力于寻求在许许多多不同种类的不规则性之间的联系。生物学家发现在人类的心脏中有混沌现象存在，血管在显微镜下交叉缠绕，其中也有惊人的有序性。在生物脑神经系统中从微观的神经膜电位到宏观的脑电波，都可以观察到混沌的性态，证实混沌也是神经系统的正常特性。

九十年代开始，则更进一步将混沌和神经网络结合起来，提出多种混沌神经网络模型，并探索应用混沌理论的各种信息处理方法。例如，在神经元模型中，引入神经膜的不应性，探究神经元模型的混沌响应，探究在神经网络的方程中，不应性项的定标参数，不定性时间衰减常数等参数的性质，以及这些参数于神经网络混沌响应的关系，并确定混沌---神经网络模型具有混沌解的参数空间。经过试验，由这种混沌神经网络模型所绘出的输出图形和脑电图极为相似。

现代脑科学把人脑的工作过程看成为复杂的多层次的混沌动力学系统。脑功能的物理基础是混沌性质的过程，脑的工作包含有混沌的性质。通过混沌动力学，探究、分析脑模型的信息处理能力，可进一步探索动态联想记忆、动态学习并应用到模式识别等工程领域。例如摘要：

对混沌的随机不规则现象，可利用混沌理论进行非线性猜测和决策。

对被噪声所掩盖的微弱信号，假如噪声是一种混沌现象，则可通过非线性辨识，有效进行滤波。

利用混沌现象对初始值的敏锐依靠性，构成模式识别系统。

探究基于混沌---神经网络自适应存储检索算法。该算法主要包括三个步骤，即摘要：特征提取、自适应学习和检索。

模式特征提取采用从简单的吸引子到混沌的层次分支结构来描述，这种分支结构有可能通过少数几个系统参数的变化来加以控制，使复杂新问题简单化。自适应学习采用神经网络的误差反传学习法。检索过程是通过一个具有稳定吸引子的动力学系统来完成，即利用输入的初始条件和某个吸引子（输出）之间的存在直接对应关系的方法进行检索。利用这种方法可应用于模式识别。例如黑白图象的人脸识别。

三．模糊集理论和模糊工程

八十年代以来在模糊集理论和应用方面，也有很大进展。1983年美国西海岸AI探究所发表了称为REVEAL的模糊辅助决策系统并投入市场，1986年美国将模糊逻辑导入OPS---5，并探究成功模糊专家系统外壳FLOPS，1987年英国发表采用模糊PROLOG的智能系统FRIL等。除此通用工具的研制以外，各国还开发一系列用于专用目的的智能信息处理系统并实际应用于智能控制、模式识别、医疗诊断、故障检测等方面。

模糊集理论和神经网络虽然都属于仿效生物体信息处理机制以获得柔性信息处理功能的理论，但两者所用的探究方法却大不相同，神经网络着眼于脑的微观网络结构，通过学习、自组织化和非线性动力学理论形成的并行分析方法，可处理无法语言化的模式信息。而模糊集理论则着眼于可用语言和概念作为代表的脑的宏观功能，按照人为引入的隶属度函数，逻辑的处理包含有模糊性的语言信息。

神经网络和模糊集理论目标相近而方法各异。因此假如两者相互结合，必能达到取长补短的功能。将模糊和神经网络相结合的探究，约在15年前便已在神经网络领域开始，为了描述神经细胞模型，开始采用模糊语言，把模糊集合及其运算用于神经元模型和描述神经网络系统。目前，有关模糊---神经网络模型的探究大体上可分为两类摘要：一类是以神经网络为主，结合模糊集理论。例如，将神经网络参数模糊化，采用模糊集合进行模糊运算。另一类以模糊集、模糊逻辑为主，结合神经网络方法，利用神经网络的自组织特性，达到柔性信息处理的目的。

和神经网络相比，模糊集理论和模糊计算是更接近实用化的理论，非凡近年来美国和日本的各大公司都纷纷推出各种模糊芯片，研制了型号繁多的模糊推理板，并实际应用于智能控制等各个应用领域，建立“模糊工程”这样一个新领域。日本更首先在模糊家电方面打开市场，带有模糊控制，甚至标以神经---模糊智能控制的洗衣机、电冰箱、空调器、摄象机等已成为新一代家电的时髦产品。我国目前市场上也有许多洗衣机，例如荣事达洗衣机就是采用模糊神经网络智能控制方式的洗衣机。

四．遗传算法

遗传算法（GeneticAlgorithm摘要：GA）是模拟生物的进化现象（自然、淘汰、交叉、忽然变异）的一种概率搜索和最优化方法。是模拟自然淘汰和遗传现象的工程模型。

GA的历史可追溯到1960年，明确提出遗传算法的是1975年美国Michigan大学的Holland博士，他根据生物进化过程的适应现象，提出如下的GA模型方案摘要：

1．将多个生物的染色体（Chromosmoe）组成的符号集合，按文字进行编码，称为个体。

2．定义评价函数，表示个体对外部环境的适应性。其数值大的个体表示对外部环境的适应性高，它的生存（子孙的延续）的概率也高。

3．每个个体由多个“部分”组合而成，每个部分随机进行交叉及忽然变异等变化，并由此产生子孙（遗传现象）。

4．个体的集合通过遗传，由选择淘汰产生下一代。

遗传算法提出之后，很快得到人工智能、计算机、生物学等领域科学家的高度重视，并在各方面广泛应用。1989年美国Goldberg博士发表一本专著摘要：“GeneticAlgorithmsinSearch，OptimizationandMachineLearning”。出版后产生较大影响，该书对GA的数学基础理论，GA的基本定理、数理分析以及在搜索法、最优化、机器学习等GA应用方面进行了深入浅出的介绍，并附有Pascal模拟程序。

1985年7月在美国召开第一届“遗传算法国际会议”（ICGA）。以后每隔两年召开一次。近年来，遗传算法发展很快，并广泛应用于信息技术的各个领域，例如摘要：

智能控制摘要：机器人控制。机器人路径规划。

工程设计摘要：微电子芯片的布局、布线；通信网络设计、滤波器设计、喷气发动机设计。

图象处理摘要：图象恢复、图象识别、特征抽取。

调度规划摘要：生产规划、调度新问题、并行机任务分配。

优化理论摘要：TSP新问题、背包新问题、图划分新问题。

人工生命摘要：生命的遗传进化以及自增殖、自适应；免疫系统、生态系统等方面的探究。

神经网络、模糊集理论和以遗传算法为代表的进化算法都是仿效生物信息处理模式以获得智能信息处理功能的理论。三者目标相近而方法各异；将它们相互结合，必能达到取长补短、各显优势的效果。例如，遗传算法和神经网络和模糊计算相结合方面就有摘要：

神经网络连续权的进化。

传统神经网络如BP网络是通过学习，并按一定规则来改变数值分布。这种方法有练习时间过长和轻易陷入局部优化的新问题。采用遗传算法优化神经网络可以克服这个缺点。

神经网络结构的进化。

目前神经网络结构的设计全靠设计者的经验，由人事先确定，还没有一种系统的方法来确定网络结构，采用遗传算法可用来优化神经网络结构。

神经网络学习规则的进化。

第5篇：神经网络学习规则范文

关键词：神经网络模糊控制PID控制

0 引言

随着我国市场经济的迅速发展，水对人民生活与工业生产的影响日益加强，与此同时用户对供水系统可靠性和供水质量的要求也越来越高；另外，资源的紧缺和人们环保意识的增加，如何把先进的自动化技术、控制技术、通讯及网络技术等应用到供水领域，成为对供水系统的新要求，因此无论是在性能方面考虑还是在节能方面考虑，供水系统都需要巨大的变革。

1 传统控制策略

由于变频调速恒压供水系统具有典型的大延迟性、非线性，而且城市用水具有季节性、时间性、水压扰动量大等特点。因此，虽然统治工业控制领域多年的传统PID控制有很多优点并且长期应用于供水系统，但是其固定参数模式致使其不适宜应用于恒压供水系统。由于PID控制拥有很多较好的优点，诸如：原理简单，使用方便，适应强，鲁棒性强等优点。因此在工业控制中人们往往还是会想到PID控制。根据被控对象的不同制定合适的KP、KI、KD参数，可以获得满意的控制效果。然而，PID控制并非尽如人意，因为PID控制适合系统模型非时变的情况。对于一个时变系统，由于PID的参数不会随系统变化而动态的调整KP、KI、KD参数，这样会使控制作用变差，甚至造成系统不稳定。

与传统PID控制相比，模糊控制具有很多优点。模糊控制是建立在模糊数学基础上的一种智能控制技术，可以达到传统控制策略无法达到的效果。模糊控制能较好得跟随系统状态的变化动态调整自身控制参数，不需要建立精确的控制对象模型，因而在实际上的应用越来越广泛。

但是作为一门较为新型的控制科学，还没有系统的方法来指导设计参数精良的模糊控制器。模糊控制器控制规则的确定以及其可调节性是对其控制效果影响最大的一方面。尤其是控制规则的合理制定是模糊控制中的重要部分。目前存在的主要问题是在建立模糊控制规则时要考虑若干参数的选择是否合适，恰当的选择参数是非常重要的。如在供水系统的水压控制中，系统误差和误差变化率的动态范围需要反复多次整定以满足控制需要。

尽管模糊推理系统的设计（隶属度函数及模糊规则的建立）不主要依靠对象的模型，但是它却相当依靠专家或操作人员的经验和知识。若缺乏这样的经验和知识，则很难期望它能够得到满意的控制效果。神经网络的出现很好的弥补了这一缺陷。神经网络系统的一大特点就是其自学习功能，将这种自学习的方法应用于对模糊特征的分析与建模上，产生了自适应的神经网络技术。这种自适应的神经网络技术对于模糊系统的模型建立是非常有效的工具。而自适应神经模糊系统就是基于数据的建模方法，该系统中的模糊隶属度函数及模糊规则是通过对大量已知数据的学习得到的，而不是基于经验或直觉任意给定的，这对于那些特性还不被人们所完全了解或者特性非常复杂的系统尤为重要。

神经网络可以与模糊控制相结合组成神经网络模糊控制，两者各有所长，神经网络能够通过给定的经验集学习并生成映射规则，但其规则不可见；模糊控制制定的规则虽然可见，但是其自学习能力欠缺，导致其规则的动态调整不足。因此有必要将上述两点结合。

2 新型控制策略

由于供水系统的非线性、大惯性及纯滞后性等特点，很显然单纯依靠PID、模糊控制和神经网络控制都不能实现很好的控制效果。因此可以考虑应用一种综合的控制策略以实现对供水系统的良好控制。基于此本文提出了一种新型控制策略――神经模糊PID控制算法，该算法可以综合以上各算法的优点，它不仅具有神经网络控制的自学习自组织能力，还具有模糊控制的鲁棒性强、适应性强的优点，另外还拥有PID控制的实现简单方便等优点，优于以往的算法。

如图显示了神经网络模糊PID控制器的结构框图，该控制器是由三部分组成：

①神经网络控制器：控制模糊规则的动态调整，通过神经网络的自学习，使模糊规则的生成转变为加权系数的确定和调节。根据供水系统的运行状态，调节PID控制器参数，使供水系统最终达到最优控制。

②模糊控制器：对系统的输入输出变量进行模糊化和归一化运算。这些运算的意义是鉴于模糊控制的强鲁棒性和非线性控制作用，对输入到神经网络的模糊规则进行预处理，避免了神经网络采用sigmoid激活函数时，由于输入过大而导致输出饱和。

③传统PID控制器：直接对供水系统的控制过程进行闭环控制，并且三个参数KP、KI、KD实行在线调节，使控制作用时刻跟踪系统的变化。

以上过程简要说来就是使输出层神经元的输出状态与PID控制器的KP、KI、KD参数相对应，这样可以通过神经网络的自学习能力实现加权系数调整，进而使其稳定状态与PID的最优控制相对应，最终利用PID控制器的输出u来实现对供水系统的水压的控制。

参考文献：

[1]刘萍丽.交流变频恒压供水控制器的设计.大连海事大学硕士学位论文.2005.

[2]谢静，韦力.新型恒压供水系统[J].应用能源技术，11，2010：42-45.

作者简介：

谢静（1968-），女，陕西省咸阳市人，讲师，硕士，研究方向：电工电子、控制工程理论及应用

第6篇：神经网络学习规则范文

1模糊系统的Takagi?Sugeno模型

模糊系统理论［11］是沟通经典数学的精确性与现实世界中大量存在的不精确性之间的桥梁。它是以模糊集合的形式表示系统所含的模糊性并能处理这些模糊性的系统理论，能够有效地处理系统的不确定性、测量的不精确性等模糊性。Takagi－Sugeno模糊系统（T－S模糊系统）作为函数模糊系统的一种特例，由于构成的各条规则采用线性方程式作为结论，使得模型的全局输出具有良好的数学表达特性，这在处理多变量系统时能有效地减少模糊规则个数，具有很大的优越性［12］。其规则表达如下［13］：式中：Rj为第j条模糊规则；xi为模糊语言变量；Aij（xi）为xi的第j个语言变量值，它是定义在xi论域上的一个模糊集合，相应的隶属度函数为μjAi（xi）；pkji为模糊系统参数；yj为根据模糊规则得到的输出；If部分是前提或前件，then部分是结论或后件。

2T?S模糊神经网络

模糊系统在模糊建模的过程中常存在学习能力缺乏，辨识过程复杂，模型参数优化困难等问题。而人工神经网络具有自学习、自组织和自适应的能力，具有强大的非线性处理能力。二者的结合构成模糊神经网络，可以有效地发挥模糊逻辑与神经网络的各自优势，弥补各自的不足［14］。

2．1T?S模糊神经网络的结构基于标准型的T－S模糊神经网络结构如图1所示。第5层是输出层，它所实现的是清晰化计算。T－S模糊神经网络由前件网络和后件网络两部分组成。前件网络用来匹配模糊规则的前件，其结构与图1的前4层结构完全相同；后件网络用来产生模糊规则的后件，由N个结构相同的并列子网络组成［15］。

2．2T?S模糊神经网络的学习算法T－S模糊神经网络需要学习的参数主要有后件网络的连接权pkki以及前件网络第二层各结点隶属函数的中心值ckj及宽度σkj。令上述T－S模型的参数pkji固定，则T－S模糊神经网络结构可简化为图1。简化结构本质上也是一种多层前馈网络，所以可仿照BP网络用误差反传的方法来设计调整参数的学习算法［15］。

3应用研究

以下通过实例介绍T－S模糊神经网络在地下水水质评价中的应用。

3．1研究区概况吉林省西部地区位于松嫩平原的西南部，地理坐标为东经123°09′～124°22′，北纬44°57′～45°46′。研究区东接吉林省长春市，南接四平市及辽宁省，西邻，北接黑龙江省，东北以嫩江、松花江和拉林河与黑龙江省为界。吉林省西部属半干旱半湿润的大陆性季风气候区，四季变化明显。该区多年平均气温3～6℃，多年平均降雨量为400～500mm。研究区大部分属于松嫩盆地，该盆地为一个巨大的含水层系统，埋藏有多层含水层，包括孔隙潜水含水层和承压水含水层（分别为浅层、中深层）、上第三系大安组、泰康组孔隙－裂隙含水层（深层）和白垩系下统及上统裂隙孔隙含水层（深层）。研究区的地下水补给来源主要为降水入渗，排泄以潜水蒸发和人工开采为主。

3．2原始数据原始数据取自于吉林西部2005年50个地下水水化学监测点的水质监测数据，结合研究区地下水水质状况，有针对性地选择了铁、氨氮、硝酸盐、亚硝酸盐、硫酸盐、氯化物、溶解性总固体、氟化物和总硬度共9项指标作为评价因子。地下水水

3．3神经网络的准备工作（1）训练样本、检验样本及其期望目标的生成。采用Mat－lab7．0的linspace函数在各级评价标准之间按随机均匀分布方式内插生成训练样本。各级评价标准之间生成500个，共2000个训练样本，以解决仅利用各级评价标准作为训练样本，导致训练样本数过少的问题［16］。检验样本用生成训练样本同理的方法生成400个样本。小于一级标准的训练样本和检验样本的期望目标为按照生成训练样本和检验样本的内例产生对应的0～1．5之间的数值；一、二级标准之间的训练样本和检验样本的期望目标为按照生成训练样本和检验样本的内例产生对应的1．5～2．5之间的数值；同理，二、三级和三、四级标准之间的训练样本和检验样本的期望目标为2．5～3．5、3．5～4．5之间的数值。（2）水质评价等级的划分界限。据上述生成训练样本与检验样本目标输出的思路可以确定一、二、三、四、五各级水的网络输出范围分别为：＜1．5、1．5～2．5、2．5～3．5、3．5～4．5、＞4．5。（3）原始数据的预处理。利用Matlab7．0中的mapminmax函数将原始数据归一化到0与1之间。

3．4T?S模糊神经网络的建立、训练、检验及水质评价

3．4．1T?S模糊神经网络的建立模糊神经网络的构建根据训练样本维数确定模糊神经网络输入／输出结点数、模糊隶属度函数个数。由于输入数据为9维，输出数据为1维，通过试错法确定模糊神经网络结构为9－18－1，即有18个隶属度函数。选择10组系数p0－p9，模糊隶属度函数中心和宽度c和σ随机得到，通过动态BP算法对网络的权值在线调整。隶属度函数采用高斯函数，模糊推理采用sum－product［14］，解模糊采用加权平均法。网络模型的概化如图1所示。T－S模糊神经网络的第3层输出为输入数据的隶属度函数；第4层输出为第条规则的平均激活度；后件网络实现了T－S模型模糊规则空间到输出空间的映射，输出为yj＝pkj0＋pjk1x1＋…＋pjkmxm和y＝∑αk×yj。

第7篇：神经网络学习规则范文

【关键词】模糊神经网络；建设工程；成本估算

当前我国建设工程的规模和数量急剧增加，在社会信息化建设的背景下，建设工程也要适应社会的需要加强建设管理部门的社会信息化建设。而工程项目的成本管理则是信息化建设的重要组成部分。原有的成本估算的方法，大多依靠工程造价管理人员的主观经验，但是在社会信息化背景下，这种估算方法已经不能满足工程建设精细化的需要，此时神经模糊网络系统结合了模糊理论和神经网络的优势开始出现，并逐渐成为当今建设工程成本估算的主要应用方法。模糊神经网络可以有效的处理非线性、模糊性的问题，拥有巨大的发展潜力。模糊神经网络主要是由人工神经系统和模糊系统结合而成。人工神经网络主要是模仿人脑的思维而形成，具有强大的自主学习和联想的能力，但是却不能很好的利用已有经验，因此存在一定的局限性。而模糊系统，可以很容易的利用已有经验，使问题推理的过程更加简捷。所以两者的结合，可以起到良好的优势互补的作用[1]。

一、模糊神经网络的基本状况

1.模糊神经网络的产生

模糊神经网络最早出现在日本，时间大致为上世纪80年代末。经过一段时间的发展，直到上世纪90年代初，欧美国家开始在此基础上加深了模糊神经网路在众领域的应用。目前模糊神经网络已经被应用到众多领域中，如工业控制领域、模式识别应用、软件估算领域等。而软件估算的应用就是本文主要探讨的应用方面。

2.模糊神经网络的特征

模糊神经网络实际上是模糊技术和人工神经技术有机结合的产物。这两种技术方法可以有效的对信息进行智能化处理。但是分开来看两者之前存在明显的优势互补的作用。具体的可以分为四个方面进行比较：（1）知识表达。模糊技术在知识的表达上具有表达清晰，便于理解的优势，而人工神经网络却存在知识表达不明确，不易理解的缺陷。（2）知识存储。模糊技术的知识存储特点是规则集中，而人工神经网络技术的存储特点则为分布式存储。（3）知识运用。模糊技术在知识的运用上具有计算量小的特点，而人工神经技术却正好相反具有计算量较大的优势。（4）知识获取。模糊技术具有不能自动获取的缺陷，而人工神经系统却可以自主进行学习 [2]。

二、模糊神经网络的建模应用

（一）模糊神经网络的设计

模糊神经网络，通常是由n个输入组合而成，并具有一定的结构特征（如图一所示）。模糊神经网络结构的设计，主要由四个层次组成。

在函数式（1）和（2）中，W1和W2可以看做是输入层到规则层的网络权值矩阵；而W2和B矩阵则可以看做是模糊子集在函数中的具体参数。此时可以对W2和B进行调节（即调节模糊子集在函数中的形状），这样做的目的是可以更好的对模糊规则进行调整。

3.推理层

每一条If-Then规则在表达上可以将其表示成在模糊集空间上的一个相关的模糊蕴涵关系。实际上模糊蕴涵具有多样的预算模式，而每一种不同的运算模式都可以对不同的模糊算子进行选择，这样便会产生多样的模糊推理规则。比较经常用到的规则通常有“乘积规则”以及“最大和最小的规则”，而再此设计中我们主要对“乘积规则”进行具体利用。具体如下所示：我们设T为模糊的算子，此时经过模糊推理的应用，可以将此层的输出表示为：

（二）网络权值调整

对模糊逻辑的参数的具体网络权值进行调整的目的，是为了更好达到输入和输出的取值。通常情况下这种调节方法被称作网络的参数训练。而常用的训练方法则为遗传算法。这种算法的形式主要是对生物进行的过程进行随机抽取的通过交叉和变异以有效减少初始值的一种具有全局性特征的优化方法，主要的实施步骤分为编码、适配度、遗传操作三个过程。

三、在建设工程成本估算中的具体应用

例如我们可以基于组合模糊神经网络，来估算某一建筑工程的成本估算。首先要采集相关的样本数据，然后经过讨论，选择出对工程成本影响较大的因素（如建筑整体面积、建设层数、装饰墙材料应用、房间构成等），将其设为X，此时可以看出建筑面积和建设的层数为一个确定的向量，设为X1，而装饰墙材料应用。

结语：

当前，有效的简化工程成本编制工作，完善成本估算数据的精确度的首要方法就是先进的成本管理手段的运用。而模糊神经网络进行工程成本估算的方法，具有简捷、精确的特性，对于弥补我国建设工程成本管理中的问题，具有重要的应用价值，需要通过我们不断的努力，使其更好的应用发展。

参考文献：

[1] 郝胜兰.基于模糊神经网络的房产软件项目成本估算研究[D].大连海事大学，2012.

第8篇：神经网络学习规则范文

关键词:学生综合素质评价;BP神经网络;算法设计

中图分类号:TP311文献标识码:A文章编号:1009-3044(2009)24-6786-03

BP neural Network Based on the Overall Quality of the Student Evaluation of Algorithm Design

ZHANG Wen-sheng

(Xiamen Gongshang Lvyou Xuexiao, Xiamen 3610012,China)

Abstract: In this paper, the overall quality of the students a variety of evaluation methods carried out in-depth analysis to explore the use of BP neural network theory to evaluate the feasibility of the overall quality, and BP neural network based on the overall quality of the student evaluation of algorithm design.

Key words: evaluation of the overall quality of students; BP neural network; algorithm design

学校德育教育是提高学生综合素质的重要一环,在学校工作中占有举足轻重的地位。德育涉及大量定性和定量的数据处理,为了体现其科学性和公平性,采用先进的计算机技术进行学生综合素质量化评估势在必行。

1 问题的提出

据调查,目前在学校里对学生素质评价的方法,主要有以下几种:

1) 定性描述法

在学期或学年结束时,班主任根据学生在班级、学校和社会活动中的行为表现,运用文字对学生的综合素质进行描述,作为对学生的评价。这种方法在评价学生综合素质时起过一定的作用,但是,由于教师对学生综合素质评价的内容不明确,要求不统一,带有一定的主观片面性和模糊性。

2) 等级划分法

班主任根据平时对学生的观察和了解,对学生的综合素质行为划分出优、良、中、差四个等级。它只能说明每个学生综合素质发展的程度,在班集体中所处的地位,但缺乏具体内容,学生对于自己或他人的优点和缺点、以及个人今后的努力方向都不明确。

3) 自我总结法

这种方法是以学生为主,在教师的指导下总结自己的收获,存在的问题、以及今后的努力方向,并写成书面材料,然后写在操行表的自我总结栏内。这种方法是以学生的自我评价为主,它对于提高学生的自我评价能力,具有一定的促进作用。但是,由于没有老师和同学们参加评价,其评价结果缺乏客观性。

4) 小组评议法

是以班级小组评议为主。通过开评议会的形式,对全组成员分别进行评议,肯定成绩,提出缺点,最后把大家的意见集中起来,作为对学生的评价结果。它具有一定的客观性,可是,没有教师参加评议,影响了评价结果的可信度。

上述各种方法的都有一定的长处,也有一定的缺点。例如,对学生的综合素质的结构,没有明确统一的规定和具体要求;不能同时吸收各方面的意见参加评价;没有制定较为符合需要的综合素质量表和采用科学的测量手段等等。所以,评价的结果往往带有主观片面性,评语内容的不确定性,以及处在同一等级的同学之间存在差异的模糊性。于是最近又提出了对学生综合素质定量进行测量和评价。

5) 定量分数法

将构成学生综合素质的各种因素数量化,并制定出综合素质量表。在具体的进行测量和评价时,把学生综合素质所含每种因素的发展程度分为优、良、中、差四个等级,每个等级分别对应一定的标准值。对不同因素确定不同的权重大小,再综合学生每个因素所取得的标准值,最后得出学生的综合素质分。

用定量的方法对学生的综合素质发展程度进行评价时,不同因素需要确定不同的权重大小。权重的大小对评估结果十分重要,它反映了各指标的相对重要性。由于对不同的因素的权重是人为给定的,而学生综合素质的各项因素对学生的整体素质存在不可确定的影响程度,因些在对学生的测量和评定过程中必然受到主观因素及模糊随机性的影响。并且这种方法需要消耗大量的人力和时间。

为了探讨这个问题,我们根据BP神经网络的基本概念和原理,用神经网络自我学习的方法,对中学生综合素质进行测量和评价。BP神经网络能利用经验样本对神经网络的训练,达到神经网络的自我学习,在网络中自动建立一个多输入变量与输出变量间的非线性映射过程,无需建立具体的数学模型和规则,可以处理那些难以用模型或规则描述的过程或系统。神经网络具有自组织、自学习、自适应的特点,能通过连接权重的不断调整,克服权重确定的困难,弱化人为因素,自动适应信息、学习新知识,最终通过学习训练对实际学习样本提出合理的求解规则,对学生的综合素质的整体评定具有十分重要的意义。首先我们来了解BP神经网络的基本原理。

2BP神经网络的基本原理

1) 神经元网络基本概念

神经网络是单个并行处理元素的集合,从生物学神经系统得到启发。在自然界,网络功能主要由神经节决定,可以通过改变连接点的权重来训练神经网络完成特定的功能。如图1所示。这里,网络将根据输出和目标的比较而进行调整,直到网络输出和目标匹配。

2) 神经元网络结构

图2所示为一个单标量输入且无偏置的神经元。

神经元输出计算公式为:a=f(wp+b)。神经元中的w和b都是可调整的标量参数。可以选择特定的传输函数,通过调整权重 和偏置参量 训练神经网络做一定的工作,或者神经网络自己调整参数以得到想要的结果。

3) BP结构及算法描述

在实际应用中,神经网络用得最广泛的是反向传播网络(BP网络),典型的BP网络是三层网络,包括输入层、隐含层和输出层,各层之间实行全连接。

BP网络是采用Widrow-Hoff学习算法和非线性可微传输函数的多层网络。网络的学习过程由正向和反向传播两部分组成。在正向传播过程中,每一层神经元的状态只影响到下一层神经元网络,如果输出层不能得到期望输出,就是实际输出值与期望输出值之间有误差,那么转入反向传播过程,将误差信号沿原来的连接通路返回,通过修改各层神经元的权值,逐次地向输入层传播去进行计算,再经过正向传播过程,这两个过程的反复运用,使得误差信号最小。实际上,误差达到人们所希望的要求时,网络的学习过程就结束了。

4) 反向传播算法

反向传播学习算法最简单的应用是沿着性能函数最速增加的方向一梯度的负方向更新权重和偏置。这种递归算法可以写成:

xk+1=xk-ak*gk

这里xk是当前权重和偏置向量,gk是当前梯度,ak是学习速率。在神经元中,学习速度又称为“学习速率”,它决定每一次循环训练中所产生的权值变化量(即该值的存在是神经元网络的一个必须的参数)。大的学习速度可能导致系统的不稳定,但小的学习速度将会导致训练较长,收敛速度很慢,通常情况下取值在0-01～0,8之间。

3 基于BP神经网络的学生综合素质量化评估模型

从上述对神经元网络基本概念的研究,我们可以看出BP神经网络主要根据所提供的数据,通过学习和训练,找出输入与输出之间的内在联系,从而求取问题的解,而不是完全依据对问题的经验知识和规则,因而具有自适应功能,这对于弱化权重确定中的人为因素是十分有益的;其次能够处理那些有噪声或不完全的数据,具有泛化功能和很强的容错能力;由于实际对学生量化评估往往是非常复杂的,各个因素之间相互影响,呈现出复杂的非线性关系,人工神经网络为处理这类非线性问题提供了强有力的工具。因此与其它评定方法相比,基于神经网络的评价方法越来越显示出它的优越性。结合学校对学生进行综合素质评估考核的具体问题,我们提出以下设计。

3.1量化评估内容的确定

1) 确定学生的综合素质结构

学生的综合素质结构,主要是根据一定历史阶段的社会要求、学校对学生的传统要求,以及各个不同年龄阶段学生心理和生理发展的特征来确定的,它具有一定的社会性、科学性、可行性。以教育部提出的职业学校学生发展目标为依据,评定内容包括:道德品质与公民素养、学习能力、交流与合作能力、运动与健康、审美与表现、职业技能等6个层次。每个层次又包括各种因素,各层次和因素之间又是相互联系和相互促进的,它既反映了社会的、学校的具体要求,又符合学生综合素质发展和形成的规律。当然,在实际评价学生中,可以根据学校的实际特点进一步确定各要素,进一步构成学生综合素质评价的综合评价指标体系。

2) 学生综合素质评价的结构设计

用BP神经网络进行学生综合素质评价结构的设计如图3所示。对学生的综合素质进行量化评估时,从输入层输入评价学生综合素质的n个评价指标因素信息,经隐含层处理后传入输入层,其输出值y即为学生评估结果。这n个评价指标因素的设置,要考虑到能符合学生综合素质发展和形成的规律,能全面评价学生的综合素质状况。

网络结构的参数选择十分重要,由于输入层与隐含层神经元个数的增加会增加网络的表达能力,不仅会降低系统的性能,同时也会影响其收敛速度和增加噪声干扰。所以首先必须确定输入层神经元的数目。为使模型即有理论价值又有可操作性,本例对应于对学生综合素质考核结构的六个因素,本文采用6个输入神经元,分别为道德品质与公民素养、学习能力、交流与合作能力、运动与健康、审美与表现、职业技能等评价指标。由于目前隐单元数尚无一般的指导原则,为了兼顾网络的学习能力和学习速度,隐含层神经元的个数选择采用试算法,在网络训练过程中进行调整。笔者首先选定15,用训练样本来学习,然后减少隐含层单元数后再进行学习,通过观察训练误差变化的大小来调整隐单元数。其原则是:若在减少隐单元数进行训练时过程平衡(即逐步收敛并达到较小的误差)且误差无显著增加,则说明减少隐单元数是合适的;否则表明隐单元数不宜减少,而应增加隐单元数直到满意为止。选择一个输入神经元为学生综合素质最终评价结果,分别以0、0,5、1对应于学生评议等级的优、良、中三种不同的评价结果。经过多次实验,最后得到适宜的网络模型为6-4-1网络模式。

3.2 量化评估模型

1) 指标体系的规范化处理

根据神经网络计算规则,为了保证输出在线性部分,不到两端去,应保证输入输出在0-1之间,反传达时也一样,输出应在0~1之间。因此要将原始数据归一预处理,变换为[0,1]区间的数值,得到规范化数据,作为输入输出节点的样本数据。原始数据采用我校高一年一个班级的50名学生的学生综合素质各项指标因素样本数据,将实际数据分为两组:前40名学生的各项指标因素成绩样本数据作为学习样本,后10名学生的成绩数据作为测试样本。

2) 学习算法

本模型采用6-4-1BP神经网络结构,其中输入层为6个指标值和一个阈值。模型初始化时对所有的连接权赋予(0,1)上分布的随机数,阈值取1。权值的修正依据带惯性因子的delta规则。根据多次试验的结果,其中,惯性因子α=0.075,学习率η=0.85,将样本数据40组为一次循环,每次循环记录40组样本中最大的学习误差。经过多次的学习,最后观察网络输入与期望输出的相对误差,当误差小于0.005时,学习结束。可以得到如果增大样本的个数,精度还会进一步提高。

本文探讨了神经网络在学生综合素质评价上的应用方法,可取得较为理想的结果,它可以解决用传统统计方法不能或不易解决的问题。但是由于它是一种黑盒方法,无法表达和分析评估系统的输入与输出间的关系,因此也难于对所得结果作任何解释,对求得的结果作统计检验;再者,采用神经网络作评价系统时,由没有一个便于选定最合适的神经网络结构的标准方法,只能花大量时间采用凑试法,从许多次实验中找出“最合适”的一种;还有样本数据需要足够的多,才能得到较为理想的结果。

参考文献:

[1] 高长梅,赵承志,白昆荣.学校德育工作全书(上)[M].北京:人民日报出版社,2005.

[2] 闻新,周露,李翔,张宝伟.MATLAB神经网络仿真与应用[M].北京:科学出版社,2008.

[3] J.P.Marques de sa,Pattern Recognition―Concepts,Methods and Applications[M].北京:清华大学出版社,2006.

第9篇：神经网络学习规则范文

人工神经网络是近年来迅猛发展的前沿课题，它对突破现有科学技术的瓶颈起到重大的作用。本文剖析了人工神经网络的特征、模型结构以及未来的发展趋势。

【关键词】人工神经网络 神经元 矩阵

1 人工神经网络概述

人工神经网络（ANN）是一种用计算机网络系统模拟生物神经网络的智能神经系统，它是在现代神经生物学研究成果的基础上发展起来的，模拟人脑信息处理机制的一种网络系统，它不但具有处理数值数据的计算能力，而且还具有处理知识的学习、联想和记忆能力。

人工神经网络模拟了大脑神经元的组织方式，反映了人脑的一些基本功能，为研究人工智能开辟了新的途径。它具有以下基本特征：

1.1 并行分布性

因为人工神经网络中的神经元排列并不是杂乱无章的，往往是以一种有规律的序列排列，这种结构非常适合并行计算。同时如果将每一个神经元看作是一个基本的处理单元，则整个系统可以是一个分布式处理系统，使得计算快速。

1.2 可学习性和自适应性

一个相对很小的人工神经网络可存储大量的专家知识，并能根据学习算法，或利用指导系统模拟现实环境（称为有教师学习），或对输入进行自适应学习（称为无教师学习），可以处理不确定或不知道的事情，不断主动学习，不断完善知识的存储。

（3）鲁棒性和容错性

由于采用大量的神经元及其相互连接，具有联想映射与联想记忆能力，容错性保证网络将不完整的、畸变的输入样本恢复成完整的原型，鲁棒性使得网络中的神经元或突触遭到破坏时网络仍然具有学习和记忆能力，不会对整体系统带来严重的影响。

1.3 泛化能力

人工神经网络是大规模的非线性系统，提供了系统协同和自组织的潜力，它能充分逼近任意复杂的非线性关系。如果输入发生较小变化，则输出能够保持相当小的差距。

1.4 信息综合能力

任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中，能同时处理定量和定性的信息，适用于处理复杂非线性和不确定对象。

2 人工神经网络模型

神经网络是在对人脑思维方式研究的基础上，将其抽象模拟反映人脑基本功能的一种并行处理连接网络。神经元是神经网络的基本处理单元。

在神经网络的发展过程中，从不同角度对神经网络进行了不同层次的描述和模拟，提出了各种各样的神经网络模型，其中最具有代表性的神经网络模型有：感知器、线性神经网络、BP网络、自组织网络、径向基函数网络、反馈神经网络等等。

3 神经元矩阵

神经元矩阵是神经网络模型的一种新构想，是专门为神经网络打造的一个矩阵，它符合神经元的一切特征。

神经元矩阵采用矩阵形式，它可为n维向量组成。引入向量触头和信使粒的概念，向量触头可生长，即长度可变，方向可变，信使粒可“游荡”在矩阵中，建立各种联系。如图1即是神经元矩阵模型

（1）容器可产生一种无形的约束力，使系统得以形成，容器不是全封闭的，从而保证系统与外界的沟通和交互；各向量间可用相互作用的力来联系，而各个信使粒则受控于容器、中空向量以及其它的信使粒。各神经元之间自主交互，神经元矩阵是一种多层次的管理，即一层管理一层。系统具有明显的层级制和分块制，每层每块均独立且协同工作，即每层每块均含组织和自组织因素。

（2）向量触头是中空的，信使粒可以通过向量或存储于向量中，所以又称为中空向量。向量存储了信使粒后，可以吸引更多的信使粒在附近，或使邻近向量转向、伸长，进而形成相对稳定的信息通路。

（3）当两条或更多的信息通路汇集时，可能伴随着通路的增强、合并，以及信使粒的聚集、交换，这是神经元矩阵运算的一种主要形式。通路的形成过程，也就是是神经元矩阵分块、分层、形成联接的过程，也为矩阵系统宏观管理、层级控制的实现奠定了基础。

神经元矩阵亦是一种具有生物网络特征的数学模型，综合了数学上矩阵和向量等重要概念，是一种立体的矩阵结构。尤其是将矩阵的分块特性和向量的指向特征结合起来，更好的体现了神经网络的整体性和单元独立性，系统的组织和自组织特征也更为凸显。信使粒以“点”的数学概念，增强了系统的信息特征，尤其是增强了矩阵的存储和运算功能。

4 人工神经网络的发展趋势

人工神经网络是边缘叉科学，它涉及计算机、人工智能、自动化、生理学等多个学科领域，研究它的发展具有非常重要意义。针对神经网络的社会需求以及存在的问题，今后神经网络的研究趋势主要侧重以下几个方面。

4.1 增强对智能和机器关系问题的认识

人脑是一个结构异常复杂的信息系统，我们所知道的唯一智能系统，随着信息论、控制论、计算机科学、生命科学的发展，人们越来越惊异于大脑的奇妙。对人脑智能化实现的研究，是神经网络研究今后的需要增强的地发展方向。

4.2 发展神经计算和进化计算的理论及应用

利用神经科学理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法和性能，使离散符号计算、神经计算和进化计算相互促进，开发新的网络数理理论。

4.3 扩大神经元芯片和神经网络结构的作用

神经网络结构体现了结构和算法的统一，是硬件和软件的混合体，神经元矩阵即是如此。人工神经网络既可以用传统计算机来模拟，也可以用集成电路芯片组成神经计算机，甚至还可以生物芯片方式实现，因此研制电子神经网络计算机潜力巨大。如何让传统的计算机、人工智能技术和神经网络计算机相融合也是前沿课题，具有十分诱人的前景。

4.4 促进信息科学和生命科学的相互融合

信息科学与生命科学的相互交叉、相互促进、相互渗透是现代科学的一个显著特点。神经网络与各种智能处理方法有机结合具有很大的发展前景，如与专家系统、模糊逻辑、遗传算法、小波分析等相结合，取长补短，可以获得更好的应用效果。

参考文献

[1]钟珞.饶文碧.邹承明著.人工神经网络及其融合应用技术.科学出版社.