人工神经网络概念精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的人工神经网络概念主题范文，仅供参考，欢迎阅读并收藏。

第1篇：人工神经网络概念范文

    论文摘要:随着计算机技术的飞速发展,智能计算方法的应用领域也越来越广泛。本文介绍了当前存在的一些智能计算方法,阐述了其工作原理和特点,同时对智能计算方法的发展进行了展望。

    The Analysis for Several Classic Algorism of Intellegence Computation

    YANG Ming-hui

    (Wuhan University of Technology, Wuhan 430074, China)

    Abstract: As the computer technology develops fast, the field for intelligence algorism become wider and wider.In this paper, I introduce some methods for intelligence, and analyze their Principles and characters, finally make a Forecast of the develop of integellence computation.

    Key words:Intelligence Computation; Artificial Neural Network Algorithm;Genetic algorithm;Annealing Algorithm

    1 引言

    智能算法也称作为“背影算法”,是人们从现实的生活中的各种现象总结出来的算法。它是从自然界得到启发,模仿它的原理而得到的算法,这样我们可以利用仿生原理进行设计我们的解决问题的路径,这就是智能计算的思想。这方面的内容很多,如人工神经网络技术、遗传算法、模拟退火算法等,下面分别对其进行分析。

    2 人工神经网络算法

    2.1 人工神经网络(ARTIFICIAL NEURAL NETWORK,简称ANN)

    人工神经网络是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世纪40年代初期,心理学家McCulloch、数学家Pitts就提出了人工神经网络的第一个数学模型,从此开创了神经科学理论的研究时代。其后,F Rosenblatt、Widrow和J. J .Hopfield等学者又先后提出了感知模型,使得人工神经网络技术得以蓬勃发展。

    2.2 人工神经网络的特点

    人工神经网络的知识存储容量很大。在神经网络中,知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息,而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。

    由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大,使得它具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清,神经网络仍然能够联想思维存在于记忆中的事物的完整图像。只要输入的模式接近于训练样本,系统就能给出正确的推理结论。

    正是因为人工神经网络的结构特点和其信息存储的分布式特点,使得它相对于其它的判断识别系统,如:专家系统等,具有另一个显着的优点:健壮性。生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。最有力的证明是,当一个人的大脑因意外事故受轻微损伤之后,并不会失去原有事物的全部记忆。人工神经网络也有类似的情况。因某些原因,无论是网络的硬件实现还是软件实现中的某个或某些神经元失效,整个网络仍然能继续工作。

    人工神经网络是一种非线性的处理单元。只有当神经元对所有的输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网络是一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为基础的数字电子计算机的局限,标志着人们智能信息处理能力的一大飞跃。

    3 遗传算法

    3.1 特点

    遗传算法是解决搜索问题的一种通用算法,对于各种通用问题都可以使用。搜索算法的共同特征为:(1)首先组成一组候选解;(2)依据某些适应性条件测算这些候选解的适应度;(3)根据适应度保留某些候选解,放弃其他候选解;(4)对保留的候选解进行某些操作,生成新的候选解。在遗传算法中,上述几个特征以一种特殊的方式组合在一起:基于染色体群的并行搜索,带有猜测性质的选择操作、交换操作和突变操作。这种特殊的组合方式将遗传算法与其它搜索算法区别开来。

    遗传算法还具有以下几方面的特点:

    (1)遗传算法从问题解的串集开始嫂索,而不是从单个解开始。这是遗传算法与传统优化算法的极大区别。传统优化算法是从单个初始值迭代求最优解的;容易误入局部最优解。遗传算法从串集开始搜索,覆盖面大,利于全局择优。

    (2)许多传统搜索算法都是单点搜索算法,容易陷入局部的最优解。遗传算法同时处理群体中的多个个体,即对搜索空间中的多个进行评估,减少了陷入局部最优解的风险,同时算法本身易于实现并行化。

    (3)遗传算法基本上不用搜索空间的知识或其它辅助信息,而仅用适应度函数值来评估个体,在此基础上进行遗传操作。适应度函数不仅不受连续可微的约束,而且其定义域可以任意设定。这一特点使得遗传算法的应用范围大大扩展。

    3.2 运用领域

    前面描述是简单的遗传算法模型,可以在这一基本型上加以改进,使其在科学和工程领域得到广泛应用。下面列举了一些遗传算法的应用领域:(1)优化:遗传算法可用于各种优化问题。既包括数量优化问题,也包括组合优化问题;(2)程序设计:遗传算法可以用于某些特殊任务的计算机程序设计;(3)机器学习:遗传算法可用于许多机器学习的应用,包括分类问题和预测问题等。

    4 退火算法

    模拟退火算法来源于固体退火原理,将固体加温至充分高,再让其徐徐冷却,加温时,固体内部粒子随温升变为无序状,内能增大,而徐徐冷却时粒子渐趋有序,在每个温度都达到平衡态,最后在常温时达到基态,内能减为最小。根据Metropolis准则,粒子在温度T时趋于平衡的概率为e-ΔE/(kT),其中ΔE为温度T时的内能,ΔE为其改变量,k为Boltzmann常数。用固体退火模拟组合优化问题,将内能E模拟为目标函数值f ,温度T演化成控制参数t,即得到解组合优化问题的模拟退火算法:由初始解i和控制参数初值t开始,对当前解重复“产生新解计算目标函数差接受或舍弃”的迭代,并逐步衰减t值,算法终止时的当前解即为所得近似最优解,这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。退火过程由冷却进度表(Cooling Schedule)控制,包括控制参数的初值t及其衰减因子Δt,每个t值时的迭代次数L和停止条件S。

    5 展望

    目前的智能计算研究水平暂时还很难使“智能机器”真正具备人类的常识,但智能计算将在21世纪蓬勃发展。不仅仅只是功能模仿要持有信息机理一致的观点。即人工脑与生物脑将不只是功能模仿,而是具有相同的特性。这两者的结合将开辟一个全新的领域,开辟很多新的研究方向。智能计算将探索智能的新概念,新理论,新方法和新技术,而这一切将在以后的发展中取得重大成就。

第2篇：人工神经网络概念范文

随着我国经济的快速发展，大量的工程建设也相继展开，同时在工程建设中也出现了边坡稳定性的问题，而这些边坡是影响工程建设质量的重要因素。边坡的稳定性是工程建设研究的重要方向，在建筑工程、道路工程等很多工程中都与边坡的稳定性有关。边坡工程是一个不断变化的动态过程，其变形破坏机理非常复杂。边坡稳定的因素有很多，如地质因素、工程因素等，还有其本身的不确定性。边坡的稳定性对工程建设具有重大的影响，因此，如何科学合理的设计边坡工程对工程建设的顺利进行具有非常重要的意义。目前，边坡稳定性的评价方法有很多，但是这些方法由于受到人为因素的影响，且应用起来有不确定性，并没有得到广泛的应用。本文利用人工神经网络的知识来评价边坡的稳定性，通过人工神经网络结构上的特点探索影响边坡稳定性的因素，从而保证边坡工程的稳定性，促进工程建设的快速发展。

关键词：人工神经网络；边坡工程；稳定性；贡献

Abstract:With the rapid development of our country's economy, a lot of engineering construction, one after another in the engineering construction at the same time also appeared a slope stability problem, and the slope are important factors affecting the quality of project construction. Slope stability is one of the important direction, construction research in construction engineering, road engineering, etc. Many projects are related to the stability of the slope. Slope engineering is a constantly changing dynamic process, the deformation failure mechanism is very complicated. Slope stability factors are many, such as geological factors, engineering factors and so on, and its uncertainty. Slope stability has a significant influence on engineering construction, therefore, how to scientific and reasonable design of slope engineering smooth going on of the project construction has very important significance. At present, the slope stability evaluation method are many, but these methods under the influence of artificial factors, and the application to have uncertainty, has not been widely used. In this paper, using the knowledge of the artificial neural network to evaluate the slope stability, by artificial neural network structural characteristics to explore the influencing factors of slope stability, thus ensuring the stability of the slope engineering, to promote the rapid development of engineering construction.

Keywords: artificial neural network; Slope engineering; Stability; Contribution to the

中图分类号： TP183文献标识码：A

1 边坡稳定性的研究现状

边坡的变形和破坏会对工程建设造成重大的影响，边坡的稳定性受到很多因素的影响，从范围上来说，主要包括自然因素和人为活动因素。水文、地质、人为工程活动都可能造成边坡稳定性的破坏，其中边坡应力的变化和发展是造成边坡稳定性破坏的根本原因。具有代表性的造成边坡失稳的因素如下：地下工程开挖后，由于地下土层应力的突然释放对边坡原有应力状态的影响；边坡上堆积物的载重传播到边坡上的影响；边坡土层暴露在自然环境中遭受外部环境风化的影响；地下水的流动对边坡土层强度的影响。

工程地质是边坡稳定性问题需要考虑的重要因素，它主要有以下两个主要任务：第一是要准确的评价和预测与人为工程活动关系密切的天然边坡和人工边坡的稳定性、变化规律和发生破坏的几率；第二是为科学合理的设计边坡、保证边坡的稳定性、采取有力的边坡防治措施提供准确可靠的依据。而边坡问题的出现总是和边坡的变形和破坏有关，为了准确的评价和预测边坡工程的稳定性，首先要确定边坡是否可能发生变形与破坏以及变形和破坏的方式和规模。因此边坡稳定性的工程地质要分析和研究边坡变形和破坏的规律。边坡变形和破坏表明了边坡土层在不同的条件下变化的过程，同时为边坡变形破坏力学模型的建立提供了重要依据。

边坡工程稳定性的研究边坡工程的重要组成部分，越来越多的专家和研究人员加入到边坡稳定性研究的队伍中，它会随着边坡工程的建设一直发展下去。

2 人工神经网络概述

2.1 人工神经网络的概念

人工神经网络是人工智能科学的一个重要分支，在21世纪得到了快速发展，通过人工神经元之间的连接来处理网络信息，来实现类似人的活动和行为，以网络元件建立知识与信息的关系，而构成的一种信息处理体系。神经元之间的变化过程决定了网络的学习。神经网络在学习、信息处理、网络模式识别等方面起着重要的作用，因此，它能将所有的控制因素考虑进去。

2.2 评价信息表达

由于边坡稳定性的影响因素很多，定性的数据和资料错综复杂，因此，要把这些定性的数据进行量化，然后再输入神经网络。边坡结构的高度、坡角等数据可直接进行实际测定；岩体结构类型和质量类别等无法直接测定的数据要通过等级数字代码来确定；岩体的岩性、破坏类型等定性数据则通过数字代码来确定。将这些定性的数据进行量化处理后，所有的信息数据就可以通过神经网络来处理，同时还能影响边坡稳定性因素的影响程度。显而易见，当我们获得更多的原始信息，就能更加准确的确定边坡的特征，同时表达边坡稳定性因素的关系也更加复杂，通过神经网络的计算，就能确定边坡稳定性的评价信息，也就是边坡的稳定状态。

2.3 人工神经网络的算法

人工神经网络是通过对人类大脑的结构和运行模式进行研究而模拟其结构和行为的工程系统。从20世纪40年代开始，人工神经网络的数学模型被第一次提出，从此人工神经网络的研究得到了快速发展，随后很多专家和研究人员提出了其他的模型，极大地丰富了人工神经网络的研究内容。

近年来，前馈神经网络模型BP是在工程建设中应用最为广泛的模型，其结构由输入层、隐含层和输出层三部分组成，其中输入层由N个神经元组成，隐含层由P个神经元组成，输出层由q个神经元组成。假设有i个学习样本，F为输出层神经元的平方误差，就构成了BP网络结构。在学习的过程中，神经元连接出现的错误为网络输出的误差，输入层接收输出层的神经元的误差后，分配给每一个神经单元，最终确定各层神经元的参考误差。

前向计算过程和误差接收过程共同组成了BP网络学习过程，其分为以下三步进行：

（1）网络初始化：输入学习率a和b，确定学习误差e，确定权重矩阵U、V的初始值；

（2）确定学习样本的输入值和期望输出值，计算网络节点的具体数值，计算输出层和隐含层的误差，最后对各边权值进行调整；

（3）通过改变学习效率a和b，使BP算法更加合理，重复进行计算一直到代价函数F小于学习误差e，整个学习过程就结束了。

3 人工神经网络在边坡稳定性中的应用

由于影响边坡稳定的因素的多样性和不确定性，这些影响因素和边坡稳定性之间的关系非常复杂，所以边坡工程是一个极其复杂的非线性系统。而人工神经网络通过人工神经元之间的连接来获取网络信息，它能解决复杂的非线性问题，所以人工神经网络在边坡工程稳定性中的应用是非常必要的。通过对现实中的边坡工程进行学习，人工神经网络把学习得到的结果储存起来，并作为网络的权值。输入影响边坡工程稳定性的各种因素，包括定性和定量因素，通过人工神经网络系统的计算和处理，就会输出边坡稳定性的实际情况，人工神经网络就会建立影响边坡稳定性的因素和边坡稳定性现实情况的非线性关系。人工神经网络通过建立的这种非线性关系就能够对新的边坡稳定性做出详细准确的评价。大量的应用实例表明，通过人工神经网络对边坡工程的稳定性进行评价是一种切实可行且科学合理的方法。

4 结语

通过人工神经网络在边坡稳定性中的应用实例可以看出，人工神经网络对边坡稳定性的应用具有较好的适应性，并且可以准确地分析和评价边坡工程的稳定性。影响边坡稳定性的定性和定量因素会被纳入到人工神经网络系统中，因为人工神经网络是以边坡工程变形和破坏的实例作为主要内容，所以学习样本的准确性和内容的完备性决定了边坡工程稳定性的评价是否准确，如果信息准确完备，就能达到预期的效果。人工神经网络在边坡稳定性评价中具有很好的实用性，相信在以后的边坡工程建设中会得到广泛的应用。

参考文献

[1] 童树奇.人工神经网络在边坡工程中的应用研究[J]. 广东土木与建筑. 2006(09).

[2] 陈华明.基于神经网络技术的边坡稳定性研究[J]. 科技创新导报. 2007(35).

第3篇：人工神经网络概念范文

【关键词】 图像识别技术 神经网络识别

模式识别研究的目的是用机器来模拟人的各种识别能力―比如说模拟人的视觉与听觉能力，因此图像识别的目的是对文字、图像、图片、景物等模式信息加以处理和识别，以解决计算机与外部环境直接通信这一问题。可以说，图像识别的研究目标是为机器配置视觉“器官”，让机器具有视觉能力，以便直接接受外界的各种视觉信息。

一、图像识别系统

一个图像识别系统可分为四个主要部分：被识图像、图像信息获取、图像预处理、图像特征提取、分类判决。

二、图像识别方法

图像识别的方法很多，可概括为统计（或决策理论）模式识别方法、句法（或结构）模式识别方法、模糊模式识别方法以及神经网络识别方法。重点介绍神经网络识别方法。

2.1神经网络识别方法

2.1.1人工神经网络的组成

人工神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。

2.1.2人工神经网络的输出

2.1.3人工神经网络的结构

人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。常见的连接模型有：前向网络、从输入层到输出层有反馈的网络、层内有互联的网络及互联网络。

2.1.4 学习算法

1）感知器模型及其算法

算法思想：首先把连接权和阈值初始化为较小的非零随机数，然后把有n个连接权值的输入送入网络中，经加权运算处理后，得到一个输出，如果输出与所期望的有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。

2）反向传播模型及其算法

反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。

算法思想是：B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程包括正向传播和反向传播。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果；反向传播用于逐层传递误差，修改神经元之间的连接权值，使网络最终得到的输出能够达到期望的误差要求。

B-P算法的学习过程如下：

第一步：选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成；第二步：从训练样例集中取出一样例，把输入信息输入到网络中；第三步：分别计算经神经元处理后的各层节点的输出；第四步：计算网络的实际输出和期望输出的误差；第五步：从输出层反向计算到第一个隐层，并按照某种原则（能使误差向减小方向发展），调整网络中各神经元的权值；第六步：对训练样例集中的每一个样例重复一到五的步骤，直到误差达到要求时为止。

3）Hopfield模型及其学习算法

它是一种反馈型的神经网络，在反馈网络中，网络的输出要反复地作为输入再送入网络中，使得网络具有了动态性，因此网络的状态在不断的改变之中。

算法思想是：

（a） 设置互连权值

其中xis是s类样例的第i个分量，它可以为1或0，样例类别数为m，节点数为n。

（b） 未知类别样本初始化。 Yi（0）=Xi 0≤i≤n-1

其中Yi（t）为节点I在t时刻的输出，当t=0时，Yi（0）就是节点I的初始值，Xi为输入样本的第I个分量。

（c） 迭代直到收敛

第4篇：人工神经网络概念范文

关键词　人工神经网络模型，人工语法学习，自动联系者，序列学习，简单循环网络。

分类号 B842

1 引言

人工神经网络模型（Artificial Neural Network Model，简称ANN），顾名思义，就是用人造的程序、机械或设备来模拟人脑神经网络的模型。人工神经网络模型的用途有二：（1）发明基于神经网络的人工智能系统，来模拟人的学习、记忆、推理等智能活动，以服务于人类的现实生活；（2）构建各种心理活动和心理过程的模型，以为各种心理学理论提供支持。前者是自动化、通信、制造、经济领域关注的，我们平时所见的语音识别、经济领域使用的股票走势预测等智能系统大多是基于人工神经网络模型研制出来的。而后者则是心理学家所关注的领域。至今，人工神经网络模型已被用来模拟诸如知觉、记忆、学习、判断等各种心理活动，以解释矛盾的实验数据，为有关的心理学理论提供丰富的证据。

和其他领域的研究者们一样，内隐学习领域的研究者们也注意到了这一行之有效的工具。Cleeremans（1993）指出根据已有的内隐学习理论构造人工神经网络模型，将模型的输出数据与人类被试的实验数据进行比较，能为原有的理论观点提供证据[1]。Dienes和Perner（1996）也有类似的看法[2]。然而，在发挥人工神经网络模型在内隐学习研究上的功效之前，必须解决如下问题：人工神经网络模型是否正如Cleeremans等所言适用于内隐学习研究？如果是，用哪类人工神经网络模型来模拟内隐学习？

2 人工神经网络模型的工作原理及其研究内隐学习的适用性

人工神经网络模型之所以适用于内隐学习，是因为它的基本工作原理和内隐学习的两个本质特征有着惊人的相似。

2.1 人工神经网络模型的工作原理

早在20世纪40年代，便有研究者对人工神经网络模型的工作原理做了最初的尝试。1943年，McCulloch和Pitts用类似“开关”的阈限逻辑单元（Threshold Logic Unit）**来模拟神经元，并将多个这样的单元以相等的强度（权重）连接起来，形成网络，这就是著名的MP模型[3]。1949年，Hebb在论述条件反射的形成时，无意间提到了神经元间连接强度更新的重要法则，即两个彼此相连的神经元同时激活或同时抑制，都能增加神经元间的连接强度，后人称此为Hebb法则[4]。然而，MP模型和Hebb法则都不能构成真正意义**上的神经网络模型，虽然，MP模型已经具备将多个神经元连接起来，形成网络的雏形，但是由于不同单元间的连接强度相等，且恒定不可变化，MP模型不具备人工神经网络的基本特征――学习性；而Hebb虽然提出了权重变化的一条有效法则，但却未将其应用到人工神经网络中来。真正将神经元连接成网络的思想与借助于权重更新使网络具有学习性的思想综合在一起的要属Rosenblatt。

Rosenblatt（1958）提出了第一个真正意义上的人工神经网络模型――感知器（Perceptron）[5]。其基本工作原理为：整个感知器由多个不同层次的加工单元组成，每个加工单元的功能类似于单个神经元或一组神经元，它能接收来自前一层的几个加工单元的激活，并综合这些激活，对此进行简单运算（例如：判断总激活量是否达到某一阈限），然后将运算的结果传递给下一层的加工单元。第一层单元的激活模式反映了外部刺激状态，即模型的输入，而最后一层单元的激活模式则为模型的输出反应。某个单元对下一层的另一个单元的影响取决于两个单元之间连接的强度（权重）。为了在给定输入的情况下，使模型获得类似于人类被试的输出反应，必须不停地调节单元与单元间的连接权重。所以，在构建合适的人工神经网络模型时，研究者往往会先设置一系列初始权重，然后不断地给予模型不同的输入模式，在每个特定输入后，比较模型输出与正确输出间的差异，并据此调整单元间的连接权重，这一过程不断进行，直到模型输出和正确输出间的差异达到最小值，此时，模型便完成了整个学习过程。图1为一个典型感知器的例子，它旨在判断呈现于视网膜的光条是垂直的还是水平的。整个感知器由3个加工单元层组成，第一层为网膜层，即将整个视网膜分割为10×10的网格，用每个网膜单元对应于一个网格，共100个单元，当光条落

图1 感知器例子（资料来源：文献[3]）

在视网膜的某几个网格上时，这些网格所对应的网膜单元被激活。第二层为联系层，其中的每个单元总是和某些网膜单元间存在兴奋或抑制连接，不论兴奋还是抑制连接，强度都是恒定的1或-1，当与联系单元连接的网膜单元的总激活量达到联系单元的激活阈限时，联系单元被激活，例如图1，Aj的接收到的总激活量为1＋1＋1-1＝2，如果Aj的阈限为2，那么2＝2，Aj被激活。第三层为反应层，其中只包括一个反应单元，它与所有的联系单元连接，连接权重为Wj，其中，j表示第j个联系单元。反应单元将综合来自联系单元的激活信息，即将每个联系单元的激活量乘以它们之间的连接权重，然后简单求和，得出总激活量，并判断激活是否达到阈限，公式表示如下：

aR为反应单元的激活水平，aj为联系单元的激活水平，θ为阈限值。如果，总激活量达到反应单元的阈限，反应单元被激活（激活量为1），感知器决定光条为垂直，否则，反应单元不被激活（激活量为0），感知器反应光条为水平。当然，感知器必须经过一个漫长的学习阶段，才能完成这一简单的判断任务。在学习阶段，感知器接受各种不同的水平和垂直光条刺激，并一一做出反应，当反应正确时，连接权重不做任何调整，一旦反应错误，感知器会自动调整联系单元与反应单元间的权重，比如：当反应单元的激活量为0时，而实际光条为垂直，说明反应单元所接收到的总激活量小于阈限，此时，则应增大那些被激活的联系单元与反应单元间的连接权重，以提高总激活量，使其更有可能达到阈限，致使在下次刺激呈现时，感知器更易做出正确反应。当然，Rosenblatt的感知器除了能调整权重外，还会调整反应单元阈限。这种通过逐步调整连接权重和阈限，以减少感知器反应和正确反应间的差距的方法就是著名的感知器收敛法则（perceptron convergence rule）。不过，调整阈限的方法对于拥有多个反应单元的模型来说过于复杂，所以未被以后的人工神经网络模型采纳。

可见，Rosenblatt的贡献是卓越的，他给出了人工神经网络的基本工作原理，基于感知器收敛法则发展而来的delta法则与斜率递减（gradient descent）法已成为如今人工神经网络最主要的算法，本文第3点中将对此做详细介绍。然而，值得注意的一点是感知器仅在联系层和反应层间使用了权重概念，学习过程也仅发生在这两层之间，所以从本质上讲，感知器只属于包含一个输入层和一个输出层的单层网络（single layer network），这种单层网络在解决某些实际问题时，遇到了障碍。Minsky等（1969）指出感知器甚至无法模拟诸如XOR（异或）等简单运算[3]。因此，在接下来的将近20年中，人工神经网络的发展一度进入低迷期。直到80年代中期，逆向传导法（back propagation）[6]、自动联系者（atuoassociator）[7]、循环模型（recurrent model）[8,9]一一提出，多层网络广泛应用智能模拟任务中，人工神经网络才得以迅速发展。然而，这些算法和模型的基本工作原理与最初的感知器却并无两样。

2.2 人工神经网络模型研究内隐学习的适用性

如上述，人工神经网络的工作原理为通过调整权重逐步学会正确反应。那么，这些基于调整权重来学习正确反应的人工神经网络模型是否适于研究内隐学习呢？内隐学习这一概念强调的是两个特征：第一，它是学习的一种形式；第二，这种学习是内隐的、无需意识努力的。人工神经网络的工作原理极好地匹配了这两个特征。首先，要建立针对某一心理活动的合适的网络模型，必须要经过长期的训练和学习过程，即向模型呈现许多刺激，要求其做出反应，并将模型反应与要求的正确反应进行比较，据此逐步调整内部结构，使模型在以后的刺激情景中，更易做出正确反应。这种学习过程和人类的学习有着惊人的相似，人类在幼年时，虽然脑神经已发展完全，但是他们仍然不能执行各种认知任务，这时候的人脑就好比初始状态的神经网络模型，虽然，已对模型基本结构做了设定（比如，模型由几个加工单元层组成，每层有几个单元，哪些单元和哪些单元间存在联系），但是由于所有的连接权重都是随机设置的，模型不知道刺激与反应间的联系，常常会给出错误反应，而当经过几年的学习之后，人类婴孩不断地从外界接收刺激，做出反应，并接收来自外界的反馈，将之与自己的反应做比较，逐步通过内部结构的改变，来调整自己的行为，从而能够知觉事物、理解言语、控制自身的机体运动，这就好比初始状态的网络模型，能够通过调整权重，达到稳定状态，对刺激模式做出正确反应。可见，人工神经网络模型很好地匹配了内隐学习地第一个特征――两者都是学习过程。其次，内隐学习强调学习是内隐地进行的。由于无法直接探索学习过程是否是内隐的，研究者往往通过验证学习中所获得的知识是内隐的来间接推断学习过程是内隐的，当被试在分类或选择任务中的表现高于随机，却不知道自己是依据何种知识做出正确判断时，习得的知识被认为是内隐的，从而进一步推断学习过程也是内隐的[10~12]。人工神经网络模型也一样，从根据输出结构来调整权重的过程来看，根本无法判断学习过程是否是内隐的，而类似的，人工神经网络的知识表征形式显示神经网络模型所获得的知识很有可能是内隐的。当人工神经网络能做到正确反应时，指导模型该如何反应的知识似乎是存在于单元的组织结构和他们之间的连接权重上，根本无法直接从这种无序而杂乱的结构和权重上看出什么规则，例如：上述判断光条垂直和水平的感知器，我们并无法从直观上判断哪些单元表征垂直光条，哪些单元表征水平光条，这种知识表征形式很有可能是内隐的。这种知识的表征形式被称为分布式表征（distributed representation），它和传统的局部表征（local representation）很不一样，局部表征中，每个用不同的单元表征不同的事物，例如：单元1表征事物1，单元2表征事物2……，在知识提取时，就好比查字典一样，根据不同的事物，找到表征的位置，便可以获悉有关事物的各种知识。而分布表征可以将不同的事物表征在同一组单元中，比如垂直光条和水平光条，在知识提取时，往往只需输入新刺激的内容，比如光条激活了视网膜的哪些区域，便能根据内容找到合适的反应。

3 广泛应用于内隐学习领域的两种人工神经网络模型

人工神经网络模型很好地匹配内隐学习的两大基本特征。因此，许多研究者针对不同的内隐学习任务，选择不同的人工神经网络模型来拟合内隐学习过程，以探讨内隐学习的本质和机制[13~17]。

纵观近40年来的内隐学习研究，虽然不同的研究者开发了许多不同的任务形式，获得了许多可喜的研究成果，但是这些任务都离不开两种根本的任务形式――人工语法学习和序列学习。相应地，根据两个任务的不同特点，研究者选择了两种不同的模型――自动联系者和简单循环网络（simple recurrent network，简称SRN）――分别对之加以模拟。

3.1 人工语法学习与自动联系者

人工语法学习任务通常是：在学习阶段，要求被试在不知道内在规则的情况下记忆一大堆合法字符串，然后，在测试阶段，向被试呈现一批新的合法和非法字符串，并告知前面学习的字符串是一类符合语法规则的合法字符串，要求被试根据前面的学习，判断新的字符串是否合法[10]。从测试阶段的要求、学习阶段的要求和所学习的知识这三个不同的角度来看，人工语法学习具有三个主要特征：

第一，测试阶段要求被试进行的是一项典型的分类任务。相应地，检索1943年以来，人工神经网络模型发展的这段历史，便可以发现只有模式联系者（pattern associator）是专门针对模式识别和分类而开发出来的模型。模式联系者的诞生源自于条件反射的思想，即建立刺激和反应间的联系。用模式联系者的话说，就是对于特定的输入刺激模式，给出相应的反应模式。有趣的是，当用一组单元表示输入模式，另一组单元表示输出模式，它们两两连接在一起（如图2），并使用Hebb法则Wij=εαiαi更新权重时（其中，ΔWij为输入单元j和输出单元i之间权重的变化量，ε为学习速率，是常数，aWi为输出单元的激活量，aWj为输入单元的激活量），模式联系者便能在同一个模型中存储不同的输入模式，将反应模式相同的输入模式归于同一类，并且当模式中的某些量缺失时，比如某个输入单元损坏，模型仍能正常运行[3]。可见，模式联系者能够有效地模拟分类任务，甚至是某些脑神经受损病人（相当于某些输入或输出单元受损）的分类活动。然而，人工语法学习并不仅是单纯的分类任务，它还具有其他特征，因此，只模拟测试阶段的分类任务是远远不够的。

第二，人工语法学习的另一个特征是，学习阶段要求被试在没有任何指导（反馈）的情况下学习字符串，即并没有在被试学习某一字符串的同时，告诉他们这一字符串属于哪一类，合法还是非法。投射到模式联系者中，就是在学习对特定刺激模式的分类时，不伴随相应的反应模式，即没有输出单元。事实上，人类的许多学习过程都是在没有外部指导的情况下进行的。比方说，当孩子看到麻雀和燕子（刺激模式）时，家长告诉他这是鸟（反应模式），但很多时候，家长并不在身边，比如，当孩子看到鸽子时，没有外在反应模式指导，孩子仍能反应为鸟，人类似乎能够在没有外在的反应模式引导教育的情况下，学会分类。人工语法学习也是一样，虽然在学习时，没有被告知哪些合法，哪些不合法，但是被试仍能学会分类规则。这些事实提示研究者：必须开发一种没有外在引导者的自适应模型。于是，McClelland 和Rumelhart（1985）在对模式联系者稍做调整的基础上，提出了模式联系者的一个自适应特例――自动联系者[7]。由于没有外部引导，任何自适应模型必须具备自我反馈的功能，自动联系者也一样，如图3所示，每个单元除了接收外部输入（e）以外，还必须接收来自其他单元的内部输入（i），这种存在内部反馈的模型被称为循环模型。为了达到分类的目的，自动联系者旨在再现单元的外部输入模式，就好像人工语法学

图3 含有8个单元的自动联系者（资料来源：文献[7]）

习中，记忆字符串一样。而为了达到这一点，必须调节连接权重，使单元的内部输入能匹配外部输入，用公式表示为：

aWj为单元j的激活量。虽然，自动联系者模型没有可比对的反应模式，但是，上述算法的核心仍是用内部状态去匹配外部状态，尽量减少两者间的差异，因此，上述公式仍可看成delta法则*的变式。当然，除了使用delta法则来训练自动联系者外，也有研究者（例如，文献[14]）使用类似模式联系者的Hebb法则训练该模型。和模式联系者一样，自动联系者也能习得不同的外部输入模式，并对此做出分类。可见，自动联系者能够很好地模拟人工语法学习任务学习和测试阶段的表面属性――无外部引导的分类学习任务。然而，它是否能模拟语法学习这一内部属性呢？

第三，人工语法学习的本质特征在于所获得的是有关语法的知识。虽然，如前所述，自动联系者获得的是一种无法外显的分布性表征的知识，但是，有意思的是这种表征似乎代表了某一类别的原型。而原型或许就好比语法的抽象表示方法。McClelland 和Rumelhart（1985）曾构建了一个由24个单元组成的自动联系者，将一些有关狗的信息输入这24个单元[7]，其中前8个单元输入的是狗的名字信息，后16个单元输入的是狗的外貌信息，结果发现经过训练后，模型的权重矩阵呈现出特殊的构造，即前8个单元之间及前3个单元与后16个单元间的权重处于随机水平，而后16个单元间的权重却出现某种固定的模式，McClelland和Rumelhart认为这种固定的模式就是狗视觉表象的原型。虽然，无法从这种固定的权重模式中，看出典型的狗应该具有哪些特征，但是至少可以认为，如果两个单元间的连接权重比较大，那么当这两个单元同时被激活时，模型有可能将目标判断为狗。也就是说，原型所表征的是每个视觉特征间的联系。这就好比，人工语法学习中的语法知识，语法或许是由字母间的联系所表征的。所以，从这点意义上来，自动联系者习得的原型或许就是语法知识。

3.2 序列学习和简单循环网络

序列学习任务要求被试对一系列规则序列进行选择反应，其假设为：如果被试习得了序列间存在的固定规则，则他们可以依据前面呈现的序列来预测下一个项目是什么，成功的预测将会缩短被试的反应时[11]。序列学习和人工语法学习之间的本质区别在于：它是一项预测任务，而非分类任务，被试对某一项目的反应依赖于前面的项目。

1990年，Elman开发了简单循环网络，专门用来模拟这类预测任务[9]。简单循环网络的目的是根据当前输入的项目来预测下一个项目，它的基本结构如图4所示，由4个加工单元层组成，它们分别是输入单元层、隐含单元层、上下文单元层和输出单元层。输入单元层用于表征当前输入的项目，输出单元层用于表征模型所预测的项目，上下文单元层用于表征在当前项目之前出现的项目序列，而隐含单元层负责在输入、输出和上下文单元层间的信息传递。简单循环网络的工作原理为：在接收第一

图4 简单循环网络的基本结构（资料来源：文献[16]）

个项目时，输入层中的某些单元被激活，并将激活传递给隐含层中的单元，隐含层除了将激活进一步传递给输出层，由输出层预测第二个项目外，还将自己的激活水平复制于上下文层，当接收第二个项目时，隐含层除了收到来自输入层的激活外，还将收到来自上下文层的激活，因此，它向输出层传递的激活则包含了第一和第二两个项目的信息，依此类推，输出层所做出的预测是基于包含当前项目之内的所有项目的信息。当然，和其他许多人工神经网络模型一样，简单循环模型依据delta法则来调整权重的，即将模型给出的预测与真实出现的后续项目进行比较，来调整权重。不过，简单循环网络所使用的delta法则和自动联系者有两点差异：（1）权重调整是通过斜率递减法进行的，即寻求预测反应和真实项目之间误差方差的最小值，用公式表示为：

其中，tout为真实的正确输出，aout为模型的预测输出；（2）不同于自动联系者，简单循环网络是多层模型，当调整输出层单元和隐含层单元间的权重时，计算预测和真实项目间的误差方差是可以直接计算获得的，然而当要调整隐含层单元与输入层单元或上下文层单元间的权重时，由于不存在真实的正确反应，误差方差则无从计算，所以Rumelhart和McClelland（1986）提出可以用输出层单元的误差来估计隐含层单元的误差，即某一隐含单元的误差为所有与之连接的输出层单元的误差与它们之间权重乘积求和的函数[6]

然后，同样用斜率递减法求出权重的变化量，这种误差计算的法则和简单循环网络中原有的信息流方向正好相反，所以又被称为逆向推导。

简单循环网络能有效地模拟序列学习中的预测机制，因此，它刚提出不久，就被用于模拟内隐序列学习，用来研究序列学习的抽象性等问题[13,15,16]。

总之，针对不同的内隐学习任务，为了得到更佳的模拟效果，研究者往往倾向于选择不同人工神经网络模型加以模拟。然而，就像是任务之间的划分并不绝对一样（比如：Cleeremans等就曾将人工语法和序列学习结合在同一个任务中），神经网络模型和内隐学习任务间的匹配也并不绝对，比如：Boucher等（2003）就层用简单循环网络来模拟序列学习[17]。

4 小结

基于权重调整来学习正确反应的人工神经网络模型和内隐学习的两大本质特征间有着极优的匹配，人工神经网络模型在内隐学习领域的适用性毋庸置疑。在这样的背景下，出于深入探讨内隐学习的目的，研究者纷纷根据不同的内隐学习任务，选用不同的人工神经网络模型对之加以模拟[18]。到目前为止，针对两种较为普遍的内隐学习任务，也相应地出现了两种使用较为广泛的神经网络模型――自动联系者和简单循环网络。在实际研究中，合理地使用这两个模型，必将为内隐学习的理论和人工模拟提供更有力的证据。

参考文献

[1] Cleeremans A. Mechanisms of Implicit Learning: Connectionist Models of Sequence Processing. In: Jeffrey L E ed. Neural Network Modeling and Connectionism. London: MIT Press, 1993

[2] Dienes Z, Perner J. Implicit knowledge in people and connectionist networks. In: Underwood G.. Implicit cognition. Oxford: Oxford University Press, 1996

[3] McLeod P, Plunkett K, Rolls E T. Introduction to Connectionist Modelling of Cognitive Processes. Oxford: Oxford University Press, 1998

[4] Milner P. A Brief History of the Hebbian Learning Rule. Canadian Psychology, 2003, 44(1): 5~9

[5] Rosenblatt F. The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Reviews, 1958, 65: 386~408

[6] Rumelhart D, McClelland J. Parallel distributed processing (vol. 1). Cambridge: MIT press, 1986a

[7] McClelland J, Rumelhart D. Distributed Memory and the Represantation of General and Specific Information. Journal of Experimental Psychology: General, 1985, 114(2): 159~188

[8] Jordan M. An introduction to linear algebra in parallel distributed processing. In: Rumelhart D, McClelland J ed. Parallel distributed processing (vol. 1). Cambridge: MIT press, 1986a. 365~422

[9] Elman J. Finding structure in time. Cognitive Science, 1990, 14(2): 179~212

[10] Reber A S. Implicit learning of artificial grammars. Journal of Verbal Learning and Verbal Behavior, 1967, 6(2): 317~327

[11] Nissen M J, Bullemer P. Attentional requirement of learning: Evidence from performance measures. Cognitive Psychology, 1987, 19(1): 1~32

[13] 郭秀艳, 邹玉梅, 李强等. 中学生颜色内隐学习特征的实验研究. 心理与行为研究, 2003, 1(2): 122~127

[14] Cleeremans A, McClelland J L. Learning the Structure of Event Sequence. Journal of Experimental Psychology: General, 1991, 120(3): 235~253

[15] Dienes Z. Connectionist and Memory-Array Models of Artificial Grammar Learning. Cognitive Science, 1992, 16(1): 41~79

[16] Jiménez L, Méndez C, Cleeremans A. Comparing Direct and Indirect Measures of Sequence Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition, 1996, 22(4): 948~969

[17] Dienes Z, Altmann G, Gao S J. Mapping across Domains Without Feedback: A Neural Network Model of Transfer of Implicit Knowledge. Cognitive Science, 1999, 23(1): 53~82

第5篇：人工神经网络概念范文

计算智能（Computational Intelligenee，简称CI），又称软计算，该词于1992年被美国学者J.C.Bezdekek首次提出，1994年全计算智能大会明确提出了计算智能的概念，标志着计算智能作为一门独立学科的诞生。传统的人工智能问题的处理、结论的得出都需要在建立精确的数字模型的基础上才能实现，但现实中有很多的数据都是模糊的，无法建立精确的模型，使得人工智能的应用范围相对狭窄，而计算智能则突破了人工智能的瓶颈，以模型为基础，模拟人的理论与方法，只需要直接输入数据，系统就可以对数据进行处理，应用范围更加的广泛。

计算智能的本质是一类准元算法，主要包括进化计算，人工神经网络、模糊计算、混沌计算、细胞自动机等，其中以进化计算、人工神经网络及模糊系统为典型代表。

1.1 进化计算 进化计算是采用简单的编码技术来表示各种复杂的结构，并通过遗传操作和优胜劣汰的自然选择来指导学习和确定搜索的方向，具有操作简单、通用性强、效率高的优点，其工作原理是通过种群的方式进行计算，借助生物进化的思想来解决问题，分为遗传算法、进化规划及进化策略三大类。

1.2 人工神经网络 人工神经网络是一个高度复杂的非线性动力学系统，具有模糊推理、并行处理、自训练学习等优势，其工作原理是仿照生物神经网络处理信息方式，通过不同的算法和结构，将简单的人工神经细胞相互连接，通过大量的人工神经单元来同时进行信息的传播，并将信息储存在改革细胞单元的连接结构中，快速地得到期望的计算结构。生物神经网络的细胞是在不断的生成和更新着的，即部分细胞坏死，整个神经网络仍能维持正常的运转秩序而不会骤然崩溃，同样人工神经网络也有着这样的特性，即使部分神经细胞发生问题，整个网络也能够正常的运转。人工神经网络按照连接方式的不同分为前馈式网络与反馈式网络，前馈式网络结构中的神经元是单层排列的，分为输入层、隐藏层及输出层三层，信息的传播是单向的，每个神经元只与前一层的神经元相连，即信息只能由输出层传向隐藏层再传向输入层，而不能由输出层直接传向输入层；反馈式网络结构中每个人工神经细胞都是一个计算单元，在接受信息输入的同时还在向外界输出着信息。不同的行业和领域可以根据自身的需要将不同的网络结构和学习方法相结合，建立不同的人工神经网络模型，实现不同的研究目的。

1.3 模糊系统 客观世界中的事物都具有不同程度的不确定性，如生活中的“穷与富”、美与丑”、“相关与不相关”无法用一个界线划分清楚，对于事物不确定研究的过程中产生了模糊数学，所谓模糊性是指客观事物差异的中间过渡中的“不分明性”。美国专家L.A. Zdahe教授首次运用了数学方法描述模糊概念，自此之后模糊数学形成了一个新的学科，并在世界范围内发展起来，在医学、农业等方面得到了应用。

2 计算智能在机械制造中的应用

机械制造业是国民经济的基础产业，机械制造业的发展对于促进工业生产领域的发展，保持经济稳步增长，满足人们日常生活的需求，提高人们的生活质量有着重要意义。一个国家机械制造业水平的高低是衡量该国工业化程度的重要指标。由于研究角度的不同，机械制造业有着不同的分类，如国家统计局将机械制造行业分为通用设备、专用设备、交通运输设备、电气设备、仪器仪表及办公设备五大类，证券市场将机械制造行业分为机械、汽车及配件、电气设备三大子行业。根据调查显示，2013年我国制造业产值规模突破20万亿元，同比增长17.5%，产值占世界比重的19.8%，经济总量位居世界首位，利润4312.6亿元，增长0.33%，增加值累计同比增长10.4%。

随着计算智能研究的深入，计算智能在机械制造中得到了应用。伴随着机械行业的飞速发展，各类生产安全事故也时有发生。造成安全事故的原因是多方面的，首先是操作人员安全意识淡薄；其次是企业的安全管理和监督缺失，我国相当多的机械制造企业不重视劳动安全卫生方面的数据统计和资料积累，为了追求最大利润在安全生产方面投入的资金过少，缺乏对员工开展安全教育的培训。建立科学的安全生产评价方式对于防止各类安全事故，提高安全效益有着积极意义。人工智能的安全评价方法以线性函数为基础，而安全生产评价体系是一个复杂的系统，涉及的内容繁杂，需要考虑的因素很多，存在很大的不确定性，导致得到的结论与实际现场常常不能一致，计算智能以选择非线性函数建立安全生产评价模型，实现对非线性函数关系的拟合，解决了这一难题。

在机械制造中存在着大量的模糊信息，如机械设备的损耗、零件设计目标等信息都是用比较模糊的术语来表达，传统的人工智能进行新的零件生产制造时，设计人员对零件进行设计，确定零件的尺寸，然后试生产零件应用在设备中，如不符合要求，再进行调整，这就要求设计人员有着丰富的知识和实践经验，能够根据需要设计出适合的零件，而计算智能以系统论作为基础的，对选择的自变量进行适当的优化和控制，只需要设计人员将零件的形状、大小、作用等输入计算机，并对零件制造的程序编排，利用计算机确定零件的制造技术，同时控制零件的质量，使零件设计、制造的过程更加便捷。

第6篇：人工神经网络概念范文

本研究应用神经网络的原理，基于BP网络使用MATLAB语言建立一个剩余油分布的预测系统。该系统通过学习在地理坐标和孔隙度之间建立一个非线性函数关系，以此来预测任何区域的孔隙度，再通过孔隙度与剩余油饱和度之间的关系达到剩余油分布预测的目的。

关键词：神经网络；剩余油分布；BP网络；预测

中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)36-2706-03

BP Artificial Neural Networks for the Remaining Oil Prediction

SHI Xiao-song, CHENG Guo-jian

(School of Computer Science, Xi'an Shiyou University, Xi'an 710065, China)

Abstract: After a majority of our oilfield and secondary recovery, we just get 30% of the total reserves, which means that 60% to 70% of the remaining residual oil in the ground become remaining oil . China's 2007 crude oil output grew only by 1.6 percent to 12.872 million tons. Clarifying the law of distribution of the remaining oil and improving oil recovery is not only an economic effect, but also a National oil strategic issue.

In this study, we used MATLAB language to establish a forecast system of distribution of remaining oil based on BP network. After studying, this system can get a nonlinear function between the geographical coordinates and porosity. We can get the regional porosity using this system. Then using the relationship the porosity and the remaining oil, we can known the distribution of the remaining oil.

Key words: artificial neural networks; distribution of remaining oil; BP network; prediction

1 引言

我国多数油田经过一次、二次采油后，仅能采出地下总储量的30%左右，这意味着有60%～70%的剩余石油仍然残留在地下成为剩余油。对剩余油分布预测的研究可以提高石油开发的效率和节约开发成本。人工神经网络是计算机中重要的一门学科，它具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果。本文就是用人工神经网络，基于已知的数据来预测剩余油的分布。神经网络技术有着逼近任意非线性映射的能力，通过学习获知系统差分方程中的位置非线性函数，这使得它在系统建模和预测中有着很好的应用。

2 剩余油分布预测的研究

从20世纪80年代开始，研究剩余油分布和提高采收率问题已引起世界各石油生产国的普遍关注。针对剩余油分布的研究方法在各个层面都有了一定的突破。目前，剩余分布的研究方法主要有：地质方法，油藏工程、试井及数值模拟方法和室内实验技术等。

2.1 剩余油分布预测的研究现状

目前，国内外对剩余油研究的重点主要集中在三个方面：1）对生于有分布的描述；2）对剩余油饱和度的测量与监测技术的研究；3）对剩余油挖潜技术的研究。

2.2 剩余油分布预测要用到的主要参数

影响剩余油分布的因素很多，通常划分为两类：地质因素和开发因素。地质因素主要包括有：油藏非均质性、构造、断层等。开发因素主要包括有：注采系统的完善程度、注采关系和井网布井、成产动态。前者属于内因，后者属于外因。它们的综合作用就导致了目前剩余油分布的多样性。

剩余油饱和度是描述剩余油的重要概念。某种流体的饱和度是指：储层岩石孔隙中某种流体所占的体积百分数。它表示了孔隙空间为某种流体所占据的程度。岩石中由几相流体充满其孔隙，则这几相流体饱和度之和就为1(100%)。随着油田发开油层能力的衰减，即使是经过注水侯还会在地层孔隙中存在着尚未驱尽的原油，这些油在岩石孔隙中所占体积的百分比称为剩余油饱和度

3 人工神经网络

人工神经网络（Artifical Neural Network,ANN），亦称为神经网络（Neural Networks,NN），是由大量处理神经单元（神经元Neuros）广泛互联而成的网络，是对人脑的抽象、简化和模拟，反应人脑的基本特征。神经网络的基本功能有联想记忆、非线性映射、分类与识别、优化计算、知识处理等。ANN在解决复杂的或是非线性问题时，具有独特的性能。近年来，国内外众多学者将其应用到石油等领域，取得了不少成果。人工神经网络具有以下几个特征：1）并行分布处理；2）非线性映射； 3）通过训练进行学习，神经网络是通过研究过去的数据记录进行训练的，一个经过适当训练的神经网络具有归纳全部数据的能力，因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题；4）适应与综合； 5）分类与识别，神经网络可以很好地解决对非线性曲面的逼近问题，因此比传统的分类器具有更好的分类与识别能力。

目前，BP算法已经成为应用最多且最主要的一种训练前馈人工神经网络的学习算法，也是前馈网络得以广泛应用的基础。BP算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。BP算法的基本思想是学习过程由正向传播和反向传播组成。正向传播用于对前馈网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果；反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。BP网络算法的指导思想是：网络权值的修正与阈值的修正，使误差函数沿梯度方向下降。

图1给出了整个BP算法学习过程的流程图。

第7篇：人工神经网络概念范文

关键词：径向基神经网络（RBFN）； 超高压； 继电保护； LLS； 梯度下降法

中图分类号：TN911-34; TP332 文献标识码：A

文章编号：1004-373X(2011)20-0196-04

Algorithm of EHV Relaying Protection Based on RBF Neural Network

ZHANG Dong1, WANG Tao2

(1. Inner Mongolia Electric Power Group, Hohhot 010080, China;

2. School of Electronics and Information Engineering, Soochow University, Suzhou 215021, China)

Abstract： An algorithm of EHV (extra high voltage) relaying protection based on RBFN (radial basis function neural network) is proposed. The algorithm can conduct the training according to the existing relaying data sample set because the RBFN has learning ability, find the internal relations of fault detection, fault location, self-adaptive automatic reclosing technology, differential protection and distance protection by analysis, and realize the self-adaptive control over the future relaying protection data samples. The highlight of this algorithm is that the factors of both predicting precision and training time of RFBN are taken into consideration in the process of construction. The linear least squares (LLS) and the gradient descent method are employed for MATLAB simulation experiment to obtain a more accurate result of prediction.

Keywords： RBFN; EHV; relaying protection; LLS; gradient descent

0 引 言

随着电力工业的不断发展，现代电力系统已成为┮桓龈呓追窍咝浴⒏吒丛佣鹊拇笙低常人们对系统运行的可靠性、持续性和稳定性要求也越来越高，这就使得电力系统中问题的解决越来越困难。

继电保护的任务就是检测故障信息，识别故障信号，进而决定保护是否跳闸。传统的继电保护和故障诊断方法自适应能力有限，不能适应各种运行方式和诊断复杂故障。

径向基神经网络（RBFN）具有很强的自适应能力、学习能力、非线性映射能力和容错能力，并且鲁棒性好，应用在电力系统继电保护有很大优势，很多难以列出方程式或难以求解的复杂的非线性问题，应用径向基神经网络（RBFN）方法都可以得到很好的解决。

1 人工神经网络概述

1.1 人工神经网的概念

人工神经网络（Artificial Neural Networks，ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供一批相互对应的输入-输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。

人工神经网络是一门模拟人脑生物过程的人工智能技术,是根据大脑神经元电化学活动抽象出来的一种多层网络结构，它是由大量的神经元互联形成的复杂的非线性系统。神经元结构如图1所示。所有输入M通过一个权重K进行加权求和后加上阈值d，再经传递函数f的作用后即为该神经元的输出a，且有：

Иa=f(MK+d)(1)И

1.2 径向基神经网络理论

径向基神经网络(RBFN)是一个三层的前馈神经网络，包括一个输入层、一个径向基层(即隐含层)和┮桓鍪涑霾恪F浠本原理是以径向基函数作为隐层单元的基，构成隐含层空间，隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。径向基函数它模拟了人脑中局部调整、相互覆盖感受野(Receptive Field)，因此是一种局部逼近网络，科学界已经证明它能以任意精度逼近任意函数，其拓扑结构如图2所示。

图1 人工神经元模型

图2 RBF网络结构图

输入层节点获取输入向量后，传递输入向量到隐含层。隐含层节点由径向基函数构成，径向基函数可采取多种形式(通常采用Gaussian函数)。隐含层执行非线性变换，将输入空间映射到一个新的空间。输出层通常是简单的线性函数。隐含层节点和输出层节点以不同的权重完全连接。隐含层节点的激活函数对输入激励产生一个局部响应，输入向量越靠近基函数的中心，隐含层节点做出的响应越大。隐含层第j结点的输出响应为：

ИGj(x)=exp－x－μj2σ2j （2）И

式中：x= ［ X1,X2,…,Xn ］ 为输入向量；μj,σj分别为第j个神经元的中心和大小；c为神经元的个数。

输出层为隐含层各个单元的加权和:

И=f(x)=∑cj=1wjGj(x)（3）И

式中：wj为第j 个神经元对应的权值。

2 基于RBF的超高压继电保护算法

2.1 训练数据的样本采集

训练所需要的样本数据，直接关系到训练出来经验函数精度的优劣，所以一组好的训练样本是经验函数精度的保证。本文采用内蒙古电力集团公司超高压局近几年对继电保护数据记录，其中样本数据繁多，从中选取了5 000个有效数据作为样本，用其中4 000来训练经验函数，后1 000个用来检测训练效果。

2.2 RBF神经网络混合学习算法

RBF网络的学习分为两个过程。第一个过程：根据所有输入向量确定各隐含层节点的高斯函数的中心值cj。第二个过程：在确定了隐含层j的参数后，根据样本，利用最小二乘法原则求出输出层的权值wjt。建立RBF神经网络的关键问题是根据给定的训练样本确定径向基函数的中心。因为一旦确定了径向基函数的中心cj，则对于所有的训练样本而言Gj和预期输出yt 是已知的，输出权值`jt可以通过最小二乘法求出。

2.2.1 调整隐层神经元中心及宽度

梯度下降法的构造过程中首先定义误差函数：

ИE=12∑Nn=1En（4）И

式中：N为样本个数；En为输入第nЦ鲅本是的误差定义为：

ИEn=∑sk=1(tnk－ynk)2， n=1,2,…,N(5)И

要使误差函数最小化，则参数的修正量应与其负梯度成正比则有：ЕCj=－η1ECj和Δσj=－η2E郸要j Т入后得：

ИЕCj=2η1∑Nn=1∑sk=1(tnk－ynk)•Rnjwn(k,j)•pn－cnj(σnj)2(6)

Δσj=2η2∑Nn=1∑sk=1(tnk－ynk)•Rnjwn(k,j)pn－cnj2(σnj)3(7)И

当所有样本输入完成后，运用迭代的方法对参数进行调整，如下所示：

ИCj(m+1)=Cj(m)+ΔCj(8)

σj(m+1)=σj(m)+Δσj(9)И

式中:Cj是中心的学习速率；σj是高斯宽度的学习速率；m为迭代次数。为了保证分类器的泛化性能，采用的高斯宽度的学习速率通常大于中心的学习速率，因为小的学习速率使算法收敛过慢，而过大的学习速率可能会导致算法变得不稳定。

2.2.2 RBF网络的权值确定

首先设定输入矩阵为：M∈Rr×N，隐层输入矩阵为：P∈Ru×N；输出层矩阵为：K∈Rs×N；其中n为训练样本。若RBF网络的待定输出层权值W∈Rs×u，其三者关系为：

ИK=W×P（10）И

样本的目标输出为：T=(t1,t2,…,ts)T∈Rs×N，在这里采用线性最小二乘法(LLS)来使得目标输出与网络实际输出之间的误差达到最小,运用R的R+来求得W为R+T。

2.2.3 经验函数训练流程图

本文所训练的经验函数的算法流程图分为两个阶段，第一阶段是样本处理，由于样本具有重复性，在经过样本处理后，就保证了存储在样本库中的样本都具有代表性，消除重复训练，提高训练速率；第二阶段是训练经验函数。训练过程如图3所示。

图3 经验函数的算法流程图

3 实验结果与分析

该研究采用Matlab 7.0.0来做仿真实验,针对关注的5个重要的超高压继电保护指标分别进行预测，实验数据来自内蒙古电力集团公司超高压局近几年对继电保护数据记录，实验采用大量超高压继电保护值来训练RBF神经网络，当网络训练达到误差平方和目标0.01时，网络训练结束。

图4~图8分别为故障检测、故障定位，自适应自动重合闸技术、差动保护以及距离保护的预测值与实际值之间的比较(其中横轴均为时间序列，纵轴为超高压继电保护的相应指标值)。

通过仿真结果可以看出：曲线的拟合度较好，说明通过RBF神经网络短期预测超高压继电保护取得了较好的效果。但是长期的预测则需要考虑超高压继电保护各衡量指标的突变情况，此时RBF神经网络无法对其做出准确的预测。

4 结 语

本文将RBF神经网络及其相关算法应用到超高压继电保护预测上，可以更好、更快地动态预测继电保护的工作状态。在其中RBF网络大大提高了训练的速度，节省了时间且预测精度更高，在局部的短期预测中占有优势。怎样进一步改进优化预测算法是RBF神经网络预测超高压继电保护的下一步研究方向。

参考文献

［1］马锐.人工神经网络原理\.北京：机械工业出版社,2010.

［2］刘学军.继电保护原理\.北京：中国电力出版社,2007.

［3］贺张萍.深度探讨继电保护装置状态检修需求及应用难点\.科技资讯,2010(32):120-122.

［4］黄懿.继电保护可靠运行的控制分析\.中国科技博览,2010(3):61-64.

［5］MOHAMED E A, TALAAT H A; KHAMIS E A. Fault diagnosis system for tapped power transmission lines \. Source: Electric Power Systems Research, 2010, 80 (5): 599-613.

［6］Eissa M M, Sowilam G M A, Sharaf A M. A new protection detection technique for high impedance fault using neu-ral network \// Proceedings of 2006 Large Engineering Systems Conference on Power Engineering. \: \, 2006: 146-151.

［7］DUTTA A A, KADU A N. Pattern recognition method for detecting fault in EHV transmission lines \// Proceedings of2nd International Conference on Mechanical and Electrical Technology. \: ICMET, 2010: 24-27.

［8］刘田田,燕洁.人工神经网络在电力系统继电保护中的应用\.电力学报,2007(2):190-192.

［9］吕卫胜.人工智能技术在电力系统继电保护中的应用\.山东电力技术,2006(1):61-63.

［10］KHORASHADI-ZADEH H, EBRAHIMI M R A. AN ANN based approach to improve the distance relaying algorithm \// Proceedings of the 2004 IEEE Conference on Cybernetics and Intelligent Systems. Singapore: IEEE, 2004:1374-1379.

［11］曾晓林,薛建辉,洪刚.粒子群优化神经网络在高压断路器机械故障诊断中的应用\.电网与清洁能源，2010,26(6):57-61.

［12］李风光,杨志.基于BP网络的自适应接地保护研究\.电网与清洁能源，2010,26(10):31-34.

第8篇：人工神经网络概念范文

关键词:灰色神经网络;商品销售;算法;销售预测

中图分类号:F71文献标识码:A文章编号:1009-3044(2009)27-7743-02

市场销售是根据根据市场过去和现在的信息,运用一定的数学方法,对产品的需求进行评估推测,市场预测可以减少企业风险,为企业决策提供依据。做为市场预测组成部分的需求预测,是直接影响企业生产企业,投资取向,库存保有量的重要依据,精确的需求预测可以减少库存,降低订单流失率,更有效的配置资源。对于商品销售预测来说,有很多种方法,本文采用灰色神经网络来预测商品销量。

1 灰色系统和神经网络概述

1.1 灰色系统

灰色系统理论是一种研究少数据、贫信息、不确定性问题的新方法,它以“部分信息已知,部分信息未知”的“小样本”,“贫信息”不确定系统为研究对象,通过对“部分”已知信息的生成、开发、提取有价值的信息,实现对系统运行行为、演化规律的正确描述和有效监控。它是我国学者邓聚龙教授在1982年首先提出的,经过20年的发展,灰色系统已基本建立起一门新兴学科的结构体系,其主要内容包括以灰色朦胧集为基础的理论体系,以灰色关联空间为依托的分析体系,以灰色序列生成为基础的方法体系,以灰色模型为核心的模型体系和以系统分析、评估、建模、预测、决策、控制、优化为主体的技术体系。

灰色系统中建立的模型称为灰色模型(GreyModel)简称GM模型,是以原始数据序列为基础做某种生成后建立的微分方程。建模中最有代表性的是针对时间序列的GM建模,它直接将时间序列数据转化为微分方程,利用系统信息,使抽象的模型量化,量化的概念模型化,最后进行模型优化,从而使所建的GM模型在寻求不到系统的概率特性或隶属特性的情况下显示其优越性。

1.2 神经网络

人工神经网络理论(ArtificialNeuralNetworks)是智能算法理论的一种,由于其具有大规模并行处理、分布式信息存储,容错性,自组织性和自适应性等特点,目前已经得到了国内外学者的广泛关注。目前,人工神经网络已成功应用在函数拟合、数据预测、模式识别、优化控制等很多工程领域,并在一些传统方法难以解决的问题上取得了满意的结果。

人工神经是由一些称为神经元的基本部件按一定规则组合形成的,它由神经元,神经元间连接方式和训练规则三个因素组成。其中最主要的部分是神经元,它由由输入,非线性变换和输出三部分构成,是一个基本计算单元,计算过程为,输入经过权值连接到内部后求和,和值首先与一个阀值做比较,然后经过非线性变化,得到输出。神经元的非线性变换有多种形式,比较常用的有Sigmoid函数,限幅函数等。神经元间不同的连接方式构成了不同类型的神经网络,比如信号由一层单向传播到另一层的前馈型神经网络,信号在层与层之间传播的反馈型神经网络等。目前,比较典型的神经网络包括BP网络,RBF网络、小波网络等。

2 基于灰色神经网络的销量建模

2.1 网络建模

对于销量预测的问题来说,灰色模型GNNM(1,N)的微分表达式为:

其中, y1是商品的销售量,y2-yn是影响销售量的因子。

求解微分方程(1)可得如下的离散响应方程:

令 ,则式2变为:

y1的阀值设为: 。

BP网络LB层神经元的激活函数取为Sigmoid函数:

将式(3)变型后映射到BP网络中,得到如下的映射销量问题的灰色神经网络模型,如图1所示。

2.2 学习算法

该模型中各个参数根据网络输出和实际输出的误差进行调整,从而是网络输出不断逼近实际输出,学习算法如下:

Step 1.根据系统数据列特征,选取两个较小的值做为 a,b1,b2,…,bn-1

Step 2.根据网络权值定义计算ω11,ω21,ω22, …,ω2n,ω31,ω32,…,ω3n

Step 3.对每一个输入序列(t,y(t)),(t=1,2,3,…,N)进行如下操作:

t输入LA层节点,对LB、LC、LD层的节点进行如下计算:

计算每层输出

计算网络输出与期望输出的误差

调整隔层权值:

调整LB到LC的连接权值:

调整LA到LB的连接权值:

调整阀值:

Step 4重复步骤3,直至满足结束条件为止。

2.3 总体设计

采用灰色神经网络进行销量预测,总的步骤分为灰色神经网络构建,灰色神经网络训练和灰色神经网络预测三步,其中灰色神经网络构建是根据输入输出变量构建灰色神经网络,灰色神经网络训练是对网络进行训练,灰色神经网络预测是对训练好的网络对数据进行预测,其灰色神经网络预测系统总体框图如图2所示。

3 基于灰色神经网络的销量预测

采用灰色神经来对某型冰箱的销售的做预测,分析得出影响该型冰箱的市场需求的因素为以下几个指标,1)竞争对手;2)市场特征;3)成本;4)广告力度;5)品牌认可;6)售后服务;7)价格性价比。输出数据为销售量,用模糊神经网络进行训练预测,设置输入节点数为8,输出节点数为1,即为预测销售量,网络共迭代100次,得到的预测值和实际值的结果如图3所示。

从图3中可以看到,灰色神经网络预测的销量值和实际值非常接近,说明了灰色神经网络预测的有效性。

第9篇：人工神经网络概念范文

1 传统工业的优化设计应用

传统机械优化设计方法大多应用于机械结构和零件功能的优化设计，针对机械结构的性能和形态进行优化。在机械结构上，内点罚函数优化法，能够对刚度和压弯组合强度结构进行良好的优化，既能够满足尺寸要求又能良好的控制结构自重。在形态方面，典型的是轴对称锻造部件的毛坯形状的优化。在性能方面，采用坐标转换法和黄金分割法对部分两岸结构进行优化设计，使得机械结构更加准确保持运动平衡性，提高了传力性能。这样看来，传统机械优化设计方法依然能够取得良好的效果，所以在机械设计发展中不能忽略传统优化方法的

作用。

2 现代工业的优化设计应用

现代高新设计方法在机械优化设计中的应用已越来越广泛。但应该看到，现代的设计不仅仅是单一的完成给定产品的设计，而应该要将产品使用及设备维修等因素统一进行考虑。所以，机械优化设计在强调环保设计和可靠性设计等考虑综合性因素的机械优化设计应用工作更为活跃，机械优化设计的应用领域更加广泛，涉及到航空航天工程机械及通用机械与机床的机械优化设计；涉及到水利、桥梁和船舶机械优化设计；涉及到汽车和铁路运输行业及通讯行业机械优化设计；涉及到轻工纺织行业、能源工业和军事工业机械优化设计；涉及到建筑领域机械优化设计；涉及到石油及石化行业机械优化设计；涉及到食品机械等机械优化设计。机械优化设计的应用还能够解决具有复杂结构的系统问题。

2.1 优化设计网络软件的应用

优化算法的研究已经有所成绩，利用网络平台逐渐开发一些工业化在线优化软件，便于工业设计使用。对于在线机械优化设计软件来说，亟待解决的问题就是模型问题，对于非常复杂的系统来说，结构、流程、物料和系统参数等，都非常复杂，如果计算对象比较模糊，运算效率会受到严重的影响，这就给在线优化软件带来了巨大的困难。为了解决这种情况，通过合适的算法解决辨别模型，结合神经网络和学习特点进行数据的识别，让在线优化软件也能够良好的应用于各种模型，比如国内比较成熟的 NEUMAX 软件包，基于神经遗传算法的在线优化软件包，都能够良好的实现各种模型的遗传算法，这些软件已经成功应用于甲醇合成机械设计的优化工作中。

2.2 优化设计在MATLAB中的应用

在机械设计中引入优化设计方法不仅能使设计的机械零件满足性能要求，还能使其在某些特定方面达到最优。利用 MATLAB优化工具箱求解机械优化设计问题不仅避免了传统的设计方法中人工试凑、分析比较过程中的繁杂与重复，而且编程简单、结果可靠。在上述实例中，利用 MATLAB 软件中FEMINCON函数求解夹具设计问题，最 终设计的 夹具要比采用传统设计方法设计的质量轻、成本低，并且设计效率高。

2.3 人工神经网络法在机械优化设计中的应用

人工神经网络是人类模仿大脑神经网络结构和功能而建立的一种信息处理系统，是理论化的人脑神经网络的数学模型。人工神经网络从事例中学习，可以处理非线性问题，特别擅长处理那些需要人直观判断的信息匮乏的问题，如不完全数据集合，模糊信息以及高度复杂问题等。人工神经网络应用于优化设计，主要体现在以下两个方面：

Hopfield 网络 2.BP 网络

2.4 模糊优化方法在机械优化设计中的应用应用模糊优化理论能够将设计中的模糊因素和模糊主观信息定量化，通过合理给定约束函数、目标函数的容许值、期望值及其模糊分布 （隶属函数） 来 “软化”边界条件，扩大寻优范围和体现专家的经验、观点和某些公认的设计准则。把模糊技术应用于优化设计建模，其特长不仅在于它善于表达模糊概念，处理模糊因素，而且还可将复杂问题简化，使优化模型更加合理。采用模糊理论建立优化设计模型对求解复杂系统优化设计问题具有重要意义。