梯度下降法的基本原理精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的梯度下降法的基本原理主题范文，仅供参考，欢迎阅读并收藏。

第1篇：梯度下降法的基本原理范文

关键词：逻辑回归；综合素质量化

中图分类号：TP301 文献标识码：A 文章编号：1009-3044（2016）25-0183-01

学生综合素质量化评估是促进学生全面发展的重要手段。通过科学的综合素质量化评估体系可以帮助学生了解自己的长处和不足，找准努力的方向，也是对学生进行评优的依据[1]。在综合素质评估系统中，不同的指标由于权重不同，导致评价不同[2]。根据学生培养目标的要求，量化评估的指标包括：思想道德评价，文化知识素质评价，身体心理素质的评价，创新发展能力评价。

目前我校各个指标在综合素质量化评估中的比重分别为20%、10%、10%、60%，表明我校学生在综合素质量化评估中各个特征的重要性。

然而，不同的评优标准要求不完全一致，推优时应该有针对性。例如，省级三好学生的评选标准是“具有坚定正确的政治方向，坚持党的基本路线……善于学习和吸收新知识，热爱所学专业，勤奋学习，成绩优异……有较强的实践能力……有健康的身体、良好的心理素质……”。省级优秀学生干部的评选标准是“有较高的思想政治素质……热心承担社会工作……有很强的工作能力……”。

大四毕业之际，能否根据以往的综合成绩公平公正推选各种优秀，是每个毕业生关注的焦点。因此，本研究从已有的综合素质量化评估成绩出发，得出逻辑回归模型，分析各个特征的权重，并与现有的指标量化权重进行比较，为有针对性地推优提供参考依据。

1 逻辑回归的基本原理

逻辑回归是机器学习算法中的一种分类算法，适用于标签取值离散的情况。假设函数可以表示为：

其中，为逻辑回归模型参数向量，x为该数据样本特征值向量。为设定一个阈值，当大于阈值时，判定该样本属于某一特定分类，反之亦然[3]。

逻辑回归分类模型使用代价函数来衡量模型的精确度，正则化后的代价函数表示为：

其中，表示第i个数据样本的特征向量。表示第i个样本在训练集中的分类标注，取值分别为1时表示样本属于某一类别，为0时表示样本不属于该类别。为正则化参数，控制在两个不同的目标中的平衡关系。正则化化后的代价函数可以保持假设的形式相对简单，避免过度的拟合。能使取极小值的逻辑回归模型参数向量就可以用于对新样本的预测。

可以采用梯度下降法来求解参数最小化正则化代价函数的更新公式为：

其中，是学习速率，用于控制梯度下降的步长值。

2预测模型的建立

收集一个班50名学生7个学期的综合素质评估成绩，取各个特征7个学期的平均值形成训练集样本集，以评选“省级三好学生”为例建立测评模型，分析以往的推优结果是否体现了“思想道德和文化知识素质”为主要指标的评价方式。

2.1变量说明

（1）y：测评结果，y=0表示没有选中，y=1表示选中为省级三好学生

（2）x1：思想道德评估成绩

（3）x2：文化知识素质评价成绩

（4）x3：身体心理素质评价成绩

（5）x4：创新发展评价成绩

对50名学生的成绩获得50组数据（），i=1，2，…，50

2.2算法步骤

（1）构造假设函数

（2）构造代价函数

（3）最小化代价函数。用梯度下降法求出初始代价值和梯度值，然后调用Octave中的无线约束最小化函数fminunc，找到最佳值。

获得

（4）根据构造评选“省级三好学生”的预测模型为：

2.3模型评价

用该模型进行预测，得到该模型的准确率为98.08，查准率为0.5，召回率为1，F值为0.67，所以即便训练数据集拥有偏斜类，但是算法表现很好。

3 逻辑回归结论分析

通过逻辑回归模型分析发现，权重从大到小分别是。表明该班在评选省级三好学生时，没有完全把思想道德和文化知识素质作为评价的标准，只是简单按照综合素质量化评估的成绩打分进行评价，没有针对性。所以，建议各班级在以后在各种推优过程中应该根据评选标准，有针对性的调整各个量化指标的比重，而不能单纯根据综合素质量化评估的原有成绩。

参考文献：

[1]李瑞勤.大学生综合素质量化评估初探[J].云南民族学院学报，2002，19（3）：118-119.

第2篇：梯度下降法的基本原理范文

【关键词】BP神经网络；遗传算法；变压器；故障诊断

1 引言

变压器作为电力系统重要的变电设备，其运行状态直接影响到供电的可靠性和整个系统的正常运行。一旦发生事故，将对电力系统和终端用户造成严重的影响。因此研究变压器故障诊断技术，对电力系统安全运行有着重要的现实意义。

对变压器油中溶解气体进行色谱分析（DGA）是变压器内部故障诊断的一种重要的手段。基于此技术，采用具有高度的非线性映射以及自组织、自学习能力的人工神经网络，现阶段在进行故障诊断时多采用BP神经网络。BP算法是基于梯度的方法，容易陷入局部极小值，且收敛速度慢。GA遗传算法的发展为我们提供了一个全局的、稳健的搜索优化方法，本文充分利用GA具有不受函数可微与连续的制约，并且能达到全局最优的特点，由GA寻找最优的BP网络权值与相应节点的阈值，并加入动量因子，此方法弥补了传统优化方法的不足，极大地改善了BP网络的性能。

2 BP神经网络及遗传算法原理

2.1 BP神经网络的基本原理

BP神经网络是一种利用反向传播训练算法的前馈型神经网络，BP学习算法基本原理是梯度最速下降法，中心思想是调整权值使网络总误差最小，即采用梯度搜索技术，以使其网络的实际输出值与期望输出值的误差均方值为最小。

BP学习算法包括前向传播和误差反向传播两个学习阶段。当给定网络的一个输入模式时，输入信号经隐层逐层处理后传到输出层，并由输出层处理后产生一个输出模式，称为前向传播；当输出响应与期望的输出模式有误差时，则转入误差反向传播。即将误差值沿原来的连接通路逐层反向传播直至输入层，并修正各层连接权值。对于给定的一组训练模式，不断地重复前向传播和误差反向传播的过程，通过沿途修改各层神经元间的连接权和神经元阈值使得误差达到最小。当各个训练模式都满足要求时，就说BP网络已学习好。BP神经网络模型的基本结构如图1。

2.2 附加动量的BP神经网络

传统的BP神经网络训练在修正权值时，是按着k时刻的负梯度方式进行修正，而忽略了之前积累的经验，导致权值的学习过程发生振荡，收敛缓慢。因此提出加入动量因子a，此时k+1时刻的权值为：

附加动量法总是力图使同一梯度方向上的修正量增加。这种方法加速了收敛速度，并在一定程度上减小了陷入局部极小的概率。

2.3 GA遗传算法的基本原理

GA是模拟自然界优胜劣汰的进化现象，把搜索空间映射为遗传空间，把可能的解编码成一个向量（染色体），向量的每个元素称为基因。通过不断计算各染色体的适应值，选择最好的染色体，获得最优解。

首先把问题解用遗传表示出来，在对种群中的个体进行逐个解码并根据目标函数计算其适应值。根据适应值的大小而决定某些个体是否得以存活的操作，把适应值高的个体取出复制再生，再将两个个体的某些部分互换并重新组合而成新的个体，经过交叉后随机地改变个体的某些基因位从而产生新的染色体。这样的过程反复循环，经过若干代后，算法就收敛到一个最优的个体，问题最终获得全局最优解。GA流程图如图2所示：

3 GA优化BP神经网络的变压器故障诊断模型设计

GA-BP算法主要思想是：先利用神经网络试探出最好的网络的隐层节点数，再利用遗传算法在整体寻优的特点将网络的权值优化到一个较小的范围，进而用BP算法继续优化。

3.1 BP网络的建立

（1）输入模式的确定

本文为了充分利用在线监测中的特征气体而又不使输入量过大，特取C2H2/C2H4、C2H4/C2H6、CH4/H2的比值归一后作为输入矢量。

（2）输出模式的确定

本文对输出层采用正常、低温过热、中温过热、高温过热、局部放电、低能放电、高能放电共7个神经元。输出值最大为l，数值越大则表明该类型的故障的可能性和严重程度也越大，如表2.1：

（3）隐含层神经元数确定

本文参考关于隐含层神经元数的理论研究和经验公式，获得理论值为5～15。再利用matlab 软件，通过试凑法对网络进行训练，将隐层节点设置为6、8、10、12、14，将其输入计算机，在相同训练条件下进行训练，得知隐层节点数为12时网络收敛性能好，收敛时间较短。故选节点数为12。

综上所述，本文构建一个输入层为3，隐含层为12，输出层为7的BP神经网络。

3.2 GA对BP网络进行优化

（1）初始化种群P、以及权值、阈值初始化；在编码中，采用实数进行编码，本文初始种群取30；

（2）计算每一个个体评价函数，并将其排序；可按下式概率值选择网络个体：

其中 i为染色体个数，k为输出层节点数，YK为训练值，P为学习样本数，T为期望目标值；

（3）进行选择复制、交叉、变异遗传操作；

（4）将新个体插入到种群P中，并计算新个体的评价函数；

（5）计算BP的误差平方和，若达到预定值则进行BP神经网络的训练，否则重复进行遗传操作；

（6）结束GA操作，以GA遗传出的优化初值作为初始权值，运用BP神经网络进行训练，计算其误差，并不断修改其权值和阈值，直至满足精度要求，此时说明BP网络已经训练好，保存网络权值和阈值。

4 故障诊断系统的仿真

本文选取了具有代表性的30组作为训练样本， 在建立的GA-BP变压器故障诊断网络中输入样本进行训练，其遗传算法适应度曲线、误差平方和曲线和GA-BP的训练目标曲线图分别见图3、图4和图5。

从图中可以看出，适应度较高的个体被遗传了下来，适应度较低的则被淘汰；GA进行了150代的遗传操作达到了目标值；GA-BP算法进行了106步左右就收敛到指定精度0.0005。由此看出，此GA优化BP建立的变压器故障诊断模型的收敛精度和收敛速度都比较高。

采用实际检测到的10组电力变压器故障实例（表2）来验证网络性能，神经网络诊断结果和实际故障结果的比较，如表3所示：

由表3可见，基于遗传算法优化BP神经网络的变压器故障诊断系统在故障诊断中达到了很高的准确率，能较好地满足变压器故障诊断的要求，极大的提高了诊断的可靠性和准确性。

5 结束语

文中将遗传算法与BP网络相结合，在DGA的基础上设计了适用于变压器故障诊断的3-12-7结构的BP神经网络。先对网络的权值阈值进行GA算法处理，并在传统的BP算法中加入动量因子，通过MATLAB编程实现了GA优化BP网络。通过仿真分析可知GA优化BP网络收敛性能的提高改善了BP网络的学习效率，并在下一步的诊断工作中体现其高准确率，推广了此优化网络在变压器故障诊断的实用性。

参考文献：

[1]张绪锦，谭剑波，韩江洪.基于BP神经网络的故障诊断方法[J].系统工程理论与实践，2002（6）.

[2]王少芳，蔡金锭.GA―BP混合算法在变压器色谱诊断法中的应用[J].高电压技术，2003（7）.

[3]郑高，戴玉松.人工智能方法在变压器故障诊断中的应用[J].四川工业学院报，2004 （5）.

[4]李国勇.智能控制机器MATLAB实现[M].电子工业出版社，2005.

[5]徐志钮，律方成.多神经网络方法在变压器油色谱故障诊断中的应用[J].高压电器，2005（3）.

第3篇：梯度下降法的基本原理范文

[关键词]HJPSO；BP神经网络；广义预测控制；单元机组

中图分类号：C39 文献标识码：B 文章编号：1009-914X（2014）15-0348-02

1 引言（Introduction）

大型火电厂单元机组控制对象具有非线性、强耦合、时变，大滞后等特性，当各种扰动作用时会导致控制对象的参数不确定，难以建立准确的模型，属于复杂难控的大型生产过程。在常规局部控制系统基础上发展起来的协调控制系统是解决这个问题的有效途径。

近年来，人工神经网络为解决非线性控制问题提供了更多的技术手段，人工神经网络能够学习与适应不确定系统的动态特性，充分逼近复杂的非线性映射关系，且有较强的鲁棒性和泛化能力。其中BP网络被大量用于系统的模型辨识及控制上[1]；但是其收敛速度慢将难以满足具有自适应功能的实时控制的要求，为此本文采用基于Hooke-Jeeves particle swarm optimization）混合算法的BP神经网络（下文统称HJPSO-BP网络）用于建立系统的数学模型。

广义预测控制（Generalized Predictive Control）是随着自适应控制的研究而发展起来的一种预测控制方法；它汲取了现代控制理论中的优化控制思想，可以通过广义的反馈校正消除控制系统的稳态偏差，并用滚动优化取代了传统的最优控制，从而增强了系统的实时性和抗干扰能力。该算法由模型预测、滚动优化和反馈校等控制策略组成。广义预测控制作为对其进行修正的新型优化控制方法，大大增强了算法的适用性和鲁棒性[2]，近年来收到学术和工程界的广泛关注和重视。

2 理论研究（Theoretical Research）

2.1 基于HJPSO-BP网络的预测模型（Predictive Model of HJPSO-BP Network）

火电厂锅炉、汽轮发电机组协调控制系统是一个多变量非线性的复杂控制对象，数学上已经证明一个前向3层神经网络可以实现任何非线性映射，可以逼近任何复杂的函数。因此本文首先建立一个3层BP神经网络来逼近此被控对象。

BP学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总的误差最小，也就是采用梯度搜索技术，以期使网络的实际输出值的误差均方值为最小[3]。本文提出HJPSO-BP算法来优化BP神经网络，有效地克服了BP神经网络易陷入局部极值的缺点，提高了BP算法的预测精度和收敛速度。利用HJ算法的强收敛能力来提高PSO的收敛速度和求解精度，利用PSO算法的全局收敛性能给HJ算法提供一个好的初始值，保证HJ算法的收敛效果[4] [5]。利用PSO算法的逼近能力搜索得到一个接近最优位置向量作为BP神经网络的初始权值和阈值，使用BP算法根据这些权值和阈值进一步寻优，从而得到网络权值和阈值的最优值。

粒子群算法描述为，假设在一个D维的目标搜索空间中，有N个粒子组成一个群落，其中第个粒子表示为一个D维的向量，。第i个粒子的“飞行”速度也是一个D维的向量，记为，。第i个粒子迄今为止搜索到的最优位置称为个体极值，记为，。整个粒子群迄今为止搜索到的最优位置为全局极值，记为在找到这两个最优值时，粒子根据如下的公式（2.1）和（ 2.2）来更新自己的速度和位置：

（1）

（2）

其中：为惯性权重，和为学习因子，也称加速常数（acceleration constant），和为[0，1]范围内的均匀随机数。混合粒子群算法的步骤（HJPSO-BP）

步骤1、建立BP神经网络结构并初始化设置HJ、PSO算法各参数。

步骤2、计算每个粒子的适应度值并比较，得到Pest和Gbest.。

步骤3 、根据公式（1）、（2）分别计算各微粒新的速度和位置，计算新的粒子适应度值并比较新的Pest和Gbest。

步骤4、将使用PSO所产生的点作为初始值赋给HJ，利用HJ优化PSO的位置。

步骤5、更新并储存各微粒的个体历史最优位置和个体历史最优适应值；更新并储存微粒群的全局历史最优位置和全局历史最优适应值。

步骤6、如果是在全局历史最优适应值第一次没能得到改善之前的迭代，则转至步骤9。

步骤7、启动HJ法。使用PSO搜索到的20%的较优的点进行局部搜索，若满足HJ结束条件，将HJ搜索的结果回代到PSO，计算此时粒子的适应度值并记录Pest和Gbest.。

步骤9、若满足停止条件（适应值误差小于设定的适应值误差限或迭代次数超过最大允许迭代次数），搜索停止，输出全局历史最优位置和全局历史最优适应值为所求结果。否则，返回步骤3继续搜索。

步骤10、将计算出的最优粒子的位置各维度值作为BP神经网络的权值和阀值，得到训练好的BP神经网络，并预测输出结果。

2.2 广义预测控制（Generalized predictive control）

2.2.1 滚动优化（Rolling optimization）

为增强系统的鲁棒性，在性能指标函数中考虑了现在时刻的控制u（k）对系统未来时刻的影响，性能指标函数为：

（3）

其中是最大预测时域，是控制时域，是加权常数，是控制增量，是设定值，由神经网络模型预测得出。

由此对指标函数在每一采样时刻使用梯度下降法进行优化，便可得出控制律，根据广义预测控制滚动优化理论，最终控制量可取为：

（4）

其中，采用梯度下降法求取时的优化步长，可借助训练好的神经网络的权值和S形函数的导数来求取，。

由此可见，通过用优化滚动方法求取的控制律，与采用丢番图求解相比减少了计算量，加快了计算速度。

2.2.2 反馈校正（Feedback correction）

预测模型的输出不可能与实际对象的完全一致，于是通过反馈来对预测模型进行修正。在神经网络预测控制算法中，每一步都要检测实际输出，并与模型输出加以比较以构成误差信息，然后以此误差信息对神经网络模型进行学习和修正，这一过程可以在线进行，也可以离线进行。为满足控制系统实时性的要求通常采用在线学习和修正，设实际对象输出与模型输出之间的误差用下式表示：

（5）

则得到反馈校正后模型的预测输出为

（6）

式中，u为误差修正系数。

基于混合型HJPSO-BP神经网络广义预测控制的在线算法可归结为如下步骤：

（1） 初始化预测网络模型及控制器参数。

（2） 采样被控对象输入输出数据，根据（2）式修改网络权值。

（3） 按（4）式求出控制系列。

（4） 返回第二步。

2.3 控制系统结构（The control system configuration）

如上所述，基于HJPSO-BP神经网络广义预测控制，是由HJPSO-BP神经网络预测模型、优化控制器和反馈校正三部分构成，其结构如图（1）所示.

3 仿真研究（Simulation Study）

火电厂锅炉、汽轮发电机组协调控制系统经过合理简化，可以简化看作双输入双输出系统。它的两个输入量为：汽轮机调节阀开度指令Ut，锅炉燃烧率指令Ub；两个输出量为：汽轮机主蒸汽压力Pt和机组实发功率Ne。

300MW火力发电机组在100%、70%负荷工况运行时传递函数分别表示如下：

= （11）

= （12）

用基于HJPSO-BP神经网络广义预测控制策略对其进行计算机仿真试验。

分别采用HJPSO-BP算法进行网络模型训练与普通BP算法进行网络模型训练，对比其误差曲线如图2所示：

由图2可看出采用HJPSO-BP算法进行模型训练，在速度上较普通BP算法提高很多，经过9步即可使平方误差达到0.0001。

然后用HJPSO-BP广义预测控制策略对控制对象进行仿真实验：

在100%负荷时取采样周期T=15s（选取的经验为：，为过渡过程上升到95%的上升时间，通过对功率和系统气压的阶跃响应分析可得采样周期），模型长度N=1000，预测时域长度P=3，控制时域长度M=2，控制权矩阵R=[0.8 0.2]，Pt的约束值为0和20Mpa，Ne为0和330MW，取功率设定值Ne=300MW，压力设定值 Pt=18 Mpa ；

在70%负荷时控制器参数均保持不变，以此来观察NNGPC的鲁棒性，Pt的设定值和约束值保持不变，Ne的设定值为210MW。控制系统的仿真结果如图3：

采用HJPSO-BP网络的广义预测控制策略，机组实发功率Ne和主蒸汽压力Pt的输出曲线如图3所示，其中实线为100%负荷模型时调整控制器参数的输出曲线，虚线为切换到70%负荷模型且保持控制器参数不变时的输出曲线。仿真结果表明把HJPSO-BP网络广义预测控制运用到单元机组协调控制系统中，可保证快速平稳地跟踪系统的功率及主蒸汽压力设定值，且对对象模型的不确定性具有很好的适应性和鲁棒性。

为方便清楚的比较HJPSO-BP网络广义预测控制的控制效果，下面采用常规PID策略对系统进行控制仿真对比。在100%工况时，UT和UB的PID控制器参数分别设置为：kp1=0.0007，ki1=0.000041，kd1=0.012；kp2=0.1，ki2=0.25，kd2=1.4。Ne和Pt的输出曲线如图4实线所示；在70%工况时，PID控制器参数保持不变，以此观察PID控制的鲁棒性及对模型的适配性，此时Ne和Pt的输出曲线如图4虚线所示。

由上图仿真结果可以看出，模型的改变，使得常规PID控制器不能很好的适应模型的变化，Ne和Pt的输出均出现了较大超调量，同时Ne的调节时间较长，不能迅速跟踪功率设定值。由此可以看出，常规PID控制的鲁棒性较差，而HJPSO-BP广义预测控制具有更强的鲁棒性，且更能适应大型单元机组模型不确定性的要求。

4 结论（Conclusion）

本文针对大型单元机组被控对象的特点，结合协调控制运行中的普遍问题，采用HJPSO算法进行神经网络模型训练，利用BP网络快速完成这种多变量非线性系统的数学模型辨识，同时将训练好的HJPSO-BP网络中的参数用于求取广义预测控制率，这样避免求解Diophantine方程，减小计算量。仿真结果表明，该方法保证在系统运行中功率和主蒸汽压力平稳地跟踪其设定值且具有较好的鲁棒性，在单元机组控制中较之常规协调控制策略更加有效。

参考文献

[1] 孙增圻.智能控制理论与技术[M].清华大学出版社，1992.4.

第4篇：梯度下降法的基本原理范文

关键词:室内定位;RSS; BP神经网络;IEEE 802.11b

中图分类号:TN911.23 文献标识码:A

1 引 言

目前,室内定位算法主要有以下几种｡

1)Time of arrival(TOA)

TOA定位的基本原理是通过测量节点间电波传播的时间来确定节点的位置｡

TOA算法要求参加定位的各个基站在时间上实现严格同步｡在室内环境中,由于已知点到待测点的距离通常不远,无线电波的传播速度太快,且存在严重的多径干扰,因此无法利用无线电波进行测距｡目前,基于TOA的室内定位技术通常是利用超声波传播速度较慢的特点(在20摄氏度时超声波的传播速度为343.38m/s),来测量出已知点和待测点间的距离,进而求出待测点的位置[1]｡

2)GPS L1 Re-radiating

GPS(Global Positioning System)是70年代初由美国开发的卫星导航定位系统,本质上它也是一个基于TOA的定位系统｡

GPS L1 Re-radiating是将GPS在L1频段上的信号,通过户外天线接收后,增益放大为室内可接收信号,进而基于GPS实现室内定位｡

3)Received signal strength,RSS

RSS定位的基本原理是利用移动装置侦测所接收到的无线电波信号强弱,然后根据经验模型或RSS随距离衰减的模型来推断节点间的距离,进而实现定位[2]｡

该技术主要使用无线网络本身的无线电信号来定位,不需额外添加硬件,是一种低功率､廉价的定位技术[3]｡

基于信号强度的室内定位方法分为经验模型法和信号衰减模型法｡

(1)经验模型法

在经验模型法中,将RSSI数据转换为位置信息的方法主要有判定法和概率法两种｡

(2)信号衰减模型法

信号衰减模型法则无需实地测量位置和RSSI,而是依据信号强度和距离的特定关系,结合三角测量法,根据来自三个(或以上)AP的RSSI来计算出待测点的位置｡

基于TOA的定位模型在开放的室外环境中非常有效,但在室内环境却存在一些问题｡使用超声波虽可克服无线电波传输速度快的问题,但需构建专门的超声波系统｡GPS也主要是针对户外目标设计的定位系统,应用于室内存在定位精度不高等问题｡基于RSS的定位模型中,经验法需进行大量的实地测量,同时无法保护定位用户的隐私;而信号衰减法在室内受NLOS(非视距传播)等因素影响,也使得定位精度较低｡

因此,本文提出了一种基于BP神经网络的室内定位模型并借助MATLAB 7.0加以实现｡采用该方法进行室内定位,不需要WLAN以外的其他资源｡由于不需要知道定位节点和建筑物的详细特性,用户的隐私将随之得到完全的保护｡

2 基于BP神经网络的室内定位模型

BP神经网络通常是指基于误差反向传播算法(Backpropagation)的多层前向神经网络,目前,该算法已成为应用最为广泛的神经网络学习算法[4]｡

BP神经网络采用的是并行网络结构,包括输入层､隐含层和输出层,经作用函数后,再把隐节点的输出信号传递到输出节点,最后给出输出结果｡该算法的学习过程由信息的前向传播和误差的反向传播组成｡在前向传播的过程中,输入信息从输入层经隐含层逐层处理,并传向输出层｡第一层神经元的状态只影响下一层神经元的状态｡如果在输出层得不到期望的输出结果,则转入反向传播,将误差信号(目标值与网络输出之差)沿原来的连接通道返回,通过修改各层神经元权值,使得误差均方最小｡神经网络理论已经证明BP神经网络具有强大的非线性映射能力和泛化功能,任一连续函数或映射均可采用三层网络加以实现｡

计算技术与自动化2007年6月第26卷第2期李 瑛等:一种基于BP神经网络的室内定位模型2.1 样本数据的采集和处理

输入向量为待测点收到的来自至少三个不同位置AP的RSSI值,输出向量为待测点的坐标值(X,Y)｡

样本采集在一个10mX10m的室内场地中进行｡使用3个来自SMC公司的AP和1台配置了ORiNOCO PC CARD的笔记本电脑｡AP及无线网卡符合并工作在IEEE 802.11b标准下｡笔记本电脑所使用的操作系统为RedHat Linux 9.0｡样本均匀分布在6mx6m的中心区域中｡

2.2 网络结构的确定

Kolmogorov定理已经证明[5],任意一连续函数可由一个三层BP 网络来实现｡虽然研究表明三层以上的BP网络可以减少隐含层节点数,提高计算效率,但在缺乏理论指导的BP网络设计中这样做容易使问题趋向复杂化｡因此选择三层BP神经网络,即只有1个隐含层的BP神经网络｡

该网络输入层的节点数由输入向量的维数决定,输入向量的维数是3,所以输入层节点数确定为3个｡输出层节点数由输出向量的维数决定,这里输出节点数为2 ｡

隐含层节点数的选择在BP网络设计中是一个难点,目前还没有理论上的指导｡过多的网络节点会增加训练网络的时间,也会使网络的泛化能力减弱,网络的预测能力下降｡然而网络节点过少则不能反映后续值与前驱值的相关关系,建模不充分｡经反复试验,将隐含层节点数定为30,这样形成了一个3-30-2结构的BP神经网络,如图1所示｡

2.3 学习算法的选择

基本BP 算法采用梯度下降法使得误差均方(mse)趋向最小,直至达到误差要求｡但在实际应用中,存在收敛速度慢､局部极值等缺点｡Matlab 7.0神经网络工具箱中提供了十多种快速学习算法,一类是采用启发式学习方法,如引入动量因子的traingdm 算法､变速率学习算法traingda ､“弹性”学习算法trainrp等;另一类采用数值优化方法,如共轭梯度学习算法traincgf 等｡本研究选择traincgf 算法｡该算法在不增加算法复杂性的前提下,可以提高收敛速度,并且可沿共扼方向达到全局最小点,较好地解决了经典BP算法所存在的收敛速度慢和可能出现局部最优解的问题｡

2.4 BP神经网络的初始化､训练与仿真

1)建立网络

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()为建立BP 神经网络的函数;P3为6维矩阵,表示3维输入向量中每维输入的最小值和最大值之间的范围｡[30,2]表示隐层节点数是30,输出层节点数是2,{′tansig′,′purelin′}表示隐含层中的神经元采用tansig转换函数,输出层采用purelin函数,′traincgf′表示选择的学习算法｡

2)权重和阈值初始化

net==init(net)

给各连接权重LW{1,1}､LW{2,1}及阈值b{1}､b{2}赋予(-1,+1)间的随机值｡

3)训练

[net,tr]=train(net,P,T)

P为输入向量,T为目标向量,根据网络学习误差逆传递算法,利用阻尼最小二乘算法迭代,由前一次训练得到的网络权重及阈值训练得到新的网络权重及阈值｡

为了使生成的BP网络对输入向量有一定的容错能力,最好的方法是既使用理想的信号又使用带有噪声的信号对网络进行训练｡具体做法是先用理想的输入信号对网络进行训练,直到起平方和误差足够小;然后,使用20组理想信号和带有噪声的信号对网络进行训练｡经过上述训练后,网络对无误差的信号也可能会采用对付带有噪声信号的办法,这样会导致很大的代价,因此,需要采用理想的向量对网络再次训练,以保证网络能对理想信号作出最好的反应｡

使用函数traincgf对网络进行训练时,当网络平方和误差小于3时停止网络的训练｡训练过程中的误差变化情况如图2所示｡

根据训练后的网络及输入向量进行仿真输出｡

3 实验结果及分析

利用训练后的BP神经网络进行了36次定位,并统计了36次定位的平均误差,结果如图3所示｡

与利用信号衰减模型定位相比(如图4所示),利用BP神经网络定位具有更高的统计精度｡

与信号衰减模型相比,虽然BP神经网络的模型解释直观性略有不足,但却可获得更精确的定位结果｡

利用BP神经网络,虽然可解决传统处理方法所不能处理的非线性映射问题,但在实际应用中,对如何选择和确定一个合适的神经网络结构没有确切的理论指导,只能通过试验―调整―再试验的过程来确定一个合适的网络结构｡同时,BP神经网络的隐含层作用机理和隐含层节点个数的选择是BP神经网络的难点问题｡隐含层的节点个数的选择需反复进行试验,当多次输出结果在一定误差范围内时才可确定｡

4 结束语

本文提出了一种基于BP神经网络的室内定位模型,并在基于IEEE 802.11b标准的WLAN环境中对此模型进行了测试｡一个基于信号衰减模型的定位算法也在同样的环境中进行了测试｡对比结果表明,利用BP神经网络进行室内定位能取得更好的定位精度｡

第5篇：梯度下降法的基本原理范文

关键词：高速公路；隧道施工系统；安全评价；模糊理论；神经网络

0引言

近年来，随着国家高速公路迅猛发展，隧道建设数量也越来越多，规模也越来越大。在隧道施工过程中，由于围岩地质条件的多样性和复杂性，其施工事故发生率比其他岩土工程高且严重，给隧道工程施工人员身心带来严重的危害，社会影响恶劣，有悖于国家建设和谐社会的宗旨。这就要求用科学的方法对隧道施工生产系统进行安全分析与评估，预测事故发生的可能性[1]。

在传统的公路隧道施工生产系统安全评价中，经常使用的安全评价方法主要以定性安全评价方法为主，如专家论证法、安全检查表法及作业条件危险性评价法等[2,3]。近年来，在公路隧道施工生产系统安全评价中，引人了模糊综合评价的方法，取得了较好的决策效果[4]。但是，该方法缺乏对环境变化的自学习能力，对权值不能进行动态调整[5],而神经网络具有非线性逼近能力,具有自学习、自适应和并行分布处理能力，但其对不确定性知识的表达能力较差，因此，模糊控制与神经网络结合就可以优势互补，各取所长[6]，在这方面已经出现了一些研究成果[7～11]。为此，本文把人工神经网络理论与模糊综合评价理论相融合，研究建立了一种模糊神经网络评价模型，对公路隧道施工的安全管理水平进行评价。

1模糊神经网络

1.1基本结构原理

模糊神经网络是由与人脑神经细胞相似的基本计算单元即神经元通过大规模并行、相互连接而成的网络系统，训练完的网络系统具有处理评估不确定性的能力，也具有记忆联想的能力，可以成为解决评估问题的有效工具，对未知对象作出较为客观正确的评估。

根据评估问题的要求，本文采用具有多输人单元和五输出单元的三层前馈神经网络，其中包括神经网络和模糊集合两方面的内容。

1.2神经网络

为了模拟人脑结构和功能的基本特性，前馈神经网络由许多非线性神经元组成，并行分布，多层连接。Robert Hecht一Nielson于1989年证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近[12]，因而一个三层的BP网络完全可以完成任意的输人层到输出层的变换。因此，本文研究的公路隧道施工系统安全评价模糊神经网络采用三层BP神经网络结构。输人层有 个神经元，输人向量 ， ，输人层神经元 的输出是输人向量的各分分量 。隐层有个神经元 ， ，若输人层神经元 与隐层神经元 之间的连接权值为 ，且隐层神经元 的阈值为 ，则隐层神经元 的输出为

(l)

式中 是神经元的激励函数，一般选取单调递增的有界非线性函数，这里选用Sigmoid函数：

(2)

由此，隐层神经元的输出为：

(3)

同理可得输出层神经元的输出为：

(4)

1.3学习算法

本网络采用BP学习算法，它是一种有教师的学习算法，其学习过程由信号的正向传播和误差的反向传播组成。基本原理是：设输人学习样本为 个，即输人矢量 ，已知其对应的期望输出矢量(教师信号)为 ，正向传播过程将学习样本输人模式 从输人层经隐含单元层逐层处理，并传向输出层，得到实际的输出矢量 ，如果在输出层不能得到期望输出 ，则转人反向传播，将 与 的误差信号通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而调整各神经元之间的连接权值，这种信号正向传播与误差反向传播得各层权值调整过程是周而复始地进行的，直到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。

网络的具体学习算法的计算模型如下：

对某一学习样本 ，误差函数为

（5）

式中： 、 分别为该样本的输出期望值和实际值。

对于所有学习样本 ，网络的总误差为

（6）

网络学习算法实际上就是求误差函数的极小值。利用非线性规划中的梯度下降法(最速下降法)，使权值沿着误差函数的负梯度方向改变。

隐层与输出层之间的权值(及阈值) 的更新量 可表示为

（7）

式中： 为学习率，可取 。

将式（6）和（4）代入式（7），并利用复合函数求导的连锁规则，得

（8）

式中： 为迭代次数， 为误差信号

（9）

类似的，输入层与隐层之间的权值（及阈值）修正为

（10）

同理可得

式中 为误差信号

（11）

为了改善收敛性，提高网络的训练速度，避免训练过程发生振荡，对BP算法进行改进，在权值调整公式中增加一动量项，即从前一次权值调整量中取出一部分迭加到本次权值调整量中，即：

（12）

（13）

式中 为动量因子，一般有 。

1.4模糊集合

评估指标集由表征一类评估决策问题的若干性能指标组成。由于指标的量化含有不确定性，故用模糊方法加以处理[13]。评估指标的模糊集合 可表示为

（14）

式中： 是评估指标， 是相应指标的评价满意度， 。

评估指标集用其满意度表示，取值在[0，1]之间，作为模糊神经网络系统中神经网络的输人向量，这正好符合神经网络对输人向量特征化的要求。实践表明，经过对输人向量的特征化处理，可大大减少网络的学习时间，加速网络训练的收敛。

2隧道施工系统安全评价模糊神经网络

2.1指标体系与神经网络划分

实践证明，一个好的隧道施工系统安全评价方法应满足以下要求：评价指标能全面准确地反映出隧道施工系统的状况与技术质量特征；评价模式简单明了，可操作性强，易掌握；评价结论能反映隧道施工系统的合理性、经济性及安全可靠性；评价中所采用的数据易于获取，数据处理工作量小；顶层输出即为系统的专家评估，而每层各评估项目的子系统都可以用子结构表示。

每个子结构具有输人输出关系可表达为

（15）

其中 是子系统的输出， 是子系统的输人矢量， 为相应的专家(加权)知识。

评估专家系统中各子系统的评估由各自的模糊神经网络来完成。

这种对评估系统的结构分解和组合具有如下特点：

（1）每个子系统可以采用较少的神经元来实现神经网络的自学习和知识推理，这样既减少了学习样本数、提高了样本训练速度，又能够独立完成某一推理任务。

（2）分解的各子系统具有相对独立性，便于系统的修改、扩展和子系统的删除，从而具有良好的维护性。

（3）子系统的评估项目即为节点，在系统进行评估推理时产生的评估表示式可以很好地解释评估系统的推理过程，避免了神经网络权值难以理解所致的推理过程难以理解的弱点。

2.2网络的设计

评估问题是前向处理问题，所以选用如前所述的前向型模糊神经网络来实现。

（1）输人层

输人层是对模糊信息进行预处理的网层，主要用于对来自输人单元的输人值进行规范化处理，输出由系统模糊变量基本状态的隶属函数所确定的标准化的值，以便使其适应后面的处理。根据评价指标体系，对应20个指标构建BP网络的输入层为20个节点，将指标转换为相应指数后作为样本进入网络进行计算。

（2）隐层(模糊推理层)

该层是前向型模糊神经网络的核心，用以执行模糊关系的映射，将指标状态输入与评估结果输出联系起来。采用试探法选取模型的隐含层神经元数，即首先给定一个较小的隐含层神经元数，代入模型观察其收敛情况，然后逐渐增大，直至网络稳定收敛。通过计算该模型的隐含层神经元数为28个。

（3）输出层

输出层是求解模糊神经网络的结果，也是最后的评估结果。我们把评价因素论域中的每一因素分成5个评价等级，即

={安全（ ），较安全（ ），安全性一般（ ），较不安全（ ），不安全（ ）}

对应这5个等级，确定输出层为5个节点。这样就构建了一个“20―28―5”的3层BP网络作为评价体系的网络模型。

2.3模糊神经网络训练

网络设计好后,须对其进行训练，使网络具有再现专家评估的知识和经验的能力。样本数据来自我省已经建成的高速公路隧道施工的现场数据库，从中选取30组，其中20组数据作为训练样本，余下的10组作为测试样本。实际网络训练表明，当训练步数为12875时，达到了目标要求的允差，获得模糊神经网络各节点的权值和阈值，网络训练学习成功。根据最大隶属度原则进行比较，与期望结果相符，其准确率为100%。这说明所建立的隧道施工系统安全评价模糊神经网络模型及训练结果可靠。

3 工程应用实例

利用所训练好的模糊神经网络模型，对江西省正在施工的某高速公路A3合同段3座隧道（北晨亭隧道、洪家坂隧道和窑坑隧道）施工系统进行安全评价测定，评价出系统的安全状况与3座隧道施工实际情况完全相符。同时，实际系统的评价结果又可作为新的学习样本输入网络模型，实现历史经验和新知识相结合,在发展过程中动态地评价系统的安全状态。

4 结论

（1）本文对模糊理论与神经网络融合技术进行了研究，建立了一种公路隧道施工系统安全模糊神经网络评价模型，利用历史样本数据进行学习训练和测试，并对工程实例进行了评价。结果显示，该评价方法可行，评价精度满足工程应用要求,为公路隧道施工安全评价探索了一种新的评价方法。

（2）运用模糊神经网络知识存储和自适应性特征，通过适当补充学习样本，可以实现历史经验与新知识完美结合，在发展过程中动态地评价公路隧道施工系统的安全状态，可及时评估出施工系统的安全状况，尽早发现安全隐患。

参考文献：

[1]徐德蜀.安全科学与工程导论[M].北京:化学工业出版社,2005.

[2]刘铁民,张兴凯,刘功智.安全评价方法应用指南[M].北京:化学工业出版社,2005.

[3]田建,李志强,张斌.交通建设工程安全评价技术现状及趋势研究[J].中国安全科学学报,2008,18(6):171-176.

[4]张鸿,刘优平,黎剑华等.基于模糊理论的隧道施工安全预警模型研究及应用[J].中国安全科学学报,2009.19(4):5-10.

[5]刘辉,王海宁,吕志飞.模糊神经网络技术在矿山安全评价中的适应性研究[J].中国安全生产科学技术,2005,1(3):54-59.

[6]张吉礼.模糊-神经网络控制原理与工程应用[M].哈尔滨:哈尔滨工业大学出版社,2004.

[7]葛淑杰,李彦峰,姜天文等.基于模糊神经网络的煤矿安全评价综合评判[J].黑龙江科技学院学报,2007,17(4):321-325.

[8]郑恒,汪佩兰.模糊神经网络在火工品生产系统安全评价中的应用[J].安全与环境学报,2004,4:159-162.

[9田军.基于模糊神经网络的隧道围岩分级系统[J].湖南交通科技,2007,34(4):104-107.

[10]郭宇航,王保国.两类新型神经网络及其在安全评价中的应用[J].中国安全科学学报,2008,18(7):28-33.

[11]宋瑞,邓宝.神经元网络在安全评价中的应用[J].中国安全科学学报,2005,15(3):78-81.

[12]韩力群.人工神经网络理论、设计及应用[M].北京:化学工业出版社,2007.

[13]杨纶标,高英仪.模糊数学原理及应用[M].广州:华南理工大学,2005.

第6篇：梯度下降法的基本原理范文

关键词：避障；模式识别；全向移动机器人；超声波传感器；BP神经网络；样本库；分类误差；仿真

中图分类号：TP242.6 文献标识码：A

Obstacles based on BP neural network pattern recognition

ZHANG Qiuhao，MENG Xianhui，GUO Hongche，SUN Baiqing

（Shenyang University of Technology，Shengyang 110870）

Abstract：Adopted theory of BP neural network to realize pattern identification of obstacle. Constructed a kind of neural network classifier based on BP algorithm, according to the characteristics of omni-directional mobile robot.Taked the distance of obstacle acquired by ultrasound sensor as input,classificaion pattern expected as output, then, trained the parameter of BP neural network classifier through training the data in sample library. Simulated the process of training with Matlab software. During training, this pattern classification could gain less error and gain correct resullt by adopting testing sample to test classifier. Showed that this kind of BP neural network classifier can execute effectively pattern classification to obstacles around mobile robot.

Key words：obstacle avoidance；pattern classification；omni-directional mobile robot；ultrasonic sensors；BP neural network；Sample library；Classification error；computer simulink

移动机器人的智能避障算法已经有许多学者进行了深入的研究，机器人在导航过程中，对障碍物的模式识别是感知当前环境的一种重要方法，适合移动机器人本身特点的障碍物模式识别是好的避障算法的基础。其中应用人工神经网络对障碍物进行模式的分类和识别也有很多[1-2]。在运用模式识别的若干种神经网络模型中，BP模型应用最为广泛。其非线性映射能力是保证其成功实现各种简单或复杂分类的主要原因，而并行结构则加速了运算。更重要的是，它将信息分布式存储于连接权系数中，使网络具有很高的容错性和鲁棒性，有效地解决了模式分类和识别中普遍存在的噪声干扰和输入模式的部分损失问题 [3] 。

1 BP神经网络分类器的结构和机理

1.1 BP神经网络结构

BP神经网络，也称误差后向传播神经网络【4】，它是由非线性变换单元组成的多层前馈网络。一般由输入层、输出层和隐含层三部分组成。隐含层可以为一层或多层。根据Kolmogorov定理（1957）[5]，一个三层的BP网络足可以完成任意的m维到q维的映射，即一般只需一个隐含层就够了。同时从简洁实用的角度考虑，也提倡选用一个隐含层，隐含层含有n个神经元。输入层和隐含层之间以及隐含层和输出层之间通过权值来表示连接强度。这就是三层BP神经网络结构（如图3-1）。

输入层输入向量X=[x1,x2,…，xi，…xm]T，隐含层输出向量为Y=[ y1,y2,…，yj，…yn]T,输出层输出向量为Z=[ z1,z2,…，zk，…zq]T，期望输出向量为T=[ t1,t2,…，tk，…tq]T。输入层到隐含层之间的权值矩阵用A表示，A=[ a1,a2,…，aj，…an]，其中列向量aj为隐含层第j个神经元对应的权值向量，隐含层到输出层之间的权值矩阵用B表示，B=[ b1,b2,…，bk，…bq]，其中列向量bk为输出层第k个神经元对应的权值向量。

1.2 BP算法

BP算法的思想是，学习过程即信号的正向传播与误差的反向传播两个过程组成。

由信号的正向传播，这里定义f（*）为神经元激励函数，对于隐含层有

yj =f（netj） j=1，2，…，n （1）

netj= aijxi j=1，2，…，n （2）

对于输出层有

zk =f（netk） k=1，2，…，q （3）

netk= bjkyj k=1，2，…，q （4）

再来看误差的反向传播和权值的修正，BP算法采用非线性规划中的最速下降法，按误差函数的负梯度方向修改权值系数。

定义误差函数E，取期望输出和实际输出之差的平方和为误差函数，则：

E=12 (T-Z)2=12 (tk-zk)2 k=1，…，q （5）

进一步展开至输入层

E=12 {tk-f[ bjkf( aijyi)]｝2 其中k=1，…，n j=1,…,n i=1,…,m （6）

由上式可以看出，网络输入误差是各层权值aij、bjk的函数，因此调整权值可以改变误差E。调整权值的原则是使误差不断的减小，应使权值的调整量与误差的负梯度成正比，即：

aij= i=1,2,…,m j=1,2,…,n （7）

bij= j=1,2,…,n k=1,2,…,q （8）

式中负号表示梯度下降，η∈（0，1）为学习率。

各层权值调整过程是循环进行的。权值不断调整的过程，就是网络的学习训练过程。通过不断的调整权值和新的数据不断加入，可以使误差逐渐的减小。

2 构建BP神经网络分类器结构

模式识别的分类问题归根结底是一个模式特征空间的划分问题，或者说是一种映射问题。而BP网络的输入输出关系可以看成是一种高度非线性的映射关系，其信息处理能力也是来自于一种简单的非线性函数的多次复合。根据BP网络结构定理及有关性质，大家知道，对于任何在闭区间内的一个连续函数都可以用一个隐含层的BP网络来逼近，也就是说一个三层的BP网络可以完成任意的n维到q维的映射。BP网络分类器就是在这个基础上达成对样本分类的，也就是说我们可以应用BP网络分类器完成从环境信息到环境分类的映射。

本课题应用的移动机器人（如图2）采用的是全方位移动机构（如图2-a为俯视图 ），车轮为全向轮（如图2-b），当车轮旋转时，轮心相对于地面的速度 是轮毂速度 与辊子滚动速度 的合成， 与 垂直。这种结构的车轮在驱动力的作用下可以前进或后退，当受到横向的外力时又可以自由的横向移动，因此经过适当的组合后就可以实现机器人的全方向移动和原地转向运动，以及这两种运动的合成[6]。

结合全向移动机器人能够全方位移动和原地转向的特点，对周围障碍物分类比较具体化，更贴近于实际。本次研究把其周围障碍物的模式分为10类 （如图3）。为减小输出层神经元数，我们做一次处理，采用二进制编码来作为输出的目标向量。把10类用4位用二进制编码表示，如0000,0001,…,1010等。故输出层的神经元的个数为4个，即k=4。

移动机器人的工作环境空间是一个二维空间，其只对障碍物的形状和距离车体的远近敏感，所以把机器人和周围环境中的障碍物的距离做为BP神经网络分类器的输入。采用NU40C10T/R-2型超声波传感器和AT89S51单片机组成系统对周围环境中的障碍物进行测距【7】，。NU40C10T/R-2型超声波传感器的方向角为60±15°,标称频率40kHz。AT89S51单片机通过RS232接口电路与PC连接，从而可以把检测的数据传给PC进行处理。

结合全向动机器人的特点和BP神经网络分类器所要的分类结果，要求机器人对周围环境的感知要全面，传感器在机器人上的分布（如图4），并且对传感器进行了编号，为以后研究做准备。从而可以确定输入神经元的个数为15，即m=15。传感器所测定的距离值就做为BP神经网络分类器的输入,并且在程序上把对障碍物检测的距离做了处理，500mm为安全距离，一般机器人不会靠近障碍物500mm。检测距离大于1000mm的赋值1000mm。

隐含层神经元的个数，这里应用了一个经验公式n= +β，其中n为隐含层神经元的个数，m为输入层神经元个数，q为输出层神经元个数，β为1-10之间的任意一个数，取β=6。可得n= +10=16，即n=16。

选择S函数为神经元激励函数[8]。因为输出为二进制编码（0，1），所以在输出层选择S型对数正切函数（式9）。隐含层激励函数我们也选取这个函数。即我们前面1.2节所提到的f（*）有

（9）

3 BP神经网络分类器训练和测试

Fig.5 BP Neural network classifier

构建完了BP神经网络分类器的结构即各层元素个数，我们就通过训练来确定各层元素之间的连接强度即权值系数。从而就得到一个BP神经网络分类器，然后我们再对它评价。这就是BP神经网络分类器训练和测试流程（如图5）。

首先，建立好的训练样本库，网络的性能与训练的样本密切相关，既要有成规模的训练样本，又要样本有很好的全面性和代表性。应用样本数据通过训练来确定BP神经网络分类器中的权值，当权值确定好后，意味着BP神经网络分类器生成。然后我们可以用一些新的实时数据进行进行测验，这样就能够对分类器进行评价。

本次研究对每个期望划分出来的类型进行10次的数据采集，生成训练样本库。由于写作条件的限制，本文只列举出其中每类输出的3次采集数据代表训练样本库。其中输入量为传感器所测量的距离值，输出类为我们所期望的BP神经网络分类器所分类出来的结果。

根据前面1节所述BP神经网络的机理和其训练和测试流程，首先我们通过matlab对训练的过程和结果进行仿真[9-10]，其中学习率η=0.05，允许误差为5%，把100个训练样本数据训练100次。

程序如下：

p_test=xlsread('训练样本.xls','sheet1','A103:O105');

t_test=xlsread('训练样本.xls','sheet1','P103:S105');

P=xdata;

T=ydata;

net=newff(minmax(P),[16,4],{'tansig','tansig'},'trainlm');%trainscg; trainlm; trainrp

net.trainParam.show=50;%

net.trainParam.lr=0.1;

net.trainParam.epochs=100;

net.trainParam.goal=5*1e-2;

[net,tr]=train(net,P,T);

执行结果：

TRAINLM, Epoch 0/100, MSE 0.762867/0.05, Gradient 90881.1/1e-010

TRAINLM, Epoch 50/100, MSE 0.0754328/0.05, Gradient 89.035/1e-010

TRAINLM, Epoch 100/100, MSE 0.0723378/0.05, Gradient 107.27/1e-010

TRAINLM, Maximum epoch reached, performance goal was not met.

所得到的分类误差曲线，

从仿真的结果看误差为7%左右，没有达到要求的5%，因为当前的训练样本数据还是比较少的，所以结果也是可以接受的。

然后，我们用一个测试样本（如表2）对我们训练后的BP神经网络分类器进行测试。

程序如下：

BP神经网络分类器对测试样本的数据分类是正确的。

通过以上的matlab中的仿真，我们用从训练样本仿真中得到了BP神经网络分类器固化参数，然后对于这个分类器进行测试也得到了正确的结果。

4 结论

本文介绍了BP神经网络分类器的结构和机理，基于全向移动机器人的运动特点的分类器输入和输出描述，从而构造出一种基于BP算法的神经网络分类器，通过matlab软件的仿真，这种BP神经网络分类器能够很好的对全向移动机器人周围的障碍物模式进行分类，为全向移动机器人智能避障打造了很好的基础。

参考文献 (References)：

[1] 张明路，彭商贤等.用于移动机器人避障的人工神经网络和模糊逻辑控制技术[J].中国机械工程：1997，8(2)：21～24.

ZHANG Ming-lu,Peng SHANG-xian,et al.For mobile robot obstacle avoidance of artificial neural networks and fuzzy logic control technology[J]. Chinese Mechanical Engineering：1997，8(2)：21～24.

[2] 施鸿宝.神经网络及应用[M].西安：西安交通大学出版社，1993.1.

SHI Hong-bao,Neural Networks and applications[M]. Xi'an：Xi'an Jiaotong University，1993.1.

[3] 董聪，刘西拉.广义BP算法及网络容错性和泛化能力研究[J].控制与决策，1998.3；13：120～124.

DONG Cong，LIU Xi-la.Generalized BP algorithm and network fault tolerance and generalization ability of Study[J].Control and Decision，1998.3；13：120～124.

[4] 江虹，曾立波等.优化的BP神经网络分类器的设计与实现[J].计算机工程与应用，2001，(5).：122.

JIANG Hong，ZENG Li-bo，et al. Optimized BP Neural Network Classifier Design and Implementation[J]. Computer Engineering and Applications，2001，(5).：122.

[5] 焦李成.神经网络系统理论[M].西安：西安电子科技大学出版社，1996.

JIAO Li-cheng.Neural network theory[M].Xi'an：Xidian University Press，1996.

[6] 杨俊友，李庆宇等.下肢康复机器人结构设计及动力学仿真[J].沈阳工业大学学报，2010，(5)：514～519.

YANG Jun-you，LI Yu-qing，et al.Mechanical structure design and kinetic simulation of lower limbs rehabilitative robot[J].Journal of Shenyang University of Technology，2010，(5)：514～519.

[7] 廖一，贺汉根等.远距离超声波传感器在测距系统中的设计与应用[J].传感器与仪器仪表：2009，(25)：90～92.

LIAO Yi，HE Han-gen，et al. Distance ranging ultrasonic sensors in the system design and application[J]. Sensors and Instrumentation，2010，(5)：514～519.

[8] 史晓霞，陈一民等.神经网络在应用科学和工程中的应用-从基本原理到复杂的模式识别[M].北京：机械工业出版社，2009.7.

SHI Xiao-xia，CHEN Yi-min，et al. Neural networks in applied science and engineering - from basic principles to complex pattern recognition[M].Bei Jing：Machinery Industry Press，2009.7.

[9] 董长虹.MATLAB神经网络与应用[M].北京：北京航空航天大学出版社，2005.

DONG Chang-hong.MATLAB Neural Networks and Applications[M]. Beijing： Aerospace University Press，2005.

[10] 高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003.

GAO Yong.Artificial neural network and simulation examples[M]. Bei Jing：Machinery Industry Press，2003.

第7篇：梯度下降法的基本原理范文

非负矩阵分解（NMF）要求分解得到的左矩阵为列满秩，这限制了它在欠定盲分离（UBSS）中的应用。针对此问题，提出基于带行列式和稀疏性约束的NMF的欠定盲分离算法――DSNMF。该算法在基本NMF的基础上，对NMF得到的左矩阵进行行列式准则约束，对右矩阵进行稀疏性约束，平衡了重构误差、混合矩阵的唯一性以及分离信号的稀疏特性，实现了对混合矩阵和源信号的欠定盲分离。仿真结果表明，在源信号稀疏性较好和较差两种情况下，DSNMF都能取得良好的分离效果。

ス丶词：

欠定盲分离；非负矩阵分解；稀疏性；行列式准则

ブ型挤掷嗪牛 TN911

文献标志码：A

英文标题

Algorithm for underdetermined blind source separation based on DSNMF

び⑽淖髡呙

LU Hong1, ZHAO Zhijin1,2, YANG Xiaoniu2

び⑽牡刂(

1. College of Communication Engineering, Hangzhou Dianzi University, Hangzhou Zhejiang 310018, China;

2. State Key Laboratory of Information Controlling Technology in Communications System, No.36 Research Institute of China Electronic Technology Corporation, Jiaxing Zhejiang 314033, China

英文摘要

)

Abstract:

The decomposed left matrix of Nonnegative Matrix Factorization (NMF) is required to be full column rank, which limits of its application to Underdetermined Blind Source Separation (UBSS). To address this issue, an algorithm for UBSS based on determinant and sparsity constraint of NMF, named DSNMF, was proposed in this paper. On the basis of standard NMF, determinant criterion was used for constraining the left matrix of NMF, while sparsity was used for constraining the right one. In this way, the reconstruction error, the uniqueness of mixing matrix and the spasity of original sources can be equipoised, which leads to the underdetermined blind separation of mixing matrix and original sources. The simulation results show that DSNMF both works well for good and poor sparsity of sources separation.

英文关键词

Key words:

Underdetermined Blind Source Seperation (UBSS); Nonnegative Matrix Factorization (NMF); sparsity; determinant criterion

0 引言

非负矩阵分解（Nonnegative Matrix Factorization, NMF）是D.D.Lee和H.S.Seung1999年在《Nature》杂志上发表的一种新的矩阵分解方法［1］。其基本思想是在非负限制下将矩阵V∈Rm×N分解成两个矩阵W∈Rm×n和H∈Rn×N的乘积，并使分解结果尽可能地满足V≈WH，其中W和H中的元素非负。其数学模型可表示为：

V=WH(1)

在实际应用中，人们往往对分解结果W和H施以除非负性之外的如稀疏性［2］、正交性［3］ 和平滑性［4］等限制，从而使分解结果更加合理。NMF及其拓展方法广泛应用于数据挖掘、模式识别、目标检测、文本聚类、稀疏表示与编码和盲源分离等领域［5-8］。

盲源分离（Blind Source Separation, BSS）指在不知道源信号和传输信道参数的情况下，仅利用混合信号，恢复出源信号的过程，其数学模型可以表示为：

X=AS(2)

其中:S=s1,s2,…,snT∈Rn×N是n个N维信源信号构成的信源矩阵，X=x1,x2,…,xmT∈Rm×N是m个N维观测信号构成的观测矩阵，A∈Rm×n为未知混合矩阵。BSS的目标是，在A未知的条件下根据已知的X估计未知的S。根据混合矩阵A的类型，BSS问题可分为超定（m>n）、正定（m=n）和欠定（m

X=WH(3)

使得W和H分别是A和S的估计。并且在BSS问题中，许多情况下源信号取值是非负的，如像素信号、信号能量等，在非负约束下式(3)与式(1)是一致的。

信号的稀疏性是自然界许多信号的基本属性，是指信号在绝大多数的采样点取值较小或为零，少数的采样点取值明显较大或偏离零，如像素信号、机械故障信号等。虽然某些信号在时域表现非稀疏，但进行小波变换或傅里叶变换之后，往往在变换域表现出稀疏性。因此，稀疏性作为一个重要的先验条件被广泛用于解欠定盲分离（Underdetermined BSS，UBSS）问题［9-10］。

NMF模型中，矩阵V的列向量可以解释为W矩阵中所有列向量（即基向量）的加权和，权重系数为H矩阵中对应列的元素。通过NMF算法由V分解得到W，若W是唯一的，那么由方程理论可知W必为列满秩的Вm≥n）。гUBSS问题中，A为行满秩的，欠定系统不可逆，因此，仅有分解元素的非负约束，基本NMF算法难以获得唯一的W。针对这一问题，Cichocki等人提出HALS算法［11］，采用将重构误差分层处理的方法，使每一层分解信号在迭代后都尽可能地稀疏。在源信号稀疏性良好的情况下，该算法可以获得较好的分离结果，但对于源信号稀疏性不好的情况，分解结果偏离了方向，无法得到正确的分离结果。因此，本文针对此问题提出一种基于带有行列式和稀疏性约束的非负矩阵分解的盲分离方法，记为DSNMF。该方法在基本NMF的基础上对分解得到的W和H分别进行行列式准则约束和稀疏约束，使之符合UBSS中A和S的特性，获得了较好的欠定盲分离效果。

┑2期

卢宏等：基于行列式和稀疏性约束的NMF的欠定盲分离方法

┆扑慊应用 ┑31卷

1 基本原理

1.1 行列式准则

定义 设P(W)是由矢量w┆1,…,w┆i,…,w┆n张成的空间，如果W是方阵，那么P(W)的体积可记为vol(P)=det(W)；如果W不是方阵，那么vol(P)=det(WWT)［12］。

行列式准则：如果矢量w┆1,…,w┆i,…,w┆n张成的空间为P(W)В且有vol(P)ё钚。则这些矢量是唯一的。

将观测点x┆l(l=1,2,…，N)Э闯墒怯瑟nЦ龇歉夯旌鲜噶w┆1,…,w┆i,…,w┆n的线性加权和，那么式(3)可写成：

x┆l=∑ni=1w┆iHil; 1≤l≤N(4)

其中：w┆i为归一化的列矢量。那么在给出观测信号矩阵X，混合矢量个数nШ头歉涸际的条件下，NMF的目标就是找到构成W的列矢量。在没有其他约束的情况下，X可分解成无数组W与H的乘积。假设式(4)中n=2В图1所示的散点是由W中两列矢量加权得到的，a1、a2是散点图边缘的两条单位矢量，a1′、a┆2 ′是由NMF得到的一组可能的解。г谒有能够加权得到图中散点的单位向量组中，由a1、a2Я礁隽惺噶空懦傻钠叫兴谋咝械奶寤是最小的，且a1Ш酮a2是唯一的。

因此，利用NMF和行列式准则能够得到构成W的唯一一组混合矢量。

图片

图1 二维基于行列式准则的最小体积法

1.2 稀疏测度分析

如果源信号是稀疏的，那么在式(3)NMF模型中，应使分解得到的HЬ哂邢∈栊裕也就是说NMF应使得Hе芯】赡芏嗟脑素取值为零或接近于零，即Hе蟹橇阍素尽可能地少。那么，数学上该问题可以归结为l0范数优化问题：

min J(H)=H0=Аi,jHij0

s.t.V=WH(5)

其中:l0范数表示稀疏测度，АH0П硎揪卣H中非零元素的数目，即：

Hij0=1,Hij≠0Hij0=0,Hij=0 オ

虽然求解式(5)可以使H最稀疏，但解并不唯一，且对噪声极为敏感，鲁棒性差，难以有效求解，为此文献［13］提出采用l1范数测度稀疏性，那么式(5)改写为：オ

Иmin J(H)=H1=∑i,jHij1

s.t. V=WH (6)

文献［14-15］证明了在H稀疏的情况下，l1范数优化问题与l0范数优化问题是等价的，但l1范数更容易求解，鲁棒性好。因此本文采用l1范数作为稀疏测度方法。

2 基于

带行列式和稀疏性约束NMF的欠定盲分离

2.1 基本NMF算法

任意给定非负矩阵V∈Rm×N，运用NMF可以将V分解为非负矩阵W∈Rm×n和非负矩阵H∈Rm×N的乘积，且有V≈WH。由于分解过程的非负限制，分解结果WH很难与V相等，难以达到无损分解，只能使二者尽可能相等，那么，NMF问题就转化为如下的最优化问题：

min D(VWH)

Иs.t. Wik,Hkj>0,∑iWik=1,1≤k≤n(7)

其中：D(VWH)是V与WH的距离函数，即重构误差。定义基于欧几里得距离的目标函数 ［16］如下：

D(VWH)=12V－WH2=12Аi,j(Vij－(WH)ij)2

s.t. Wik,Hkj>0,АiWik=1,1≤k≤n(8)

从而问题转化为带约束的非线性规划问题。

2.2 DSNMF算法

将行列式准则（Determinant Criterion， DC）约束与稀疏性约束同时引入式(8)，以平衡重构误差、混合矩阵W的唯一性和分离信号H的稀疏性。记优化目标函数为F(VWH)，其数学表达式如下：

F(VWH)=αDD(VWH)+αWvol(P(W))+αHJ(H)

Иs.t. Wik,Hkj>0,ИАiWik=1,1≤k≤n(9)お

其中：vol(P(W))=detWWT表示对混合矩阵W行列式准则约束；J(H)=Аk,jHkj1表示对分解得到的信号稀疏性的约束；Е联D、αW和αH为平衡参数，通常取αD=1/（m×N），│联W=1，αH=c/（n×N），cП硎疽怀J，通常取1，在源信号稀疏性较强时可适当增大，如取10、100等。最小化F(VWH)可得到W和H。式(9)对于单独的W和H都是凸函数，但是同时对于W和H来说却不是凸函数。因此，采用与文献［16］相似的梯度下降法，交替更新W和H。更新规则为：

Wik=Wik－ηWF(VWH)WikHkj=Hkj－ηHF(VWH)Hkj (10)

ИF(VWH)Wik=［－VHT+WHHT］ik+αW det (WWT)WikおF(VWH)Hkj=［－WVT+WTWH］kj+αHJ(H)Hkj(11)オ

И det(WWT)Wik=det(WWT)［(WWT)－1W］ik(12)オ

选择学习速率［16］：

ηW=Wik［WHHT］ik，ηH=Hkj［WTWH］kj(13)

将式（11）、式（13）代入式（10）可以得到混合矩阵元素和源信号分量的乘性迭代更新规则：

Wik=Wik(［VHT］ik［WHHT］ik+ε－αWdet(WWT)［(WWT)－1W］ik［HTHW］ik+ε)お

Hkj=Hkj［WTV］kj－αH［WTWH］kj+ε(14)お

其中：ε是一很小的正常数，防止分母出现为零的情况。每一步迭代之后将W和H负元素置零，且使用Wik=Wik/∑kWik对W的列向量进行归一化，Ъ幢疚奶岢龅DSNMF欠定盲分离方法。

3 性能仿真与分析

3.1 算法性能评价

采用分离信号和源信号的重构信噪比(Signal to Noise Ratio, SNR)作为对于盲分离算法性能的评价指标［9］。

SNR=10 lgS2－S2(15)

其中：S和分别是源信号和被分离出的源信号，通过归一化使之具有相同的能量，SNR越大信号分离效果越好。

3.2 两组实验

实验一 源信号稀疏性较好的欠定盲分离。取自NMFLAB实验工具箱的4个稀疏源信号［17］，如图2(a)所示，选取随机的混合矩阵为：

第8篇：梯度下降法的基本原理范文

关键词：中药水提液；膜污染；BP神经网络；隐含层神经元；遗传算法

DOI：10.3969/j.issn.1005-5304.2017.04.023

中图分类号：R2-05；R284.2 文献标识码：A 文章编号：1005-5304（2017）04-0092-05

Study on Forecasting Ceramic Membrane Fouling in TCM Extracts Based on Improved BP Neural Network DOU Peng-wei， WANG Zhen， SHE Kan-kan， FAN Wen-ling （Institute of Information Technology， Nanjing University of Chinese Medicine， Nanjing 210023， China）

Abstract： Objective To prevent and treat of ceramic membrane purification of membrane fouling process of TCM extracts； To explore new methods of forecasting membrane fouling degree. Methods BP neural network model was improved. Methods to fast determine the optimal number of neurons in the hidden layer and fast algorithm for optimizing the weight and threshold of BP neural network were studied. Data of 207 groups of TCM extracts were under network training and prediction. Results Compared with the models of multiple regression analysis， basic BP neural network and RBF neural network， the error of the improved BP neural network model was less than that of the BP neural network model， and the mean square error was only 0.005 7. In addition， the improved BP neural network model performance was more stable. In the 20 random running experiments， the goal of the success rate achieved up to 95%. Conclusion The improved model has a good network performance， the fitting effect and prediction ability， and can forecast the fouling degree of membrane stably and accurately.

Key words： TCM extracts； membrane fouling； BP neural network； hidden layer neuron； genetic algorithm

中药水提液的纯化技术是中药制剂前处理中应用最多的工艺方法之一。陶瓷膜因具有耐高温、化学性质稳定、抗污染性强、机械强度高等优点[1]，被广泛应用于中药水提液的纯化过程。然而，膜污染是制约陶瓷膜精制中药的关键问题。

膜污染是指由于被过滤液中的微粒、胶体离子、溶质分子与膜存在物理化学作用而引起的各种粒子在膜表面或膜孔内吸附或沉积，造成膜孔堵塞或变小并使膜的透过流量与分离特性产生不可逆变化的一种现象[2]。中药水提液组成复杂，是一种含有悬浮的固体微粒、胶体粒子和完全溶解溶质分子的复杂混悬体，在分离过滤操作时膜极易被污染，造成膜通量锐减[3-4]。目前，中药水提液陶瓷膜膜污染机理尚不明确，过滤过程缺乏系统性理论指导及有效的膜污染控制手段。

中药水提液陶瓷膜膜污染是多种复杂因素综合作用的结果，具有较强的不确定性，难以采用特定函数模型描述。要实现对膜污染的准确预测，需要建立合理实用的预测模型。BP神经网络是近年被广泛应用的一种模拟人脑神经系统结构和功能的人工智能方法，是一种解决非线性、不确定性问题的数学模型，具有连续传递函数的多层前馈人工神经网络，训练方式为误差反向传播算法，并以均方误差最小化为目标不断调整网络的权值和阈值，最终能高精度地拟合数据[5]。BP神经网络具有较强的学习和适应能力，适合针对中药水提液复杂系统建模，在处理具有非线性特点的中药水提液陶瓷膜膜污染预测问题方面，比一般的线性、非线性模型更有优势。

1 BP神经网络

1.1 拓扑结构

BP神经网络是按误差逆传播算法训练的多层前馈网络，通过训练样本来学习和存贮大量输入-输出模式映射关系，无需事先揭示及描述映射关系的数学方程。学习规则采用最速下降法，通过误差反向传播不断调整网络的权值和阈值，使网络的整体误差最小[6-8]。

BP神经网络的拓扑结构包括输入层、隐含层和输出层，其中可包含1个或多个隐含层。各层次的神经元之间形成全互连接，同层神经元之间无反馈连接，见图1。

1.2 基本原理及其缺陷

BP神网络由信号的正向传播和误差的逆向传播2部分组成[9]。设输入层神经元为P=[p1，p2，…pi]，隐含层神经元为S=[s1，s2，…sk]，输出层神经元为A=[a1，a2，…，aj]， 表示输入层第i个神经元与隐含层第k个神经元之间的连接权值， 表示隐含层第k个神经元与输出层第j个神经元之间的连接权值；隐含层的激励函数为f1，输出层的激励函数为f2， 表示隐含层中各神经元的阈值， 表示输出层中各神经元的阈值。

1.2.1 信息的正向传递 输入层各神经元与隐含层各神经元之间以相应的权重连接，隐含层的第1个神经元 ，从输入层的每个神经元处得到输出值，加权求和 ，加上阈值 ，通过激励函数f1，得到该神经元的输出值为 。

输出层第1个神经元a1接收隐含层每个神经元输出值，并加权求和得 ，加上阈值 ，通过激励函数f2，得到输出层该神经元的输出值为 。

1.2.2 误差的反向传播 N个数据样本进入输入层正向传播，经过隐含层各神经元处理，传向输出层，得到实际输出值A，将实际输出值A与期望输出值T进行误差分析，比较并计算实际输出与期望输出的均方误差 。

如果MSE未达到精度要求ε，则进入反向传播过程，把均方误差信号MSE以梯度形式，按原来正向传递的通路逐层进行反向传播，并将误差信号MSE分摊给各层的所有神经元，从而获得各层神经元的误差信号MSEj（j=1，2，3），将此误差信号MSEj作为修正各连接权值和阈值的依据，并对其修改。

重复进行网络信息的正向传递和网络误差的反向传播过程，直至均方误差MSE达到精度要求或者训练达到最大迭代次数。

BP神经网络在实际应用中存在一些缺陷[10]，其中在中药分析领域有2个较明显的缺陷：第一，BP神经网络的建模过程必须构造一定的隐含层结构，但尚无合适的方法确定隐含层的神经元数，而隐含层神经元数过少或过多都会造成模型预测结果不准确；第二，BP神经网络的初始权值和阈值是随机产生的，权值和阈值的取值情况又决定着数据拟合的效果，因此该模型具有不稳定性。

2 改进的BP神经网络模型

2.1 隐含层神经元数

利用区间估算方法快速确定BP神经网络隐含层神经元数。具有单隐层的BP神经网络模型能够映射所有连续函数，在不约束隐含层神经元数的情况下，单隐层的BP神经网络模型能够实现任意的非线性映射[11]。因此，本研究选用单隐层模型。

隐含层神经元数的确定是BP神经网络模型中非常关键和复杂的问题，目前尚无标准方法来确定最佳隐含层神经元数。如果隐含层神经元数过少，会使得BP神经网络性能不佳，不能产生足够的连接权组合来满足网络对样本的学习需求；如果隐含层神经元数过多，极易陷入局部最小值，达不到最优点，出现过拟合现象[12]。许多学者通过试凑法[13-15]归纳出了确定隐含层神经元数目的一些经验性公式，如 、 、 ，其中k为隐含层神经元数目，n为输入层神经元数目，m为输出层神经元数目，a为常数（一般a∈[1，10]）。

实践表明，最佳隐含层神经元数常介于 和 之间，因此本研究采用区间估算来快速确定BP神经网络隐含层神经元数的方法。具体步骤：①构建一个单隐层的BP神经网络结构，网络输入层神经元数目为n，输出层神经元数目为m，初始隐含层神经元数目 ；②初始化BP神经网络，通过权值直接确定法[16]设置网络各层的连接权值、阈值，并设置精度要求ε；③网络训练，计算均方误差MSE；④若 ，隐含层增加1个神经元数目，返回步骤③，否则停止运算；⑤比较不同隐含层神经元数下的网络均方误差，选择最小均方误差所对应的隐含层神经元数作为最佳隐含层神经元数。

2.2 初始权值和阈值

针对BP神经网络存在的“网络初始权值和阈值随机性”问题，本研究采用遗传算法来优化BP神经网络的初始权值和阈值。遗传算法[17-18]是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。遗传算法从1组随机产生的初始解（称为群体）开始搜索过程。群体中的每个个体都是问题的1个解，称为染色体；染色体在后续迭代中不断进化，生成下一代染色体。染色体的优劣通过适应度函数衡量。根据适应度的大小从上一代和后代中选择一定数量的个体作为下一代群体继续进化，直至发现最好的染色体，即问题的最优解。

遗传算法的目标是寻找所有进化代中能够使网络均方误差最小的网络权重，但由于遗传算法只能朝着使适应度函数值增大的方向进行，所以本研究采用均方误差的倒数作为适应度函数。当该适应度函数取得最大值时，BP神经网络获得最佳权值和阈值。计算公式： 。式中 表示第i条染色体的适应度值；MSEi表示根据第i条染色体确定的BP神经网络权值和阈值时预测值A与期望值T的均方误差。

利用遗传算法进行BP神经网络模型权值和阈值快速寻优的具体步骤：①通过编码方式生成初始种群；②设置适应度函数；③计算群体中所有个体的适应值；④选择适应度高的个体执行遗传操作；⑤若达到终止条件，则返回最佳个体，即BP神经网络的初始权值和阈值；若未达到终止条件，则以指定的最大遗传步数为终止计算准则。基于遗传算法的BP神经网络流程图见图2。

3 中药水提液陶瓷膜膜污染预测实验

3.1 实验数据

3.1.1 参数体系 根据膜科学原理和经验规律，中药水提液中的共性高分子、物理化学性质和阻力分布等情况会对膜过程产生影响，是引起膜污染的重要因素。考虑到实际测量的可行性，选择测定5种高分子物质（固含含量、果胶含量、淀粉含量、蛋白含量和鞣质含量）、6种物化性质（pH值、电导率、盐度、浊度、黏度、密度）及3种阻力分布特征量（膜自身阻力、浓差极化阻力和表面沉积阻力），建立中药水提液膜过程参数体系。

3.1.2 数据样本 根据中药水提液膜过程参数体系，通过实验测定了207组中药水提液数据，其中145组数据（70%）作为训练集，62组数据（30%）作为测试集。

本实验目的为通过对中药水提液的共性高分子含量、物化性质和阻力分布特征量的分析来预测膜污染度，因此输入向量为固含含量等14个属性值，输出向量为膜污染度，见表1。

3.1.3 数据归一化 由于输入向量的数量级相差较大，直接将原始数据输入BP神经网络进行网络训练将使网络性能和收敛性较差，因此需要对输入向量进行归一化处理，把数据限定在区间[0，1]。而输出向量的数值符合该区间，故无需进行归一化处理。数据归一化处理公式：X=（X0-Xmin）/（Xmax-Xmin）。其中X为归一化后的数值，X0为归一化前的原始数据，Xmax和Xmin分别为该属性原始数据的最大值和最小值。

3.2 预测模型

3.2.1 网络结构设计 根据BP神经网络原理，构建单隐层的网络模型。由于输入向量有14个属性元素，输出向量是1个属性元素，故设置网络输入层的神经元数为14，网络输出层的神经元数为1。采用“2.1”项网络隐含层神经元数的快速确定方法，估算出隐含层神经元数目区间为3～13。为了确定最佳隐含层神经元数目，设计对比实验比较不同神经元数目的网络误差，实验伪代码见图3，其中P、T、S、O分别为训练输入值、训练目标值、预测输入值和预测目标值。实验结果见表2。

表2表明，在其他条件相同的情况下，模型的隐含层神经元数目设置为9时，网络均方误差最小，模型的预测效果最佳，即最佳网络结构为14∶9∶1。

根据遗传算法原理设计优化模型。遗传算法的编码采用实数编码，编码串由4个部分组成：输入层与隐含层的连接权值、隐含层与输出层的连接权值、隐含层阈值和输出层阈值。设定种群初始规模为50，最大遗传代数为100，交叉操作采用单点交叉，变异操作采用均匀变异，交叉因子为0.6，变异因子为0.3。

3.2.2 预测结果分析 根据BP神经网络训练特点，设置网络结构的训练参数：BP神经网络的隐含层神经元激励函数采用S型正切函数，输出层神经元激励函数采用S型对数函数。应用模型进行网络训练和测试，具体预测结果见表3。

实验均方误差仅为0.005 7，表明基于改进BP神经网络的中药水提液陶瓷膜膜污染预测模型能够有效地对膜污染度进行预测。也证明中药水提液中的共性高分子、物理化学性质和阻力分布特征确实是影响膜污染的重要因素。

为分析模型的精度，将本研究实验结果与近年来中药水提液膜污染数据建模相关文献[19-21]进行对比，见表4。结果表明，与多元回归分析、基本BP神经网络和RBF神经网络比较，改进BP神经网络具有更好的泛化能力，拟合效果和预测精度均有较大提高。

3.2.3 模型性能评价 由于BP神经网络的初始权值和阈值是随机产生的，网络模型性能与其相关，也是随机变化的，因此为了对模型进行评价，令基本BP神经网络模型和改进模型均随机运行20次，分别考察达到预设目标的情况。设定平均相对误差为10%，即均方误差MSE为0.01，进行对比分析，见表5。

表5表明，改进的BP神经网络稳定性更佳，说明改进算法实现了结构、权值和阈值的同步优化，避免了BP神经网络初始化的随机性和盲目性，提高了计算精度和效率。

4 小结

本研究表明，基于改进BP神经网络的中药水提液陶瓷膜膜污染预测模型能够适应中药水提液陶瓷膜纯化过程中采集到的多维、非线性数据，能够稳定准确地预测膜污染度，为中药水提液陶瓷膜膜污染的预测和防治提供了有效方法。

参考文献：

[1] SISKENS C A M. Fundamental of inorganic membrane science and technology[M]. Holland：Elsevier Science B V，1996：619-639.

[2] 刘忠洲，续曙光，李锁定.微滤超滤过程中的膜污染与清洗[J].水处理技术，1997（4）：3-9.

[3] 樊文玲，郭立玮，林瑛.不同预处理方法对陶瓷膜澄清中药水提液过程的影响研究[J].中成药，2008，30（11）：1709-1710.

[4] 贺立中.药液超滤过程中的膜污染及其防治[J].膜科学与技术，2000， 20（5）：49-54.

[5] 刘春艳，凌建春，寇林元，等.GA-BP神经网络与BP神经网络性能比较[J].中国卫生统计，2013，30（2）：173-176.

[6] HOLLAND J H. Adaptation in natural and artificial systems：an introductory analysis with applications to biology，control， and artificial intelligence[M]. Cambridge：MIT Press，1992：89.

[7] 王元章，谴夯，周笛青，等.基于BP神经网络的光伏阵列故障诊断研究[J].电力系统保护与控制，2013（16）：108-114.

[8] 张国翊，胡铮.改进BP神经网络模型及其稳定性分析[J].中南大学学报：自然科学版，2011，42（1）：115-124.

[9] 郝晓弘，段晓燕，李恒杰.基于BP神经网络的迭代学习初始控制策略研究[J].计算机应用，2009，29（4）：1025-1027，1031.

[10] 夏玫，陈立潮，王新波.一种提高BP神经网络泛化能力的改进算法[J].计算机技术与发展，2009，19（9）：62-64，68.

[11] CHEN T， CHEN H， LIU R W. Approximation capability in C（Rn） by multilayer feedforward networks and related problems[J].IEEE Transactions on Neural Network，1995，6（1）：25-30

[12] 范佳妮，王振雷，钱锋.BP人工神经网络隐层结构设计的研究进展[J].控制工程，2005，12（S1）：109-113.

[13] 沈花玉，王兆霞，高成耀，等.BP神经网络隐含层单元数的确定[J].天津理工大学学报，2008，24（5）：13-15.

[14] 褚辉，赖惠成.一种改进的BP神经网络算法及其应用[J].计算机仿真，2007，24（4）：75-77.

[15] 张庆庆，贺兴时.BP神经网络结点数选取的改进方法及其应用[J].西安工程大学学报，2008，22（4）：502-505.

[16] 张雨浓，李巍，蔡炳煌，等.切比雪夫正交基神经网络的权值直接确定法[J].计算机仿真，2009，26（1）：157-161.

[17] 范青武，王普，高学金.一种基于有向交叉的遗传算法[J].控制与决策，2009，24（4）：542-546.

[18] 庄健，杨清宇，杜海峰，等.一种高效的复杂系统遗传算法[J].软件学报，2010，21（11）：2790-2801.

[19] 洪弘.数据挖掘技术在中药水提液膜分离中的应用研究[D].南京：南京中医药大学，2012.