前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的神经网络的含义主题范文,仅供参考,欢迎阅读并收藏。
计算机网络拓扑结构主要是指计算机连接网络之后,其自身设备与传输媒介所共同组成的一种物理构成模式,其网络拓扑结构的形式主要是由通信子网来决定的,其结构的主要功能是实现数据信息的网络共享、处理及交换,并要在一定程度上提升网络数据信息运行的可靠性,站在网络拓扑的结构来讲,计算机网络结构的主要部分是链路与结点,计算机网络实质上是由一组结点以及多条链路所共同组成的一种模拟结构。计算机网络通常表示为:G=<V,E>,其中V表示的是网络结点集,E表示的是链路集,如果应用Va来表示结构中增加的结点集,Eb来表示增加的连接集,那么就能够得到其拓扑扩展的计算机网络结构为G’=<V’,E’>。
2基于计算机网络连接优化中的神经网络算法
本次研究中分析的均场神经网络算法实际上是一种神经网络算法与均场退火技术相结合的算法,应用这种方法能够有效的增强计算机的网络连接,并且达到更优化、更快的连接效果,这其实是一种利润最大化的网络优化算法,其能够最大限度的提高计算机网络的性价比。
2.1神经网络算法
人工神经网络属于非线性动力学系统,其能够对信息进行分布式的存储及协同处理,其在人工神经网络之上的人工神经网络系统的基础之上,应用网络算法及网络模型进行各种信号的处理,或者是对某种运行模式进行识别,从而建立其一个独立的专家系统,或者是构成机器人,当前在多个领域中,人工神经网络系统都得到了广泛的应用,在该基础上所发展起来的人工神经网络算法是一种监督性的学习算法,人们对于其重视程度逐渐增加,但是在实际的应用中,其存在收敛速度较慢的缺陷,难以保证将收敛程度压制到全局的最小点,容易导致计算机网络学习及记忆不稳定性增强的问题,这会对计算机网络的连接效果造成直接的影响,做好其网络连接的优化非常的必要。
2.2均场神经网络算法
在基于计算机网络连接增强优化下的均场神经网络算法的研究中,对其网络效果进行判断,需要建立起一个完整的场均神经网络模型,在模型的构建过程中,应该做好函数法构造过程中的目标函数的构建问题,具体的构建方式表现为:应用Si来表示Hopfield计算网络中的一个神经元状态,并且规定当Si=1时,表示的含义是网络选中了连接i,可以实现正常的连接,当Si=0时,表示的含义是:网络中没有选中连接i,网络无法实现正常连接,再应用罚函数法就结构来进行网络模型的创建。
2.3实例分析
根据上文中分析的计算方法,在得到计算结果之后,能够对均场网络算法的可行性及有效性进行判定,我们分别采用模拟退火算法、遗传算法、均场神经网络算法进行比较,结果显示模拟退火算法需要计算99次,这样才能保证计算出规定的连接集,并从中获取一定的利润值,在遗传算法中需要进行96次的计算,在均场神经网络算法中,需要实施88次的计算,均场神经网络算法在获得网路连接效果等方面,更快、更加有效,更适宜应用于计算机网络连接的增强优化以及网络结构拓扑的扩展工作中。
3结束语
关键词:BP神经网络;经济评价;石油项目;经济预测
中图分类号: TP319
文献标识码: A
文章编号: 16727800(2017)004014503
0引言 在石油项目前期评估中,需判断其可行性并对项目经济效益进行评价。人工神经网络 (Artificial Neural Network,ANN)[13] 利用大量非线性并行处理关系模拟众多神经网络,通过自学习找出输入值与输出值之间的关系,能轻松处理非线性问题,是一种基于黑箱原理的处理系统。针对传统经济评价决策方法中存在的问题,将神经网络应用到石油经济评价中。将多个石油项目的经济评价指标作为ANN的输入值,通过相应训练样本的学习,使基于人工神经网络的石油经济评价系统更接近人类思维模式,对项目作出更合理的决策。1BP神经网络 反向传播(Back Propagation,BP)神经网络是一个多层前馈神经网络[45],是当前应用较多且较为成熟的神经网络模型之一,其基本网络包含3层:输入层、隐含层和输出层,隐藏层可以是单层或多层。典型的BP网络结构如图1所示,为一个单隐层BP神经网络结构,学习过程由正向传播信号和反向传播误差组成,输入信号由输入层向前传播经过激发函数作用由隐藏节点传到输出节点,如果输出层输出数值与期望不符,则将误差作为调整信号按照原路逐层反向传播,并对连接各层神经元之间的权重和阈值进行调整,逐渐缩小误差值,直至误差小于一个可接受的范围方停止学习。同时,也是一个监督学习,因为每个训练样本都带有标签,这些训练样本预先确定了经过BP网络训练后的输出值。经过多次学习,就能将该神经网络逼近某个函数,这个训练好的网络就能用于评价预测,学习过程其实就是将n维映射成m维,为了获得正确的映射需要经过反复学习即调整相关参数(权重和阈值)。
2石油项目经济评价指标体系构建2.1石油投资经济效益指标 对于石油项目的经济效益评价,可借助经济指标反映石油项目在未来项目寿命期内的经济效益。鉴于石油项目的复杂性,单一的评价指标无法对项目作出全面的评价。根据文献[6]-[7]选择采用多个相互联系且相对独立的评价指标,如图2所示,包括:净现值、费用现值、净现值指数、投资收益率、内部收益率和动态投资回收期。
一个项目首先要判断是否可行,主要考虑净现值(NPV),NPV表示现金流入与流出的差额,当NPV≥0时表示项目可行,此时项目到达或超过基准收益率标准,能给投资者带来利润,否则项目不可行,会损坏投资者价值。而在多个项目方案比较选择中,一般净现值最大的项目是最佳项目。净现值指数指标对于项目评价的准则与净现值一样,这个指标是净现值与净投资现值的比值,比起净现值还考虑到最初投资额的大小。投资收益率是一个静态指标,是指单位投资可获得的利润,值越大越好,当它的值超过标准投资收益率时意味着该项目可行。内部收益率是指当净现值为零时的贴现率,即在整个项目寿命期内,现金流入刚好完全抵补现金流出,是项目经济评价重要指标之一。费用现值是指在项目寿命期内只考虑现金流出,也就是费用支出,包含总投资和成本费用,代表成本的值肯定越小越好。投资回收期是指项目的累计净现值抵补全部投资的返本年限,即累计利润达到零的时间期限,只是一个辅指标,选用动态投资回收期这一指标,是因为比起静态回收期,此标准考虑到资金的时间价值。2.2石油经济评价指标计算模型 上述指标经过下列计算模型计算后,可作为人工神经网络输入层的输入数据,计算模型参考文献[8],具体如下:
3石油项目前期经济效益评价3.1石油项目经济评价指标归一化将上述6个石油项目的经济评价指标作为BP神经网络的输入数据,这些数据具有不可共度性,也就是说衡量这些数值的单位不相同,有些是百分数,有些以时间为单位,无法进行比较。石油项目中关于项目费用和盈利的指标的数值是非常大的,这会导致BP神经网络学习缓慢,收敛慢,有时数值太大,经神经网络作用后,偏差也会很大;而且对于神经网络中所应用的激活函数来说,有些函数是有值域的,数据太大或太小都会影响网络学习效果。为了解决这些问题,一般在训练样本数据前要对数据进行预处理,进行归一化后的数据收敛性更强,参考文献[9]~[11]采用最值法作为数据归一化方法。但是费用现值和动态投资回收期的值对于石油项目来说越小越好,而剩下4个指标体现石油项目收益,这些指标值越大越好,因此对上述分成收益型指标和成本型指标两类数据归一化,费用现值和动态投资回收期为成本型指标,其余皆为效益型指标。假设有n个训练样本,每个训练样本含6个指标数值,按以下公式将每个样本的6个指标进行数据归一化,限制在[0,1]区间内。 (1)收益型指标,包括净现值、净现值指数、投资收益率和内部收益率。
式中yij和xij分别表示第i组训练样本的第j个指标归一化后和归一化前的数值,而ximax和ximin分别表示第i组训练样本中的最大和最小值。3.2BP人工神经网络设计对于石油项目经济效益评价问题,就是利用BP人工神经网络将其转换为6个项目经济评价指标与最终评价值之间的非线性映射。实验选用三层BP神经网络,输入层节点数为6个,对应6个石油项目经济评价指标。激活函数选用单极性Sigmoid函数(双曲线正切函数),公式如下:
对于隐藏层节点数确定,最常用的方法是试凑法[1213],以公式(3)、(4)来设置较多的隐节点,对于每个隐节点数进行一次BP网络的训练,通过比较每次训练误差的大小,选定误差最小的作为该BP网络的隐藏层节点个数。
其中,m表示隐藏层节点个数,n表示输入层节点个数,l表示输出层节点个数,α取1~10之间的常数,此处设计的BP网络层是6个输入节点,1个输出节点,根据取值范围,隐藏层节点数取值范围是4~13。根据最终项目评价结果为可行与不可行来分为两类,对于BP神经网络,可行项目期望输出值为1,不可行项目期望输出值为0.5,如表1所示的部分训练样本。将大量的石油项目相关数据通过BP网络训练,得出该BP网络隐藏层节点数为9个。
3.3石油项目前期经济效益评价过程 如图3所示,用户可以创建石油项目,录入最初的原始数据,比如相关基础数据、成本费用、营业税金及附加、融资方案等。提交该项目后,生成财务报表,初步反映该石油项目在项目寿命期内的经济情况。根据初步计算进行不确定性分析,以盈亏平衡分析和敏感性分析为主,以表格和图像的形式呈现投资项目的风险和不确定性,提高投资决策的可靠性。利用计算模型计算BP神经网络的输入数据,经过神经网络学习能力对石油项目进行终极评价,为最终审核提供可靠的建议。3.4实验结果与分析 通过石油项目经济评价系统获取不同项目的经济效益评价数据,将经过归一化后的数据作为训练好的BP神经网络输入端。如图4所示,通过样本训练后,所有输出期望值都围绕在0.5和1附近,输出值output=0.5时,代表该石油项目是不可行的,输出值output=1,代表该石油项目是可行的。
为了验证此BP神经网络对于石油项目经济效益评价预测的准确性,将表2中有代表性的测试数据通过神经网〖HJ*3〗络预测获得最终的期望值输出。第一个石油项目净现值大于0,成本低,投资回收期短,投资回报率高,是一个非常好的投资项目,与其输出值含义相符合。相反,第二个项目净现值小于0,收益率低,完全符合输出值0.5,是一个不可行项目。项目3虽然净现值大于0,不会亏本,但是投资大,资本回收期长,并且回报率低,这并不是一个好的项目,故该系统判定为不可行项目。
4结语 本文通过模拟实验验证将BP神经网络应用于石油项目经济评价的有效性,克服传统评价的缺陷和局限性。
结果表明经过大量真实数据训练的神经网络能更准确地为用户提供基于项目数据的判断,能准确描述代表石油项目经济效益的6个指标与项目可行性之间的非线性关系。当然BP神经网络也有其缺陷,对于隐藏层数及其节点数的确认并没有完整的理论指导,后期将引入深度学习对其进行经济效益预测,以使预测更加精确。
参考文献:[1]蔡自兴,徐光v.人工智能极其应用[M].第四版.北京:清华大学出版社,2011.
[2]C M BISHOP.Neural network and theirapplications[J].Revi.Scie.Instr,1994(156):18031832.
[3]胡金滨,唐旭清.人工神经网络的BP算法及其应用[J].信息技术,2004 (4):14.
[4]L K HANSEN,P SALAMON.Neural network ensembles[J].IEEE trans pattern analysis and machine intelligence,1990(12):9931001.
[5]WANG P,ZHAO T,FAN Y,et al.Study of Chinese farmers income forecast model based on BP neural network[J].Computer and Applications,2014(56):508511.
[6]董蔚P,单守会.未开发石油储量评价及经济分类方法[J].石油与天然气地质,1993,14(3):251256.
[7]李敏杰.海外石油投资经理评价指标浅析[J].西安财经学院学报,2007,20(1):7619.
[8]游达明,刘亚铮.技术经济与项目经济评价[M].北京:清华大学出版社,2009:6290.
[9]Q SONG,Q JIANG,Z SONG.Economic evaluation of CO2EOR industry chain in refineries[J].Shiyou Xuebao Shiyou Jiagong/acta Petrolei Sinica,2015.
[10]L XIAOKE.Analysis of the misunderstanding in investment project economic appraisal theory[C].Business Management and Electronic Information (BMEI),2011:196198.
[11]杨伟,倪黔东,吴军基.BP神经网络权值初始值与收敛性问题研究[J].电力系统及自动化学报,2002,14(1):2022.
[关键词]电力系统自动化;智能技术;分析
1、电力系统自动化与智能技术的含义
电力系统自动化,从含义上是对电能生产、传输和管理实现自动化、自动调度和自动化管理;从种类上,它的分类较多,例如:电网调度自动化等。智能技术是智能计算机技术的简称,从含义上它包含体系结构和人机接口;从种类上,它的种类也较多,例如:模糊控制等。
智能技术是具备学习、适应及组织功能的行为,能够对产品问题进行合适求解,解决传统鲁棒性控制和自适应控制无法解决出令人满意结果的,非线性、时变性和不确定性的控制问题。目前,智能技术尚处于发展阶段,但它已受到人们的普遍重视,广泛应用于电力系统各个领域中,并取得了一定的实效。
专家系统在电力系统中的应用范围很广,它是一种基于知识的系统,用于智能协调、组织和决策,激励相应的基本级控制器完成控制规律的实现。主要针对各种非结构化问题,处理定性的、启发式或不确定的知识信息。如:电力系统恢复控制、故障点的隔离、调度员培训、处于警告或紧急状态的辨识、配电系统自动化等。以智能的方式求得受控系统尽可能地优化和实用化,并经过各种推理过程达到系统的任务目标。虽然取得广泛应用,但存在如难以模仿电力专家的创造性等局限性。一般而言,专家控制系统应用较大的原因是由于该方法可适用范围广,且能为电力系统处于各种状态提出辨识,根据这种具体情况给出警告或提示,同时还能进行控制和恢复。虽然专家系统得到一定的应用,但是仍存在一定的局限性,这种局限包括对创造性的难以模仿,而只限于浅层知识的应用,缺乏极有效的深层模仿和设计,难以适应复杂状态。因此,在开发专家系统方面应注意专家系统的代价/效益分析方法、专家系统软件的有效性和试验、知识获取、专家系统与其他常规计算工具相结合等问题。
模糊方法是一种对系统宏观的控制,十分简单而易于掌握,为随机、非线性和不确定性系统的控制,提供了良好的途径。将人的操作经验用模糊关系来表示,通过模糊推理和决策方法,对复杂过程对象进行有效控制。通常用“如果……,则……”的方式来表达,在实际控制中的专家知识和经验不依赖被控对象模型,鲁棒性较强。模糊控制技术的应用非常广泛,与常规控制相比,其在提高模糊控制的控制品质,如:稳态误差、超调等问题,自身的学习能力还不完善,因此要求系统具有完备的知识,对工业智能系统的设计而言是困难的,如模糊变结构控制、自适应或自组织模糊控制、自适应神经网络控制、神经网络变结构控制等。另一方面包含了各种智能控制方法之间的交叉结合,对电力系统这样一个复杂的大系统来讲,综合智能控制更具备巨大的应用潜力。现在,在电力系统中研究较多的有神经网络与专家系统的结合,专家系统与模糊控制的结合,神经网络与模糊控制的结合,神经网络、模糊控制与自适应控制的结合等方面。这些模糊方法的运用因其可使用范围广,目前已在自动化控制中被广泛应用。智能集成化是综合智能控制重要的技术发展方向,其可将多项智能技术相互结合于一体,不再单独运用,各取优势。如模糊技术和神经网络的结合、神经网络与模糊控制的结合、神经网络与专家系统的结合等,这些都在电力系统自动化控制中有较多研究。
2、智能技术与电力系统自动化的结合
智能技术被应用在电力系统自动化中,进一步完善和发展了电力系统自动化。智能系统在电力系统中的有效应用,不仅协调了电力系统发展的不成熟性和该系统本身的不稳定性,还满足了公众对于相对廉价、便利的电力网络的需求。所以,智能技术作为一种技术被应用于电力系统自动化中。
众所周知,智能技术从分类上可分为以下几个部分:模糊控制和神经网络控制、专家系统控制、线性最优控制和综合智能控制。如今,电力系统自动化还未发展成熟,还存在一些缺点以待改进,如:强非线性,时变性且参数不确切可知,含有大量未建模动态部分和电力覆盖范围大但却具有网络阻滞、延迟等。下面,我们将具体分析如何通过应用智能系统改变电子系统智能化的缺点。
3、将智能技术应用到电力系统自动化中的具体做法
3.1模糊控制在电力系统自动化中的应用
模糊控制使得建立模型来进行控制变得十分简单和易于掌握。通过建立模型进行控制是一种比较现代的方法,与建立常规的模式相比,更具优越性、相对简单。例如,交通信号灯的转换是由前面的主列队与后面的主列队决定,并使用一定的工具实现二维模糊控制器。洗衣机可根据清洗过程中水质的变化对衣物进行不同程度的清洗,以保证衣物的干净。模糊控制主要是在汽车的自动变速器上起作用,是通过自动变速器检测驾驶员的速度得出驾驶员的驾驶意图,判断路况和汽车受到的阻力、监测发动机的情况。通过以上举例,我们可以得出模糊控制适用于电力系统自动化,并且具有广泛性和通用性,能够适用于其他不同的领域。
3.2神经网络系统在电力系统自动化中的应用
神经网络控制技术具有与电力系统自动化相适应的性质“非线性特性”,同时,其还具有自我学习与自我组织的能力,以及具有强壮的网络系统和处理的能力。因此,大量的、简单的神经元构成了神经网络控制技术,有了神经网络控制方式。神经网络利用一定的学习算法,将隐藏在其连接权值上的大量信息进行了调节权值,从而实现了非线性的复杂映射,从m维空间到n维空间。这个概念被应用于许多领域,如:自动控制领域;处理组合优化问题;模式识别;图像处理;传感信号处理和医学领域等。因为人体与疾病之间的关链非常复杂,因此神经网络控制技术也被广泛应用到医学上的多个领域,例如:医学专家系统中的麻醉和危重医学相关领域的研究等。由上述举例,我们可以知道神经网络控制技术适用于电力系统自动化,具有广泛性和通用性,能够适应于其他不同的领域。
3.3专家系统控制在电力系统自动化中的应用
专家系统控制能及时处理和辨识发生故障的电力系统,最大限度地降低网络阻滞或延迟给人们带来的危险和不便。专家系统在电力系统中有较为广泛的应用范围,例如能够辨识电力系统所处的状态:警告状态或紧急状态、紧急的处理、系统恢复控制、系统规划、切负荷和电压无功控制、故障点距离的测量、做出短期负荷预报、所处状态的安全分析以及先进的人机接口等方面。在电梯控制中的应用,随着科技的日新月异,电梯的制作技术也在不断地发展与更新,由简单逐渐趋向于复杂化,现在,在电梯即将出厂时,会有专门的工作人员进行调试,但当安装好后,电梯一旦出现故障时,为本单位所配备的维修人员,却不能快速找到问题,解除故障,这是由于电梯构造复杂化了,因此我们需要在安装电梯之前,安装专家控制器以确保电梯的可用性和保障性。由此可见,专家系统控制适用于电力系统自动化。
3.4综合智能系统在电力系统自动化中的应用
综合智能系统根据模糊控制结构有效、合理地将这些控制方法结合起来,以完善电力系统自动化,使其能够具备稳定性、协调性和简易性。由于智能控制方法之间的交叉结合,一般人们会将其进行如下组合进行分析,例如:神经系统与专家系统的结合;专家系统和模糊控制的结合;神经网络与模糊控制的结合;神经网络、模糊控制与自适应控制的结合等方面。
关键词:信用风险评估;支持向量机集成;预测
中图分类号:F830.51
文献标识码:A
文章编号:1003-5192(2009)04-0057-05
1 引言
商业银行作为国民经济的总枢纽和金融信贷中心,发挥着融通资金、引导资产流向和调节社会供需平衡等诸多不可替代的作用。然而商业银行在营运过程中面临着各种各样的风险,包括系统风险和非系统风险,其中在非系统风险中信用风险占有特殊的重要地位。世界银行对全球银行业危机的研究表明,导致银行破产的最常见原因就是信用风险。信用风险又称违约风险,是指借款人、证券发行人或交易对方因种种原因,不愿或无力履行合同条件而构成违约,致使银行,投资者或交易对方遭受损失的可能性[1]。信用风险是商业银行信贷风险管理中一项基础性的工作,其目的在于分析银行在贷款业务中可能面临的信用风险――借款人如期履行特定债务的能力与意愿,从而为贷款决策提供依据。
信用评估方法在不断演进,大致经历了定性分析、统计分析和人工智能三个发展阶段,最初它只是通过信贷分析员阅读申请表并决定是否放贷,但是这一方法主观因素太强,必然存在误判的可能性。统计方法主要是判别分析(DA)[2],判别分析是分类预测的主要研究范畴之一[3],但是判别分析在操作上的一个缺点是其基本假设很容易被打乱。另外,模型只能在已被通过的贷款样本中进行估计,因此存在参数估计的样本偏差。随着信用行业的发展以及贷款组合种类的不断增加,信用评估的准确率哪怕只提高零点几个百分点,都会带来巨大的效益,因此,人们积极探索开发更加准确的信用评估模型,先后就非参数统计模型、人工智能等方法在信用评估方面的应用进行了尝试[4],尤其是最近几年中己经开发出来包括分类树[5]、神经网络[6]以及多元判别法分析[7]等在内的多种方法。但是,这些方法都存在一些缺点,即不能量化解释指标的重要程度,在分类树分析中没有参数,而在神经网络中则没有参数解释,用于信用风险评估具有一定的片面性。同时,神经网络的训练是在黑箱中进行的,这种运算摒弃许多行业经验和专家经验,具有一定的盲目性,人们不能对之进行干预。神经网络适合于对数量指标的分析,而忽略对影响因素中的定性指标的分析,显然是不合理的、片面的。而且用神经网络来评价经济问题时,很难说明神经网络训练后,各网络参数和阀值的经济含义,使得模型缺乏说服性。
研究表明组合分类器的分类精度一般比单个分类器的分类精度高,但是神经网络集成[8]在信用评分中的应用结果表明,神经网络集成的分类精度不如单个神经网络。因为神经网络分类建立在大样本的基础上,而目前银行所保存的数据样本量有限,用集成神经网络分类则必须把所收集的样本分割成多个子样本,从而减少了单个神经网络的训练样本数,进而影响了其分类精度。基于此,许多学者在支持向量机[9~11]的基础上又发展了基于小样本学习的支持向量基集成[12~14],许多领域都用此方法来改善分类精度,应用结果表明支持向量机集成的分类精度至少和单个支持向量机的分类精度一样好。但是目前的研究普遍是基于最多投票原则的集成方法,该方法没有考虑子支持向量机分类器的输出重要性。
长期以来信用风险评估一直被看作是模式识别中的一类分类问题,依据的信用风险衡量标准是贷款企业“违约与否”,利用的是模型与方法的分类功能,形成信用风险的分类评估模式,这种做法被称为“粗暴的经验主义方法”。分类评估模式所反映的有限的经济信息并不能充分满足信贷风险决策的需要,转变评估模式的关键在于确立更为有效、客观的信用风险衡量标准和评估预测模型, 而实施贷款风险的五级分类体系可以提高分类准确性,本文建立基于模糊积分的支持向量机集成方法,该方法考虑了各子分类器的分类结果和各子分类器判决对最终决策的重要程度,并对商业银行信用风险进行五级分类,以某商业银行的实际数据进行实证研究,评估结果表明该评价方法具有科学、简洁、预测精度高等特点,而且模型的结构与方法应用前景广阔。
2 基于模糊积分SVMs集成的模型构建
2.1 Bagging个体生成
Bagging[15]的基础是可重复采样(Bootstrap Sampling)。在该方法中,各支持向量分类器的训练集由原始训练集中随机抽取若干示例组成。训练集的规模通常与原始训练集相当,训练例允许重复选取。这样,原始训练集中某些示例可能在新的训练集中出现多次,而另一些示例可能一次也不出现。Bagging方法通过重新选取训练集增加了分类器集成的差异度,从而提高了泛化能力。
3 模糊密度的确定方法
由模糊积分的定义可知,确定描述各个子支持向量分类器重要性的模糊密度值是基于模糊积分的多分类器集成的关键所在。本文使用混淆矩阵来确定各个支持向量分类器的模糊密度值。
在子支持向量分类器训练完毕后,用子分类器各自的训练集对各个子分类器进行测试得到各自的混淆矩阵。
假定一个K类分类问题,对于子分类器SVCk,其混淆矩阵可以定义为
通过混淆矩阵可以得到各个支持向量机的模糊密度,为利用模糊积分进行支持向量机集成奠定了基础。
4 五类别问题实证分析
4.1 试验过程
仿真实验在Libsvm软件的基础上进行,采用Visual C++编译实现。验证平台为256MB内存的AMD Athlon 1800+,操作系统为Windows 2000。支持向量机集成流程如图1所示。
实验过程如下:
第1步 使用Bagging方法从原始训练集中产生各个子支持向量分类器的训练集,对各子支持向量分类器进行训练;
第2步 给出各训练完毕的子支持向量分类器的五级分类的概率输出模型[17];
第3步 根据第3节中介绍的方法确定模糊密度{g({SVMi,}),k=1,…,c},以此来表示各子支持向量机SVMi,i=1,…,m在各自训练样本上执行好坏的概率密度;
第4步 当给定一个测试样本,得到各子支持向量分类器对该测试样本的类概率输出;第5步 对于ωk,k=1,…,c,根据2.2计算模糊积分ek,集成各子支持向量机;
4.2 指标体系的建立
商业银行面临的信用风险主要与贷款企业本身的信用状况有关,另外还与银行自身贷款分布和行业集中度等因素有关,具体可分为贷款企业风险、商业银行风险、宏观经济风险和其他风险因素。
综合考虑信用风险的各影响因素,依据指标选择原则,借鉴我国财政部统计评价司的企业绩效评价指标体系和中国工商银行企业资信评估指标体系,并参考国内外有关文献,兼顾我国信用风险的特殊性和数据的可获得性,最终确定以下16个指标(图2)用作商业银行信用风险评估。
图2 信用风险评估指标体系
4.3 样本的获取
本文的数据来源于中国工商银行哈尔滨某分行,在采集数据时,注重样本自身的行业特征,不同行业的企业经营环境和业务范围差距很大,企业的各项财务指标和非财务指标也不具有可比性,而且又缺乏必要的行业标准和经验值,因此模型中选用同一行业短期贷款的样本数据来避开这一问题。采集的数据检索条件如下:
(1)样本行业范围:制造业;
(2)贷款种类:短期贷款(一年及一年以内);
(3)贷款发放日期:1998年1月1日至1月31日;
(4)贷款余额截止日:2001年8月13日;
(5)贷款金额:贷款实际发放金额;
(6)贷款余额:截止2001年8月13日确定为损失的贷款余额;
(7)贷款形态:贷款目前所处的形态;
(8)企业全称及代码:识别企业的唯一标识码;
(9)报表日期与报表:1997年12月31日的企业资产负债表和损益表;
(10)经过收集、整理共获取176个样本,涉及贷款额50多亿元人民币。
4.4 样本数据处理
首先对样本进行稳健性处理,选用两倍、三倍标准差检验法进行异常数据剔除,最终获得157个样本数据。将样本集划分为训练样本集和测试样本集,随机抽取35%(56家)作为训练样本集,用于构造SVMs集成模型,其余的65%(101家)作为测试样本集,用于检验模型的泛化能力。以风险为依据,按银行所承受的风险大小来划分贷款质量的分类法,即通常所说的将贷款分为正常、关注、次级、可疑、损失五类的“五级分类法”(表1)。原始数据中,关于原始数据的实际信用等级,该商业银行是按贷款损失占贷款总额的比率来进行统计的。本文采用的是用贷款损失/贷款总额来确定贷款划分的类型,因此不可能完全按照中国人民银行规定的贷款五级分类法的标准,具有一定的预测性,但是,同样,对贷款风险也有较好的指导作用。
在因子分析之前还需要进行巴特利特球体检验和KMO测度,测试结果显示有必要对模型输入指标进行因子分析。本文采用主成分分析法求解初始因子,依据特征值准则(取特征值大于等于1的主成分作为初始因子),因子个数应该确定为4,根据碎石检验准则(Scree Test Criterion)也得到同样的结论,而此时因子累计解释方差的比例可以达到74%以上,保留了原有数据的主要经济信息,并且各因子经济含义较为明确,表明因子个数的确定较为适宜。由于在因子负载矩阵中,相对于0.3的负载而言,变量的方差能够被该因子解释的部分不足10%,所以对于绝对值小于0.3的负载一般可以不予解释,各因子的经济含义较为明确,而且因子与指标间的内在联系比较显著,各因子依次可以归结为营运能力因子、偿债能力因子、盈利能力因子和贷款方式因子。
4.5 实证结果分析
依据表1,按银行所承受的风险大小来划分贷款质量,将贷款分为正常、关注、次级、可疑、损失五类,再将分类结果和实际的分类进行比较,判断分类的正确性,以此对信用风险模型进行评价。
本文采用一对一策略来实现多类别分类,训练出9个SVMs。各子支持向量分类器使用RBF核函数,每个SVM通过10重交叉验证的方法来选择相应的参数,本文进行了10次实验,并将本文提出的模糊积分支持向量机集成方法在五级分类上的执行效果与单一SVM和基于最多投票原则的SVMs集成等的执行效果进行比较,图3为平均执行效果比较,从左到右依次是:(1)神经网络集成;(2)单一模糊神经网络,(3)单一SVM,(4)基于最多投票SVMs集成,(5)基于模糊积分的SVMs集成。由图3可知,基于模糊积分的SVMs集成的分类正确率为87.10%,基于最多投票的SVMs集成的分类正确率为85.17%,单一SVM的正确率为84.524%,模糊神经网络的分类正确率为82.59%,神经网络集成的分类正确率为81.72%。
应用结果表明,基于模糊积分SVMs集成比单个SVM、基于最多投票的SVMs集成和单个模糊神经网络的分类效果好,而单个模糊神经网络的分类正确率比神经网络集成的分类正确率高。支持向量机集成的分类精度最高,可能是因为银行目前所保存的样本量有限,支持向量机适合小样本训练,而神经网络训练则需要大样本支持,在有限的样本中重复抽样,会减少样本量,这样就会降低神经网络的训练精度,从而进一步证明了支持向量机对于小样本训练的优势;并且模糊积分在进行多分类器决策融合的时候综合考虑了各子分类器的分类结果和各子分类器判决对最终决策的重要程度的缘故,证实了本文提出的方法的准确性和有效性。
5 结束语
本文提出了一个基于模糊积分的支持向量机集成方法。该方法最主要的优点是它不仅组合各个分类结果,而且考虑不同SVMs分类器的相对重要性。将此方法应用于商业银行信用风险评估,模拟结果表明该方法比单个SVM、基于最多投票的SVMs集成方法、神经网络和神经网络集成的效率高,效果好。说明基于模糊积分的SVMs集成的商业银行信用风险评价是可行和有效的。进一步研究的方向是设定更加合理的模糊密度和用其它方法(如加速法)来构建SVMs。
参 考 文 献:
[1]丁欣.国外信用风险评估方法的发展现状[J].湖南大学学报(社会科学版),2002,16(3):140 142.
[2]Jackson P, Perraudin W. Regulatory implications of credit risk modelling[J]. Journal of Banking and Finance, 2000, 24(1): 1 14.
[3]De Andres J, Linda M, Lorca P. Forecasting business profitability by using classification techniques: a comparative analysis based on a Spanish case[J]. European Journal of Operational Research, 2005, 167(2): 518 542.
[4]West D. Neural network credit searing models[J]. Computers & Operations Researeh, 2000, 27(4): 1131 1152.
[5]姜明辉,王欢,王雅林.分类树在个人信用评估中的应用[J].商业研究,2003,(12):15 19.
[6]Lee K C, Han I, Kwon Y. Hybrid neural network models for bankruptcy predictions[J]. Decision Support System, 1996, 18(1): 63 72.
[7]方洪全,曾勇.运用多元判别法评估企业信用风险的实例[J].预测,2004,23(2):6568.
[8]Tsai C F, Wu J W. Using neural network ensembles for bankruptcy prediction and credit scoring[J]. Expert Systems with Applications, 2008, 34(4): 2639 2649.
[9]Huang C L, Chen M C, Wang C J. Credit scoring with a data mining approach based on support vector machines[J]. Expert Systems with Applications, 2007,33(4): 847856.
[10]Xu Xiujuan, Zhou Chunguang, Wang Zhe. Credit scoring algorithm based on link analysis ranking with support vector machine[J]. Expert Systems with Applications, 2008, 36(2): 18.
[11]Crook J N, Edelman D B, Thomas L C. Recent developments in consumer credit risk assessment[J]. European Journal of Operational Research, 2007, 183(3): 1447 1465.
[12]Nanni L, Lumini A. MppS: an ensemble of support vector machine based on multiple physicochemical properties of amino acids[J]. Neurocomputing, 2006, 69(13): 1688 1690.
[13]Li Bo, Li Xinjun, Zhao Zhiyan. Novel algorithm for constructing support vector machine regression ensemble[J]. Journal of Systems Engineering and Electronics, 2006, 17(3): 541 545.
[14]Bertoni A, Folgieri R, Valentini G. Bio molecular cancer prediction with random subspace ensembles of support vector machines[J]. Neurocomputing, 2005, 63(6): 535 539.
[15]Breiman L. Bagging predictors[J]. Machine Learning, 1996, 24(2): 123 140.
[16]Kwak K C, Pedrycz W. Face recognition: a study in information fusion using fuzzy integral[J]. Pattern Recognition Letters, 2005, 26(6): 719 733.
关键词:倒立摆;PID;模糊神经网络;稳定性控制;仿真
中图分类号:TP18文献标识码:A文章编号:1009-3044(2012)13-3165-06
Inverted Pendulum System Based on PID and Fuzzy Neural Networks Control
LIU Zhi-long, PAN Yu-min
(Department of Electronic Information Engineering, North China Institute of Science and Technology, Beijing 101601, China)
Abstract: In this paper, we adopt PID and the adaptive neural network based fuzzy inference method to control the inverted pendulum, combined the fuzzy control into the neural control. This method can improve the capability of the fuzzy controller through learning the data of PID controller to train the fuzzy controller. When the model parameters were changed, the adaptive neural network based fuzzy inference system had good adopt ability to anti-interfere. The car can go to the destine position exactly.
Key words: inverted pendulum; PID; neural network based fuzzy inference system; stable control; simulation
倒立摆是一种典型的高阶、非线性、强耦合、多变量、不稳定的装置,但是它的结构简单、成本低、容易调试的特点使得它成为检验各种控制策略、控制理论的理想平台。
对倒立摆系统的学习研究具有广泛、深远的现实和实践意义,其控制效果可以有效衡量控制理论有效性,另外,一些抽象的控制概念也可以通过倒立摆来理解,例如稳定性、鲁棒性、能控能观性等。倒立摆起初是用来进行航空航天领域的原理应用的,而后倒立摆系统便成为验证控制理论与策略的理想对象。由于倒立摆竖直稳定的状态与机器人直立行走的形态及其相似,倒立摆的平衡控制与火箭发射过程中的调姿极为相像,因此,倒立摆系统的控制原理也被用与双足机器人直立行走及火箭稳定发射与飞行方面。近年来,对多级倒立摆和各种复杂结构的倒立摆进行有效控制成为各个学科领域不断研究、不断创新的课题之一。把模糊逻辑系统与人工神经网络有机结合并运用于倒立摆系统的控制中,成为一种实现倒立摆系统稳定控制的有效方法。
1倒立摆模型的受力分析及数学模型的建立
倒立摆系统如图1所示。
滑轨
图1一级倒立摆控制原理
图1中摆和小车参数:l=0.5m, g=9.8m/s2,m=0.1kg,M=3kg。各参数含义如表1所示。倒立摆的受力分析如图2所示。
(1)
对摆杆水平方向进行受力分析并进行整理化简可以得到等式
N=mx?+mlθ?cosθ-mlθ?2sinθ(2)
将(2)式代入(1)式中,可以得到系统的第一个运动方程:
F=(M+m)x?+bx?+mlθ?cosθ-mlθ?2sinθ(3)
对摆杆垂直方向进行受力分析并进行整理化简可以得到下式
P=mg-mlθ?sinθ-mlθ?2cosθ
(4)
力矩平衡方程如(5)式
-plsinθ-Nlcosθ=Iθ?
(5)
将P和N的等式代入(5)式中可得到系统的第二个运动方程
(I+ml2)θ?+mglsinθ=-mlx?cosθ(6)
假设?远小于1(单位弧度),即?
?è=0,cosθ=-1,sinθ=-φ(7)
将被控对象的输入力F用u来表示后可以得到两个线性化后的运动方程
(8)
经拉氏变换并假设初始条件为零从而分析整理的倒立摆的数学模型如下:
带入数据得到倒立摆的模型如下[3]:
2模糊神经网络的结构及学习算法
采用模糊神经网络控制,对于知识的表达并不是通过一条条显式的规则,而只需通过高速并行分布计算即可产生输出结果,利用神经网络来实现模糊推理、记忆并调整模糊规则。规则隐含地分布在整个网络中,在实际控制应用过程中,不必进行复杂的规则搜索、推理。
2.1 ANFIS系统神经模糊系统
本文采用自适应模糊神经推理系统ANFIS (Adaptive-Network-based Fuzzy Inference System)实现模糊神经网络的功能。假定一模糊推理系统输入x和y,单输出z,对于一阶Sugeno糊模型,有两条模糊规则:
1)if x isA1, y isB1,then f1=p1x1+q1x2+r1 2)if x isA2,y isB2,then f2=p2x1+q2x2+r2图3表示了对应的推理机制。图3 ANFIS结构原理图
网络共分5层:
第1层:计算输入的模糊隶属度
o1,i=gxi(x,ai,bi),i=1,2
o1,j=gy(j-2)(y,cj-2,dj-2),j=3,4(13)
第2层:计算规则适用度
o2,1=gxi(x,ai,bi)?gy1(y,c1,d1)
o2,2=gx2(x,a2,b2)?gy2(y,c2,d2)(14)
第3层:适用度归一化
o3,1=
(16)第4层:计算每条规则的输出
zi=pix+qiy+ri,i=1,2
(17)第5层:计算模糊系统输出
z=wˉ1z1+wˉ2z2
(18)
网络中包含待定的前件参数,即隶属度函数中的参数和后件参数,通过某种算法训练ANFIS,可以按照指定的指标得到这些参数,从而可以达到模糊建模的目的。
3 PID控制器的原理及构成
PID控制器是一种线性控制器,通过对误差信号e(t)进行比例、积分和微分的运算,对各运算结果进行加权和便得到控制器的输出u(t),u(t)就是所需控制量的大小。PID控制器的数学描述为:
u(t)=Kpé
?ê
(19)
式中u(t)为控制输入,e(t)=r(t)-c(t)为误差信号,r(t)为输入量,c(t)为输出量。其控制输出由三部分组成:
比例环节是依据偏差的大小来作用的,在系统中器稳定被控量的作用,同时能加快系统的响应速度。积分环节是根据偏差是否存在来动作的,在系统中起到消除静差的作用,能提高系统的无差度。积分作用的强弱取决于积分时间常数Ti的大小,Ti越大,积分作用越弱;Ti越小,积分作用越强。微分环节是根据偏差的变化来动作的,在偏差信号发生较大的变化以前,提前引入一个早期的校正信号,起到超前调节的作用,但是微分作用过强,可能引起系统的振荡。
4 PID控制器与模糊神经控制器的设
通常的模糊控制器可以处理模糊信息,并能完成模糊推理,而模糊神经控制器的学习则是一种能完成模糊推理的神经网络的学习。
模糊神经网络控制是利用离线训练的网络,通过在线计算即可得到最佳输出,这种控制方式的反应速度快,并且神经网络还具有自学习和联想能力,而且对于未在训练中出现的样本,也可以通过联想记忆做出合理控制决策,表现非常灵活。具体操作方法:将控制系统的PID输入、输出数据用To workspace模块进行采集,然后用anfisedit命令打开ANFIS编辑器来进行模糊神经网络控制器的训练,将训练生成的FIS文件导入普通模糊控制器即可得到模糊神经网络控制器,该控制器可以达到甚至超过PID控制器的控制精度。
在MATLAB中可通过anfis函数对ANFIS进行训练,从而使模糊控制器的建立变得容易。模糊控制器的建立过程可分成如下6个步骤:
1)通过采集或其他方法产生训练所需数据和检验所需数据;
2)选定输入变量的隶属度函数类型及个数;
3)由genfist函数产生初始的FIS结构;
4)设定ANFIS训练的步数及训练精度;
5)用antis函数训练ANFIS,从而生成FIS文件;
6)将得到的FIS文件嵌入到模糊控制器中并检验其控制效果。
ANFIS界面及训练过程如图4所示。
数据从workspace导入,每个输入选取三个模糊语言变量,即大、中、小,采用高斯函数作为隶属度函数,训练精度设为0.0001,训练600次,达到精度为0.00022011。
5仿真过程及结果结果
利用Matlab中的Simulink建立PID控制的结构图如图5所示。
PID1主要用来控制倒立摆系统小车的位移,当单位阶跃输入时,系统的输出能够迅速跟踪阶跃输入,示波器x用来测试输出波形,波形如图7所示。
结构图中的限幅值选为2,-2;当输入大于2或小于-2时,限幅环节饱和输出起到限幅作用。
PID2主要是对倒立摆的偏角进行控制,保证在小车运动或存在扰动时始终保持摆杆的偏角为零,从而使系统得以实现。示波器ang测试摆角输出,输出波形如图8。
图8摆杆摆角输出波形
将PID控制器的三个输入与一个输出送到workspace,将得到的数据进行训练得到模糊神经网络控制器,结构图如图9所示。
用得到的模糊神经网控制器替代PID控制器进行仿真,由示波器x得到小车位移波形如图10所示。
结构图中限幅值依然是2,-2,采用经过训练的模糊神经网络控制器进行控制,其余与PID控制部分相同;由示波器ang得到小车运动过程中摆杆摆角的波形,如图11所示。
经分析可得;PID控制器与模糊神经网络控制器都能对倒立摆系统进行很好的控制,得出理想的输出波形,由两者的对比可知,PID控制器与模糊神经网络控制器对小车位移的控制效果相当,但模糊神经网络控制器对摆杆摆角的控制更加平缓,摆杆摆动角度更小。
参考文献:
[1]杨世勇,刘殿通,谭翚.倒立摆与控制理论研究[J].自动化技术与应用. 2011, 30(5):1-3.
[2]王玉琢.基于模糊神经网络的倒立摆系统控制研究[D].哈尔滨:哈尔滨理工大学,2010:17-21.
[关键词]神经网络;卷烟运输;短期预测
[DOI]1013939/jcnkizgsc201529087
1成品烟产运系统的短期负荷预测
各烟草工业企业纷纷以物流为导向建立起协调生产、仓储、配送各环节一体的综合管控平台,以一定周期成品烟流动量和波次,制定产量与储量。随着卷烟物流的不断发展,对成品烟产量与成品烟配送的要求也日趋精益化,控制周期愈发缩短,如何在短时间内提供有效的预测,制订更贴切实际需求的产运计划,本文利用BP神经网络模型提供一种短期负荷预测方法,确保综合管控平台的合理运营。
1.1产运平台短期负荷预测实施含义
产运系统负荷预测是烟草工业企业产运领域的系统调度、实时控制、运行计划和发展规划的前提,是烟草工业企业物流调度部门、生产部门与规划部门所必须具有的基本信息。准确的负荷预测有助于提高烟草产运系统的安全性和稳定性,能够减少仓储成本。
短期负荷预测通常是指24小时的日负荷预测和168小时的周负荷预测,本文主要预测的是日平均负荷。对于短期负荷预测,有两个基本要求:第一,精确。例如,准确度要求预测某地区各品规配送相对误差不超过3%;第二,短期负荷预测的目的是即时预测,而不是像中期负荷预测那样,预测负荷的发展趋势。负荷是即时变化的,因此,要求用以进行短期负荷预测的模型能够随时适应负荷的变化,所以理想的情况应是进行在线预测。所以时间要越短越好。
短期负荷预测一般是要考虑品规种类与品规数量因素影响的,实际上烟草品规因素和负荷的关系,是复杂的非线性关系,精确的考虑是非常困难的。为了解决这个问题可以将人工神经网络引入烟草产运系统的负荷预测领域。人工神经网络,通过多个神经元的相互连接,使其输入和输出构成一个复杂的非线性处理系统,用于日负荷预测,同样利用其可以记忆复杂的非线性输入输出映射关系的特性,而这种特性正是一些传统的负荷预测方法难以实现的。
1.2BP神经网络算法在产运平台短期负荷预测应用分析
神经网络在目前已有几十种不同的模型。在人们提出的几十种神经网络模型中,人们较多用的是Hopfield网络、BP网络、Kohonen网络和ART(自适应共振理论)网络。其中BP网络是反向传播(Back Propagation)网络。它是一种多层前向网络,采用最小均方差方式。这是一种最广泛应用的网络。
BP算法是用于前馈多层网络的学习算法,前馈多层网络含有输入层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层,由于它们和外界没有直接的联系,故也称为隐层。在隐层中的神经元也称隐层单元。隐层虽然和外界不连接但是,它们的状态则影响输入输出之间的关系。这也是说,改变隐层的权系数,可以改变整个多层神经网络的性能。
BP网络也存在着问题。第一,BP算法的学习速度很慢。其原因主要有三点:一是由于BP算法本质上为梯度下降法,而它所要优化的目标函数又非常复杂,因此,必然会出现“锯齿形现象”,这使得BP算法低效;二是存在麻痹现象,由于优化的目标函数很复杂,它必然会在神经元输出接近0或1的情况下,出现一些平坦区,在这些区域内,权值误差改变很小,使训练过程几乎停顿;三是为了使网络执行BP算法,不能用传统的一维搜索法求每次迭代的步长,而必须把步长的更新规则预先赋予网络,这种方法将引起算法低效。第二,网络训练失败的可能性较大。其原因有四点:一是从数学角度看,BP算法为一种局部搜索的优化方法,但它要解决的问题为求解复杂非线性函数的全局极值,因此,算法很有可能陷入局部极值,使训练失败;二是网络的逼近、推广能力同学习样本的典型性密切相关,而从问题中选取典型样本实例组成训练集是一个很困难的问题。三是难以解决应用问题的实例规模和网络规模间的矛盾。这涉及网络容量的可能性与可行性的关系问题,即学习复杂性问题;四是网络结构的选择尚无一种统一而完整的理论指导,一般只能由经验选定。为此,有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。
2BP神经网络综合改进
确定连接权修正值的计算过程,实际上是优化计算的梯度下降法。当能量公式对应的误差曲面为窄长型时,这种算法在谷的两壁跳来跳去,影响了网络的收敛速度,对算法最普通的改进方法是增加附加动量项。利用附加动量项可以起到平滑梯度方向的剧烈变化,增加算法的稳定性。在具体计算中,学习率η越大,学习速度会越快,但过大时会引起震荡效应;而动量因子α取得过大可能导致发散,过小则收敛速度过慢。
并为了解决BP易于陷于极小值现象,用人工遗传算法来优化BP网络的初始权值。遗传算法是根据生物进化思想而启发得出的一种全局优化算法,在本质上是一种不依赖具体问题的直接搜索方法,它仅需给出目标函数的描述,从一组随机产生的称为“种群(population)”的初始解开始,从全局空间出发搜索问题的最优解。由于遗传算法善于全局搜索,且能以较大的概率找到全局最优解,故用它来完成前期搜索能较好的克服BP算法的局部极小的缺陷。将GA和BP结合起来,形成GA―BP混合训练算法,以GA优化BP网络的初始权值和阈值,再由BP算法按负梯度方向修正网络权值及阈值,进行网络训练。这种方法避免了BP网络易陷入局部极小问题,达到优化网络目的,更精确的实现产量与运输量的预测。
3云南中烟省外前置库短期负荷预测优化仿真
云南中烟物流综合管控平台是云南中烟物流管理部提出了建立资源整合、集中调度、协同运作的物流保障体系的工作思路的体现。搭建云南中烟统一的物流综合管控平台框架,以成品物流为重点,同时考虑原料、半成品、烟用物资的物流管理需求,建立以基础层、调度作业层、监控管理层为三层架构的综合管控平台,实现云南中烟与红塔集团、红云红河集团统一使用的信息系统。
为了协同成品物流运作,快速响应市场要求与行业和公司系统无缝集成,建立支持新的行业供货模式、企业职责转变、客户订单集成、工商协同的新型物流保障体系,快速响应市场要求。建立以订单计划为核心的物流模式,此模式可根据需要生成订单的运输计划和仓储作业计划等,在横向实现储运协同作业,在纵向实现统一调度和联合仓储。通过整合资源,集中运输调度业务,平台集成所有相关物流资源,实现各物流业务操作,满足云南中烟,红塔集团与红云红河集团现行管理模式和流程的统一运输调度,并支持模式统一时灵活配置,满足快速实现业务调整。
实现提供智能化,作业参考,逐步实现成品调度自动根据业务逻辑规则和分配计算原则,建立规则优化引擎,逐步实现计划排程和费用核算的自动化和智能化操作。
3.1问题描述
根据云南中烟2014年数据计算负荷情况,在原始数据共测量了105天,每天测量40点负荷品规数据。依据负荷的历史统计数据,基于BP神经网络算法来对2015年4月16日的负荷进行预测。
在对短期负荷进行预报前,一个特别重要的问题是如何划分负荷类型或日期类型。纵观已经发表的文献资料,大体有两种划分模式。一是将40余种品规按照运输地点分为省外三个前置库(沈阳、晋中、南昌);二是将40余种品规按照生产地方式划分;共有7种类型。
本文采用第1种负荷划分模式,将40余种品规按照运输地点分为省外三个前置库。根据分类后的负荷情况,用历史数据分别对所建BP神经网络模型进行省外三个前置库的训练,训练完成后用以预测以后的工作日和休息日的负荷情况,并将预测结果与实际结果进行对比分析。此外考虑到这105天历史数据前面部分是春节期间测到的数据,而我们预测的日期远离春节,为了减小节假日对负荷预测的影响,在选取训练样本时只取后面若干天的负荷作为样本。
3.2输入/输出向量设计
由于负荷值曲线相邻的点之间不会发生突变,因此后一时刻的值必然和前一时刻的值有关,除非出现重大事故等特殊情况。所以这里将预测日的前一天的实时负荷数据作为网络的样本数据。由于每天测量了40品规,所以输入变量就是一个40维的向量。显而易见,目标向量就是预测日当天的40个负荷值,这样一来,输出变量也是一个40维的向量。
在用样本对BP网络进行训练之前,需要对输入样本数据进行归一化处理,将数据处理为区间[0,1]之间的数据。之所以输入数据需要归一化,一是考虑到量纲问题,我们需要平等看待输入向量的每一个元素;此外数据归一化之后可以有效降低计算复杂度,加快算法的收敛。
归一化方法有许多种形式,这里采用如下公式:
x[DD(]∧[DD)]=[SX(]x-xmin[]xmax-xmin[SX)]
在样本中,输入向量为预测日前天的发出品规实际负荷数据,目标向量是预测日当天的发出品规负荷。由于这都是实际的测量值,因此,这些数据可以对网络进行有效的训练。如果从提高网络精度的角度出发,一方面可以增加网络训练样本的数目,另一方面还可以增加输入向量的维数。即,或者增加每日的测量点,或者把预测日前几天的负荷数据作为输入向量。目前,训练样本数目的确定没有通用的方法,一般认为样本过少可能使得网络的表达不够充分,从而导致网络外推能力不够;而样本过多可能会出现样本冗长现象,既增加了网络的训练负担,也可能出现信息量过剩使得网络出现过拟合现象。
3.3BP网络的优化设计
本文采用BP优化网络对负荷值进行预报。如图1所示,为预测负荷的BP优化网络。
根据BP网络来设计优化网络,一般的预测问题都可以通过单隐层的BP网络实现。由于输入向量有40个元素,所以网络输入层的神经元有40个,经过多次训练网络中间层的神经元可以取13个。而输出向量有40个,所以输出层中的神经元应该有40个。网络隐含层的神经元激励函数采用S型正切函数tansig,输出层神经元激励函数采用S型对数函数logsig。这是因为函数的输出位于区间[0,1]中,正好满足网络输出的要求。
3.4网络训练参数
网络经过训练后才可以用于产运网络负荷预测的实际应用。考虑到网络的结构比较复杂,神经元个数比较多,需要适当增大训练次数和学习速率。训练参数的设定如下表所示。
训练参数表
最大训练次数[]训练误差目标[]学习速率[]省外三个前置库样本数[]省外其他
1000[]001[]01[]最近30个[]最近8个
3.5仿真结果
按照表1设定的参数得到省外三个前置库、的训练收敛曲线分别如图2、图3所示。可见经过数次训练后,网络目标误差就能达到要求,其中省外三个前置库训练到目标误差需要16次训练,省外其他的9次训练。
利用训练好后的BP网络进行预测,得到工作日和休息日的预测误差曲线、预测日实际负荷曲线与预测负荷曲线分别如图4、图5所示。且工作日与休息日的平均绝对百分误差结果为:err=2.6025(省外三个前置库);err1=52174(省外)。由此可见,采用BP神经网络进行预测效果良好。对比图4、图5发现对休息日的预测波动较大,这可能跟训练样本数目不同有关系。仿真中用于训练工作日神经网络的样本数为30个,而用于训练休息日的样本仅仅为8个。为了验证网络设计中一些参数对结果的影响,改变中间层神经元的个数进行对比。
在建立神经网络时,中间层神经元的个数的确定没有特别的说明,数量越多可能会给预测精度带来好处,但会增加计算的复杂度,降低系统的稳定性甚至使得算法发散。经验上讲如果神经网络输入向量的维数是M,输出向量的维数是N个,那么中间层神经元的个数为sqrt(M+N)+L(L为6到10的常数)。为了研究中间层神经元个数对仿真结果的影响,减少中间层神经元个数到25个。仿真收敛曲线如图6、图7所示,误差及预测曲线如图8、图9所示。工作日与休息日的平均绝对百分误差结果为:err=2.5(省外三个前置库);err1=2.97(省外其他)。对比之前可以看出,适当调节中间层神经元个数可以加快算法收敛的速度,改善预测准确度。
3.6结果分析
通过综合使用神经网络的仿真结果显示,省外三个前置库(沈阳、晋中、南昌)在物流网络下其收敛性、预报误差及预测曲线均高于其他同类库房,显示出较好的抗压和负荷周转能力。
4结语
关于成品烟品规的负荷预测是产运平台重要工作,国内外关于短期负荷预测的文献很多,但是由于品规受订量等诸多因素的影响和产量本身的不确定性,使得迄今还没有一种十分满意的方法。由仿真结果知,本文介绍的基于BP优化神经网络的预测方法,再经过一定次数的训练便能取得较好的负荷预测效果。
参考文献:
[1]Senjyu TH,Takara K,Funabashi TOne-hour-ahead Load Forecasting Using Neural Network[J].IEEE Trans Power System,2002,17(1)
摘要:财务危机的出现意味着企业基本面发生根本性变化,处理不当就会导致企业破产。因此,识别企业财务危机,并对其做出预警,不仅对企业经营者及时采取措施化解危机具有重大的意义,而且对于投资者规避风险也有非常重要的价值。
关键词:财务危机;预警;指标体系
一、引言
“财务危机”又称财务困境,最严重的财务危机是企业破产。企业因财务危机最终导致破产实际上是一种违约行为,所以财务危机又可称为“违约风险”。
关于财务危机的定义,目前尚无一个统一的说法。具有代表性的观点有以下几种:(1)Beaver(1966)将破产、拖欠优先股股利、拖欠债务界定为财务危机。(2)Altman(1968)定义的财务危机是进入法定破产、被接管或者重整的企业。(3)Deakin(1972)则认为财务危机公司仅包括已经经历破产、无力偿债或为债权人利益而已经进行清算的公司。(4)Carmichael(1972)认为财务危机是企业履行义务时受阻,具体表现为流动性不足、权益不足、债务拖欠及资金不足四种形式。(5)Wruck(1990)给出的财务危机的定义是企业现金流量不足以抵偿现有债务的情况,这些债务包括应付未付款、诉讼费用、违约的利息和本金等。(6)Ross等人(1999;2000)则认为可从四个方面定义企业的财务危机:一是企业失败,即企业清算后仍无力支付债权人的债务;二是法定破产,即企业和债权人向法院申请企业破产;三是技术破产,即企业无法按期履行债务合约付息还本;四是会计破产,即企业的账面净资产出现负数,资不抵债。(7)Lee(2004)认为可以从两方面定义财务危机:一是未能偿还到期借款的本息,借款期间有过延期还款和减少本息支付的协议;二是公司的净资产减少到其股本的一半以下。
综合上述各种定义可知,无论财务危机如何定义,企业发生财务危机都具有无力偿还到期债务、现金流的紧张状态可能使经营无法持续的特点。财务危机的出现意味着企业基本面发生根本性变化,处理不当就会导致企业破产。因此,识别企业财务危机,并对其做出预警,不仅对企业经营者及时采取措施化解危机具有重大的意义,而且对于投资者规避风险也有非常重要的价值。
二、文献综述
企业财务危机预警问题的研究很早就引起了各方面的关注,很多经济学家与财务专家都在这方面做了大量的工作,他们利用相应的财务变量构造了一系列的预测模型,其中有代表性的研究成果可归纳为四类。
(一)单变量模型
单变量模型是运用单一变数、个别财务比率来预测财务危机的模型。最早的财务预警研究是Fitzpatrick(1932)的单变量破产预测研究。此后,WilliamBeaver(1966)使用单变量为分析方法,采用成对抽样法进行样本配对,考察了29个财务比率在企业陷入财务困境前1-5年的预测能力。Beaver发现在破产前一年的预测正确率可以达到87%,对于失败企业是最具有预测能力的指标。国内学者对单变量模型也作了较深入的研究,包括陈静(1999)以1998年的27家ST公司和27家非ST公司,使用1995-1997年的财务报表数据,进行了单变量分析。吴世农和卢贤义(2001)以70家ST公司和70家非ST公司,应用单变量分析法研究了在上市公司陷入财务危机前5年21个财务指标之间所存在的差异。
单变量模型的优点是只需要观测一个变量,应用比较简单;但是,任何一个财务比率无法充分和全面地反映企业的财务特征,所以该方法在现今的研究中很少被单独使用,一般都是与其他方法结合运用。
(二)多变量分析模型
多变量分析模型又可以分为多元回归分析模型和多元判别分析模型。EdwardAltman(1968)使用多变量分析法对企业财务危机进行研究。他以1946-1965年间33家破产的制造业企业为样本,并配对33家正常企业,将22项财务比率分为流动性、获利性、财务杠杆、偿债能力和活动力五大类指数,利用多变量分析法建立了著名的Z-Score记分模型。Meyer和Pifer(1970)以1948-1965年间失败的30家银行与其相匹配的30家非失败银行为样本,利用二元回归分析法建立模型,并且用9对相匹配银行组成的预测样本对模型进行了验证。此外,还有其他典型的判别分析模型,包括:Deakin模型、Blum模型、Casey模型和Taffler模型等等。国内的相关研究主要有陈静(1999)使用1995-1997年的财务数据,对27家ST公司和27家非ST公司进行的多元判别分析。张玲(2000)以120家公司为研究对象,使用其中60家公司的财务数据,通过多元判别法建立了财务危机预警模型。卢守林等(2002)以沪深两市A股市场上所有上市公司1998-2000年的财务资料为依据,用多元判别分析法构建的Z-Score模型。
多变量分析法弥补了单变量分析法的不足,具有较高的准确率和稳定性,但是也存在着一些不足:第一,这种方法受到了统计假设的限制,只适用于自变量近似服从正态分布的情况,并且要求组内的协方差矩阵相等,否则得到的预测结果可能是有偏的;第二,多元判别分析要求财务危机公司与正常公司之间一定要配对,而配对的标准具有较大的主观性。
(三)多元条件概率模型
多元条件概率模型是使用极大似然法对参数进行估计的一类概率模型,包括Logistic模型和Probit模型。Martin(1977)首次使用Logit模型预测公司的破产及违约概率。Ohlson(1980)从1970-1976年间在美国的上市公司之中排除公共事业、运输公司、金融服务业,总共挑选出105家破产公司和2058家正常公司为样本,采用九个财务比率建立了Logit模型。Huffman&Ward(1996)运用Logit模型对1977-1991年间违约的171家企业的高收益债券进行了预测研究等。国内的相关研究主要包括:吴世农和卢贤义(2001)分别采用多元判别分析和Logit回归方法建立和估计了预警模型。刘旻(2001)使用1999年28家ST公司与另外28家正常公司陷入财务危机前3年的数据,通过Logit回归方法建立了财务危机预警模型。姜秀华(2002)和齐治平(2002)利用Logit模型对我国上市公司进行信用风险分析。李萌(2005)以不良贷款率作为信用风险衡量标准,构造商业银行信用风险评估的Logit模型等。
多元条件概率模型的主要优点是不需要自变量服从多元正态分布和组内协方差矩阵相等的假设条件,但是要求因变量有逻辑含义,而且计算过程较为复杂,有很多近似处理。
(四)神经网络预警模型
神经网络,又称人工神经网络(ArtificialNeuralNetwork,ANN)是一种从神经心理学和认识科学的研究成果出发,应用数学方法发展起来的并行分布模式处理系统。常见的神经网络模型主要有:BP神经网络模型、MDA协助神经网络模型、ID3协助神经网络模型和SOFM协助神经网络模型。Odom和Sharda(1990)是将人工神经网络模型应用在破产预测模式中最具代表性的学者。Koh和Tan(1999)以1978-1985年间出现的165家破产公司为失败样本并以正常公司165家作为配对样本,使用人工神经网络模型构建了企业危机预警模型。在我国,王春峰(1998)、杨保安(2001)等学者也在此领域进行了深入的研究,杨保安通过对中信实业银行的分析,选取了4大类共15个财务指标,运用BP神经网络方法建立了一个可供银行用于授权评价的预警系统。台湾的林文修(2000)选取1992-1996年在台湾证交所上市企业中的36家失败企业和64家正常企业,并区分为学习样本73家与测试样本27家,比较了多元判别分析、Logit模型、BP神经网络模型和演化式神经网络模型等四种方法的模型预测准确率。神经网络预警模型的主要优点是分析层次清晰且逻辑关系严密,并依据心理学理论加入了一主观因素,从而有效地使客观分析与主观判断相融合。它的缺点是规范分析特点明显,不适宜做实证分析,分析模式缺乏灵活性,数据性假设条件过于苛刻。
三、财务危机预警的指标体系设计
导致企业发生财务危机的因素很多,且错综复杂,单变量模型与多变量模型仅能揭示影响关系与程度,变量的选择会因分析人员偏好的不同而不同,其不仅缺乏统一的理论基础,而且系统性往往较差,多元条件概率模型和神经网络预警模型虽然在分析技术上较为先进,且分析企图试图更精确,但它们在强调分析技术的同时,往往忽略了立论的基本依据,且在变量选择中往往伴随较明显的盲目性。因此,作为完善多变量模型系统,为多元条件概率模型和神经网络预警模型提供变量选择的依据,利用相应的财务理论构建企业财务危机预警指标体系就是研究企业财务危机的基础之基础。但从财务本身的角度去分析,财务危机形成的原因可以归结为以下几点:(1)公司经营状况不佳,导致营业收入无法稳定增长,造成公司的连续亏损,使得财务危机发生的可能性增大;(2)过高的负债使公司面临更大的财务危机。虽然公司本身有盈余,但是可能因为无法应付短期的庞大利息支出而造成破产倒闭;(3)现金流量发生持续性的净流出,企业就像是流动性资产的储水槽,若水槽中的流量变小(资产变少),流入量减少(现金流入减少),流出量增加(现金流出增加),流入量与流出量之间的差量就会逐步增大,这样会使公司出现财务危机的概率增加。
综合引起财务危机的三个主要因素,可以对应用五个方面的财务指标来描述或预警财务危机,用经营能力指标、成长能力指标和获利能力指标来度量或反映企业的经营状况,用公司的偿债能力指标来度量或反映企业的债务负担,用现金流量指标来度量现金流。从预警的角度考虑,五个方面的财务指标可进一步细分为20个更具体的财务变量(见表1),以此构成财务危机预警的指标体系。
以深沪两市A股中被ST的上市公司为实际考察对象,利用2006年1月1日-2007年12月31日深沪两市A股中154家被ST的上市公司的数据。剔除由于以下几种原因而被ST的上市公司:(1)上市两年内被特别处理的公司;(2)因自然灾害、重大事故等意外事件而被特别处理的公司。经过剔除后,本文选取的有效样本变为80家。根据研究期间一致、行业相同或相近、规模相当的原则按1:1的比例选择没有被ST的上市公司作为配对样本。由于我国上市公司年报披露制度规定上市公司公布其年报的截止日期为下一年的4月30日,上市公司(t-1)年的年报和其在第t年是否被ST几乎同时发生,因此,用(t-1)年的数据预测第t年是否被ST没有实际意义。在本文中采用(t-2)年的数据进行分析。
表6是财务危机公司和正常公司的成长能力指标在发生财务危机前2年的统计性描述,包括最大值、最小值、平均数、标准差和t值。
四、结论
中图分类号:TP393.08 文献标识码:A 文章编号:1009-914X(2016)21-0013-01
0 前言
随着我国交通事业的飞速发展,城市交通宏观规划与调控则更是处于跨越式的发展阶段,人工的现场交通指挥已不能满通事业的发展需求,而三维交通仿真系统集成了多项计算机技术,可以动态地、真实地仿真交通流和交通事故等各种交通现象,重现交通流的时间和空间的动态变化。由于现有的三维交通仿真系统是基于PC客户端运行的,便携性较差,不能将设备适时地移动到现场进行仿真。而基于移动平台的三维交通仿真手势设计与识别系统将用户的视觉与触觉以及测试场景巧妙的结合起来,增强了人机交互的直观性、用户体验感,方便了城市交通规划与设计。
1 基于移动平台的三维交通仿真手势设计与识别系统的研究内容
首先,通过对参与交通仿真的用户习惯进行调查分析,根据人机交互理论,提出具有最为优化用户体验的手势轨迹和对应的手势命令,最终综合设计一系列高效、简洁的多点触控手势设计与识别方案。同时针对多点触控操控手势的特点,提出一种高效的手势数据捕捉方案,为下一步的识别算法模型做好充分的准备。
其次,根据设计的多点触控手势方案,提出与之相适应的多点手势识别算法模型,针对多点手势的特点,将 BP网络与多点手势相结合,进行数学建模和流程分析,提出完备的多点手势的神经元和神经网络的模型,并给出多点手势的训练算法流程,和手势识别算法流程,最终完成整套的算法模型,并实现一套多点触控手势识别的算法原程序。
2 系统手势的设计原则与方案
设计原则:
(1)符合用户习惯:手势是人类主要信息交流手段之一,故手势设计需符合用户日常的使用习惯,易于记忆和被接受。用户作为系统的使用者,必须以用户为中心,使用户能够有效熟练的控制系统交互过程。
(2)文化约定:手势的设计需符合特定文化的用法,相同手势在不同的文化中的含义不尽相同。因此需要设计“通用的符号”作为手势。
(3))实物隐喻:由于手势通常会跟随实际生活中对产品的操作模式,即其内涵具有实物的隐喻意义,所以手势设计要映射实际产品的操作隐喻。。
设计方案如表1:
3 BP神经网络多点触控手势的识别
识别网络的训练算法如图1:
识别算法流程:
(1)输入数据,将收集来的触摸数据处理成为待匹配输入向量。
(2)将输入向量放入BP神经网络中进行迭代匹配。
(3)通过BP神经网络的迭代计算,返回最终匹配的输出向量,输出向量为一个N维数组,N=预置手势个数。其中数组总的每一个值代表对应的手势的匹配程度,匹配度越高的手势越接近正确结果。
(4)过滤输出向量,选出匹配度最高的手势。判断若其匹配度高于预设阈值,则匹配成功,否则,匹配失败。
4 结语
本章主要描述了基于BP神经网络的多点触控手势识别的算法模型。提出的这套多点触控手势识别算法正好与之结合紧密,同时还支持手势的学习和扩展,更为之后的研究打下了基础,可以使多点触控手势进一步发挥它的优势。
参考文献
[1] 凌云翔,张国华,李锐,等.基于多点触摸的自然手势识别方法的研究[J].国防科技大学学报,2010,32(1):4-5.
[2] 王晓庆,等. 多点触摸手势分析及识别算法的研究[J].计算机科学,2012,39(6A):522-525.
[3] 中国触控屏网 (http://).多点触控技术的特点及其发展.
基金项目
宁夏师范学院科学研究基金资助。
关键词:数据挖掘;网页分类;神经网络;学习算法
中图分类号:TP393文献标识码:A文章编号:1009-3044(2008)12-20ppp-0c
Process Neural Network and its Application in Web Document Automatic Classification
SUI Chang-fu
(Teaching Administration Office of Daqing Petroleum Institute at Qinhuangdao,Hebei 066004 China)
Abstract: Aiming to web document classification in data mining, a classification method is presented in this paper. The method is based on vector space model and process neural network. The network includes input layer, hidden layer and output layer. Input layer performs import of samples, hidden layer extracts model characters of samples and output layer presents classification results. The availability of model and algorithms is proved by classification of some web documents in Internet.
Key words: Data mining; Web document classification; Neural network; Learning algorithm
1 引言
目前,数字图书馆及与之相关的数据仓库和数据挖掘技术研究已成为全球性的一个热点。这是Internet和万维网发展的必然结果。文档自动分类在数据挖掘中是一项非常重要的任务。分类的目的是根据若干已知的规则,构造一个分类函数或分类模型(也常称作分类器),把数据库中的数据项映射到给定类别中的某一个。分类器的构造有统计方法、机器学习方法等[1]。统计方法包括贝叶斯法和非参数法;机器学习方法包括决策树法和规则归纳法。人工神经网络理论(Artificial Neural Network)是80年代中后期世界范围内迅速发展起来的一个前沿研究领域。该理论作为人工智能的一个重要分支领域,已显示了它活跃的生命力。除了在语言识别、自动控制等领域应用外,已有实践证明,在文档分类、聚类分析等信息挖掘领域也有着相当高的实用价值。近几年来,有关人工神经网络理论的新的研究成果不断涌现,目前我国人工智能及其他相关学科领域的专家、学者在人工神经元网络理论和应用研究方面做出了许多可喜的成绩。过程神经元网络就是很有代表性的一例。该网络模型诞生于2000年,是传统神经元网络在时域上的扩展。目前该网络基本理论已比较成熟。
基于向量空间模型的文档分类方法,文档特征向量维数一般较高(从几十维到上百维),虽然理论上三层反传播神经网络能够逼近任意非线性映射,但普通反传播神经网络对于高维映射问题往往收敛很慢,且容易发生过拟合现象,使泛化能力受到影响。在过程神经网络中,将文档特征向量看作若干个与各个类别对应的过程,将这些过程作为网络输入,从而大大降低了文档特征向量的维数。本文尝试将该网络用于基于特征向量描述的Web文档分类。
2 文档特征提取
特征提取是文档分类系统中十分关键的问题,文档分类特征选取恰当与否对文档分类的正确性和分类效率有重要影响。一个有效的特征项集,必须具备以下两个特征:(1)完全性,特征项能够体现全部文档内容;(2)可区分性,根据特征项集,能将目标文档同其它文档相区分。特征项集的构造可从构造每篇文档的模糊特征项集开始。如何根据正文的语义提取可近似表示正文语义的特征项集是一个复杂问题,严格讲除了要求理解正文的含义之外,尚需有总结概括的能力乃至有较深的领域知识才能较好地解决这个问题,这是难以用现有计算机技术来实现的。因此最好与语言学家们结合根据人类在抽取正文特征项时所遵循的一般原则进行手工抽取。
2.1 特征项集的构造
假设有P篇待分类文档,特征项集的构造可描述如下:
step 1:首先对P篇文档,进行手工抽取特征项,并记录特征项的文档频数(特征项在文档中出现的次数),构造特征项集:?C1,C2,…,Cp;然后对各特征项集进行筛选,除去频数过低的特征项。即根据给定阈值λ,滤除各篇文档中频数低于λ的特征项,此时可以得到每篇文档的特征项集合:C1,C2,…,Cp
step 2:在以上集合中,将特征项的同义词、转义词、近义词看作同一特征项,计算P个集合的并集:C=C1∪C2∪…∪Cp={T1,T2, …,TN},得到全部文档的特征项集{T1,T2,…,TN}。具体算法:令C=C1,对?Tji∈Cj(i=1,2, …Nj;j=2,3, …,p),若(Tji?C)且(?Tji?C),则C=C∪{Tji},其中,?Tji为Tji的同义词、转义词或近义词。
2.2 特征向量的构造
以特征项集{T1,T2, …,TN}为论域,根据每个特征项在某一文档中出现的频数构造该篇文档的特征向量。另外,构造特征向量时还应考虑特征项的专指度。特征项的专指度可用文档总数与含有该特征项的文档数的比值表示。专指度过低的特征项会抑制分类的精确性。因此对于专指度较高的特征项,应适当增加其文档频数;而对于专指度较低的特征项,则应适当减小其文档频数。具体构造过程可描述如下:
step 1:分别对P篇文档,计算特征项集{T1,T2, …,TN}中每个特征项在该篇文档中出现的文档频数;
step 2:按下式构造P篇文档的特征向量{fT(Tp1), fT(Tp2), …, fT(TpN),}{ };(p=1,2, …,P)。
其中:VTFpk表示特征项Tk在文档p中的出现频数,N表示全部训练集中的文档数,Nk表示含有特征项Tk的文档数目。
step 3:对以上特征向量归一化,可得p篇文档的特征向量?Tp={T(Tp1), T(Tp2), …, T(TpN),};(p=1,2, …,p)。
3 过程神经元网络
3.1 过程神经元
过程神经元由加权、聚合和激励三部分组成。与传统神经元不同之处在于过程神经元的输入和权值都是可以时变的,即可以是依赖于时间的函数。其聚合运算既有对空间的多输入聚合,也有对时间过程的积累。因此它是传统神经元在时域上的扩展,传统神经元可以看成是过程神经元的特例[1]。单个过程神经元的结构如图1所示。输入输出关系见(1)式。
3.2 过程神经元网络模型
过程神经元网络是由若干个过程神经元按一定的拓扑结构组成的网络。其拓扑结构如图2所示[2]。
其中,中间层(隐层)各单元由图1所示神经元组成,并设有m个单元。输出层为一非时变神经元。
3.3 学习算法
过程神经元网络的学习可借鉴梯度下降法,如BP算法[3]。若假设输出层中g(u)=u, θ=0,则:
将xj(t)、wji(t)用沃尔什基函数展开[4](在保证展开精度的前提下只取前L项):
由基函数的正交性,(2)式可简化为:
网络误差函数可取为:
由梯度下降法,网络权值学习规则为:
其中i=1,2, …,m;j=1,2,,m;l-1,2, …,L;;α、β、γ为学习速度。
4 文档分类实施方案
假设有P篇已知类别的文档,分类实施方案的构造过程可描述如下:
(1)实施特征抽取,构造特征向量;
假设待分类模式共有n类,每类抽取m个特征项,则模式空间为n维。记xkij为第i类中第j个特征项第k篇文档中的文档频数,编码后的输入向量如(9)式:
(2)对(9)式实施离散沃尔什基函数展开,构造展开后的系数向量:
其中:scf15.tif
(3)初始化网络参数:层数;各层单元数;误差精度ε;学习速度α;惯性系数η;累计学习迭代次数s;最大学习迭代次数Max;
(4) 初始化过程神经元隐层权值(设有q个神经元),采用沃尔什基函数,初始化系数:
(5)初始化其他隐层及输出层权值及阀值(同传统BP网络);
(6) 按(4)式计算输出,按(5)式计算误差E;
(7)若(EMax)转(9);
(8)按(6)-(8)式修正各层权值及阀值,s=s+1,转(6);
(9)输出结果,训练结束。
上述经过训练的网络即可用于对未知类别文档的分类识别。
5 实际应用分析
我们以Internet上旅游网页作为分类文档源,参考《中国分类主题词表》中的分类情况,将旅游网页分为如下八个子类别:1.旅游景点;2.旅游指南;3.旅行社;4.宾馆饭店;5.租车服务;6.旅游交通;7.海外旅游;8.旅游综合信息。考虑评价与测试文档自动分类算法需要两个重要指标:查全率和查准率,按下面公式计算类别Ci的查全率recall(Ci)和查准率precision(Ci):
(1)recall(Ci)=Tn/N,Tn为通过分类算法被正确分类为Ci类的文档的数目;N为未分类文档之前属于Ci类的文档的数目。
(2)precision(Ci)=Tn/Cn,Tn为通过分类算法被正确分类为Ci类的文档的数目;Cn为通过分类算法被分类为Ci类的文档的数目。
对以上8个子类别通过网站搜索简体中文网页,构造出规模为1200个旅游类网页的自动分类样本集,其中800个用作训练集,400个用作测试集。综合考虑全部网页的特征及类属,共提取特征项64个(每类8个)。每类的第一个特征项为类属名称。对全部1200个网页实施编码处理。部分网页编码结果见表1。
网络输入节点为模式类别数,本例为8个;因样本数目较多,过程神经元隐层节点取30个;输出层用二进制数表示样本类别,取3个节点。误差精度ε=0.05,学习速度α=0.1,惯性系数η=0.5,限定迭代次数Max=5000。实际迭代3815次收敛。对训练集自身的平均查全率和平均查准率均达到了90%,网络的分类结果如表2所示。
将训练好的网络应用于测试集400个网页的分类,平均查全率和查准率也均达到86%以上,与训练集分类结果较为相近,说明所抽取出的文档类特征和类模式具有普遍性和有效性。关于此方法的有效性,我们与BP算法作了对比。采用三层BP网络结构,输入层64个节点,输出层3个节点。当隐层为80节点时,迭代11038次收敛,对测试集网页的识别率仅为73%;当隐层为100节点时,迭代9687次收敛,对测试集网页的识别率降为62%。说明BP网络对于高维样本的分类问题,不仅收敛速度慢,而且容易产生过拟合现象,影响了网络的泛化推广能力。而应用本文提出的方法就能较好的克服这些问题。
6 结束语
过程神经网络是神经网络领域最近提出的新模型,其输入不再是几何式的单点输入,而将输入看作一个过程,在这一点上,过程神经元网络较好的模拟了生物神经元特性。几何点式的瞬间输入只能在理论上存在,过程式输入放宽了传统神经元网络模型对输入的同步瞬时控制。使问题更为一般化。现实中很多应用可归结为此问题。过程神经元网络的输入为信息矩阵,在向量空间模型中,这为高维的文档特征向量的处理提供了可行之路。本文尝试将该模型应用于网页正文分类,达到了预期效果。今后,对过程神经元网络的理论和应用研究必将受到越来越多学者的关注。
参考文献:
[1] 何新贵,梁久祯.过程神经元网络的若干理论问题[J].中国工程科学,2000,2(12):40-44.
[2] 何新贵,梁久祯,许少华.过程神经元网络的训练及其应用[J].中国工程科学,2000,3(4).
[3] 王伟.人工神经网络原理――入门与应用[M]. 北京:北京航空航天大学出版,1995.
[4] 柳重堪.正交函数及其应用[M].北京:国防工业出版社,1982.