量子神经网络算法精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的量子神经网络算法主题范文，仅供参考，欢迎阅读并收藏。

第1篇：量子神经网络算法范文

关键词：多宇宙量子神经 矿用通风机 故障诊断

引言

近年来，煤炭工业正朝着安全、高效的方向迅猛发展，因此对煤炭工业生产的安全要求越来越高。煤矿机电设备运行的安全性是煤矿安全生产中除瓦斯浓度外的另一个重要安全因素。煤矿关键设备主要包括高压异步电动机、矿用通风机、大中型采煤机及矿井提升设备等，如何保障这些关键设备的安全运行已成为各煤炭企业急需解决的重大问题。

人工神经网络以其强有力的学习和并行处理能力在故障诊断领域迅速兴起，其本意是模拟人脑结构去反映客观世界以解决客观世界的问题。然而，传统的神经网络模型仅能做到故障征兆特征空间与故障模式空间之间的非线性映射，泯灭了故障诊断的技术内容和内在实质。为了使征兆参数模糊化后能更准确的表达或量化输入空间的样本分布，提高旋转机械故障诊断的精度，本文利用量子态的叠加现象将多宇宙观点应用到神经网络的结构设计之中，提出了一种多宇宙量子神经网络模型，并将该模型应用到矿用通风机故障诊断中，取得了较好的诊断效果。

1.多宇宙量子神经网络模型故障诊断

矿用通风机故障诊断存在诸多不确定性，其主要原因有：故障原因较复杂、非线性、故障之间相互影响、故障甄别不准确带来的影响等。由于上述不确定性的存在，必然导致故障诊断的准确率降低，甚至出现漏检和误诊断现象。针对煤矿通风机故障诊断时的不确定性问题，本文提出了一种多宇宙量子神经网络模型，并应用于矿用通风机的故障诊断，大大地提高了矿用通风机的故障诊断精度与可靠度。

1.1 多宇宙量子神经网络模型

多宇宙量子神经网络的结构体系与相应的经典网络大致相似，区别在于前者有整个网络的多份拷贝或者是网络的一部分拷贝，每一份拷贝都以适合该网络体系结构的学习规则来训练一个模式，而网络中有一部分可能为经典网络，另一部分为量子网络，网络的经典部分（非重复部分）用于处理所有的模式，其权值的改变取决于所有其后的重复部分的反馈。本文以各部分均为叠加态的多宇宙量子神经网络为研究对象，研究其在矿用通风机故障诊断中的应用。

1.2 多宇宙量子神经网络的主要算法

多宇宙量子神经网络的每一个输入模式与子网络一一对应。根据坍缩规则，将子网络对应的训练模式与输入模式比较，模式最接近的那个获胜，即待识别输入模式将坍缩到获胜的子网络进行处理。

设共有x个子网络组成了整个网络的叠加，多宇宙量子神经网络算法的主要步骤如下：

1）从整个模式集合中选取x个模式作为训练集合；

2）对每个子网络进行初始化；

3）每个子网络用其对应的训练模式进行训练，直到输出误差达到允许范围；

4）将剩下的模式作为待识别样本，利用特定的坍缩规则决定每个待识别样本将坍缩到的宇宙；

5）用坍缩到的子网络对待识别样本进行处理，得到输出结果。

2.矿用通风机故障诊断实例

为了验证本文提出的多宇宙量子神经网络的有效性，以某煤矿使用的矿用通风机为研究对象，阐述该方法在通风机故障诊断中的具体应用。

现场采集到的试验数据建立故障样本，样本经过去噪预处理并归一化，选取其中30组典型数据建立故障样本集，样本维数为6，每维特征分别对应特征频谱0.01f-0.49f、0.50f、0.51f-0.99f、1.0f、2.0f、>3f共 6个频段的幅值，其中f为工频。

诊断实例：实例1，通风机在工作过程中，2瓦轴振动超标，对2瓦水平方向采集到的振动频谱进行特征提取并预处理后，得到故障模式x1，如表二所示。实例2，汽轮机经过大修且过了大约一个月后，机组振动异常，相位极不稳定，振动幅值随转速升高明显加大，振动频谱的主要分量为基频，并带有明显的2f及低频分量，其振动故障模糊隶属度见表二所示。

将表二的故障样本x1、x2分别与前面30组标准故障中心一起构成数据集进行聚类分析，故障样本与哪种标准故障中心聚为一类，则说明该故障属于与多宇宙量子神经网络聚类中心同类的故障，聚类中心经过多宇宙量子神经网络算法诊断后，诊断结果如表三所示。对实例1，x1与F1聚为一类，表明该故障属于F1故障模式，即机组发生了不对中故障，与现场检查结果一致。对实例2，表明最佳聚类数为7，此时x2与F4聚为一类，其余各中心自为一类，表明该故障模式属于F4的故障，即转子支承系统松动故障。

由表三可以看出，多宇宙量子神经网络模型在通风机的故障诊断中，其诊断结果正确，与实际情况一致。其诊断结果的精度明显高于BP网络模型。这是因为，多宇宙模糊量子神经网络的各个子网络相互独立、并行运算、互不干扰，多宇宙量子神经网络的学习训练时间很短、收敛性好、精度高。从而较大提高了故障诊断的识别精度，故障识别的准确率达到100%。

3.结论

本文针对矿用通风机故障诊断时的不确定性问题，利用量子态的叠加现象将多宇宙观点应用到神经网络的结构设计之中，提出了一种多宇宙量子神经网络模型以及基于模糊c-均值的网络坍缩算法。诊断实例仿真分析表明，相比于BP网络，该方法能够有效地解决通风机故障诊断过程中的不确定性问题，且具有收敛速度快、诊断精度高等特点。

参考文献：

[1] 江泽标.人工神经网络在煤矿通风机故障诊断中的应用[J].煤矿机械， 2011， 32（7）： 266-268.

[2] 陈虹微，王荣杰.煤矿通风机振动原因及检测方法[J].矿山机械， 2006，34（11）： 213-234.

[3]王学泰，马春燕，姚景峰等.煤矿通风机轴承振动故障诊断技术的研究及应用[J].煤矿机械2013，34（4）：280-282.

第2篇：量子神经网络算法范文

 

 

本 科 生 毕 业 论 文（设计）

 

本 科 生 毕 业 论 文（设计）

题目 阵列化的非晶体纳米硅神经突触器件制备与数值模拟        

 

 

姓名与学号     郑浩 315104964    

指导教师        皮孝东          

合作导师                        

年级与专业  2015级 材料科学工程  

所在学院        材料科学工程        

 

提交日期                          

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

 

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

 

Submitted by

Hao Zheng

 

Supervised by

Prof. XiaoDong Pi

 

 

School of Materials Science and Engineering

 Laboratory of Silicon Materials, Zhejiang University, Hangzhou

 People’s Republic of China

May, 20th, 2019

 

 

浙江大学本科生毕业论文（设计）承诺书

1.本人郑重地承诺所呈交的毕业论文（设计），是在指导教师的指导下严格按照学校和学院有关规定完成的。

2.本人在毕业论文（设计）中除了文别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 浙江大学 或其他教育机构的学位或证书而使用过的材料。

3.与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。

4. 本人承诺在毕业论文（设计）选题和研究内容过程中没有伪造相关数据等行为。

5. 在毕业论文（设计）中对侵犯任何方面知识产权的行为，由本人承担相应的法律责任。

6.本人完全了解 浙江大学 有权保留并向有关部门或机构送交本论文（设计）的复印件和磁盘，允许本论文（设计）被查阅和借阅。本人授权 浙江大学 可以将本论文（设计）的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编本论文（设计）。

 

 

作者签名：                         导师签名：

 

签字日期：     年   月   日      签字日期：      年   月   日

 

 

 

致  谢

致谢内容。（仿宋字体或Times New Roman，小四号，两端对齐，首行缩进两个汉字符位，段前0磅，段后0磅，固定行距20磅。）

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

 

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

摘  要

信息时代的来临，人类在处理大数据与多信息的任务面前面临着很大的挑战，传统的冯-诺依曼式计算机思想在处理这些问题时出现了本质上的不足，因此神经网络的应用于硬件化变得十分迫切。随着忆阻器的发现，类脑计算的实际应用变得可能。本文从硬件神经网络的兴起出发，阐述了硬件神经网络的研究现状与实现途径，之后引入了生物神经元的特征，阐述了以往关于人类神经元建立的数学模型。之后本文提出了一种阵列化硅纳米晶体神经突触器件的制备方法与过程，并且在基于这样的器件上，得到相应的LTP与STDP数据，将这些数据分别用于探究：神经元激活函数数值模拟，有监督脉冲神经网络之tempotron算法数值模拟与STDP无监督学习网络数值模拟，在得到结果的基础上，提出了硬件化神经网络所需要的器件的基本性质与要求。为未来的硬件化目标提出了可行性与基本方向。

关键词：硬件神经网络；神经元；神经突触器件；激活函数；Tempotron算法；STDP；无监督学习

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.

Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;

目  次

第一部分  毕业论文（设计）

A DiSubmitted to Zhejiang University for

I

III

V

VII

IX

第一章 绪论

1.1.1 硬件神经网络的兴起

1.1.2 硬件神经网络的实现

1.3.1 生物神经元介绍

1.3.2 人工神经元介绍

1.3.3 人工神经网络介绍

1.3.4 脉冲神经网络介绍

3.1.1 神经网络结构

3.1.2 神经元硬件化结论

3.2.1 脉冲编码

3.2.2 权值更新

3.2.3 数值模拟结果

3.2.4 LTP权值改变法

3.2.5 STDP权值改变法

3.2.6 结论

3.3.1 理论背景与基础

3.3.2 网络设计

3.3.3 模拟结果

作者简历

攻读学位期间发表的学术论文与取得的其他研究成果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第一部分

 

毕业论文（设计）

第一章  绪论

11.1  硬件神经网络1.1.1  硬件神经网络的兴起

21世纪进入信息时代后，计算机的普及率大大上升，计算机本身也在计算力与逻辑处理上远远超过了人脑，然而不足的是，在数据的存取与记忆上，仍然是采用冯-洛伊曼式的串行方法，且功耗很大，而人类大脑拥有10^11 个神经元和10^15神经突触。这使得人类处理信息的方式是高效的并行方式，并且功耗很低。例如人类大脑看到一种东西，识别它的过程往往使视觉神经信号与记忆信号同时作用的结果，功耗在fj量级。在使得冯-洛伊曼式计算机处理复杂指令与控制上体现出了根本性的缺陷。基于这一点，神经网络的研究开始兴起，在1943年，McCulloch 和 Pitts 提出了神经元的形式化模型后, 有关于神经网络的讨论也逐渐火热起来，但其发展的中途受到很多科学家对其的质疑[19]。直到 1980年左右, Rumelhert 与他的研究伙伴[20]一起发表了著名的并行分布式处理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神经网络，从数学上的形式，证明了这种算法的可行性，BP神经网络是一种前馈式的误差逆向传播网络，通过训练集不断缩小输出值与目标值的差值从而达到非线性优化的目的。由此，神经网络的数学原理得到证明，其实在1970年神经网络存在一段低落期，也受到了很多怀疑。但是BP神经网络的兴起与提出，让科学们对于神经网络的态度再次火热起来。21世纪随着深度学习的提出，又掀起了一股关于人工智能的热潮，Deep learning 是在多层感知机的基础上，不断增加隐含层的层数，这上面又出现了一些数学上的问题比如激活函数的梯度弥散问题，但是由于Relu激活函数替代sigmod函数的提出，这些问题逐步得到了解决，深度学习向前发展了一大步。比如IBM的“深蓝”击败世界围棋选手李智石等，但是实际上，“深蓝”在击败李智石时消耗的电量等于一桶油的燃烧的焦耳值，但是李智石仅仅使用了两个馒头的热量战斗。也就是说，这场比赛其实并不公平。其实这反应的是人工智能的工作效率与真正人脑的学习效率仍然有很大的差距。神经网络本质是由多个简单的信号处理单元组成，这些简单的信号单元之间由一种方式连接形成网络，它意在模仿人类大脑处理信息的模式，从而实现图像识别，音像识别，特征提取和记忆等功能。现在计算机能够从软件上对神经网络进行实现，然而关于数据的存取方式仍然无法得到突破，数据的存取方式仍然是老式冯-诺依曼式的串行处理方式。但是人类识别图像，获得信息是并行的。因此硬件神经网络的开发是必要的，硬件神经网络能够使用集成电路实现并行处理信息，并且能耗低，效率高，能够更贴近人类大脑的工作方式。因此硬件神经网络的开发受到很多的关注与研究，未来人工智能和类脑计算的发展前景中，硬件神经网络的研究是必须的。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T09:23:00'w

NOTE: '这部分放到前言部分比较好，或者干脆就不要了，放在这里是不合适的。']本文的第一章即绪论，主要是阐述当前关于硬件化神经网络的突破，现状与发展形势。

第二章主要从人类的神经元开始，讲述人类生物神经元的特点，讲述现在人工神经元的数学模型，以及硬件化神经元需要的要求与方式

第三章主要讲述制备实验器件的技术路线，与制备的过程和使用的材料

第四章从数值模拟的角度，探究神经元硬件化的条件是怎么样的，数值模拟选取MNIST数据集作为样本数据集，通过使用实验得到的激活函数替论激活函数，观察网络的准确率，得出相关结论，探究硬件需要满足的条件

第五章从数值模拟的角度，探究突触硬件需要满足的条件，突触与神经元不同，它是作为神经网络中存储权值，改变权值的存在，与神经元有本质上的区别，数值模拟采用26个英文字母的图片作为数据集，进行编码后发送脉冲，使用Tempotron 的有监督脉冲神经网络进行数值模拟，通过实验硬件得到的LTP与LTD图像进行权值更新。得到预测率的图像，证明了LTP的电或者光电器件能够作为脉冲神经网络硬件化的一个器件，为未来做出相关硬件网络道出了一种可行性。

第六章主要是针对STDP的学习机制扩大网络规模，将数据集扩展到MNIST手写数据集，使用STDP无监督学习网络[16]对数据进行训练，之后再对训练好的神经元进行分类。得到我们想要的结果。

第七章主要是总结本文的工作得到的结论，以及对于未来硬件神经网络的发展的一些展望与看法

 

 

1.1.2  硬件神经网络的实现

一般硬件神经网络的实现方式有三种，即采用电子学方法——依靠微电子技术实现人工神经网络, 采用光电方法——依靠半导体光电集成技术实现人工神经网络, 采用光学方法实现人工神经网络[18]。微电子技术应该是通过各种电路设计，例如放大电路，差分电路等集成电路，实现神经网络的reference部分。依靠光电实现的硬件神经网络是本文的重点，利用电学元器件，忆阻器器件，或者是光电器件，模拟生物神经元的膜电位变化曲线，与人类大脑的权重学习规则，从而实现神经网络的硬件化。采用光学的方法实现网络计算的方法十分有趣，UCLA大学的研究小组发明了一种全光的深层神经网络，通过光的反射与折射传递信号，利用光入射的相位差记录权值变化，实现了全光的神经网络，而且由于光的传播速度是光速，在整个网络的效率与速度上都十分惊人，能耗也十分低[21]。神经网络的电子学硬件实现方法主要有四种，其中分别是数字实现、模拟实现、混合数/模实现和脉冲技术实现等[18]。通过数字实现的神经网络一般精度很高[1,2]，权值易存储也容易改变，并且能够通过电路实现并行处理，克服传统计算机串行处理数据的弊病，但是缺点是电路难以集成，体积很大，很难适用于计算机新型芯片这种地方。通过模拟实现的神经网络能够很好克服上面的缺点[3,4,5]，但是由于突触和神经元器件对参数敏感，准确度下降，更关键是对于权值的存储存在困难。1987年是一个转机，即脉冲技术第一次用于了神经网络，使用VLSI技术作为实现，从这以后，神经网络的脉冲技术受到了很多关注[9,12]。

脉冲技术，简单来说就是将神经元的兴奋或者抑制状态通过一定的编码方式转化到脉冲的波形上，编码的方法一般有高斯编码，或者可以自定义的编码方式。由于脉冲化的信号是离散的，因此一定程度上可以简化运算电路：例如突触电路。神经元与一般的电路元件不同，它本身的密度很高，正如人类神经元的密度很高一样。这种紧密的排列方式使得脉冲信号把芯片和外围设备的接口变得更容易连接。本文正是利用从脉冲神经网络出发，制备出硬件化的元件，通过数值模拟硬件的实际可行性，并且对于未来硬件化神经网络的方向提出一些看法

21.2  硬件神经网络研究进展当前的人工神经网络存在三种模式，第一种是非学习型神经网络，即网络的前馈过程与权值计算过程全部由软件进行实现，权值是固定不变的，只用神经网络的电路结构完成之后，再与实际电路结构匹配即可。另外一种是on-chip的模式，即前馈过程通过微电子电路进行实现，权值的更新与计算通过计算机实现。还有一种off-chip模式，即是一种全自动的自主性芯片，从神经网络的前馈环节到神经网络的BP算法实现都一并完成。目前的研究状况，我们已经能够熟练通过电路的设计实现非学习神经网络。在on-chip式的人工神经网络上，我们也能通过一定的模拟方式得到实现。现在的当务之急是开发off-chip式的神经网络，使用硬件对权值的存储与改进是必要的。自从20世纪60年代后期引入忆阻器概念以来，由于其简单性和功能相似性，它们被认为是模拟突触装置的最有希望的候选者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，开拓了RRAM和忆阻器之间联系，做出了一定的应用之后以非易失性存储器件和神经突触晶体管为代表开始成为神经突触器件的基础。但将这些器件用于第二代神经网络（也就是多层感知机）上，取得了一定的成就，现在关于这方法的也在如火如荼的进行着，但是由于第二代神经网络的基础仍然是基于计算机的算力达到的深度，也就是说，加深隐含层的数目提高准确度，知识因为有着强大的计算芯片作为支持。我们需要考虑一种完全类似于人脑思考问题的神经网络与算法，于是脉冲神经网络开始兴起，并且被誉为第三代神经网络，这是一种完全基于人脑计算模式的神经网络，从长程记忆可塑性LTP，时间可塑依赖性STDP等研究的深入，这一网络的硬件化也成为了可能

31.3  从生物神经元到人工神经网络1.3.1 生物神经元介绍

人的大脑中有超过 1011个神经元，这些神经元之间的连接的突触又大约有10^15个，这些突触使得神经元互相连接，从而构成了复杂多变而又有条不紊的神经网络[7]。这些神经元的单独处理信息的速度并不算很快，但是人类的大脑能够很有效的利用这些神经元并行处理。即大量神经元一起处理一个任务，这有些类似于计算机里的多线程并行操作算法。人类大脑的神经元数目虽然庞大，但是它的能耗低却是特点，我们每日摄入的热量与一些机器的能源是不能够比拟的，然而我们的大脑就能够实现很多计算功能，有数据显示，脑神经系统一个动作每秒消耗的能量比最优秀的处理器能耗小1010个数量级。

人的生物神经元有两个部分，分别是细胞体和突起。具有处理并且整合输入的神经信号，然后传出这些信息的作用。突起有树突和轴突两种。树突相对较短但分枝很多，其作用是接受其他神经元轴突传来的冲动并传给细胞体。轴突长而分枝少，常常出现在轴丘，一般为粗细均匀的细长突起，其作用是接受外来刺激，再由细胞体传出。神经元与神经元之间的连接被称为神经突触，两个神经元之间连接强度或者关联程度体现在突触的连接强度。一般而言神经元有以下的特点[8]：

1）：可塑性：即神经元之间的突触可以连接，也可以取消，连接可以变强，也可以慢慢变弱，方便与人类去适应不同的环境。

2）：兴奋与抑制：神经元受到外界刺激之后，会产生膜内外渗透压的差别从而导致Na+或者Ca2+的流入或者流出，这些离子的迁移会产生动作电位，导致膜电位的上升或者下降，也就对应了人类神经元的兴奋和抑制过程。

3）：学习与遗忘：由于可塑性的存在，当人类在长时间受到同一种刺激的时候，会产生我们的所说的学习功能，而这种功能其实是神经元之间的连接得到了加强，同理，如果我们慢慢遗忘了一些东西，是因为长期不去使用从而神经元之间的连接衰弱了。对应的有LTP,LTD图像来进行表征。

4）：突触的延时和不应期。神经冲动的传递在突触中是需要时间的，一般这个时间是1-150ms。另外，神经元也不会在短时间内接受两次冲动，一般需要间隔一定的时间，这个被称为不应期。

从上面可以看到，想要用神经元器件模拟人类的生物的神经元，一定要从生物本质和特征去进行模拟。本文后面的数值模拟会再把这些特征一一强调一次，从而达到一种仿真的目的。

1.3.2 人工神经元介绍

早在1943 年 McCulloch 和 Pitts 提出了神经元的形式化模型, 神经元可用简单的zha值函数表示，并完成逻辑函数功能[19]。20世纪初期，美国心理学家Willian Jame 提出，一个神经元应该是同时接受来自不同神经元的信号后，由于不同神经元之间的突触连接强度不同，神经元相当于是一个加权和，并且由于兴奋存在一个阈值电压，需要一定的电压值才会fire，因此神经元可以用一个数学模型来勾画，即著名的MP模型。

y=f(∑i=1nwixi+b)

                        （2-1）

 

其中，表征每个神经元的输入值，表征神经元之间的连接强度，b代表阈值电压。外界的f函数则是一种神经元的处理函数。

 

图1-1 MP 神经元模型

Fig.1.1 Neurons model

可以看到，对于神经元的硬件实现实际上是一个乘法器的实现以及加权和非线性处理，这个可以通过放大电路等进行实现。后续本文也将探究一下神经元应该具备怎样的条件，或者怎么样的器件适合作为神经元器件。

1.3.3 人工神经网络介绍20世界80年代,J.Hopfield 提出了 Hopfiel 神经网络, 引起了神经网络理论在优化学术界的轰动。然而热潮还远远没有结束。1986年，Rumelhart和McCelland提出了BP神经网络，这种神经网络是现在很多网络算法的基础，它是一种依靠逆向传播输出值与实际值误差修正网络权值的网络，利用梯度下降算法或者随机梯度下降法降低目标值与实际值的误差，随机梯度下降算法时为了加速算法收敛速度提出的更好的方式，现在很多网络也应用这种方法

 

图 1-2 经典的神经BP神经网络模型

从图中我们可以看到的是，网络一般由输入层，隐含层和输出层三个部分构成，其中输入层可以是图像的像素值，音频信号等等，因此神经网络现在广泛用于人脸识别，图像识别，声音识别等等领域。隐含层的多少是决定一个网络是否是深层网络的基本要素，隐含层如果越多，那么挖掘的信息，提取的特征就越难以用表面语言描述，训练的精度也会逐步的提升。输出层是网络的输出，网络的输出后往往会选择一个损失函数，这个损失函数是用于衡量目标值与实际值的差值从而进行误差反向传播计算。常见的损失函数有MSE函数,Cross-Entorpy函数等等。

 

图1-3 硬件神经网络的一种实现[15]

基于经典的BP神经网络MLP的硬件实现如上图所示，使用电路模拟整个网络的结构，在电路横向与纵向的cross_bar 的地方放置突触装置，利用电流与电压的比值进行权值的存储与更新。这样的网络往往需要得到的I-V曲线是对称的，就是说，权值的变化需要是随着强度的增加而增加，减少而减少，呈现一种线性的变化，从而保证在进行BP算法时，误差能够不断减小。

1.3.4 脉冲神经网络介绍随着在21世纪早期计算能力的显现，DNN（多层感知器，深层信念网络，传统神经网络等等）迅速发展，DNN的基本特征是有很多隐含层，这些神经网络能够实现监督与非监督学习，并且能够优秀的完成有大量数据的任务。然而实际上，现在的DNN的优秀来源于GPU的并行加速机制，是在计算机多核算力上的体现，在其本身的算法上，其效率远远不如人脑高。SNN（脉冲神经网络）最近引起了很多关注，因为它们与生物系统非常相似，在SNN中，输入信号是尖峰，而不是传统神经元中的恒定馈送。 人们普遍认为能够处理尖峰是大脑在序列识别和记忆方面如此壮观的主要原因之一[9]。序列识别是计算中更重要的主题之一，因为它直接影响系统处理强烈时序依赖的刺激的能力，例如语音识别和图像检测[10]

 

图1-4  STDP图像

对应STDP的最简单理解是，如果前突触神经元的信号在后突触神经元的信号之前达到，有理由认为前突触的信号导致后突触神经元的信号产生，那么这两者之间的突触连接强度应该增加，反之就该减少。但如何保证这种训练模式一定是有效的呢？Bengio 和 Fischer 两人在2015发表的文章[11]指出具有对称反馈权重的网络将具有以下特性：“输出单元”的小扰动将向更好的预测传播到内部层，使得隐藏单元移动到大致遵循预测误差J相对于隐藏单元的梯度。而STDP规则大致对应于预测误差的梯度下降，即STDP的规则其实和SGD算法有着异曲同工之妙。Scellier和Bengio（2016）报告的实验已经真实地表明这些近似值可以工作并且能够训练有监督的多层神经网络[12]。

脉冲神经网络被称为新一代神经网络，与经典的神经网络不同在于它的输入实际上不是一个连续值而是一系列脉冲，更为重要的是他的神经元膜电位，一旦达到了膜电位的峰值，那么这个神经元就被激活，后面的脉冲会进入一段不应期。关于神经元的模型，已经提出了HH模型，Izhikevich模型与LIF模型，其中以LIF模型为例，其微分方程的表示如下：

τdVdt=−(V−Vr)+RI

                      （2-2）

 

τ

是膜的时间常数，R为膜电阻，V是膜电位，Vr是复位电位，I是注入电流，当膜电压超过一个阈值时，神经元会发送一个脉冲。如果后面没有连续的刺激，这个产生的脉冲信号会不断衰退，膜电位也会恢复到复位电位后稳定。之后再接受电流再刺激。

 

针对脉冲神经网络的学习过程，也分为有监督学习和无监督学习，无监督学习主要以STDP为主[13,14]，有监督学习包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做个详细的介绍：

在Tempotron算法中，考虑在阈值下，突触前神经元产生的脉冲信号，对突触后膜电位（PSPs）的贡献是来自所有脉冲输入的加权和：

V(t)=∑iωi∑tiK(t−ti)+Vrest

                  （2-3）

 

ti

表示第i个神经元的脉冲发送时间，

K（t−ti）

表示第i个脉冲对于膜电位的贡献，即突触前神经元发出的脉冲对于突触后神经元膜电位的影响。其标准形式如下：

 

K(t−ti)=V0(exp[−(t−ti)/τ]−exp[−(t−ti)/τs])

          （2-4）

 

τ,τs

是时间常数，为了保证K(t)在（0,1）之内变动，我们需要用V_0进行归一化处理，K(t)图像绘制如下图：

 

 

图1-5 K(t)随时间变化图

由监督学习的重点是要将权重更新向着误差减少的方向进行，获得期望的输出脉冲，更新规则如下：

Δωi=λ∑ti−tmaxK(tmax−ti)

                     （2-5）

 

即以二分类为例，ti

为突触前神经元峰值的产生时间，这里的

tmax

设定为我们设置的时间序列的终点，默认为突触后神经元的峰值的产生时间，但这和一般的STDP不一样，因为STDP的神经网络训练规则实际是不需要有监督的，而这里有一个参数

λ

，用于控制输出值与期望值的误差方向，如果突触前神经元产生峰值超过阈值电压的神经脉冲，并且突触后神经元指向分类标准与前神经元指向的分类相同，则不需要修改权值（说明这个连接正确），如果突触前神经元峰值未超过阈值电压，那么需要根据上式指定

λ

>0，并且计算需要增加的权值。反之当

λ

<0时，需要进行减小权值。总体看来，这是在借助有监督学习的条件下，在明白误差修正方向下利用STDP中的LTP与LTD曲线获得修正的幅度（可以认为是学习的速率），从而使我们获得期望的输出。注意上面提出一种概念：即在有监督学习的条件下，后突出神经元的峰值由标签值决定，并且根据误差值指明误差修正放向（体现为

λ

的正负性），然后依靠STDP决定修正幅度。这也是一种将STDP曲线用于有监督学习的可行性展示。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二章  实验部分12.1  阵列化基于硅纳米晶体杂化结构的神经突触器件制备2.1.1  制备技术路线在本论文里面，采用了冷等离子方法制备了掺B的Si量子点，相比于其他的掺杂方法，冷等离子法是借助了动力学的原理，从而实现了对硅纳米晶体的高效掺杂，一定程度上避免了利用热力学原理来掺杂的过程中出现的“自洁净”现象。相比之下能够实现比较高浓度的掺杂。

 

图2.1 使用冷等离子法制备掺杂硅纳米晶体示意图

使用冷等离子体法制备掺杂硅纳米晶体的装置设计示意如图2.1所示。先准备每分钟流量值12标准公升的硅烷氩气混合气（20% SiH4）、157 sccm的硼烷氩气混合气（其中含有0.5% B2H6）和105 sccm的高纯氬气通入到石英管中混合，调节系统尾部的真空泵，使腔体内的气压稳定在6 mbar。石英管中间部位套有两个铜环，分别接匹配箱和射频发生器的正负两级。在射频发生器（功率约为150 w）的激发下，铜环之间的石英管内将产生等离子体，混合气体在通过等离子体区域时将会发生分解反应，这个反应的产生是因为气体受到了高能粒子和电子的轰击产生的，具体化学反应式如下：

SiH4⃗Si+H2B2H6⃗2B+3H2

 

在器件制备方面，本文利用硅纳米颗粒的光电性能与以及表面缺陷对载流子具有俘获的性质，首先与钙钛矿进行杂化形成混合容易。通过旋涂工艺制备成了太阳能电池结构的神经器件，器件的结构是：Ito/pcbm/钙钛矿与硅量子点杂化层/spiro/Au。在该结构里面，ITO是通过光学刻蚀得到。PCBM, 钙钛矿与硅量子点杂化层， Spiro是通过旋涂方法得到。其中钙钛矿CH3PbI3与硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF.。Si量子点在溶液里面的浓度为10mg/ml.杂化旋涂后就制备出了膜。）里面。硅量子点掺杂B，掺杂B的硅纳米晶体尺寸是6nm, 钙钛矿膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au电极采用热蒸发工艺得到，厚度大约为100nm。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:15:00'w

NOTE: '这一段是不是应该要删掉？']2.1.1  器件制备路线

在器件制备方面，本文准备利用硅纳米颗粒的光电性能与decay长的性质，与钙钛矿进行杂化形成自驱动电池，在制备电池的工艺上，选择旋涂工艺做成太阳能电池的结构，器件结构分别是：Ito/pcbm/钙钛矿与硅量子点杂化层/spiro/Au，之后使用热蒸发工艺将电极Au安装上，设置厚度大约为100nm。钙钛矿CH3PbI3与硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF. Si以DMF为溶剂，浓度为10mg/ml. 杂化旋涂后就制备出了膜。）里面。硅量子点掺杂B，掺杂B的硅纳米晶体尺寸是6nm, 钙钛矿膜厚大概在300nm左右，晶粒尺寸大概在200多纳米。段落内容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 第三章  数值模拟13.1 神经元硬件化数值模拟3.1.1  神经网络结构对于神经元的模拟，和突触的模拟不同，神经元的功能由上文中的MP模型已经表述很清楚，他承担一个乘法器和加权和、还有实现一个神经元函数的功能，这个功能也是我们下面模拟要探索的。

 

图3-1 MINST数据集对于的神经网络结构

采用常用的MNIST手写识别数据集作为整个网络的输入，先将图像的RGB值转换成一个单位的灰度值，设计输入层应该有784个节点，隐含层300个节点，输出层设置10个节点，分别对应0-9个数字的pattern。在实际模拟时，采用两种方式处理，第一种是利用STDP非线性函数直接对输入的图像像素值进行处理，意在将灰度值转换为强度值。再用网络进行训练。第二张利用STDP非线性函数作为神经网络中的激活函数，意在探究神经元的基本性质。

训练模式采用SGD算法，样本集总共55000个图片，每张图片28×28有784个输入值，epoch设置扫描样本集10次以上，损失函数使用交叉熵函数，激活函数选择softmax函数进行激活分类，因为这个函数比较适合于多分类问题，在优化上也得到了理论的证明。首先我们先将实验中得到的STDP数据拟合结果如下：

 

图3-2 STDP Positive 拟合图像

这里故意选择了一个与常规激活函数相关性为负的激活函数，一般的激活函数比如sigmod，relu激活函数，其强度其实和输入值是呈

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:23:00'w

NOTE: '什么意思']现正相关的，这里选取的作为负相关的原因是想探究是否能够作为激活函数使用。其结果如下：

 

图 3-3 拟合的Loss与Accuracy随训练次数的变化图

可以看到上述的结果是可观的，也就是说，激活函数的选取，与是否与输入值正相关没有关系。另外我比较了理论激活函数，实验激活函数，与对输入直接非线性处理得到结果的异同性：

 

图3-4 三种不同方法得到Loss函数变化情况

 

图3-5 三种方法得到的Accuracy变化情况

可以看到，理论激活函数（红色）在准确率上仍然时最高的，最后的样本内准确率有98.42%，但在loss的下降速度上，实验激活函数体现的更好，但实验的激活函数最后准确率只有96.69%。

3.1.2  神经元硬件化结论根据上面的模拟结果我们可以得到结论，对于神经元的硬件模拟，作为激活函数，只需完成非线性这个条件即可，但是在实现乘法器的过程中，需要电路由很好的线性度。这个线性度的要求实际是从BP算法的推导中获得的，这里简单的推导一下：

Δw=∂Loss∂w=∂Loss∂y∗∂y∂output∗∂output∂w

              （3-1）

 

上式想说明的是，我们需要调节权值w使得我们计算出的loss函数达到最小值，因此我们需要求其导数从而获得调整的方向，可以看到等式右边第一项实际是损失函数对于输入值的导数，第二项时激活函数对于输入值的导数，这两项在有输入值的条件下是可以求出的。而根据神经网络的矩阵运算：

output=w⋅x+b

                       （3-2）

 

可以看到，output值与输入的值时存在线性关系的，那么也就是说，我们权值变化量Δw

与输入的x需要满足线性关系。因此神经元硬件化需要实现的线性度不仅仅影响了加权的效果，还影响到权值更新的效率性。很多关于神经网络硬件化的论文一定会提到这个线性度，因为这个线性度时实现神经网络算法达到收敛的基本保障。

 

 

图3-6.a SET与RESET模式下的I-V曲线；b SET模式下的权值变化随刺激次数的变化；c RESET模式下的权值变化随刺激次数的变化[15]

如上图清华大学完成的忆阻器神经突触器件，选取电导作为权值时，需要I-V曲线在第一二想象有近似的对称值，其导数值(即权值)随着固定电压的刺激次数线性增加或者减小。一般而言，在硬件神经网络进行权值跟新的时候，会选择一个固定更新电压，在这个指定的电压下，我们需要保证权值的正向更新与负向更新有近似的值，这个在图像上体现为图像的对称。之前也有文章在图像的对称性上做了相关的材料探究。证明这样的对称性是必要的

23.2 有监督脉冲神经网络数值模拟3.2.1  脉冲编码脉冲神经网络与第二代神经网络最为不同的一点在于，它的输入并不是一系列连续的值，不是像图像像素一样一个个数据连续计入，也没有二值化的操作。而是离散的脉冲值，就图像识别而言，简单的多层感知器输入是输入图像的RGB值或者是图像的灰度值，将这些值进行标准化后作为网络的输入。而脉冲神经网络需要对于输入进行一定的脉冲编码处理，这个处理可以自己选择，但转化的思想很重要。即将图像的灰度值信息编程处理成一系列脉冲，并且将脉冲发出的时间作为网络的输入。下面介绍本文中tempotron算法的编码方式。

选取26个英文字母A-Z作为需要识别的样本集。每一个字母由一张16×16像素的图像组成，且该图像只有0和1两种灰度，即非黑即白。因此我们输入一张图片后，它会编程一个16×16的二值矩阵，我们将这一的二维矩阵一维化，使其变成1×256的一维数组，然后我们对其进行编码，每次随机从256个数中随机去8个数且不放回，组成一个32×8的新矩阵，对于每一行数，得到的是一个8位的二进制数，因此我们将其转化成十进制数，得到一个0-255范围的数，将原来的矩阵转化成了32×1的矩阵。且每一行代表一个脉冲的发送时间，即将一张16×16的图像矩阵转化成了在不同时间一共发送32次脉冲的输入值。

3.2.2  权值更新按照tempotron算法的权值更新规则：

Δωi=λ∑ti−tmaxK(tmax−ti)

                     （3-3）

 

我们需要设置一个时间轴，并且对于这个时间轴上进行时间窗口的划分，等于说我们需要将这个时间轴切割成一份份来进行一个个的循环。由于之前在输入编码的时候，我们将16×16像素的黑白图像转换成了发送32次脉冲的输入，这些输入的脉冲的时间是0-255，也就是说，我们建立一个长度为256ms的时间轴，并且以1ms为一个时间窗口，每次检查在当前时间窗口前是否有脉冲输入，并且每次都选取在当前时间之前能够发送脉冲的数据，认为他们发送一次脉冲，将这个脉冲与核函数相乘，作为我们膜电压，如果膜电压超过了我们设置的threshold电压值，我们则认为该神经元处于fire状态，并且会进入一段不应期，即shut down后面在256ms内的所有脉冲输入。我们输入是5个神经元，这是因为我们需要对26个英文字母分类，即用5个二进制数最大可以表示到0-31的每个数，于是我们用5个二进制数表示我们分类的pattern，例如字母A我们使用00001表示，字母B用00010表示。以此类推。当神经处于fire状态时，它会表现出1的状态，反之如果它没有能够达到阈值电压，它会处于0的状态，我们将网络的输入与我们准备好的标签值进行对比，如果说产生了不同，即分类产生了误差，我们就需要对其进行权值更新，从而在慢慢的训练过程中，获得我们期望得到的脉冲值。

即如果网络发出了脉冲，但是实际没有发送脉冲，我们降低该脉冲产生的权值，从而让其在后面慢慢变得不发出脉冲。

如果网络没有发出脉冲，但是实际输入应该发出脉冲，我们应该强化该脉冲的产生，即增大其权值。

 

图3.7 训练前脉冲与训练后脉冲对比图

我们设置1.0 v为阈值电压，可以看到，随着训练次数的增大，一开始正的脉冲倾向于在后面发出超过阈值电压的脉冲。但是一开始负的脉冲，虽然一开始超过了阈值电压，但是由于随着训练次数的增大，变得不断被抑制，不再发出脉冲。我们的网络就是基于这样一种思路去训练与优化。

3.2.3  数值模拟结果数值模拟上，本文选取了两组实验数据进行了权值更新法则函数的模拟，即使用实验得到的LTP与STDP数据进行了数值模拟，并且对比了两者在应用于tempotron算法的差异，提出一定看法。

3.2.4  LTP权值改变法数值LTP曲线是模拟人类大脑学习时候的长程可塑性，在图像上体现为，施加一段固定脉冲间距和脉冲峰值的脉冲，使突触器件的模拟膜电压升高，经过一段时间再进行了衰减。表现的图像如下：

 

图3.8 LTP拟合图像

线是得到实验的LTP数据后，使用神经网络算法进行拟合，得到完美拟合的曲线，这样保证了能够使用完全的实验数据。另外由于实验的数据仅仅有LTP数据，然而对于我们的模拟也需要LTD数据，基于我们对于这两个图像的了解，他们在一定程度上是中心对称的。我们通过对于LTP数据的神经网络拟合，外推LTD的数据，将LTD的数据应用于模型的抑制环节，保证权值的增加与减少对称。

将LTP的数据带入，进行训练，设置最大epoch数为100次，设置阈值电压为1 v。训练结果如下：

 

图 3.9 准确率随训练次数的变化图像(LTP)

可以看到，在100 epoch下，准确率在随训练次数的增加而增加，最终稳定在89%左右。

3.2.5  STDP权值改变法人脑的学习模式是STDP已经被大部分论文和实验所证实，因此也许基于STDP的权值改变方法能够更加促进学习的效率。STDP的本质定义是说：如果突出前神经元的峰值脉冲到达时间小于突触后的神经元峰值脉冲，那么认为突触前神经元脉冲的产生可能是有利于突触后神经元的产生，即这两者之间是存在一定的联动关系的。于是加强这两个神经元的连接。反之则减弱它们之间的连接。

利用实验得到对的STDP Positive数据，波张选取375nm的光做刺激。得到光驱动下的STDP。但实验与理论存在偏差的一点，是光刺激下的STDP图像实际上是存在于一、二象限的，这样意味着，无论是突出前神经元的脉冲先到达还是后到达，产生的权值更新过程，都是加强该两个神经元之间的连接。在保证权值更新双向对称性的情况下，这样的情况显然是不允许。于是在三象限部分，本文选取了其他数据作为替代，这个数据是从电突触元器件得到的。这里也可以得出一个设想，是否可以有光与电合并的突触器件，使用光完成第一象限的STDP工作，由电器件完成第三象限STDP工作。为何要选择光器件是因为，光学突触器件的耗能相比于电学突触器件要节省很多。如果能够使用光电混合信号实现光电STDP，也不失为一种选择。

拟合后正向STDP函数表达式如下：

y=−0.346ln(x)+2.708

 

负向STDP函数表达式如下：       

y=0.302ln(−x)−2.546

 

根据上面的STDP函数更新法则，带入我们的temportron算法进行求解。得到准确率变化情况如下，设置参数与LTP更新规则相同。

 

图3.10 准确率随训练次数变化情况(STDP)

可以看到，经由STDP训练的网络，在epoch=60左右的时候，已经达到了准确率100%，在训练的准确度与效率上，高于使用LTP训练的结果。这也可能是为什么当前很多的研究都着眼于STDP权重更新机制。这可能也和STDP实际上与人类大脑的学习机制十分相似，本次模拟也证明了大脑学习模式在权值调整上的优越性，基于LTP的调制模式，更多是对于算法当中核函数K(t)的模拟，而并非是对于本质上人类大脑学习模式的仿真。

3.2.6  结论无论选取LTP，STDP作为权值更新的方式，神经网络的权值更新一定要是对称，这样在梯度下降算法过程中，才能够有正和负梯度，使得最后的结果收敛于局部最小点。另外，在学习机制上，STDP是存在一定优越性的。后面本文将针对SDTP学习机制，将网络扩展到更大的规模，展现STDP学习机制的强大之处。

33.3 无监督脉冲神经网络数值模拟3.3.1  理论背景与基础这SNN的发展之所以广受著名，是因为它网络的元器件要求是有一定硬件基础的，不论是在神经元的设计上，如LIF模型，HH模型，还是电导突触，指数型的衰减机制，阈值电压。都可以通过我们设计的电学或者光学器件进行实现。

本文基于2015年Peter发表的关于STDP无监督学习网络的代码基础上，加上实验得到的数据，进行数值模拟。模拟之前，先了解一下网络的具体结构与基本理论。

对于神经元的设置，应用integrated -and-fire model模型：

τdVdt=(Erest−V)+ginh(Einh−V)+gexc(Eexc−V)

            （3-6）

 

这里V是膜电压，Erest

是神经元在没有外界刺激下的一种静息电压。

τ

是抑制或者兴奋神经元的时间时间常数，这个常数时间上就是用于控制各种不同的STDP图像。

galignlink

和

gexc

是抑制性神经元和兴奋性神经元的电导值，这个值在神经网络中表现为权重，也是我们需要训练的东西。训练模式与tempotron算法类似，当膜电压到达阈值电压的时候，就会发送尖峰脉冲信号，然后膜电位复位到静息电压。如果有神经元的尖峰信号达到突触，那么突触就会提升权值，即电导，如果没有，那么权值就会指数型的衰减。权值更新的模式仍然是取决于突触前神经元与突触后神经元的尖峰达到时间差。如图3.11所示，由于前后神经元的脉冲尖峰抵达时间差不一样，产生了兴奋和抑制两种模式

 

 

图 3.11 STDP权值更新模式图[17]

我们需要定义兴奋性神经元与抑制性神经元的权值改变方式。对于兴奋性神经元的电导更新模式如下：

τgedgedt=−ge

                      （3-7）

 

抑制性电导的更新模式其实只需要更换常数：

τgidgidt=−gi

                      （3-8）

 

时间常数得控制会影响STDP得学习曲线，人脑或者生物的时间常数一般是10 ms-20 ms量级。我们由实验得到得时间常数数值也靠近这个值

然后是基于STDP的权值更新法则：

Δw=η(xpre−xtar)(wmax−w)u

               （3-9）

 

实际上，STDP的更新规则很多，还有指数型的，这里选取一种更新规则，他们大多大同小异。这里的η

是学习的速率，

Xpre

是该脉冲产生时的上一次脉冲值，每当有一次脉冲到达突触时，

Xpre

会增加1，如果没有，它会按照指数型进行衰减。

Xtar

是前一次的突触前神经元产生的脉冲，其反应在突触后神经元的目标值。这其实也是在将突触前神经元和后神经元产生的时间在进行比较，从而正确的更新权值。

 

3.3.2  网络设计脉冲神经网络的设计与普通的经典神经网络有所不同，由图5.2看到，Input输入层图像的像素编码脉冲数据，脉冲的频率由图像像素点的灰度值，即成正比关系，28×28的像素值会变成一个784×1的一维序列，每一个值代表一定频率的脉冲信号。

 

图3.12 SNN神经网络结构[16]

 

之后进入激活层，激活层放置激活神经元，然后再进入抑制层，放置抑制层神经元。这里可以看到，非监督学习网络的结构是不存在标签值的。更新完全依靠激活层与抑制层之间的关系。从图3.12可以看到，输入层与激活层实际上时全连接模式，即每一个像素点产生的脉冲序列都会再激活层有一个对应权重。激活层与抑制层之间时一一对应连接，但抑制层与激活层的连接却是全连接模式，除了激活层已经与抑制层产生连接的神经元。这样的网络设计模式实际上是由理由的。这应用的winter take all法则，即当某个激活层的神经元产生兴奋后，该兴奋传递到抑制层后，抑制层会抑制其他所有神经元产生脉冲。也就是说，不断的训练后，能够产生脉冲的神经元会趋向于越来越容易产生脉冲，而其他神经元会越来越无法产生脉冲。从而达到训练的目的。这和传统的K-means算法也有异曲同工之妙，但不同的是STDP 非监督学习存在抑制层，从而避免了某几个神经元一直占据某个pattern。

3.3.3  模拟结果数值模拟将MNIST 六万个训练数据编码后作为脉冲输入，整个训练集进行了6次迭代，一共是36万张图片，训练结束后学习虑被置为零，动态阈值被锁定。之后输入每一类的数字图片，记录每个神经元对应该类图片的激活次数，并且选取其中激活次数最多的为该神经元的标签。之后使用测试集的一万张图片作为脉冲输入，观察每当一张图片输入时，哪个神经元的激活频率最高，如果该神经元的标签与输入图片属于同一pattern，那么认为分类正确。统计10000万张图片的平均准确率，得到网络的训练的评价值即Accuracy。

 

图3.13 神经网络权值矩阵图

这里训练后激活层的权值矩阵。之前提到了，当网络训练完成后，我们会输入每一个图片的pattern，以激活次数最高的神经元作为该pattern的标签，在这样经过改进后，图5.3是激活层神经元重组后的权值分布，可以看到，不同神经元对于不同pattern的适应程度不同，体现在颜色的深浅上。

 

图3.14 输入层到激活层权值矩阵可视化图

 

图3.15 激活层到抑制层权值矩阵可视化图

从图3.14我们可以看到，只有很少部分的权值很高，即呈现黄色小点模式，体现即只有少数pattern才能够产生脉冲，其他的脉冲都被抑制，这个图像很好体现了我们在学习过程中的winer-take-all的模式。图3.15体现的更加明显的是，因为网络的设计是激活层与抑制层一对一连接，抑制层与激活层反向全连接，但除去了从激活层连接过来的神经元，因此在权值的对角线上都是winer，而其他的神经元都被抑制，从而达到了我们从众多神经元中选取出适合当前输入的正确pattern。

之后我们输入10000个MNIST的test集图片进行外推，结果是：Sum response - accuracy:  91.43  number incorrect:  857。即我们在验证集上达到了91.43%的准确度。总的来说还是比较可观的。

结  论本文用了三个数值模拟的方法，分别对于神经元硬件化条件，神经突触硬件化条件，神经元学习规则优越性做了探究。在神经元硬件化上，通过使用不同的非线性函数进行数值模拟，得到了其实在当选取激活函数时，函数与输入值的正相关性并不是必要的，非线性才是最为重要的基准。并且作者使用简单的链式求导法则，证明了神经元的硬件化需要有加权乘法器的功能，并且强调了乘法器的线性程度。也就推出了权值更新时，权值该变量与输入值的正相关性的重要性，也可以说是正负变化的对称性是对随机梯度下降法达到收敛的充分条件。在SNN数值模拟上，本文先尝试了tempotron有监督SNN算法，并且对其权值改变的方程做出了LTP与STDP法则的两种试探，发现STDP的效果更好，也不愧是贴近人类大脑的学习模式。这里也需要指出tempotron算法的缺点在于该算法只能针对单神经元，即脉冲只能判断单个神经元能不能发出脉冲，泛用性不是特别强，但是将输入改成离散的脉冲输入，在神经网络的结构和理念上是一个很大的突破。接着文章以STDP学习机制更为优秀的基础上，在基于2015年Peter教授的无监督STDP学习网络[16]这篇论文的基础上，使用实验相关的数据进行了数值模拟，指出了该网络的结构，采用winter-take-all模式与IF神经元结构，实现了在没有任何标签和领域知识的无监督学习网络的模拟，并且在MNIST的test数据集上达到了91.43%的正确率。从实验上证实了STDP学习机制可以用于无监督学习，指出了其在未来发展的巨大潜力。

最后本文提出一些对于当前硬件神经网络研究的看法，目前实现硬件神经网络的方法在绪论也有提出，主要有微电子方法、半导体突触和光学实现。作者认为想要实现真正的类脑计算。我们就需要研究更与人类达到贴切的器件。尽管在微电子方面，目前的技术可以实现精度很高的数字模拟电路。但是实际上那也只是靠我们强大的算力与耗费了很多资源达到的结果。再说全光学的神经网络，这样的设想只能够用天才来形容，这样的网络耗能少，效率高，速度快。但这并不能够算是类脑计算，只是从物理的角度对于神经网络进行了实现。真正的类脑计算我相信应该是基于STDP，LTP, LTD这些与人脑大脑对于信号实际反映做出的模型之上的。近年来已经发展了很多基于STDP或者类脑计算的算法，并且在数值模拟上都证实了其实现的可能性。目前的当务之急应该是制备出与这些理论符合的突触器件或者神经元元件，然后进行集成，实现一个结合微电子设计电路与编码处理，从而实现一个从输入，到reference，再到自动Back Propagation修改误差的自主型芯片，真正达到off-chip模式的神经网络计算与硬件化。

参考文献[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106  Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39 

[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340 

[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997 

[4]高丽娜 邱关源. 一种连续可调权值 CMOS 神经网络. 电子学报, 1998, 26(2): 120-122 

[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712 

[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932. 

[7]贺静, 基于CMOS 模拟技术的多种前馈人工神经网络硬件的研究与实现 [D]. 湘潭大学, 2014 

[8]侯媛彬,杜京义,汪梅. 神经网络 [M]. 西安:西安电子科技大学出版社, 2007: 16-19. 

[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621. 

[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1 

[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal. 

[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 . 

[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215. 

[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472. 

[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038 

[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389 

[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing 

[18]陈琼. 郑启伦.人工神经网络系统硬件实现的研究进展.[J].电路与系统学报.2000 年 3 月 

[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97. 

[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986. 

[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018 

附  录代码具体说明请参考github.com/zhenghaobaby/graduated_design

作者简历姓名：郑浩  性别：男  民族：汉族  出生年月：1997-04-11  籍贯：四川成都

教育背景：

2012.09-2015.07  成都七中

2015.09-2019.07  浙江大学攻读材料科学工程学士学位

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

攻读学位期间发表的学术论文与取得的其他研究成果已：

[1]XXXXXXX 

[2]XXXX 

待：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

[2]XXXX 

已授权专利：

[1]XXXXXX 

 

 

第3篇：量子神经网络算法范文

关键词：径向基概率神经网络；变压器；故障诊断

中图分类号：TU7 文献标识码：A 文章编号：1671-2064（2017）01-0149-03

Abstract：Oil-immersed transformer fault diagnosis is mainly using gas chromatography analysis of modified three ratio method， but there are problems such as coding defects and critical value criterion defects. By constructing a radial basis probabilistic neural network （RBPNN） model， withits characteristics of distributed parallel processing， adaptive， self-learning， used in oil-immersed transformer fault diagnosis. Use a substation transformer data of the SGC province branch for model training and fault diagnosis. Simulation results show that the model based on RBPNN has higher accuracy， and can be used in oil-immersed transformer fault diagnosis.

Key words： radial basis probabilistic neural networks；transformer；fault diagnosis

引言

电网系统中，变压器作为重要的组成设备，其安全运行状态对整个电网的安全运行起着关键作用，因此对其进行故障诊断具有重要意义。油中溶解气体分析法通过分析变压器中的溶解气体组成来判断故障类别。目前，我国对油浸式变压器进行故障诊断主要采用国际电工委员会（International Electrotechnical Commission，IEC）三比值法或改良三比值法[1]。在实际诊断过程中，该判据存在两方面的不足，即所谓编码缺损和临界值缺失[2]。随着人工智能技术的发展，其在变压器故障诊断方面也得到了应用。径向基概率神经网络（Radial Basis Probabilistic Neural Networks，RBPNN）是将径向基函数神将网络（Radial Basis Function Neural Networks，RBFNN）和概率神经网络（Probabilistic Neural Networks，PNN）组合而成的一种人工神经网络，既利用了RBFNN中样本集中模式的交错影响，又利用了PNN时训练的优点[4]。

本文将RBPNN模型应用与变压器故障诊断，首先建立变压器状态类型及编码对应关系，然后使用训练数据集RBPNN故障预测模型，最后利用该模型在测试数据集上进行故障预测。该方法结合国家电网某省某变电站变压器实际数据，利用该方法进行故障预测，结果表明其具有较低的预测误差率。

1 径向基概率神经网络

径向基概率神经网络的构成是将径向基函数神将网络的输出层连接到概率神经网络的输入层，构成具有四层结构的人工神经网络，即第一输入层、第二隐藏层、第三隐藏层和第四输出层，其具体的模型结构如图1所示。

RBPNN模型的第一输入层接收样本数据输入，并输出到第二隐藏层。设样本数据为

其中，xi是样本数据中第i个特征，。

RBPNN模型的第二隐藏层由样本空间中每个模式类别的隐中心矢量组成，其节点的激活函数是满足Parzen窗口函数的径向基函数K（・）。第二隐藏层向第三隐藏层的输出可表示为

其中，hi（x）是第二隐藏层第个输出，ci是径向基函数的中心矢量（代表了第一输入层与第二隐藏层的连接权重Wi（1），即ci=Wi（1），并且可以通过自适应学习来选择），S1是第二隐藏层的节点数。

RBPNN模型的第三隐藏层对第二隐藏层的输出按照隐中心矢量的类别进行由选择的连接并进行求和运算。第三隐藏层向第四隐藏层的输出可表示为

其中，Ok（x）是第三隐藏层第k个输出，mk是第k个模式类别的节点个数。

RBPNN模型的第四输出层是线性输出，相当于单层线性感知机网络。第三隐藏层与第四输出层的连接权值Wi（2）通过样本数据训练学习的到（具体训练过程见下节）。第四隐藏层的输出，即整个RBPNN模型的输出，可表示为

其中，yj（x）是第四输出层第j个输出，Wjk（2）是第三隐藏层第k个节点至第四输出层第j个节点的连接权值。

则N个训练样本训练RBPNN模型可表示为

其中，W是第三隐藏层与第四输出层的连接权重矩阵，O是第三隐藏层输出矩阵，Y是第四输出层输出矩阵。

2 递推正交最小二乘学习算法

由于RBPNN的四层网络结构特点，第三隐藏层与第四输出层的连接权重Wi（2）需要训练，而第四输出层每个节点的输出仅是与第三隐藏层输出的线性累加。由此，可使用递推正交最小二乘法（Recursive Orthogonal Least Squares Algorithm，ROLSA）求解权值Wi（2）。

2.1 正交最小二乘法

首先o出正交分解定理[5]：

定理1.1任一向量相对于向量子空间可以唯一被分解为相互垂直的两个分量，其中一个分量平行于子空间Y，而另一个分量则垂直于子空间Y，即：

2.2 递推求解过程

在对第三隐藏层的输出矩阵O进行正交分解时，由于样本数量通常较多，需要大规模的计算负荷。为减少计算复杂度，采用递推算法计算第三隐藏层与第四输出层的连接权重，即使用第t-1样本来计算t样本的连接权重W。

设第t个样本时RBPNN的损失函数为L（t），

其中，T（t-1）和O（t-1）是第t-1个样本的期望矩阵和第三隐藏层的输出矩阵，t（t）和o（t）是第t个样本的期望矩阵和第三隐藏层的输出向量。

对式（2.10）进行正交分解，化简整理，得：其中，e（t）是第t个样本的残留误差。

由以上，得到使用ROLSA训练RBPNN连接权重的具体步骤如下：

算法2.1 训练RBPNN的递推正交最小二乘算法

（1）随机初始化上三角方阵R（0）和误差矩阵，其中。

（2）t =1

（3）计算R（t），，

（4）如果，则，转（3），否则，转（4）。

（5）计算，和W，算法结束。

3 应用分析

按照上述方法，选取国网公司某省某变电站油浸式变压器油色谱及对应故障数据94组作为样本数据进行模型构建，以预测变压器故障类型。

具体过程如下：

（1）故障类型编码。

对变压器9种状态，其中故障类型8种及正常状态1种，采用二进制形式编码。变压器状态类型及编码对应关系见表1。

（2）对变压器油色谱及对应故障数据进行分组。

将94组样本数据分为训练数据集和测试数据集，其中训练数据集74组（约占78%），测试数据集20组（约占22%）。

（3）构建RBPNN模型，并使用训练集数据及ROLSA算法对其进行训练。图2是RBPNN模型在训练数据上的效果及误差。经计算，训练误差率（Error Rate）是0.081。

（4）使用训练后的RBPNN模型进行预测分析。

使用训练后的RBPNN模型在测试数据集上进行预测分析。图3为测试数据预测结果。经计算，测试误差率（Error Rate）是0.05，预测较准确。

4 结语

RBPNN模型具有RBFNN模型和PNN模型的优点，使得它在油浸式变压器故障诊断的模式识别任务中具有较突出的优势。本文应用RBPNN模型对油浸式变压器进行故障诊断，实验结果证明了该模型误差率较低，是一种有效方法。

参考文献

[1]变压器油中溶解气体分析和判断导则[S].GB/T 7525-2001.

[2]LIANG Y C， SUN X Y， LIU D H. Application of Combinatorial Probabilistic Neural Network in Fault Diagnosis of Power Transformer[C].International Conference on Machine Learning and Cybernetics，1115-1119，2006.

[3]肖键华.智能模式识别方法[M].华南理工大学出版社2006.

第4篇：量子神经网络算法范文

关键词： 有督导机器学习； 网络流量识别； LSSVM； 协同量子粒子群优化算法

中图分类号： TN711?34； TP393 文献标识码： A 文章编号： 1004?373X（2015）21?0109?04

Network traffic identification system based on supervised machine learning

XING Yufeng， MAO Yanqiong

（School of Humanity and Art， Yunnan College of Business Management， Kunming 650106， China）

Abstract： In the real network environment， a large number of interference noise and outlier samples are existed， which seriously affect on the performance of the least square support vector machine （LSSVM） algorithm. A network traffic identification system combining cooperative quantum particle swarm optimization （CQPSO） algorithm with LSSVM is proposed. The network traffic is divided into 12 types， in which the data of network traffic are collected. The network traffic identification system is conducted with training and performance test by the collected data. To study the performance of the CQPSO?LSSVM based algorithm， the CQPSO?LSSVM based algorithm is compared with the PSO?LSSVM based algorithm. The comparison results show that the CQPSO?LSSVM based algorithm has faster identification speed and better identification accuracy， which can avoid the occurrence that the system is caught in local optimal solution.

Keywords： supervised machine learning； network traffic identification； LSSVM； CQPSO algorithm

0 引 言

随着随着互联网技术的不断发展壮大，不断涌现出各种各样的网络服务和应用类型，这对互联网管理提出了更高的要求，同时网络安全问题日益严重，对网络流量进行实时有效的检测，具有非常重要的意义[1?2]。

传统对网络流量进行分类识别的方式手段主要有：基于端口识别技术的网络流量分类识别方法；基于数据包载荷内容的网络流量分类识别方法。传统网络流量分类识别方法虽然具有算法简单、效率高等优点，但是由于其自身局限性已经不再适用于当今复杂多样互联网服务类型和应用。

现在应用比较广泛的网络流量分类识别方法主要有：基于统计特征的网络流量分类识别方法；基于有督导机器学习的网络流量分类识别方法；基于无督导机器学习的网络流量分类识别方法。有督导机器学习算法又分为基于贝叶斯算法、基于决策树算法和基于支持向量机算法以及基于神经网络算法等；无督导机器学习算法又分为基于模型方法、基于密度方法以及基于划分方法等[3?6]。

1 网络流量识别系统

1.1 网络流量分类

近年来，P2P技术已经得到了非常广泛的应用，P2P应用类型也随着其服务类型的增长而增长，因此，过去文献在对网络流量识别进行研究时，通常将网络流量类型分为10个类型。本文根据P2P服务类型将三种常用应用类型分别考虑，即分为P2P文件共享、音视频以及即时通信应用服务。因此，本文对网络流量类型划分为12个类型，如表1所示[7]。

1.2 基于机器学习的网络流量识别分类方法

机器学习方法已经得了非常成熟广泛的发展，将机器学习应用于网络流量识别技术，能够有效提高网络流量识别系统的识别率以及识别速度。机器学习通常分为两种，即有督导机器学习和无督导机器学习。相比无督导机器学习来说，基于有督导机器学习的网络流量识别系统具有更好的识别性能。

基于有督导机器学习的网络流量分类识别方法一般通过大规模已知类别的网络流量会话流样本数据对识别系统进行训练，使得系统具有较强的泛化能力。基于有督导机器学习的网络流量识别分类训练过程如图1所示[8]。

图1 基于有督导机器学习的网络流量识别分类训练过程

基于有督导机器学习的网络流量分类识别方法种类繁多。其中最小二乘支持向量机法因其具有较好的鲁棒性和实用性能，得了比较广泛的应用。最小二乘支持向量机法综合了神经网络和支持向量机两种算法的优点，摒弃了支持向量机训练过程复杂、效率低以及神经网络需要大数据样本的缺点。因此最小二乘支持向量机法不仅具有较快的训练速度，而且具有较强的泛化能力[9]。

但是由于真实网络环境中，存在大量干扰噪声和野值样本等，严重影响了最小二乘支持向量机算法的性能；因此本文提出一种结合协同量子粒子群优化算法和最小二乘支持向量机的网络流量识别系统。

2 协同量子粒子群算法

2.1 量子粒子群算法

设粒子群中有[N]个粒子，其中：第[i]个粒子的位置[xi=xi1，xi2，…，xiD；]第[i]个粒子的速度[vi=vi1，vi2，…，viD；]第[i]个粒子的历史最优位置[pi=pi1，pi2，…，piD；]整个粒子群体的历史最优位置是2.2.1 协同搜索策略

协同搜索策略的核心思想是，将整个种群分解成多个子群，整个种群使用的是对一个种群进行搜索的策略，而将整个种群分解成多个子群后，能够成功削弱种群的多样性在迭代后期降低而产生的早熟问题[11]。

2.2.2 粒子的学习行为

式中：[lcmax]和[lcmin]是学习参数的最大和最小值；[a]是不小于0的常数。

协同量子粒子群算法（简称CQPSO），就是使用上面描述的协同搜索策略的QPSO算法。

2.3 CQPSO?LSSVM的网络流量识别步骤

步骤1：对网络流量数据进行采集，对数据进行处理后，得到网络流量特征向量。

步骤2：随机得到[N]个粒子的位置[Xi，]对各个粒子的适应值[fXi]进行计算。

步骤3：将粒子群分成[s]个子群，计算每一个子群适应值的最优粒子序号：[k=argmin1≤i≤NsfXsi]，那么各个子群的最优解为：[pgs=Xsk；][k=argmin1≤i≤sfpgi，][pgpop=pgk，]由基因比率[Rgene]选出子群中适应值最优的粒子来组建种群基因库。

步骤4：对收缩扩张系数[βt、]子群的[βti1≤i≤s]以及[lc]进行计算，[qi]取决于[lc]与[lrand]关系。

步骤5：对粒子的适应值、子群的[pi、]子群的[pg]以及种群最优解[pgpop]进行更新。

步骤6：当到达进化的周期后，依据[Rdead]淘汰子群中劣质粒子，更新种群的基因库。

步骤7：重复步骤4到步骤6，直到迭代完成。

步骤8：求解[pgpop，]得到网络流量识别的最优特征子集。

步骤9：使用步骤8得到的网络流量识别的最优特征子集建立网络流量识别模型[12]。

3 实验分析

3.1 实验数据采集

使用基于Libsvm软件包的C#程序对网络流量数据进行采集，使用Matlab软件构建基于PSO?LSSVM、QPSO?LSSVM和CQPSO?LSSVM算法的网络流量识别模型，对采集的数据进行处理。

将采集到的数据分为两组：一组用于对基于三种算法的网络流量识别模型进行训练；另一组数据测试训练后的基于三种算法的网络流量识别模型的识别性能。

3.2 网络流量分类方法性能评价标准

针对网络流量识别方法的评价标准，人们通常使用反馈率（recall）、准确率（precision）评估识别方法性能，具体表示为：

[recall=TPTP+FN×100%] （12）

[precision=TPTP+FP×100%] （13）

式中：TP（True Positive）是被系统正确识别的类型A的样本数量；FN（False Negative）是未被系统正确识别的类型A的样本数量；FP（False Positive）是被系统误认为是类型A的样本数量。

3.3 网络流量识别流程

基于本文提出的CQPSO?LSSVM网络流量识别流程如图2所示[13]。

图2 网络流量识别流程

为了研究本文提出的CQPSO算法的优化性能，使用QPSO作对比实验。设定粒子群个数为20，子群的规模是5，收缩扩张系数[β]随着迭代次数线性下降，由1.0降至0.5。得到两种算法在Rosenbrock函数和Ackley函数这两个测试函数下的性能对比如图3所示。可以看出，CQPSO算法比QPSO算法具有更快的收敛速度和收敛精度，具有更好的稳定性能[14]。

3.4 实验结果分析

使用本文提出的CQPSO?LSSVM识别算法对实验数据进行识别后，得到表1中各种网络服务类型与应用的识别准确率和反馈率，见表2。

通过表2的数据可以看出，本文研究的CQPSO?LSSVM识别算法对12种类型网络服务与应用均有较好的识别准确率和反馈率。为了横向比较本文研究算法的性能，使用基于PSO?LSSVM算法和基于QPSO?LSSVM算法的网络流量识别系统对同样的数据进行模型训练和测试，得到了基于三种不同算法的识别系统的识别准确率、反馈率以及识别速度[15?16]。

表2 各个网络流量类别的准确率与反馈率

[类别＼&应用名称＼&反馈率 /%＼&准确率 /%＼&WWW＼&HTTP＼&94.9＼&95.7＼&P2P文件共享＼&BitTorrent＼&92.9＼&93.6＼&P2P音频视频＼&PPlive＼&90.1＼&91.2＼&P2P即时通信＼&QQ＼&92.3＼&92.1＼&ATTACK＼&Virus＼&97.6＼&98.1＼&GAMES＼&Half?life＼&95.2＼&96.9＼&MULTIMEDIA＼&Real media player＼&86.2＼&86.8＼&INTERACTIVE＼&Telnet＼&90.7＼&88.8＼&DATABASE＼&SqLnet＼&94.8＼&95.1＼&BULK＼&FTP＼&92.5＼&90.9＼&SERVICES＼&DNS＼&92.6＼&93.9＼&MAIL＼&Stmp＼&98.3＼&97.2＼&]

图3 CPSO与CQPSO算法性能对比

CQPSO?LSSVM识别算法的平均识别准确率达到了93.36%，比QPSO?LSSVM算法的平均识别准确率高出5.28%，比PSO?LSSVM算法的平均识别准确率高出10.3%，CQPSO?LSSVM识别算法的平均识别反馈率达到了93.18%，比QPSO?LSSVM算法的平均识别反馈率高出4.32%，比PSO?LSSVM算法的平均识别反馈率高出9.37%。可以说明，相比粒子群优化算法来说，量子粒子群优化算法能够得到更优良的特征子集，因此得到了更好的流量识别效果。另外由于CQPSO?LSSVM识别算法使用了协同策略，因此避免出现陷入局部最优解的情况发生，因此加快了算法收敛速率，提高了识别准确率[17?18]。

4 结 论

与传统网络流量分类方法不同，本文将P2P应用分为三类，即P2P文件共享、P2P音视频以及P2P即时通信服务，因此本文将网络流量类型划分为12个类别进行研究。

将CQPSO算法和QPSO算法在Rosenbrock函数和Ackley函数这两个测试函数下进行性能测试，结果表明，CQPSO算法比QPSO算法具有更快的收敛速度和收敛精度，具有更好的稳定性能。

将本文提出的基于CQPSO?LSSVM算法与基于PSO?LSSVM算法和基于QPSO?LSSVM算法在相同网络环境下，使用相同数据进行性能测试对比。结果表明基于CQPSO?LSSVM算法具有更快的识别速度以及更好的识别准确率，避免了出现陷入局部最优解的情况发生。

参考文献

[1] 王涛，余顺争.基于机器学习的网络流量分类研究进展[J].小型微型计算机系统，2012（5）：1034?1040.

[2] 邓河.基于机器学习方法的网络流量分类研究[D].株洲：湖南工业大学，2009.

[3] 杨飞虎.特征选择算法及其在网络流量识别中的应用研究[D].南京：南京邮电大学，2012.

[4] 杨宜辰.基于机器学习的网络流量分类技术研究与应用[D].淮南：安徽理工大学，2014.

[5] 储慧琳，张兴明.一种组合式特征选择算法及其在网络流量识别中的应用[J].小型微型计算机系统，2012（2）：325?329.

[6] 陶维天.基于校园网的网络流量监控技术研究与应用[D].兰州：兰州大学，2010.

[7] 王程.网络流量识别分析系统的设计与实现[D].长春：吉林大学，2014.

[8] 许孟晋.基于机器学习的网络流量分类系统研究与实现[D].长沙：国防科学技术大学，2010.

[9] 顾成杰，张顺颐.基于改进SVM的网络流量分类方法研究[J].仪器仪表学报，2011（7）：1507?1513.

[10] 杨子江.基于混沌量子粒子群算法的流水线调度[D].上海：华东理工大学，2013.

[11] 胡天骐，单剑锋，宋晓涛.基于改进PSO?LSSVM的模拟电路诊断方法[J].计算机技术与发展，2015（6）：193?196.

[12] 孟凡兵，彭顺堂，陈华.一种QPSO优化SVM的模拟电路故障诊断方法[J].计算机与数字工程，2015（6）：1149?1151.

[13] 朱大奇，袁义丽，邓志刚.水下机器人参数辨识的量子粒子群算法[J].控制工程，2015（3）：531?537.

[14] 陈善学，杨政，朱江，等.一种基于累加PSO?SVM的网络安全态势预测模型[J].计算机应用研究，2015（6）：1778?1781.

[15] 刘丽霞.基于小波理论与LSSVM的模拟集成电路故障诊断方法[D].西安：西安电子科技大学，2011.

[16] 黄丽，孙玉坤，嵇小辅，等.基于CPSO与LSSVM融合的发酵过程软测量建模[J].仪器仪表学报，2011（9）：2066?2070.

第5篇：量子神经网络算法范文

传统的故障选相元件主要采用突变量与稳态量相结合，以工频量为基础。在多数情况下这些选相元件对于简单故障能正确地选择故障相，但其选相速度不够快，且易受系统的运行方式及故障接地电阻的影响，结果往往不理想。因此，新型快速的故障选相方法成为众多学者研究的方向。新型的故障选相方法主要有：基于行波故障的选相元件和基于故障暂态量的选相元件。基于行波的选相元件主要是利用故障时信号的行波波头所包含的信息进行故障选相。虽然基于行波的选相元件能在故障发生的第一时间捕获故障信息，与传统的选相方法相比具有灵敏度高、识别率好等优点，且对波头进行处理的方法也有很多。但基于行波的故障选相方法存在一些缺点，如初始行波受初始角、反射波、故障电弧等因素的影响。基于行波的选相元件由于计算量大，对处理器的运算能力要求也比较高，费用相对也就比较高，在嵌入式系统中难以做到实时性，这使得基于行波的故障选相方法具有很大局限性。基于故障暂态量的选相是利用输电线路发生故障时所产生的故障暂态信号实现故障选相，故障暂态信号与线路参数、故障情况等有关，不受系统运行方式、过渡电阻、电流互感器饱和、系统振荡、长线分布电容等的影响。近年来又随着硬件条件的实现和小波变换等信号处理工具的发展，使得大量、准确、实时地获取故障时产生的暂态电压和电流信号，并使对其作进一步的处理成为现实。这些丰富的故障暂态信号蕴涵了大量的故障特征信息，其频率成分贯穿于整个频谱中，如果能充分利用这些信息就能快速地对故障相作出判断。因此，基于故障暂态量的选相方法具有很大的发展前景，使得越来越多的学者从事电力系统暂态信号的研究。目前用于电力系统故障类型识别的方法有很多，如小波分析、神经网络和模糊理论等智能算法、数学形态学等。1.小波分析文献利用小波对暂态电流的模分量进行分析，并通过比较各相暂态电流的能量和各模分量的大小进行故障相判断。文献[16]利用小波提取故障暂态电流信号的特征，通过计算提取的信号特征沿尺度分布的权重得到暂态电流信号的小波熵权，进而构造故障选相判据。文献[17]对线路两端模量方向行波之差进行小波变换，通过比较其幅值大小来判别故障类型，但对两相接地故障的具体类型区分不明确。文献通过比较（零、线）模量电流行波的幅值之间的大小关系从不同角度进行故障选相。但是，由于零模量的严重衰减导致保护装置不能正确反映故障点处零模与线模的大小关系，当输电线路远端发生单相接地或两相接地故障时可能出现误判。文献将小波奇异熵应用于识别高压输电线路的故障相，提出了一种基于暂态电压的选相方案。通过取各相的小波奇异熵相对比值反映故障相和非故障相间的相对差异，构成高压输电线路故障选相的依据。2.神经网络和模糊理论等智能算法文献[20-21]利用提升小波变换对故障信号进行处理，并作为神经网络的输入构造了一种新型的小波神经网络模型来识别输电线路故障。文献通过小波包将故障电压和故障电流分解后分别获得分解后的故障暂态量的能量值和熵值，并将能量值与熵值分别对神经网络进行训练，对输电线路进行故障分类和定位。文献在暂态信号多尺度的基础上定义了小波能量熵，并与模糊逻辑系统相结合形成故障类型识别方法。3.数学形态学文献[25]在分析EHV线路发生故障后电流模分量的基础上，利用数学形态学梯度提取暂态信号波头能量，构成故障选相方案。文献提出了一种基于数学形态谱和神经网络相结合的识别接地短路故障类型的新方案。该方法对三相电流进行相模变换后，用数学形态学颗粒对电流各模量分析并提取模电流的形态谱，将各形态谱作为神经网络的输入，进而判断出接地故障的类型。

二、小波分析在电力系统暂态处理中的应用

20世纪80年代初Morlet等人第一次提出了小波变换的概念。它可以根据处理信号频率的高低自行调整窗口的大小，确保捕捉到有用的信息，可以对信号奇异点作多尺度分析。小波变换有以下特点：在高频范围内时间分辨率高；在低频范围内频率分辨率高；既适合于分析平稳信号及非平稳信号；有快速算法——Matlab算法；利用离散小波变换可以将信号分解到各个尺度（频带）上。由于小波变换有以上优点，所以它在各个应用领域中都得到了广泛应用，比如生物医学工程、机械故障诊断、非线性动力系统、量子物理、模式识别、参数辨识、CT成像、数据压缩等。近几年小波变换技术在分析和处理电力系统暂态信号方面也显示了其优越性和良好的应用前景，主要应用领域包括电力信号去噪、数据压缩、电力设备故障诊断、电能质量信号分析、故障定位等。文献[28]指出db6小波对电压暂升、暂降、闪变信号均能获得较好的去噪效果。文献[29]提出了一种小波包去噪算法，用以消除暂态扰动检测中噪声的影响，为在噪声环境中检测和定位暂态扰动提供了依据。电能质量信号分析方面：文献[31]将小波包用于对谐波的检测，并与IEC推荐的谐波检测方法进行了对比，仿真结果证明了基于小波包的检测方法对非整次谐波与间小波的检测要优于IEC推荐的方法。电力设备诊断方面：文献[30]通过对基于Shannon熵的最优小波包基的快速搜索算法的探讨，提出了基于最优小波包基小波包方法。在输电线路故障定位方面：（1）故障选线。文献[31]提出了基于单相电流行波的故障选线原理。文献[32]利用小波变换与电弧故障产生的突变相结合而进行故障选相。文献[33]提出用小波变换提取电流故障分量的暂态能量，并且以三相间暂态能量的大小及其相对关系来识别故障类型和判断故障相的新方案。文献[34]利用小波变换提取故障后电流行波的线、零模量，根据提取出的电流行波波前1/8周期的能量进行故障选相。文献[35]通过小波变换利用故障电流行波幅值及极性逻辑关系相结合的故障类型识别方法，并设计出了故障类型识别的实用算法。该方法可以提高以往行波故障选相方案中利用零、线模量之间幅值关系判别单相接地或两相接地故障时的可靠性。总的来说，目前基于暂态信号，利用小波变换工具进行选相的方法得到了很好的研究，但在实际应用时仍需进行相应的分析论证。文献[36]对电力系统暂态信号提取小波能量熵及能量熵权，并将其分别对神经网络进行训练，提出了小波能量熵与神经网络相结合的故障分类方法。（2）故障测距。电力系统要求及时、准确地得知线路故障位置，以便用最短的时间清楚故障，尽快恢复供电，现已有可用于解决实际问题的各种故障测距方法。小波变换可以很好地表征输电线路故障行波信号的突变点，故很多文献提出用小波变换来进行行波故障测距。主体思路是：运用小波变换对故障信号进行分解，并用小波变换模极大值表示故障信息，揭示了行波信号奇异、瞬时信号与小波变换模极大值的关系，运用小波对奇异点检测的原理，确定两次行波波头达到检测点的时间间隔及故障发生的时刻，推算出故障位置，以达到故障定位的目的。

三、熵理论的应用现状

1948年Shannon把通信过程中信源讯号的平均信息量定义成为熵，这就是信息熵。小波熵是小波变换和信息熵的结合，它具有小波变换和信息熵的特点，对动态系统参数的微小变化具有独特的敏感性，反映了暂态信号在时-频域空间的能量分布情况，随着小波熵理论的不断发展与完善，它被应用机械、生物、电力系统等众多领域。生物领域中，文献[42]运用小波熵分析心跳信号，并识别其变化规律；文献[43-44]将小波熵应用于EEG等非平稳信号的分析，体现出小波熵区别非平稳信号复杂度的特点，又有其反映微状态信号快速变化的优点。在机械故障诊断领域里，文献[45]将小波包与特征熵结合提出了一种诊断高压断路器机械故障的新方法，并给出了切实可行的诊断步骤和分析。这几年小波熵理论在电力系统中的应用才刚刚开始，所以这方面的文献较少。文献[46]提出采用离散小波变换和神经网络相结合的方法，对输电线路故障进行分类和定位，虽然训练好的神经网络可以准确地对故障进行分类和定位，但存在计算量大、运算费用高的缺点。文献[47]提出一种基于小波熵权和支持向量机相结合的故障识别方法。该方法识别速度快，有较好的通用和实用价值。文献[48]虽采用了小波分析理论与信息熵理论，但并没有对小波熵进行一个完整的、系统的定义。文献[49]综合阐述了小波熵在电力系统中各方面应用的可行性，表明了其在电力系统中具有良好的发展空间。文献探讨了小波熵在电力系统故障检测征提取的应用机理，通过仿真一些输电线路故障检测对文中给出的几种小波熵进行了验证，仿真分析结果表明小波熵测度在暂态信号检测与分类中有望得到较好的发展。小波熵作为近年来才发展的一种新理论在电力系统故障检测中的应用具有广阔前景。所以，在电力系统暂态信号的检测和分类中运用小波熵理论具有重要的研究意义。

四、结束语

第6篇：量子神经网络算法范文

>> 数据加密机制的研究与实现 移动数据加密的实现 数据库敏感字段的加密研究 Web数据库加密系统的研究与实现 浅议网络传输中数据加密技术的研究 关于数据访问方式编程的研究 数据加密中的DES加密算法详解 基于Excel的数据加密方案 基于VFP的数据加密之路 Vista的终极数据加密利器 计算机数据的安全加密 浅谈数据加密技术的发展 基于混沌系统的数据加密方案 浅谈网络数据的加密传输 DES数据加密的FPGA实现 电子商务数据的量子加密的可行性研究 基于SSL加密的微博数据库安全的研究 基于网络安全的数据加密技术的研究 SOL Server的数据库加密技术的研究与实现 基于数据加密的Hopfield神经网络技术研究 常见问题解答 当前所在位置：l.

[4] W3C. XML encryption syntax and processing [EB/OL]. [2002?12?10]. http：///TR/2002/REC?xmlenc?core.

[5] RSA. PKCS #5： password?basedencryption standard， version 1.5 [S]. UK： RSA， 1993.

[6] RSA. PKCS #1： RSA encryption standard， version 1.5 [S]. UK： RSA， 1993.

[7] RSA. PKCS #1： RSA encryption standard， version 2.1 [S]. UK： RSA， 2002.

[8] HOOK David. Beginning cryptography with Java [M]. [S.l.]： [s.n.]， 2005.

第7篇：量子神经网络算法范文

大功率太赫兹回旋管的腔体分析与模拟

太赫兹量子级联激光器及其光束表征技术

太赫兹高增益天线测量技术的可行性分析

基于氧化钒热敏特性的太赫兹探测器

太赫兹成像雷达技术发展与制导应用探讨

基于FEKO和CST的太赫兹目标RCS仿真

太赫兹波生物医学研究的现状与未来

倾转旋翼飞行器飞控软件的多线程实现

基于空间信息资源的巡航导弹可控攻击技术

基于一种改进IMMJPDA算法的地面目标跟踪

基于平衡Gold码的TH-UWB系统性能分析

正交频分复用技术在协作通信下的应用

基于低压电力线的高速载波模块设计

数字阵列雷达波束驻留调度间隔分析算法

无线多媒体传感器网络部署控制算法

基于合成超构材料的太赫兹调制器设计

基于DDS的低杂散捷变频合成器设计

多特征融合的雷达信号脉内调制识别

相控阵雷达自适应调度算法仿真

基于可编程显卡的信息化雷达终端显示系统

基于星间测距的卫星自主定轨研究与仿真

一种基于介质谐振器的新型电磁超材料

基于CC2431实现的无线传感器网络定位

空间三站时差定位的模糊及无解问题

采用电磁带隙和磁性材料的PCB电源结构

大型复杂空气板线馈电网络工程设计

逆合成孔径雷达抗干扰能力分析

四阶双模介质滤波器的设计和分析

基于游标内插原理的多脉冲测距方法

基于神经网络和SVM的GPS干扰类型识别

无源感应数据传输系统的设计与实现

一种新的变步长最小均方自适应滤波算法

用于T型谐振变换器的耦合电感设计与仿真

一种宽带信号发生器的设计与实现

粒子滤波在图像数据分析中的应用

AVS视频解码运动矢量预测模块的硬件设计

一种实序列FFT新算法与C语言实现

X-波段导航雷达海浪图像谱分析

高动态短时突发通信系统数字锁相环设计

时域有限差分电磁建模系统的研究与设计

利用地址解析协议的地址空间欺骗技术

自适应滤波自编码扩频系统的同步捕获研究

一种用于无线信道的逐幸存处理均衡器

阵列天线系统的最小互信息盲接收器

一种改进的数字图像扩频水印技术

增强型卫星导航接收机的定位模型

嵌入式操作系统编译器优化技术分析

第8篇：量子神经网络算法范文

萘乙酸浸种对杂交水稻“开优8号”幼苗生理特性的影响

沉淀法制备新颖结构的NaYF_4:Yb:Dr上转换发光材料

淮南引进绿化树种喜树繁殖特性的研究

浅谈城市道路绿化设计——以淮南市为例

中立型多延迟微分方程Runge-Kutta方法的散逸性

高斯整数环的素元形成与商环性质

三层网络监控的新型煤矿井下电力安全监控系统研究

Harris角点检测算法的实现及应用效果分析

基于神经网络的双小波混沌信号降噪

安徽高校体育专业毕业生心境状态及其动态变化的研究

安徽高校开展竞技健美操必要性及可行性反思

户外拓展在应用型高校心理素质教育中开展的前景展望

我省高校经济责任审计面临的问题及解决途径

现代风险导向审计下重大错报风险来源探究

我国农村居民消费行为的实证研究

浅谈《尤利西斯》两个中译本中的人物塑造

中国洪水再生型神话的生态学意义

刘亮程散文中的生命焦虑意识考论

马可戏曲改革思想探析

战后“京派”作家的分化

转型期我国社会公正问题再考量

汉学开山之新变——毛奇龄音乐史学思想论析

“资源诅咒”与“里昂惕夫之谜”的启示

儒道视阈中的和谐思想探微

人对“精神家园”的向往——以陕军作家为例看社会变迁大潮中人对精神家园的构筑(二)

邺下文学集团的贵族化特征

文士内心的展示——“剪灯”小说思想内容摭谈

超然独骛一居士——以《采桑子》组词为例析欧阳修退居颍州时的形象

论傅玄诗歌对汉魏诗风的承续

略论海子诗歌神话的基本成因

从《源氏物语》浅谈中日文学的亲缘性

转型时期政治沟通的社会价值探析

服务型政府创新的制度供求、创新困境及创新特征分析

我国财政转移支付制度研究

区域主导产业的选择及其指标体系的确定

基于顾客忠诚的关系营销实施措施

科学发展观指导下的淮南“两型城市”建设

论承租人和按份共有人的优先购买权

《等待戈多》中的会话关联性与荒诞主题

K3,4的生成子图的计数和构造

一类带干扰的多险种风险模型的破产概率

函数性质在解题中的应用

钢纤维混凝土低温力学性能试验研究

半导体洁净室温湿度控制

五种硝酸酯红外振动光谱和热力学性质的密度泛函理论研究

量子化学研究水与DNA四种碱基相互作用的规律

多波段混合发射的有机发光材料的合成及光学性质研究

淮南李咀孜矿煤中汞及其分布特征

苔藓植物的研究进展

化学实验绿色化研究

广义对象数字化方法在模拟电子教学中的应用

基于蓝牙Ad-hoc网络通信一种会话密钥设计

基于ADT的操作系统基础模型的研究

学校体育信息化的系统模式探析

Google在构建协作学习环境中应用研究

Java课程设置的探讨

通用查询会话Bean的设计

第9篇：量子神经网络算法范文

关键词：小波变换，小波分析，损伤检测，小波神经网络

对小波分析法的简述

小波变换的概念是由法国从事石油信号处理的工程师J.Morlet在1974年首先提出的，通过物理的直观和信号处理的实际需要经验的建立了反演公式，当时未能得到数学家的认可。1986年著名数学家Y.Meyer偶然构造出一个真正的小波基，并与S.Mallat合作建立了构造小波基的同意方法枣多尺度分析之后，小波分析才开始蓬勃发展起来，其中比利时女数学家I.Daubechies撰写的《小波十讲》对小波的普及起了重要的推动作用，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析，解决了Fourier变换不能解决的许多困难问题。从而小波变化被誉为“数学显微镜”，它是调和分析发展史上里程碑式的进展。

“小波”就是小的波形。“小”是指它具有衰减性；而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。与Fourier变换相比，小波变换是时间(空间)频率的局部化分析，它通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频的时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了Fourier变换的困难问题，成为继Fourier变换以来在科学方法上的重大突破。有人把小波变换称为“数学显微镜”。小波分析的应用是与小波分析的理论研究紧密地结合在一起地。现在，它已经在科技资讯产业领域取得了令人瞩目的成就。 电子资讯技术是六大高新技术中重要的一个领域，它的重要方面是影像和信号处理。现今，信号处理已经成为当代科学技术工作的重要部分，信号处理的目的就是：准确的分析、诊断、编码压缩和量化、快速传递或存储、精确地重构（或恢复）。从数学地角度来看，信号与影像处理可以统一看作是信号处理（影像可以看作是二维信号），在小波分析地许多分析的许多应用中，都可以归结为信号处理问题。现在，对于其性质随实践是稳定不变的信号，处理的理想工具仍然是傅立叶分析。但是在实际应用中的绝大多数信号是非稳定的，而特别适用于非稳定信号的工具就是小波分析。

小波分析法的应用领域

长期以来，傅立叶分析一直被认为是最完美的数学理论和最实用的方法之一。1946年Gabor提出的加窗傅立叶变换就是其中的一种，但是傅立叶变换还没有从根本上解决傅立叶分析的固有问题。用傅立叶分析只能获得信号的整个频谱，而难以获得信号的局部特性，特别是对于突变信号和非平稳信号难以获得希望的结果。为了克服经典傅立叶分析本身的弱点，人们发展了信号的时频分析法，但是傅立叶变换还没有从根本上解决傅立叶分析的固有问题。小波变换的诞生，正是为了克服经典傅立叶分析本身的不足，现在小波分析法的应用是十分广泛的，它包括：数学领域的许多学科；信号分析、影像处理；量子力学、理论物理；军事电子对抗与武器的智能化；电脑分类与识别；音乐与语言的人工合成；医学成像与诊断；地震勘探数据处理；大型机械的故障诊断等方面；例如，在数学方面，它已用于数值分析、构造快速数值方法、曲线曲面构造、微分方程求解、控制论等。在信号分析方面的滤波、去噪声、压缩、传递等。在影像处理方面的影像压缩、分类、识别与诊断，去污等。在医学成像方面的减少B超、CT、核磁共振成像的时间，提高解析度等。(1)小波分析用于信号与影像压缩是小波分析应用的一个重要方面。它的特点是压缩比高，压缩速度快，压缩后能保持信号与影像的特征不变，且在传递中可以抗干扰。基于小波分析的压缩方法很多，比较成功的有小波包的方法，小波网域纹理模型方法，小波变换零树压缩，小波变换向量压缩等。(2)小波在信号分析中的应用也十分广泛。它可以用于边界的处理与滤波、时频分析、信噪分离与提取弱信号、求分形指数、信号的识别与诊断以及多尺度边缘侦测等。(3)在工程技术等方面的应用。包括电脑视觉、电脑图形学、曲线设计、湍流、远端宇宙的研究与生物医学方面。

（三）小波分析法在土木工程中的应用

随着大型土木工程的兴建,采用先进的仪器和科学的方法来进行在线监测和诊断对结构健康状况的评估起着越来越重要的作用.但无论是基于固有频率变化,还是振型变化,以及基于柔度或刚度变化的测量方法,都存在着一个共同的局限性,就是对微小损伤和疲劳损伤的识别,由于其探测灵敏度不够,显得力不从心,因此需要寻找一种更有效的损伤检测手段.小波变换作为一种新的信号处理方法,综合了时域分析方法和频域分析方法的优点,属于多分辨率的时频分析方法,具有伸缩、平移和放大功能,可以用不同的尺度或分辨率来观察信号,实现既在时域又在频域的高分辨局部定位,对于非平稳信号的处理是非常适合和必要的,正是结构损伤检测的基本要求.给出了结构整体进行损伤判别的方法,将各层能量在各频段进行分解,通过能量变化情况给出了结构损伤程度的判定方法,并且在三层钢筋混凝土框架结构的损伤判别试验中得到应用,试验结果与理论分析吻合较好,从而证明了提出的损伤判别方法的可行性与准确性.在施工过程中结构发生损伤后，某些线性连接点变为非线性，造成其固有频率和刚度的改变，进而使得结构的动力响应发生变化。线性和非线性系统动力特性的主要差别之一是非线性系统具有高次谐波和亚谐波。利用小波变换分析结构损伤前后的时域和频域响应，可以确定诸如高次谐波、亚谐波以及混沌现象等系统响应的动力学特性，进而检测结构的非线性 。通过小波分析局部扩大和局部压缩的特性，可以对微弱信号进行检测，这在结构损伤初期的检测中是非常重要的。（1）直接利用小波分析检测损伤，利用小波分析进行损伤检测较多的集中在复合材料损伤研究上 。复合材料由于其重量轻、刚性好，已广泛应用于航空航天结构和许多民用工程结构，其损伤可导致结构性能的严重下降，因此发展连续健康监测和自动报警技术尤为重要。一般采用在复合材料结构模型（如悬臂梁）上粘贴压电材料，分别作为作动器（产生激励）和传感器（感受振动信号）。利用有限元数值仿真，假定在仿真过程中某些单元发生损伤，将被测点动力响应，如位移、速度或加速度，进行小波分解。通过小波分解后各阶信号波形上的突变点能够准确的判断损伤的发生。由于小波分解后的信号比原始信号的分辨率高的多，利用小波分解信号的奇变性，可以识别原始信号中无法直接识别的突变。利用小波变换对结构在地震作用下带有噪声的位移响应信号进行低周疲劳信号提取。低周疲劳模型采用结构在随机时刻点上某些构件由于承受冲击荷载而导致的刚度下降来模拟，得到了以下研究成果：A）用序号N较大的正交小波可以很好的估计有噪声条件下疲劳破坏的发生时刻，B）用小波分析可以精确的识别诸如下降刚度等系统参数。利用时程分析程序计算结构动力响应，并在其过程中允许结构中某些构件发生损伤如支撑刚度突然全部消失或部分消失。这些损伤造成了加速度的不连续，而这种不连续在加速度曲线中是难以观察的。将得到的加速度响应信号进行离散小波变换，通过分解后高频波形上的突起来判断损伤的发生和发生的时刻。分析过程将对多个结点加速度进行小波分解并通过分解后带有突起的结点在整个结构中所处的空间位置来判断损伤的位置。

（四）小波分析与其他方法联合运用

此方法多是把小波分析作为前置处理手段，可先利用小波变换的消噪性能对原始信号进行除噪，再对信号进行奇异性检测等其他处理 。小波分析可以单独定位损伤，但都不够精确。此方法是先利用损伤后构件各阶振型的残余量，求出曲率模态，再通过小波分析得到曲率模态的小波分解灰度图 ，进而推断出损伤位

置。这种联合方法提高了损伤识别的灵敏性和精确度，但只运用到一维梁构件上，对于更复杂的情况需要进一步研究。小波分析可以聚焦到信号的任意细节进行时频域处理，因此适用于非平稳信号振动波形特征提取。故可以先利用小波分析对原始信号进行分解，提取各水平的小波细节的能量特征参数等与损伤相关联的特征量或小波重构系数的统计特性，如：波形指标，峰值指标，能量指标等，输入BP神经网络或小波神经网络，作为网络的输入参数，利用神经网络的识别功能判断损伤情况 。采用小波分析和神经网络算法，通过将测得的原始结构和损伤后结构的振动数据比较，估计损伤发生的位置及程度。首先利用小波分析的时频定位特性提取突变发生位置，而模态形状变化的大小反应损伤程度，故它可以预测结构的完整性。神经网络则通过映像小波分析中提取出的振动特征的函数来量化健康状态参数。

3.小波变换在结构振动方面的应用。结构抗震分析中的应用 地震动属于非平稳信号，而小波变换在处理非平稳信号上具有不可比拟的优势。国外有一些研究者已经将小波分析应用于结构震动方面，国内也有一些研究者应用小波分析法地震作用下结构的动力响应 。主要利用小波变换对地震作用下结构的动力反应进行了分析和计算，并利用能量分配关系分析了各频段范围内地震输入分量对结构反应的作用程度。通过算例知道，小波变换可以对提取的任意频率范围内的输入进行动力分析，且较傅里叶变换有明显的优点。

3，小波分析法在工程图像压缩中的应用。小波分析法的膨胀和平移运算可以对信号进行多尺度的细致的动态分析，从而能够解决Fourier变换不能解决的许多困难问题。利用小波变换可以一次变换整幅图像，不仅可以达到很高的压缩比，而且不会出现JPEG重建图像中的"方块"效应，但编码器复杂，有潜像问题。 由于小波及小波包技术可以将信号或图像分层次按小波基展开，所以可以根据图像信号的性质以及事先给定的图像处理要求确定到底要展开到哪一级为止，从而不仅能有效地控制计算量，满足实时处理的需要，而且可以方便地实现通常由子频带、层次

编码技术实现的累进传输编码（即采取逐步浮现的方式传送多媒体图像）。这样一种工作方式在多媒体数据浏览、医学图片远程诊断时是非常必要的。另外，利用小波变换具有放 大、缩小和平移的数学显微镜的功能，可以方便地产生各种分辨率的图像，从而适应于不同分辨率的图像I/O设备和不同传输速率的通信系统。相比之，利用KL变换进行压缩编码，只能对整幅图像进行；而利用小波变换则能够比较精确地进行图像拼接，因此对较大的图像可以进行分块处理，然后再进行拼接。显然，这种处理方式为图像的并行处理提供了理论依据。由于小波变换继承了Fourier分析的优点，同时又克服它的许多缺点，所以它在静态和动态图像压缩领域得到广泛的应用，并且已经成为某些图像压缩国际标准的重要环节。由于小波分析克服了Fourier分析的许多弱点，因此它不仅可以用于图像压缩，还可以用于许多其他领域，如信号分析、静态图像识别、计算机视觉、声音压缩与合成、视频图像分析、CT成像、地震勘探和分形力学等领域。所以许多工程在施工过程中会运用此类方法。

参考文献：

[1] 彭玉华.小波变换与工程应用[M]. 北京：科学出版社，1999.

[2] 胡昌华，张军波等.基于 MATLAB 的系统分析与设计――小波分析[M]. 西安：西安电子科技大学出

版社，1999.