大数据下异常通信信号智能检测探析
前言：想要写出一篇引人入胜的文章？我们特意为您整理了大数据下异常通信信号智能检测探析范文，希望能给你带来灵感和参考，敬请阅读。
摘要:本文设计了基于大数据分析的通信信号智能检测系统。基础设施层在VM虚拟机上创建多个Xen虚拟机,通过数据持久化设计实现信息虚拟化存储与管理,并将采集的数据通过网络通信层传输至核心服务层,核心服务层采用大数据分析方法构建通信信号检测模型,通过捕捉相邻信号之间非线性时空动作,评价相邻行为之间工作状态的关联性,预测信号行为后续工作状态,实现通信信号检测,并将识别结果反馈给用户接口层实时查看。实验结果显示,该系统的通信信号检测正确率始终高于95%,识别结果准确、可靠;异常信号检测的漏拒率较低,且识别效率高,具有全面、高效的特征。
0引言
随着新兴互联网业务的迅速发展,我国对高速通信的需求日益提高。由于通信具有带宽大、功耗低和保密性优的特点,得到广泛应用。通信系统非线性程度高,有时会出现一些异常信号,对通信系统的安全产生严重威胁[1,2],因此通信信号检测尤为重要。目前许多相关领域已经充分认识到通信信号检测的重要性,如盛智勇等研究基于随机配置网络的光纤异常信号检测系统[3],该系统有效减缓了过度拟合问题,使异常信号的识别准确率提高,但系统识别全面性较差,常出现漏识情况;张侠研究深度学习网络的通信入侵行为识别系统[4],该系统可实现高精度通信信号自动识别,误差较低,但系统识别效率较低,需花费大量时间[5-7]。为了提高通信信号检测准确性,提出基于大数据分析的通信信号智能检测系统,以提升通信安全。
1基于大数据分析的通信信号智能检测系统
1.1系统整体结构
以云计算平台为基础,结合现代化设备功能及合理网络装置,设计大数据分析的通信信号智能检测系统,主要由基础设施层、网络通信层、核心服务层和用户接口层四部分组成,其整体结构如图1所示。①基础设施层:创建多个Xen虚拟机于VM虚拟机上,可实现虚拟化管理工作。MySQL数据库不仅为数据持久化提供了存储空间,还为用户查看历史数据提供了保障。总而言之,基础设施层为整个将基础设置作为服务的系统提供了底层支持。②网络通信层:包括人机界面、通信服务器和通信网关,主要负责通信信号的传输。③核心服务层:是整个系统的核心,采用深度学习的通信信号检测方法实现通信的异常信号检测与监控。④用户接口层:用户可查看虚拟机的异常信息,也可对虚拟机的状态信息进行查询。
1.2数据持久化设计
基础设施层的虚拟机信息持久化通过数据持久化设计进行数据的实时存储。该系统在节点机识别出异常信号时,会发送异常信息给主控机,主控机收到异常信息后发出警告。监控人员在主控机端利用SSH登录节点机可以对其各个属性的有关信息进行查看,并确定发生异常的位置[8-9]。数据的持久化通过MySQL数据库实时存储数据得以实现,但MySQL数据库的存储数据空间并非无限增大,因此为删除数据库中超出保存周期的数据,设计了数据删除模块。①数据存储模块。将节点机筛选出的数据直接存进MySQL数据库,统一全部节点机的数据库名称和表名为datanode和storedata,以便在主控机查询数据[10-11]。先使用SQL语言创建数据库,storedata表的结构如表1所列,再采用C语言对shell编写的storedata.sh进行调用,完成数据的实时存储。将监控的历史数据存进MySQL数据库可采用上述数据持久化的方法实现,数据表中显示了数据存储时间和需要监控的属性值。由于数据经过过滤、合并后存进数据库,会产生一定时间的延迟。但经过多次验证,数据采集时间和数据存储时间相差不超过1s,满足实时监控的条件。②数据删除模块。为了实现数据的持续存储,需要及时删除过期、无用的数据,原因是节点采集的数据量大、采集频率快,且这些数据随着时间推移会不断增加,导致内存利用率增大。本文设置7天为数据的保存周期,最近一周内存储的数据可被保存于数据库中,其余较早的数据即可删除。
1.3基于大数据分析的通信信号检测方法
对通信信号的时域和频域特征信号进行检测,捕捉相邻信号之间的非线性时空动作,并将该频率当作一个行为,对相邻行为之间工作状态的关联性进行评价,再对行为的后续工作状态进行预测,最后根据行为后续工作状态完成异常信号检测。①捕捉相邻行为的非线性时空动作。长短期记忆模型归于深度学习网络,可以回归行为边界框的像素亮度和方位,设置其为输入帧,实行逐帧监测与追踪。根据相干正则化对自身行为和相邻行为状态进行整合,并对长短期记忆模型存储单元状况进行刷新,获取相干正则化结果。②评价相邻行为间工作状态关联性。根据长短期记忆模型隐态信息获得的相邻行为的时变属性,基于运行速度相关性可对相邻行为间工作状态的关联性进行评价,式(1)为相邻行为间工作状态关联性的权值τi(h)表达式:式中,j和i表示相邻行为的工作状态;uj(h)和ui(h)表示相邻行为各自于时间h内的速度,通过归一化常数μ归一化计算两个速度值的乘积;使用∂j计算关联权值,如果τi(h)的值和0接近,是在相邻行为的工作状态j和i偏差很大的情况下出现,如果τi(h)的值和1接近,是在相邻行为工作状态j和i相似度较大的情况下出现。③预测行为后续工作状态。采用编码-解码框架训练长短期记忆模型,对行为后续工作状态进行预测,具体如图2所示。以下是预测行为后续工作状态的具体步骤:①按照学习训练,根据长短期记忆模型的编码器映射工作状态的输入至定长隐式向量,式(2)描述了基于编码时期的隐式向量:kH=LSTMr(WH,kH-1)(2)式中,目前时间隐式向量用kH表示;LSTMr表示使用长短期记忆模型编码器映射行为工作状态的输入值WH到前阶段隐式向量kH-1中。②按照学习训练过程中,根据长短期记忆模型的解码器采用定长隐式向量对行为后续工作状态进行预测,式(3)为隐式向量表达式:kH=LSTMa(WH,WH+1)(3)式中,LSTMa表示通过长短期记忆模型的解码器采用定长隐式向量kH-1获得目前时间隐式向量kH后,根据当前时间行为状态输入值WH对后续时间行为工作状态WH+1进行预测。最后,基于预测的后续工作状态实现通信信号检测。
2仿真实验
2.1通信信号检测正确率对比
实验分析通信信号检测的正确率,并设计对比实验,选取参考文献[3]的信号检测系统和参考文献[4]的通信信号检测系统,作为本文系统的对比系统,不同数据量下,3个系统的信号检测正确率对比结果如图3所示。分析图3可得,随着数据量增加,3个系统的信号检测正确率都呈下降趋势。在数据量小于500GB时,3个系统之间的正确率差距较小,均保持在80%以上;在数据量由500GB继续增加时,3个系统之间的正确率差距变大,当实验进行到最后,对比系统的正确率已低至30%左右,信号检测效果较差。相对于对比系统,本文系统的正确率下降趋势平稳,且始终高于95%,基本不受数据量的影响。由此可见,本文系统的通信信号检测具有较高的正确性和可靠性,优势显著。
2.2漏拒率对比实验分析
3个系统的异常信号漏拒率,结果如图4所示。分析图4可知,3个系统的异常信号检测均出现漏识的情况,随着数据量增加,本文系统漏拒率逐渐升高,最高约7%;随机配置网络系统的漏拒率最高约10%;深度学习网络的漏拒率最高约18%。对比这些数据可以看出,本文系统的异常信号漏识别率较低,具有较高的异常信号检测全面性。
2.3通信信号检测效率对比
通信信号检测效率对比如图5所示。分析图5可知,相对于其他两个系统,本文系统信号检测效率始终保持最高,且大于90%;随机配置网络系统信号检测效率变化相对平稳,最高可达77%;深度学习网络系统的信号检测效率起伏较大,最高为73%,最低只有45%。由此可以说明文本系统的通信信号检测具有高效、稳定的特征。
2.4通信信号检测
MAPE对比平均绝对百分误差(MeanAbsolutePercentageEr-ror,MAPE)表示识别结果整体上和实际结果的匹配程度。实验根据MAPE分析通信信号检测精度,结果如图6所示。分析图6可知,本文系统的信号检测误差始终低于5%,基本不受系统运行时间的影响,波动较弱;随机配置网络系统和深度学习网络系统的异常信号检测误差都随着系统运行时间的增加而上升,且深度学习网络系统的识别误差上升速度较快,当系统运行45分钟时,该系统的识别误差已高达25%。由此可见,本文系统的通信信号检测效果最佳。
2.5系统运行效果
实验测试3种系统的吞吐量,分析其运行效果,结果如图7所示。分析图7可知,随着数据量增加,本文系统的吞吐量均大于1GB/s;随机配置网络系统和深度学习网络系统在数据量大于600GB时,吞吐量逐渐下降。对比这些数据可以看出,本文系统的吞吐量高,整体运行效果最优。
3结语
为了及时发现并消除通信中的异常信号,本文设计基于大数据分析的通信信号智能检测系统,以云计算平台为基础,大数据分析方法的长短期记忆模型实现异常信号检测,该系统不仅提高了通信的安全性能,也为通信的研究提供了一个新方向。
作者:林统喜 钟福龙 单位:广州华商职业学院
