大数据挖掘关键技术研究

前言：想要写出一篇引人入胜的文章？我们特意为您整理了大数据挖掘关键技术研究范文，希望能给你带来灵感和参考，敬请阅读。

关键词：大数据技术数据挖掘数据采集海量异构数据数据可视化

引言

在云计算、物联网等一系列信息技术快速发展的方向，各种移动智能设备、传感网络、电商网站、网络社交在运行的过程中时时刻刻产生数据，这些数据发挥出了重要的作用。大数据的体量越来越大、类型越来越多，逐渐影响各行业的生产与发展。只有掌握大数据挖掘的关键技术[1-11]，才能更好地发挥大数据的价值。本文首先针对大数据的定义和特征进行了分析。

1大数据技术与数据挖掘

当前时代背景下，大数据不仅渗透到了行业的各个领域也进入到人们的生活生产之中，大数据已经是一个社会所讨论的热点问题。具体来说，大数据是指所涉及的数据规模巨大，并且无法利用主流软件工具在短时间内进行管理、处理和挖掘的数据，通过企业的经营和决策将之转换为有用的信息。大数据的特征主要体现在4个方面，（1）数据体量巨大，针对大数据的体量衡量已经由TB跃升到PB级别。2（）是大数据的数据类型具有多样性的特征，根据社会的各个行业分类不同，大数据的类型分类也有所不同，例如包括了传统格式化的数据类型，也包括来自互联网的视频图片、位置、网络日志等。（3）大数据具有极快的速度，即处理速度快。（4）大数据具有较高的应用价值，大数据的特点还体现在追求高质量的数据方面，这也是大数据的基本特征。大数据挖掘与分析的意义。在进行大数据挖掘的过程中，数据分析设计核心流程，在互联网迅猛发展的当下数据分析的需求越来越高，同时信息数据也产生出了巨大的价值。在长期发展的过程中大数据已经逐渐演变成一种产业，在产业中利润最高的地方便在于如何提高数据的分析能力，通过对数据的分析与挖掘，能够挖掘出数据的更多潜在价值，在当前的大数据时代，针对数据进行挖掘与分析是实现数据价值的重要环节，也是决策的重要决定性元素。针对传统的数据进行分析主要是针对结构化的数据进行分析与挖掘，并且在长期应用的过程中形成了成套的分析体系。但在当前的大数据时代，由于数据体量不断增多数据类型越来越多，也使得半结构化和非结构化的数据不断增长，导致传统的数据分析技术面临巨大挑战和冲击。因此，只有探索基于大数据挖掘的数据分析技术，才能够满足大数据挖掘的现实需要。

2大数据挖掘的关键技术

2.1大数据的采集

针对大数据采集是实现大数据挖掘的基础和前提，在数据采集的过程中需要根据不同的需求对数据进行识别和感知，首先在基础支撑层可以针对平台中所蕴含的数据进行必要的核对，在此基础上根据数据库技术借助运营商上对网络数据进行处理，使之更好地满足实际需求，在数据整合处理的过程中，通过企业的决策信息使之更好地指导企业的发展提高企业自身的运营能力。在大家的互联网时代，每天都会从互联网上产生海量的数据信息，这些数据一方面满足了客户的需求，另一方面企业通过对这些数据信息进行设计，能够发现更具有潜力的市场，从而展现出更高的价值。当前，在数据采集的过程中，单一用户位置、信息价值等蕴含的数据含量价值相对较低，而为了更好地提高数据整体的价值，需要从更加多元的角度出发进行数据收集。尤其是在当前的网络环境下，借助聚类和关联的分析能够收集到更加完整的数据，使之更好地展现其价值。

2.2大数据预处理技术

大数据预处理技术是在数据挖掘前对数据进行前期清理、集成、归纳。通过大数据预处理技术，能够针对海量的数据信息进行审核和价值分析，总有筛选出有用的信息。通过大数据数量的增加对各项数据进行综合汇总，进一步提高数据处理的效果。应用大数据预处理技术的过程中也分为前期处理、中期处理和后期处理。（1）前期处理是借助大数据挖掘技术针对实时数据进行挖掘，从而实现数据信息的分类和整理工作；（2）中期处理是数据处理的过程中，针对非结构数据对数据进行有效预处理，并且选取数据核心中的数据量，为接下来的核心流程做好准备；（3）后期数据处理是根据数据库中的持续支持和关键数据，通过有效整合对数据进行必要挖掘和搜索。

2.3大数据管理技术

借助数据管理能够帮助信息数据在复杂的应用系统中，多样化的互联网设备，对海量的数据进行收集汇总。物联网系统中的数据复杂多样，随着互联网技术的不断发展，对于各类数据的应用场景也在不断演变，使得数据的类型越发多样。因此，只有借助大数据管理技术从不同的维度出发对数据进行有效的分析和管理，才能对数据进行高效整理，从而根据不同行业的需求挖掘相应的技术，根据具体设计的系统框架提高数据的利用价值和效率。

2.4大数据处理和可视化技术

大数据信息具备快速处理的特点，因此在进行数据信息整理的过程中，如果针对数据信息不能及时处理，那么有用的数据信息可能因此错过，进而难以展现其数据价值。因此，在数据处理的过程中需要针对数据信息进行实时挖掘，也要进行在线管理，这样才能保证数据质量不断提升，进一步提高数据的利用效率。不仅如此，针对数据算法和数据模式进行有效分析的过程中，借助数据的可视化技术能够将计算机的融合与认知功能进行进一步提升，采用人机交互的方式对数据进行有效整合。

2.5海量异构数据处理

互联网的飞速发展使得海量机构数据的种类越来越多，数据的类型也越来越繁杂，这就需要加快数据处理的速度才能提高数据挖掘的效果。但从现实情况来看，在数据处理的过程中由于技术和理念的落后，经常会降低数据信息的使用价值，因此这就需要借助大数据技术对信息进行有效的处理通过集成模块和数据库整理，实现数据的深度融合，进而更加有效的利用数据。在数据处理的过程中借助必要的探测模块，能够针对数据划分出在线时间、进行时间和离线时间，这样能够进一步提高数据的分析和计算能力，进而最大程度挖掘出数据的价值。

3结语

在当前时代背景下互联网和信息技术飞速发展使得数据信息发挥出了更大的价值，然而实现这种价值的前提是对数据进行有效的挖掘和处理，加之数据应用的范围越来越广泛，传统的数据处理方法已经难以满足大数据时代信息数据处理的需求。因此，大数据挖掘关键技术尤为重要，通过分析大数据挖掘与分析的关键技术，能够更好地管理大数据，挖掘数据信息，使之更好地服务于企业和社会的发展。

参考文献

[1]黄哲学,曹付元,李俊杰,陈小军.面向大数据的海云数据系统关键技术研究[J].网络新媒体技术,2012,1(06):20-26.

[2]陈良臣.大数据挖掘与分析的关键技术研究[J].数字技术与应用,2015(11):93+96.

[3]曹存洋.大数据挖掘与分析的关键技术研究[J].通讯世界,2017(17):55-56.

[4]付琳.大数据处理系统模式及其应用分析[J].集成电路应用,2018,35(12):30-31.

[5]龚芳海,李文彪.基于互联网的大数据挖掘关键技术分析[J].无线互联科技,2018,15(04):59-60.

[6]蔡静颖.大数据挖掘关键技术的分析与研究[J].产业科技创新,2020,2(34):33-34.

[7]崔巍.大数据挖掘与分析的关键技术研究[J].中国新通信,2020,22(08):62.

[8]杨威.基于大数据的计算机信息处理技术分析[J].集成电路应用,2020,37(08):62-63.

[9]程文聪.面向大规模网络安全态势分析的时序数据挖掘关键技术研究[D].湖南：国防科学技术大学,2010.

[10]杨杰.基于时空轨迹大数据的群体行为模式挖掘分析关键技术[D].江苏：东南大学,2015.

[11]韩晶.大数据服务若干关键技术研究[D].北京：北京邮电大学，2013.

作者：迎梅 单位：呼和浩特民族学院