软件技术在大数据中的应用

前言：想要写出一篇引人入胜的文章？我们特意为您整理了软件技术在大数据中的应用范文，希望能给你带来灵感和参考，敬请阅读。

摘要：大数据时代下计算机软件的开发与应用，已经覆盖到人们生活的方方面面，包括利用网络计算机软件，开展基础设施、教育、科研等领域的业务服务。在开展多种计算机软件功能服务的过程中，主要将计算机服务器、数据库等进行结合，促进不同网络平台之间数据信息的传输、共享，以提高计算机软件及大数据信息的利用效率。

关键词：计算机软件技术；大数据；应用；研究

1概述

1.1计算机软件的主要内容

计算机软件包含系统软件、应用软件两方面内容，其中系统软件是本身存在于计算机系统内的软件，如Windowsmediaplayer、Windows文本、Office办公软件等；而应用软件则是基于系统平台，构建用于日常事务处理的应用程序。在网络计算机软件的开发过程中，需要根据不同用户的业务功能需求，设置软件的登录界面、功能端口与交互模式，以保证各项网络事务的及时处理。因此大数据计算、网络云存储技术等，被用于计算机软件的功能开发、数据处理中，以网络云平台为基础，进行企事业单位数据信息的搜集、分类、统计分析与存储。从而满足不同用户多项业务办理的需求。

1.2大数据技术的主要内容及其发展状况

大数据技术主要依托Hadoop分布式系统架构、HDFS分布式文件存储、Hive数据仓库，以及Spark应用程序、云计算管理平台，对网络中存在的海量数据信息，进行采集、分类、预处理与存储。其中Hadoop分布式系统架构，主要包含HDFS、MapReduce等功能模块，能够部署在配置较低的计算机硬件上，对网络中的海量数据信息进行输入/输出控制，HDFS有着较高的数据吞吐量和容错性。而MapReduce则主要用于1TB以上大规模数据集的的并行运算，通常MapReduce应用程序被运行在分布式系统中，每个服务器上可以运行成百上千个并行计算集群。MapReduce数据处理平台，通常会从Hive数据仓库获取自身需要的分布式数据/文件内容，之后自动完成海量数据任务的并行计算。最后Spark应用程序框架、云计算管理平台，是与Hadoop分布式系统相似的数据处理引擎，主要通过内存分布数据集、Web软件服务模式，为企业提供远程的数据访问、软件功能服务。企业只需要访问网络云服务平台，而无需下载或购买软件，就能够完成后台数据信息的查询、优化迭代与存储。因此在大数据虚拟化技术快速发展的形势下，企事业单位、教育及科研机构，可以通过虚拟化硬件资源的支持，构建起数据信息共享的云计算平台，对海量的数据信息进行收集、处理与存储，而且用户、云计算管理平台之间，能够通过不同程序语言的转换来完成信息交流。

2大数据技术环境下的发展方向

在大数据及云计算技术指导下，计算机软件开发与设计，主要与虚拟化数据处理、云存储、信息安全等技术进行结合，不断完善计算机软件的数据信息搜集、处理与传输功能，以及多种业务的服务功能。在虚拟化数据信息处理的过程中，服务器会利用网络生成的虚拟代码，对云计算虚拟化平台中的虚拟资源进行统一管理，从而完成企事业单位等机构的数据自由调度、业务功能服务。

2.1计算机软件与虚拟化数据处理技术的结合

随着大数据虚拟化技术、移动互联网络的发展，企事业单位、基础服务部门和科研机构，开始依托大数据虚拟化技术，进行自身内部资源、服务项目的优化配置与管理，以满足不同用户多样化的数据信息获取、业务办理需求。近年来，政府行政部门、教育机构、医疗机构等，纷纷构建起自身的虚拟化信息共享云平台，结合某一应用程序的显示界面控制技术，进行多种功能服务场景的搭建。用户在海量数据信息访问的过程中，后台服务器会对数据库中的数据资源，进行筛选、统计分析与处理，并对用户的数据或功能服务访问作出响应。

2.2计算机软件与云计算管理、存储技术的结合

云计算管理技术、云存储技术等，是大数据信息平台的最重要技术，其主要通过不同网络接口协议的整合，进行计算机软件中海量数据信息的自由访问与传输。云计算管理平台是基于Linux系统内核的虚拟服务器，可以通过虚拟化硬件资源、服务器等的搭建，为多种计算机软件提供数据信息处理、功能的运行支持。而云存储技术则是相对于计算机硬件的数据存储技术，其主要借助于网络中的云服务器，对企事业单位、基础服务部门、科研机构的数据资源，进行快速的读取、上传与存储。

2.3计算机软件与信息安全技术的结合

大数据时代数据信息传输、共享的安全性，成为企事业单位等机构开展数据资源处理、管理，以及多种业务功能访问时，所关注的重要问题。计算机软件存在着大量的私人信息，包括用户账号、密码、数据访问与下载痕迹等，因此在计算机软件的开发设计过程中，通常会与信息安全技术进行结合，在计算机软件中采取公钥或私钥对称、非对称加密技术、链路加密技术、端到端加密技术等，对整个链路传输的数据信息进行报文数据包加密/解密，来保障不同行业软件访问、数据使用的安全性。

3大数据中计算机软件的实际应用

3.1企业数据信息管理

当前企事业单位对网络数据信息的管理，通常由软件公司结合企业的数据处理、业务服务需求，进行海量数据处理、传输与共享软件的开发。一般会针对不同企业生产销售、产品质量的要求，对企业内部的财务、生产销售、经营管理等信息进行分类整合，筛选出具有代表性的样本数据，在移动交互平台页面中进行显示，以满足用户多样化的消费与服务需求。特别在网络商铺逐渐增多的情况下，企业可以依托网络电商平台的大数据技术，进行自身生产销售数据、业务服务数据的智能化管理。之后根据客户的信息浏览喜好，通过计算机软件平台向用户推荐相应的商品购买链接、服务信息，进而在激烈的市场竞争中占据主动位置。

3.2商业通信

网络通信领域的发展，需要SPSS、感知评估系统APP等软件的支持，才能够完成一系列数据过滤、解析与传输工作。当前中国移动、中国电信等地区运营商，已经开始使用SPSS软件、感知评估系统APP软件等平台，进行网络通信数据的智能识别、过滤、匹配与运算处理，并主动生成批量的Excel数据表格，大大提升电信公司数据源保护、数据解析处理的工作效率。该计算机软件可以通过修改配置文件，使用不同省市地区网络数据的处理需求，且数据识别、解析、匹配与加密的算法较为方便，可以实现网络通信过程中的数据传输与优化。

3.3数字化教学

大数据计算机软件在数字化智能教学中的应用，主要通过智慧校园网络、云计算管理平台、后台数据库、感知设备等的构建，为学生提供更加多元化的教育教学资源。教师可以借助于计算机软件技术，搜集网路中的教学数据资源，对课程教材中抽象的概念、实现原理等知识点，运用文字、图片、视频或音频的形式进行展现，以最大程度提高学生的课堂学习积极性，加深学生对某一专业理论知识的认知与理解。而教务管理部门也可以通过智能感知设备，对教师或学生的教学进度、学习状况等进行了解，利用大数据平台挖掘有用的数据内容，来为师生提供多种智能化的服务。

4结语

大数据信息时代到来后，企事业单位、教育部门、基础服务部门的业务数据越来越多，TB、1PB逐渐成为数据衡量与传输的主要单位，传统单一化的信息处理、传输模式，已难以适应商业社会中企业决策、业务开展需求。因此将计算机软件、大数据云计算平台进行结合，用户通过访问网络云存储平台，能更加方便快捷地调取、使用数据资源，以完成一系列的数据信息获取、业务办理的活动。

参考文献

[1]计春风.大数据时代计算机软件技术的开发与应用探讨[J].科技与创新,2018,(24).

[2]关丽.大数据时代背景下计算机软件技术的应用[J].电子技术与软件工程,2019,(02).

[3]柴继贵.浅谈计算机软件技术在大数据时代的应用[J].科技资讯,2018,(36).

作者：胡江伟 单位：山东理工职业学院