大数据技术在计算机信息系统中的运用

前言：想要写出一篇引人入胜的文章？我们特意为您整理了大数据技术在计算机信息系统中的运用范文，希望能给你带来灵感和参考，敬请阅读。

1引言

在当前社会经济不断进步、大数据不断发展的时代背景下，许多过去难以表达的信息都可以运用数据的形式来表现和存储下来。在大数据时代进入到一个数据处理和快速发展的阶段之后，我们更是能够运用计算机信息技术来预测事物的发展，在这种环境下，人们的知识层次、价值体系和平时日常的行为方式便会受到了很大的影响。在当前，一些还没有被发掘的数据，其潜力价值能否被发现和使用，深化改革大环境下的经济、交通、环保等领域的改革是否可以顺利实现，都是由能不能认识到大数据及其潜在功能和价值所决定的。

2大数据

2.1大数据的定义及其主要特征

在业内，大数据和其他新兴学科一样还没有一个统一的定义和界定标准。一般情况下认为：大数据是由一些异构数据所组成的集合，能够运用较为方便合理的算法及工具从中找出有价值的信息，并为人类带来社会和经济效益。它又被称为海量数据、大资料，这指的是其波及的数据量范围广大，以至于在合理时间内根本就没有办法通过人工获取、管理等方式整合成为人类所能明晰、解读的信息。这些数据来源广泛，比如监控视频、网上交易记录等。尽管还没有一个统一规范的定义，但大量的这些数据都被称为大数据。大数据具有如下四个特性：①数据发展速度和处理速度要求快；②大数据的多样性，其数据来源丰富，格式又包括有多种不同的表现形式，如声音、视频、图片等；③数据的存储和计算量比较大；④大数据的信息巨大导致其价值密度相对较低，因此要想真正的找到有价值的数据难度较大。

2.2大数据时代下的思维变革

①在利用大数据去解决一些特殊的问题时，能够处理更多的信息而不再依赖简单的随机采样。②为了分析处理更多的问题，需要对数据泛化，因为在大数据的简单算法之下有可能比先前复杂的算法更加方便有效。③大数据的背景下，人们更加聚焦于事物之间的相关关系而不是其因果关系。

2.3MapReduce框架

MapReduce是谷歌推出的一种计算编程模型，其主要目的是对庞大的数据进行并行处理。因此，MapReduce就把数据并行处理的任务分解成MAP和REDUCE这两个核心操作，这种设计理念在一定程度上受到一些编程语言如高阶函数的影响。

3大数据处理的关键技术

3.1数据备份技术

大数据时代背景下，数据的安全备份工作非常重要。安全备份是数据容灾的基础和前提，是为了预防偶然情况而采取的一种安全保护手段，备份的核心工作是恢复数据，根本目的是数据的再利用。它具体指的是如果出现一些突发情况从而致使存储在系统中的数据、文件等丢失或者说损坏的时候，系统能够准确而迅速的将数据进行恢复。

3.2云计算技术

假如把形式多样的大数据比作在高速公路上运行的各种汽车，那么这条高速公路就是云计算，云计算是大数据技术的核心内容。正是基于云计算在海量信息储存、分析以及应用管理等方面的支持，大数据才能够在社会中广泛应用。谷歌的各种大数据信息技术和应用平台就是在云计算的基础上建立起来的，而其中最为典型的就是以MapReduce（批处理技术）、UFS（UIT云存储系统）、BigTable（分布式数据库）为代表的大数据以及在此基础上建立的数据处理平台。

3.3Hadoop

在大数据时代背景下，人们对数据的分析、应用和管理都提出了更高的要求，传统的数据处理技术与关系型数据库已经不能满足时代的发展要求。为了能够给大数据的分析处理提供一个更高、更好、更可靠的平台，Apache基金会研发了一个开源平台Hadoop，这个平台用Java语言编写，已经发展成为一个包括HBase（分布式数据库）和HDFS（分布式文件系统）等功能在内的完整系统，成为当下相对主流的大数据应用平台。

4大数据技术应用所带来的信息系统的安全隐患以及应对策略

大数据之下，海量的信息数据一般都存储在一些分布式的网络节点当中，管理相对混乱和分散，而且系统也没有办法独立掌控用户交易数据的场所，因此很难分辨用户是否具有合法的身份标识，这就非常容易致使一些不法客户肆意窃取、篡改他人信息；另外，大数据存储系统中含有大量的个人隐私信息及各种数据记录，在大数据信息的挖掘利用中，怎样能够确定一个信息的开放和保护尺度，是当前大数据发展过程中面临的又一难题。为了充分合理的利用大数据并对一些风险进行预防，在此，我们特提出以下四点建议：①建立健全相关政策，国家需要加强顶层设计，有力的确保数据储存安全；②积极探索相关技术，加强对个人安全隐私信息的保护力度；③增强计算机防火墙的安全防护能力，有效抵御网络黑客，确保网络环境安全；④深化云计算安全领域改革，充分适应信息化的发展要求，确保云端数据安全。

5案例分析-对A公司大数据及其信息管理系统的研究

A公司实施信息化已有多年，每年在信息化方面，都会投入了大量的人力和物力，并已搭建了公司的局域网和广域网。不过，由于在初期的信息化建设中，公司是以服务支持软件应用为主，还没有站在一个更高的角度来开展信息化工作，因此也就没有真正实现大数据的应用，更没有制定较为系统的信息化规划，各信息及系统没有集成，信息孤岛现象严重，具体表现为系统中的业务流程尤其是在工程、营销、生产和财务等环节存在严重的断层现象。此外，由于标准不一，系统没有整合、较为分散，这就给系统的集成带来了很大的困难，信息不能共享；数据也缺乏标准化，无论是自行开发，还是从国外市场上买来的即时软件，一般都不注意数据的标准化，或数据标准自成一体，应用项目上得越多，数据的不一致性就越严重；系统开发没有标准化，A公司在建设信息系统的过程中没有使用相对一致的开发、应用平台及工具，不利于降低系统维护成本、技术人员培训成本等。为了克服这种现象，A公司认识到，要解决这些问题必须对系统进行集成，并建立健全信息化建设的统一标准。为此，A从公司的战略入手，结合公司的业务发展状况，深入分析了企业发展对大数据信息化建设的需求。而要配合好这些行动，首先要做的就是建立客户关系管理系统，记录客户信息，使公司拥有一个全面的客户信息资源库，包括客户的基本信息、交易记录等。其次，通过分析，A公司对所要应用的每一套信息数据系统都提出了详细的业务需求，通过对比国内外相关的信息系统，在综合考虑需求满足程度及成本等因素下，该公司选择了一套国外的成熟软件产品进行分步实施。再次，A公司通过对业务流程的分析，从业务的角度提出了企业的信息流程，明确了系统间所需要的的集成关系。为了较好的整合现有及未来的系统，实现信息的集成、共享与流转，减少手工的干预，A公司提出了信息技术架构及其整合方案，包括应用系统的组成与结构、信息模型、信息和数据在应用系统之间的分布与流向、信息技术标准和规范等。同时，该公司还分析了目前在市场上较为主流的系统集成的技术和产品，在尽量确保现有投资，同时又兼顾未来系统方便集成的原则指导下，该公司选择了最合适的产品和技术对现有的系统进行分步整合。最后，A公司认为，对信息化的规划建设来说还有一个十分重要的问题，即大数据在信息系统中的实施及资源配置计划。只有明确了信息系统建设的时间表和优先顺序，才能更好地指导信息系统的实施。因此，A公司在综合分析了公司的未来战略、发展方向、业务及系统现状后，提出了大数据信息系统实施计划。在该实施计划中，不仅安排了实施的时间表，还给出了系统实施的大概预算及主要的产品供应商，同时提出系统实施需要注意的主要问题等，为以后几年的信息数据化网络建设提供了一个很好的依据和参考。

6结束语

总而言之，在当今信息知识跳跃式发展的今天，大数据技术已经被广泛应用于经济金融、医疗、工业等领域。随着大数据技术的不断发展，相关信息行业竞相从规模庞大、结构复杂的大数据海洋中攫取更多有价值的数据信息用于分析、解决现实生活中的一些实际问题。由于大数据技术在计算机信息系统中的运用，这就使得计算机信息系统得到了快速的发展，在今后，大数据技术在计算机信息系统中的作用将会越来越重要。

作者：崔海帆 单位：广东南方通信建设有限公司