前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的大数据时代的理解主题范文,仅供参考,欢迎阅读并收藏。
1大数据时代概念的提出
当前,大数据这一词汇在各行各业中出现的频率越来越高,各种媒体中也经常对这大数据这一概念进行推广,大数据时代逐渐成为了一个社会热词,昭示着大数据时代的来临。
在学界中,大数据的理论思考与实践探索一直在如火如荼的济宁这,并与经济市场,政府机关形成了良好的合作与互相支持的模式。大数据时代的来临与当前互联网时代的建设基础和发展迅速的信息技术具有重要联系,早在上个世纪末就有了关于大数据时代的理论雏形,对整合所有数据并对数据进行加工,分析,处理提出设想。这一设想的提出与同一时期的“商业智能”的具有密切的联系,所谓商业智能也是指建立数据仓库的基础上挖掘数据的深度含义,分析数据从而挖掘出数据之间的内部联系性,从而获取文化公司所需要的信息,为文化公司的发展提供决策思路和数据支持。
直到世纪,信息技术的发展导致各种数据统计工作的便捷与高效性,人们逐渐发现了进行大规模数据分析和研究对文化公司在发展过程中所能起到的作用,互联网的覆盖范围越来越广,在各行业各的应用程度愈来愈高,智能手机的普及都为大数据时代的来临打下了坚实的基础,随后大数据的概念在信息技术行业中越来越得到认可与重视,大数据的相关理论基础研究与前景展望也越来越多,为大数据时代构建了理论结构与应用前景。
2012年的达沃斯世界经济论坛中将大数据作为主题之一进行讨论,可以说变相确定了大数据在未来社会发展进程中的地位,探究了以信息技术为依托的大数据处理分析如何对人类社会的发展作为贡献。国内对大数据在未来发展中将占据的地位和起到的作用也做出了充分的认可,各大企业与高校对大数据的概念与应用已经开始进行研究与实践。
2大数据一词的概念与理解
对大数据时代的理解离不开对大数据的概念的理解。什么是大数据?就当下而言,虽然大数据一词的出现的频率极高,许多媒体,部门,论坛都在使用这一词语,但是对大数据一词的核心含义的理解却并不一定充分。当前学界内对数据一词的定义尚且没有一个统一的较为得到广泛认可的定义。对大数据一词的定义可以分为几种,例如维基百科上说大数据就是指数量、规模庞大的数据资料,无法利用常见的软件工具对其进行高效率收集,处理与分析。还有的的说法认为大数据就是单纯指数据量足够大,远超常规水平的数据集合。还有的说法主要是认为大数据进行处理的方式才是大数据一词的实质,即大数据是通过特殊处理模式能提高企业对市场形势的掌控程度,为决策提供指导的数据分析处理方法。
因此来看,大数据的特征应该包含着两方面,一是大数据处理在技术层面具有先进性,二是大数据在社会性方面具有广泛性。如上文所述,大数据一词的出现是信息技术进步的结果。大数据最先出现其是存在与IT界的术语,大数据是一个多项技术合并在一起的概念,是一个具有系统性的体系,包括对数据依托信息技术实现大规模储存与联网分享的云技术,对数据进行分析处理的分布式处理技术,指纹识别,虹膜识别等对数据进行保密管理的感知技术等等,都应该包括与大数据体系之中。与此同时,大数据还具有社会性。大数据这一概念的出现离不开信息爆炸化的时代特征,大量的信息充斥于社会的每一个角落并呈现着井喷式的增长,每一个人都是数据的创造者与传递着,国际化进程的加快使人类社会前所未有的紧密联系在一起,在这种时代背景下酝酿出来的大数据概念无法避免的具有人类社会发展的特征。
在大数据时代,人们的思维模式必须向大数据化的方向靠拢,传统的思维模式已经不适合时代的发展。信息技术的进步使我们的思维模式也可以在依托大数据提供的信息作出更准确的决策和判断。在大数据模式下,高效率的数据收集与处理是我们可以脱离传统的抽样调查得出结论的办法,不用再考虑数据模型是否具有科学性和代表性,也不用考虑抽样结果是否具有偶然性,因为我们已经可以立足于全面性的数据来对问题进行思考与判断,同时,对数据的判断要提高效率,应为判断的本身也是一个大数据的过程,提高判断的效率再借以数据统计来提高其准确性。在大数据时代,人们面对数据不需要刨根问底的研究数据出现的原因,而是应该要考虑数据之间的关联性,研究数据之间的联系,思考关联出现的原因而不是单纯研究因果关系。
大数据时代对于社会的改变在于,它变革的是人们处理数据的方式与模式,改变的是人认知世界,认知事物的方法,在数据化的信息处理中提供发现问题,解决问题,创造价值的方法。大数据作为一个新生事物能开创出一个新的时代,不得不说大数据在我们当下的社会发展进程中是极有价值的。虽然大数据的定义及体系,实践应用方面还存在许多不足,缺少经验方面的积累,但是笔者相信随着时间的推移大数据体系的形成必将越来越完备。我们当下所需要做的就是把握住大数据时代的时代脉搏,必须明确大数据时代的要求:首先,大数据时代必须充分利用信息技术来提高数据的收集与储存,利用新的数据处理模式发现数据之间的关联新,为决策提高科学性的指导与数据支持。然后,大数据是技术属性与社会属性的有机统一,所以在大数据时代中两方面工作都要双管齐下,提高技术水平的同时还要注重社会实践应用,达到改变市场运作模式,各组织的结构的目的。最后,大数据不是一个高高在上的概念性名词,而是应该作为一种新的思维方式适用于社会的各个方面,包括政府行政,企业运营和人民生活等等,是新的时代智慧与时代气息,而不是单纯的一种技术或处理数据的手段。
必须要明确大数据时代真正的思想内涵,才能是我国在新时代的发展过程中不落人后,占据着有力地位,提高国家的信息化程度与综合实力,对本论文的命题“大数据时代”对企业人力资源管理工作的影响能做出正确的分析探究。
参考文献:
关键词:大数据;民办高校;图书馆员;素养
1 大数据的内涵
经历了信息爆炸的时代,伴随着云计算、物联网的发展,我们迎来了大数据的时代。2011年5月,美国麦肯锡全球研究院(McKinsey GlobalInstitute,简称“MGI”)发表研究报告《大数据:创新、竞争与生产力的下一个前沿》,向世界介绍了大数据的重要性,呼吁人们关注并有效使用大数据。[1]2012年2月11日,《纽约时报》技术记者斯蒂夫・洛尔(Steve Lohr)在该杂志发表《大数据时代》一文,宣告世界已进入“大数据时代”。[2]
从直观上来看,大数据就是指非常多的数据(BIG DATA)。很多学者和研究机构对大数据都有不同的理解和定义。综合多方对大数据的定义,大数据的概念更多指一种信息资产。不是关于如何定义,最重要的是如何使用。[3]“大数据”是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。[3]
2 数据素养的内涵
在大数据的时代背景下,我们被海量数据所包围。一方面,我们在日常生活中产生了大量的数据,如记录于网络购物平台的消费记录,产生于聊天软件的信息行为等数据;另一方面,我们也享受到大量的数据分析带给我们的生活便利,如通过分析网络购物平台个人消费记录,系统自动列出符合个人消费喜好和习惯的物品列表,省去大量的网上浏览和搜索时间。并且数据会随着消费者的消费记录变化自动更新。由此,社会也由此进入了一个数据类型丰富、来源多样、数量巨大,价值巨大的大数据时代。在此背景下,如何获取数据,管理数据,应用数据显得尤为重要。
随着时代的发展,信息环境和信息工具有了很大的变化,简单的信息获取和检索已经不能适应社会发展的需要。在大数据时代,要求具有能对所获得信息、数据管理和辨别的能力,在这种背景下,数据素养的概念被提出。
数据素养与大数据环境密不可分,数据素养体现了人们在大数据环境下对于数据的感知和理解,其内容包含5个维度:对数据的敏感性,数据的收集能力,数据的分析、处理能力,利用数据进行决策的能力,对数据的批判性思维。[4]另有一部分学者认为,数据素养是一个具有承继性的概念,它是基于量化素养、统计素养、数字素养所发展起来的类似于信息素养的用于描述人们大数据环境适应能力的概念,[5]但又在统计素养、数字素养、信息素养的基础上有所发展。
高校图书馆具有教育职能和信息服务职能。高校图书馆员担负着数据资源和科研数据的安全保管,同时也担负着为用户提供信息服务的重任,其自身的数据素养对服务质量有决定性影响。因此,对高校图书馆员数据素养及相关问题有必要进行深入研究。
高校图书馆员数据素养提升包含以下几个部分:
2.1 数据意识的提升
数据意识是指人作为数据的主体对于数据客体的自觉心理反应,是数据素养的先决条件。[6]
(1)在海量数据资源面前,高校图书馆员要有高度的敏感性,能主动甄别并获取用户需要的数据,善于发现有价值的数据资源。
(2)高校图书馆科研服务的核心价值是满足用户的科研数据续期,图书馆员不仅要能准确把握用户的直接需求,也要能深刻理解用户的间接需求,并通过各种方式将间接需求直观表达出来。
(3)高校图书馆员要有向广大用户推广数据管理的有关知识,推荐及提供与用户科研相关的数据信息,帮助普及高校图书馆科研数据服务相关政策法规。
综合以上几点,用户的科研需求是高校图书馆服务的核心,高校图书馆拥有不断增长的庞大数据量,图书馆员在面对海量数据时,要有辨别一些“可能有重大价值的数据”的能力,要保持清醒的认识,要有将数据转换成科学知识的思想意识;要有准确理解、深刻发掘用户需求的能力。
随着移动网络和各种智能终端设备的发展,大量公开的、免费的网上数据资源给传统的高校图书馆带来巨大的压力,用户流失现象比较严重,尤其是年轻用户,他们更能适应时代的发展。在此背景下,高校图书馆员可以利用大数据技术对图书馆现有的数据,如用户借阅记录,读者咨询记录等进行分析,帮助了解用户阅读需求、科研需求以及用户的知识层次,深度挖掘用户在使用图书馆过程中的潜在需求。在此基础上,图书馆能够开展有针对性的特色服务吸引读者。延伸图书馆传统的信息服务,开展各种创新服务。
高校图书馆应用大数据具有现实可行性。读者在使用图书馆时会留下使用痕迹、用户行为日志等,这就形成了很多有价值的数据。其次,高校作为科研中的重要基地,对新技术、新思想的敏感性很强,在高校图书馆中使用大数据技术并不是什么难题。此外,大数据技术不是一项具体的技术,而是数据采集、数据存取、数据处理、数据挖掘等技术的整合,这些技术相对来说已经很成熟。高校图书馆面对新技术、新思维的冲击,要抓住发展契机,转变服务模式,实现可持续发展。
2.2 数据知识能力的提升
数据知识指一切与数据和数据管理有关的理论、知识和方法,它构成了数据素养的理论基础,为有效开展科研数据服务提供知识储备。[7]
大数据时代背景下,高校图书馆员不仅要具备计算机基础知识、网络知识,多媒体知识等基本的信息素养能力,还要掌握数据管理基础知识。能够加工、整理既有数据并分析提炼转化为用户需要的信息和知识。
关键词:大数据:统计学理论:创新应用
顾名思义,统计学几乎是对所有领域的数据进行统计与研究、分析筛选,因而统计学在如今的大数据时代几乎涉及到各行各业,其表现方式为,统计出来的数据进行科学的研究与分析,可以有效的帮着企业获取有效信息,探索其中数量规律行,进而企业可以更高效、更精准的进行工作。而如今随着现代信息技术以及数字科学技术的不断发展,统计学也得到了更多的应用,也被人们更加重视,应用最多的为企业管理系统中,统计学中的理论及其分析方式帮助企业进行对数据数量规律性的探以及定性分析,为企业寻找自身的管理经营的基础进行有效地夯实,奠定企业向更加稳定方向进行发展。而如今计算机软件的不断发展与更新,大数据时代的到来,统计学的应用也会得到更为广泛的发展,其中有政府和企业利用计算机对相关数据的采集、整理、统计进行综合的分析。统计学相关的软件开发商也将软件设计的更为简易化、便捷化,使得非统计学专业的人员也可以使用。当今社会经济高速发展,统计学的应用及其发展趋势将会迎合时代的到来进行改革改变,促进社会经济的快速提高。
一、大数据时代的内涵及其意义
(一)大数据时代的内涵
大数据是指在一定时间内对信息的捕捉、管理、处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力、流程优化能力的海量、高增长率和多样化的信息资产。针对这些信息资产,利用统计学原理对其进行数据分析、提炼、分解。也可以从另一个方面理解大数据,它涉及各行各业,是多个领域数据的集中区域,涉及到的有自然科学、人文科学、社会经济学等等相关的混合数据,它们之间相互参杂,互相融合,形成非常庞大的数据系统。目前传统统计学中的统计方法是分析单个计算机系统的数据储备,无法分析多台计算机的数据,在数据统计中产生了局限性、单一性、不稳定性和客观性等,但是目前大数据时代的到来,改变了如今这一现象,改变了大数据环境下数据流、磁盘存储、分布存储、多线条等环境。大数据环境主要起到的作用为,将庞大而复杂的数据进行转换,转换成为简单易懂、显而易见的内容,进而使工作人员对数据进行源头和机制的追述,从而研究出适合自身并有效的应对策略。因将数据转换成需要的知识需要相对缓慢的时间,所以工作人员将当前庞大复杂的数据分别存放在不同的储备空间里,有些工作人员将目前无法分析的或是不需要的数据进行整体精准的记录储存,记录成一整套的数据发展史,已供日后应用,以备不时之需,为今后科研做出充分准备。
(二)大数据时代给社会带来的改革
大数据在一夜之间成为各大互联网上的讨论话题,成为一个包含性非常强的概念,大数据时代也成为人们关注的话题,它的到来已然成为不争的事实,从本质上来看,它是当今中新型的产业,通过对海量的数据进行统计分析追踪发现庞大的市场,通过对人们行为喜好进行科学分析,获取营销手段。大数据使得广告投放精准化、医疗卫生体系精密化、社会安全管理有序化等多方面优势,同时大数据时代的到来随着带来了新的新业市场,大数据将为全球带来440万个IT岗位和上千万个非IT岗位,提供了更多的就业岗位。大数据时代到来的变革之大,影响着人们传统的工作方式,各行各业的人利用研究问题来驱动收据数据,然后再利用收集来的数据进行分析,从而解决问题,从这一行为来讲,人们会慢慢适应通过大数据进行统计学的研究分析来解决问题,利用通过统计学理论开发的软件搜索、分析一些研究性成果。目前统计学家通过数据的收集、数据的处理以及个人分析能力进行科学探索,如今大数据的到来将会威胁的他们的领域,大数据将我们难以理解的内容翻译成我们一看便知的统计成果,优化了人们工作的便捷性、舒适性等。
二、大数据时代统计学的发展研究
大数据发展如今,渗透社会的各个角落,分析大数据需要多个领域的结合,它并非单一的科学领域,自成一体,现如今的统计学家不仅需要研究探讨计算机对数据的实时决策,更是要将其与统计学理论及其方法相互结合,同时,计算机专家也要不断学习统计学的一些知识,统计学与大数据相互结合才能顺应时代的发展。获取大数据之后,研究探讨大数据时,针对数据分析的高难问题,利用统计学原理对其进行数据分析、提炼、分解时,需创新出新的更便捷更高效的统计处理方法,在压缩提炼过程中,解决数据混杂的问题,在分解数据中,解决精准问题,使得大数据与统计理论更好的沟通合作,构造全局统计结果。统计学主要是对海量的数据进行整理分类,结合计算机进行科学分析,探究出数据的数量规律性,从而得出结论,由于目前统计学中的统计学理论和统计方法与时代稍有差距,如今更是大数据时代,而大数据随机或非随机的误差比较大,所以传统的统计学理论及方法无法满足如今变革,也无法更好的获取大数据背景下所带来的各种机遇。现在的统计学家应该更加努力专研统计学理论以及对数据压缩、分解的方法,舍弃无法适应当前时代的陈旧理论及方法,必须去学习如何迎合新的事物的到来进行改革改变,只有这样才能顺势而行。
作者:宋瑞雪 周晏羽 黄扬艺 单位:沈阳理工大学
参考文献:
[1]毛江伟.《统计学》应用及其发展[J].长江大学学报(社会科学版),2013(12)
信息技术作为时代不断发展的象征,不管是在我国行业的发展中,还是在人们的日常生活,都起到了重要作用。同时,在信息技术不断发展的过程中,大数据时代的应用范围也在不断的扩大,其来源渠道也非常多,数量也在不断增加。在这种情况下,大数据时代的大数据信息管理就显的尤为重要。由于大数据的数量不断增加,现有的管理形式已经无法满足大数据时代的发展,并且在利用计算机对大数据进行全面分析和处理的过程中,也受到了严重的影响,因此,要想有效的对大数据进行充分利用,就要对大数据管理形式给予高度重视,采取有效的措施,不断加强大数据的管理形式,最终实现有效、便捷、安全等管理性能,这也为对我国信息技术提供了重要的发展方向。
1 大数据时代的大数据管理发展历程
近几年,在大数据管理不断发展的过程中,也取得了一定的成绩。但是,大数据管理也经历了一个漫长的过程,主要经历的人工、文件、数据库等管理阶段。同时,随着大数据时代的大数据不断增加,所管理的范围和环境也在不断的变化。并且,在大数据管理不断发展的过程中,一些管理问题逐渐的暴露出来,为大数据管理的发展带来了新的挑战和机遇,下面就大数据管理的发展历程,管理中存在的不足进行简要的分析和阐述。
1.1 大数据时代的大数据人工管理形式
在20世纪50年代,计算机技术的形成主要是针对科学计算等形式。同时,根据当时的发展技术来说,并没有磁盘、U盘等一些先进设备,将其计算的结果进行去全面的保存和整理,仅仅只是依靠纸带、卡片等形式,对大数据的进行有效的记录。大数据时代的大数据管理的人员管理形式,不仅仅对大数据的记录存在着一定程度上的误差,并且在保存的过程中,也会经常发生丢失的现象,对大数据时代的大数据管理形式的发展,是没有任何的帮助。但是,依照当时的技术水平来看,也只能的依靠人工管理的形式了。
1.2 大数据时代的大数据的文件管理形式
在大数据时代的大数据管理的人员管理形式,不断发展和改革的过程中,计算机的软件和硬件都得到了有效的提高,磁盘、磁鼓等储存软件,得到了全面的普及和发展。同时,在在不断发展的过程中,计算机将大数据的组成形式,叫做大数据文件,并且在大数据文件上就可以直接的取名字,直接的进行查看,这对大数据的管理,无疑不是一个新的发展的起点。在大数据时代的大数据文件管理的过程中,由于大数据长期的保存在外面的,这样在对的大数据处理、分析、查找、删除、修改等操作的过程中,提供了极大程度上的便利,其对其操作的程序,也具有特点的要求。但是,在文件管理的过程中,由于共享性能较大,数据与数据之间缺乏一定的独立性,对其管理和维护的费用和时间较大,这样往往工作效率提高,不能被广泛的使用。
1.3 大数据时代的大数据库管理形式
数据库管理形式是大数据管理不断发展的重要成果,也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中,计算机内部的容量得到了很大程度的提高,并且大数据的管理和维护成本也相应的有所下降。同时,在大数据管理形式不断发展的过程中,对其系统管理内存不足等现象,进行了全面的提高,有效的实现了资源共享,也在最大程度上保证了大数据的安全、稳定等性能。另外,在大数据时代的大数据库管理的过程中,不在近几年只是固定在某一个计算技术应用体系,而是面向整个管理体系,以此在最大程度上提高了大数据共享的性能,使大数据与大数据形成一个独立的个体,对其大数据进行了全面、有效的、统一的管理,为我国信息技术的发展提供了重要方向。
2 大数据时代的大数据管理策略
2.1 对大数据时代的大数据管理框架进行创新
在大数据时代的大数据管理形式不断发展过程中,给企业发展带来冲击非常巨大。因此,企业要根据我国信息技术不断发展的形式,对大数据管理框架进行全面的设计和创新,如图1所示。在大数据的处理的过程中,主要是围绕着数据资产进行管理的,同时对大数据时代的大数据管理制度,进行全面的规划行、设计、创新,这样对其它信息技术管理领域,提供了便利的条件。其实,大数据时代的大数据管理最主要的目的,就是将大数据的价值进行充分的展现。另外,在大数据时代的大数据管理框架不断创新的过程中,有效的实现了大数据共享等性能,不断扩大了大数据时代的大数据管理的内容,对我国现代化信息技术的发展,起到了重要的作用和意义。
2.2 开发与内容的管理形式
在不断提高大数据时代的大数据管理形式的过程中,可以从两个方面进行,一是大数据开发管理,二是内容管理。其中大数据开发管理注重于大数据管理的定义,和管理解决策略,对其大数据的存在价值,进行有效的开发。换句话说,其实也就是在大数据时代的大数据管理的过程中,对其管理形式的开发,对大数据的功能和价值,进行充分的理解。
大数据时代的大数据管理中的内容管理是指:企业对大数据进行不断的获取、使用、存储、维护等工作活动。因此,传统的大数据时代的大数据管理形式,已经无法满足对这个时展需求。因此,在时代快速发发展的推动下,要对开发管理和内容管理,进行全面的创新和设计,对需要专门设定的管理形式,要给予高度的重视,可以利用的集合型的保存形式,进行全面的保存。
其实,大数据时代的大数据管理主要是为企业提供重要的发展方向,为企业提供重要的价值信息。大数据时代的大数据管理在数据应用和开发的过程中,起到了重要的衔接作用,也为我国信息技术的发展,打下了坚实的基础。
2.3 对大数据架构进行全面的管理
在大数据时代的大数据管理的过程中,数据框架管理起到了重要的作用,并且与大数据开发的过程中,有很多相似的地方。在传统的大数据时代的大数据管理的过程中,对其数据的开发、处理、保存等形式,都受到了一定程度上的限制。因此,在对大数据时代的大数据架构管理的过程中,对其操作形式,进行了全面的管理创新,避免受到范围的限制。另外,随着大数据不断的增加,大数据构架管理可以根据大数据的用途,质量良好的应用形态。例如:社交网络等形式。
与此同时,在最近几年的发展中,大数据时代的大数据管理形式,也面临着新的挑战基机遇。以此,只有对大数据时代的大数据管理形式,对个人信息、隐私等进行全面的管理,避免个人信息、隐私等发生泄露、不对称等现象的发生,这样不仅仅企业在发展的过程中,提供了最大程度上的安全保障,也为大数据时代的发展,带来了新的发展篇章。
3 结语
综上所述,大数据时代是信息技术时代不断发展的产物,不管对我国经济的发展,还是人们在日常工作、生活的过程中,都起到了重要的作用和意义。因此,本文对大数据时代的大数据管理发展的历程进行了简要的分析,并对大数据时代的大数据管理形式,提出了一些可参考性的建议,只有对大数据时代的大数据管理形式,进行不断的创新,对大数据时代的大数据管理框架,进行不断的构建,也只有这样的才能在最大程度上促进了我国信息技术的发展,也为我国各行各业的发展,提供了重要的发展方向,对我国经济的发展,也起到了推动性的作用。
[关键词]大数据 专利分析 数据挖掘 可视化
中图分类号:TU94 文献标识码:A 文章编号:1009-914X(2017)05-0298-01
一、引言
随着网络、通信、运算、存储技术的发展及成本降低,大数据在搜索引擎、互联网金融、电子商务、医疗卫生等诸多领域已经开始产生重大影响。“大数据”作为当前科技关键词的大热门之一,截至本文刊发时,在百度搜索引擎中相关网页搜索结果超过1亿个,相关新闻搜索结果逾148万篇。数据已经成为重要的生产要素之一,相关组织、机构所掌握的数据规模、对数据的分析运用能力已经成为考量其综合实力的重要因素。专利分析的主要功能在于从孤立的专利文献中多层次多角度地挖掘信息,并处理成具有预测功能的报告为企业所用,而对海量数据进行挖掘、计算及可视化,正是大数据分析的主要内容。可以预见,基于大数据的专利分析将成为未来的发展趋势。
二、专利分析现状
一般认为,专利分析发轫于1949年Seidel所提出的专利引文分析专利文献重要性的概念,但将其应用于企业的战略与竞争分析,是上世纪90年代后随着信息、网络、数据库技术的发展才得以实现的。
专利分析通常是指对专利文献进行数据挖掘、加工、统计处理,进而获取符合分析目标要求的有价值信息,主要应用包括专利导航、专利预警、专利布局、专利评估、技术规避、侵权分析等。
专利分析的方式方法很多,其过程一般包括数据采集处理阶段、专利分析阶段、报告形成及成果展示阶段。由于专利分析的对象数据规模庞大,因此通常需要借助计算机和分析工具,但是人员的参与仍然必不可少,例如在数据采集处理阶段,需要完成技术分解、检索、数据加工、数据标引等工作,而检索过程中的检索策略的制定、检索要素的筛选、结果噪声去除等很大程度上依赖于专利分析人员的经验和能力,这也导致了专利分析的高成本、高门槛。另外,由于专利的早期公开延迟审查制度,导致专利分析所针对的专利文献都是一至两年前申请的技术方案,不能代表最新技术的发展现状。
三、大数据时代
互联网用户对大数据有了越来越多的直观体验,在社交网络中被推荐的联系人或内容,是基于社交网络大数据得到的用户之间、用户与社区之间的隐含关系信息;在电商网站被推荐的商品,是基于处理海量的访问、购买、评论数据分析出的消费行为信息;在搜索引擎中定向投放的广告,是通过对广告大数据的处理分析得到的。
著名管理咨询公司麦肯锡首先预言了大数据时代的来临,“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来”。阿里巴巴董事局主席马云则直接地指出,虽然阿里巴巴是全球最大的零售平台,但是阿里巴巴不是一家零售公司,而是一家数据公司。
“大数据”相对于传统“小数据”的特点,传播非常广泛的是Gartner集团分析师Laney所总结出的三个“V”,即容量(Volume)、种类(Variety)、速度(Velocity)。以此为基础,IBM进一步将其扩充到四个“V”,即:1、容量(Volume),大数据时代的数据量已达PB(1024TB)乃至EB(1024PB)级;2、种类(Variety),大数据时代的数类型庞杂,除结构化数据,还包括互联网自媒体数据、图片、音视频等非结构化数据;3、速度(Velocity),大数据需要快速的处理才能获取有价值的信息;4、真实(Veracity),需要从大数据中筛选真实数据才能得到真实的信息。维克托・迈尔-舍恩伯格在《大数据时代》中提出,大数据时代带来的变革主要包括:不是随机样本,而是所有数据;不是精确性,而是混杂性;不是因果关系,而是相关关系。在大数据时代,不再需要借助随机采样的方法处理数据,而是对所有数据进行处理以分析具体事件;不再需要数据的微观精确性,只需在宏观上洞悉数据的总体方向;不再需要事件与原因之间的因果关系,而是通过相关关系了解事件的发生进程。
四、基于大数据的专利分析展望
基于大数据分析的主要内容以及专利分析的现状,可以预测未来基于大数据的专利分析发展将包括以下几个方面。
1、基于语义引擎数据采集处理。以往的机器检索,计算机只能在字符匹配层级认知用户的输入信息,不能理解信息的含义,特别是在专利信息的检索过程中,检索策略的设定和调整都需要借助人工方式。而随着计算机技术和人工智能的发展,通过对网络大数据的语义标注处理,使计算机能够从语义层级理解输入信息,例如Apple公司的语音识别工具Siri、专利检索系统Patentics等,都采用了语义引擎。在此基础上发展专利数据采集,例如实现语义专利信息检索,可以降低对专利分析人员个人能力的依赖,降低专利分析的成本。
2、基于数据挖掘算法、预测性分析和数据质量管理的专利分析。大数据分析的核心在于数据挖掘算法,从大数据中挖掘价值信息并研究对象之间的相关性,从而挖掘出对象间的未知联系,利用这种相关性信息,可以实现定制化分析,并将专利分析的结果与企业需求结合得更加紧密。通过预测性分析模型,从大数据中获得规律性信息,可以预测专利发展趋势、技术乃至行业的发展走向,允许企业根据专利分析结果对专利布局、技术发展路线做出预先判断,能够很大程度地避免由于专利公开滞后对专利分析准确性造成的影响。通过数据质量管理方法,借助标准化数据处理流程和质量管理方法对数据进行处理,可确保获得的分析结果具有较高的质量和可靠性。
3、基于可视化分析的报告形成及成果展示。可视化分析能够自动将负责数据分析结果转换为图表,借助图表简单直观的展示复杂的大数据分析结果,还能够针对不同的分析对象选择不同的展示内容和展示方式,能够有效的降低专利分析使用门槛、扩大用户群体。
五、结语
大数据时代的到来为专利分析提供了新的技术工具和技术思想,对从业人员来说既是挑战也是机遇。将大数据分析充分运用到专利信息的数据挖掘、可视化预测,改善专利分析的用户体验将成为专利分析的重要研究发展方向
参考文献
[1] 马天旗.专利分析―方法、图表解读与情报挖掘[M].北京:知识产权出版社,2015:1.
[2] 杨铁军.专利分析实务手册[M].北京:知识产权出版社,2012:1-10.
除了上帝,任何人都必须用数据来说话,我想用这句话来概括我们这个时代的行为最为贴切了。大数据从概念的形成到技术落地,已经在我们身边悄然地生根发芽了。
依稀记得在大数据时代之前,企业多是采用CRM或BI系统中顾客信息、市场促销、广告活动、展览等结构化数据,以及企业官网的一些数据。但这些信息只能达到企业正常营销管理需求的一层,并不能实现足够重要的洞察和规律的发现。
对于占据85%之多的那部分数据,诸如社交媒体、邮件、地理位置、音视频等信息数据,以及“微时代”产生的“微信息”等,在几年前可能被置之不理。现在,大数据进一步提高了算法和机器分析的作用,这部分的数据开始日显宝贵、作用突出了。这些数据即将被大数据技术充分地挖掘和运用。
以前一些信息化系统,只能促使分析报告回答:我们干过了什么,出现了什么。现在一个优秀的大数据系统可以回答“会发生什么”、“我们该做什么”,而且一些关联数据库还可以给我们指明方向,最终发展为非常活跃的数据仓库,判断“客户想要什么”。
集成整合硬件、软件服务技术建立的大数据平台已能为用户提供面向策略级、未知信息分析预测能力和个性化自助式定制等功能。对目标对象进行更完整的分析、描述,通过获取更丰富的消费者数据,包括网站浏览数据、社交数据和地理追踪数据等,可以绘制出更完整的消费者行为描述。
企业经过长时间的信息化建设已经有了较强的整合数据的能力,可以整合来自企业各种不同的数据源、各种不同结构的数据,如客户关系管理、搜索、移动、社交媒体、网络分析工具、普查数据以及离线数据等,这些整合而得到的数据才是定向更大目标受众的基础,分析得出的结果才是更具有普遍价值的。
大数据使得我们具备了研究探索数据背后价值的能力。未来企业营销成功的关键必将是取决于如何在大数据库中挖掘更丰富的营销价值,比如数据整合、多方平台的数据接轨、结合人口与行为数据去建立优化算法等都是未来的发展重点。探索出来之后给予精确行动的营销指导纲领,同时通过此纲领进行精确快速实时性行动。“决胜千里,运筹帷幄”就在大数据。
大数据让数据分析可视化变得更加美丽,大数据的爆炸使人们急需展示数据、理解数据、演绎数据,这种需求刺激了数据可视化专业市场的形成,从点线图、直方图、柱状图等简单图标,发展到以监控为目的的仪表盘、三维地图等,让冰冷、枯燥乏味的数据开始活动起来了。我们深刻理解图形是解决逻辑问题的视觉方法。
如何改变这种数据的分散管理,实现相对应的经济效应和社会效应?打破企业陈旧信息化思维,形成大数据的概念和应用氛围已经迫在眉睫。如何使已知和未来将要发生的数据发挥更大的作用,提高利用率,为客户提供更大的方便,为企业和行业创造更大的价值呢?唯有打穿企业和行业的禁锢,形成大数据统筹,形成联动才能实现上述目的。
大数据时代的产生源于资源的繁杂丰富,如果企业没有明确的目标,就算没有走入迷途至少也会觉得非常迷茫。企业要运用大数据的短中期目标,来定义企业的价值数据标准,之后再使用那些能够解决特定领域问题的工具。逐步推广,步步为营,不要把理想定得太高,否则会很失望。
【关键词】 大数据时代 区域教育数据网络建设、均衡发展
引言
网络科技不断发展,人类收集、贮存、分析和运用数据的能力也得到巨大的提升,尤其借助于网络这个便利的工具,极大便捷了人们生活的各方各面。利用大数据的优势更好地开展教育管理工作,积极解决授课模式单一等弊端,丰富教课方式及内容,尽可能促进教育事业的发展。大数据的不断更新进步,促使教育事业不断进步,不断丰富多样化。大数据能够很好的缩短传统教育的弊端,体现大数据教育的优势。
一、大数据时代是什么
进入21世纪以来,大数据不断被越来越多的人提及,不断渗透到人们的一行一动中。大数据时代已经降临,存在于每个人的身边。官方解释,大数据就是数据,海量的数据。现代社会是一个迅速发展变化的社会,数据蓬勃壮大。作为这个社会飞速流转的产物,大数据也吸引了越来越多人的关注。大数据时代是依赖于全部数据中,提取重要以及针对性信息。通过大数据,掌握大体方向,不再疯狂的执着于精确度,把微观的视角适当移到宏观层面上来。抛弃曾经近乎牛角尖的因果,以更开阔的眼光看待事物之间的联系。大数据不仅丰富了我们的生活,也在不断提升人们看世界的高度。
大数据,或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 “大数据”是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言,大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。阿里巴巴创办人马云来台演讲中就提到,未来的时代将不是IT时代,而是DT的时代,DT就是Data Technology数据科技,显示大数据对于阿里巴巴集团来说举足轻重。篮球比赛当中利用大数据对球员的个人在比赛场上的数据分析,可以帮助比赛变得更加精彩。一分钟内,微博推特上新发的数据量超过20万;社交网络“脸谱”的浏览量超过500万……这些都是大数据在我们身边的体现。它神圣又亲切。渗透了我们身边的方方面面,我们需要它,离不开它。大数据对我们至关重要,我们的不断发展对大数据也有重大影响。
二、大数据时代区域网络建设对教育的意义
教育大数据有广义和狭义之分。广义的教育大数据泛指所有来源于日常教育活动中人类的行为数据;而狭义的教育大数据是指学习者行为数据,它主要来源于学生管理系统、在线学习平台和课程管理平台等。教育的最基础功能是影响经济发展。教育对人们思想精神状态的影响巨大,而大数据时代区域网络建设可以促进教育的实施,便于人类接受教育。大数据时代区域网络建设将教育化解为数据,更加易于理解和吸收。通过数字、文字、图片、音频各种各样的形式传递给人类。相对于之前枯燥的文字解读,人类更愿意接受丰富多样的大数据。
大数据改变教育。大多数对于课堂的评价,基于课堂的完整性,层层结合,逻辑清晰等表面的审视。并非从内去评价这节课是否起到了它所该起到的效果,是否生动活泼,是否被学生理解接受,被教育者是否从内心真正接受教育。听课果者会根据自己的经验来假设学生的体验,而学生真正的体验如何,却没有强大的技术与数据源可提供分析与实证。传统的教育研究往往是经验式的,总是以第一方的角度去认为某些因素对学生很重要,对课堂很重要,比如提问有效性,课堂的节奏等。这就显示了传统教育的弊端,无法很好的落实事件真正的效应,这就更加突显大数据教育的便利与平易近人性。
课堂网络教育不仅丰富课堂文化,增添课堂乐趣,也加深了师生之间的交流。无论在知识专业方面,还是人际关系方面都起到了极大的促进作用。大数据的到来,恰恰正是能从技术层面让体验者的感受紧以量化与显现。
迅速发展的大数据技术已广泛应用于各个行业,教育行业更应顺应时展潮流。随着教育信息化的不断推进,各种教育管理与服务平台的建设完善,大数据无声无息却有模有棱的进入了教育行业。各种Office、PPT、Word被轻松的运用于课堂,网络。学者不仅可以在课堂接受教育,还可以仅仅通过一张屏幕学习知识。教育的传播途径被极大扩展,教育事业将更好的前进和发展。
三、大数据时代区域教育均衡发展新思路
大数据时代已经到来,大数据正在成为推动教育系统颠覆性创新与变革的科学力量。大数据所带来的,并非源于我们电脑的硬盘变大了,CPU处理速度更快了,而是在我们的教育中的地位更在稳固了。大数据带给教育的意义是非比寻常的,通过大量数据分析与运用,使教育形式多样化,增大被教育者人群,强化教育者能力。时代在进步,时事新闻,身边小事乃至国家大事都在不断变换着。在风云骤变的时代,不能仅限于传统教育。
教育大数据在辅助科学制定教育政策、教育均衡发展、提升教育质量、优化教学效果、因材施教等方面的重要作用。目前大数据在教育实践中仍存在诸多问题。大数据的应用基础是对海量数据的拥有,这就涉及数据存储技术的挑战,以及用于数据处理和分析的技术挑战。对于高科技人才以及专业数据人才,我国仍处于欠缺状态。其次,大数据的教育应用中,数据采集和问题解决分析是核心环节,应用开发者要面对的就是数据采集技术和问题解决分析技术的挑战。这就需要技术工作者不仅要有强大坚实的专业基础,还要并存强大的心理。要不断加大对专业人才的培养,进而促进大数据的应用。
在教学方面,将从数字化教学走向智慧教学。智慧教学是教师在智慧教学环境下,充分利用各种先进信息化技术和信息资源开展的教学活动。较之传统的数字化教学,智慧教学更加高效、开放和多元,教学活动参与者之间的沟通更加通畅,互动更加深入,教师的备课、作业批改、教学评价等更加智能化。
我们要将大数据运用到教育中来,但是,在应用大数据的时候,要权衡利弊,用适当的方式淋漓尽致的发挥大数据的优势。使大数据能够发挥在教育事业中的巨大能量,丰富教育事业的同时,不断创新思路发展大数据。
四、结论
教育行业要顺应时代,与时俱进,教育数据网络的构建常以教育数据中心为核心纽带进行整体架构。以教育信息化促进区域教育均衡发展是信息时代教育发展的必然选择在大数据时代,要利用网络信息技术优势和数据量化研究方法,提升高校网络意识形态建设科学化水平。
大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考,科学发展的逻辑不能被湮没在海量数据。在社会进步的洪流中,教育事业要加快步伐,适当的摒弃传统教育的弊端,利用大数据时代带来的便利大力发展教育事业,使教育事业源源不断注入新鲜血液,更好的面对未知的将来。
参 考 文 献
[1] 杨现民,唐斯斯,李冀红.教育大数据的技术体系框架与发展趋势-”教育大数据研究与实践专栏”之整体框架篇[J].现代教育技术,2016-09-11.
[关键词] 大数据;审计工作;挑战与对策
[中图分类号] F230 [文献标识码] B
一、大数据的有关概念与特征
1.“大数据时代”下CPA审计的概念
大数据作为一项新的技术革命,它给人们带来了大量的数据,科学技术的创新,是信息产业的新现象。大数据具有大容量、多样性、速度性和价值性。大容量指的是数据的数量级的功能,是一个收集的大数据,数据的来源是广泛和大量的。多样性是指大数据的数据类型呈现多样化的特点,多样化指的是数据的产生和传播,因此可以说,在大数据时代,信息的生产者和传播者是每一个人的日常。速度特征是指相对于传统的数据时效性和数据的分析,大数据时代,信息通信速度,数据“保存期更短”。价值特点和前三个特点不尽相同,它表明了时代的大数据信息和数据除了量的优势,而且是一个质的保证,这里指数据的价值性和准确性。“大数据”概念下数据是可以拓展的、可估值的、开放性的,这些特性区分了大数据和传统数据。目前我国互联网经济的快速发展,大数据时代已涉及到审计工作的各个方面。
2.CPA审计在“大数据时代”下的特征
由于社会各届的积极参与,“大数据”才可能成为一个时代。大数据时代的到来也将代表信息社会的到来,因此,审计学科也要积极参与这一新时代,以品味时代的甜蜜,行业的积极调整。大数据时代下的注册会计师审计主要靠云计算信息技术审核,也被称为云审计。文峰(2011)指出,当越来越多的企业提供云服务,越来越多的企业采用云服务。秦荣盛(2014)指出,“云计算”或审计会对审计产生深远影响的大数据,将逐步改变审计技术和方法。因此,作为注册会计师审计和认证服务的事务,也应该使用云计算的概念,以提高审计技术和方法。
二、大数据时代CPA审计工作面临的挑战
1.大数据环境下审计工作的有效性和完整性受到挑战
大数据技术在审计中逐步应用,审计成果不仅有审计报告,还有大量有价值的信息和数据,这些都可以提供给被审计单位完善管理和内部控制审计,从而更广泛的应用审计成果应用。审计工作中获取的大量数据和有关资料进行总结,可以有效地获取企业财务、经营管理和制度设计等方面的内在规律和发展方向。通过大数据技术,我们可以分析被审计单位与审计问题、注册会计师与审计成果,进一步采用信息技术数据化处理,形成审计应用数据库,在下一次审计活动中,注册会计师就可以根据审计计划,通过纪录信息有针对性地按照审计目标进行审计。
2.大数据环境给审计思维模式带来挑战
一些传统的审计方法,在大数据环境下不再合适,例如传统的抽样审计。因此审计抽样方法应该向总体审计方法转变。之前没有对所有数据进行访问、处理和分析,审计方式的思维方式是以小样本性质和随机抽样分析的方式来进行,根据样本分析结果来推断审计对象的总体情况,审核过程更依赖审计抽样方法。但在大数据环境下,它可以收集和分析整个领域的数据,是一种组织和分析所有数据的通用审计方法。因此在大数据环境下,注册会计师审计单位要检查所有相关数据,将审计工作与云审计有效整合,逐步形成审计模式的整体思路。这种基于整体审计模式的思维方式,将为会计师事务所的审计工作带来巨大的挑战。
3.传统的审计技术和审计方法面临挑战
经过多年的逐步的创新和多元化发展,传统的审计工作积累了很多有效的审计手段和审计技术。例如,控制测试常用的观察,访谈,业务流程描述,而且通过测试,实质性测试,检查,库存,确认等。但是,在大数据环境下,许多传统的方法都面临着巨大挑战,审计技术和方法必须在技术创新和变革的不断进步中进行。大数据环境下,数据采集、数据存储、数据处理和分析技术将不断涌现,如果继续使用传统的审计手段和审计技术,就会降低工作效率,如果要有效利用分布式结构、云数据库、联网审计等多种技术手段,就需要不断提高审计能力。
4.大数据时代基于相关分析的审计证据收集面临挑战
在审计证据收集中,通过因果关系分析收集到的审计证据,传统的思维方式是建立在因果关系的基础上,对大数据的分析更会利用相关分析发现和收集审计证据。大数据技术从审计技术角度看,提供了一个从未有过的跨域,可用于量化的相关审计信息的维度,可以记录大量的分析。大数据分析也还是没有改变审计事项之间的关系,然而大数据分析技术的关系开发与利用,使得数据分析的因果关系减少了,而是更多的倾向于应用程序的基础上的相关的数据分析。大数据分析的重要特征是基于相关性分析的证明。这对注册会计师来说,因为长期依赖因果关系进行审计证据的收集和发现,着实面临重大的挑战。
三、大数据时代下CPA审计工作的应对策略
1.加快大数据审计技术应用的法规建设
大数据技术应用要成为会计师事务所依法审计的依据,必须有一个符合其发展规律的法规支撑。云审计数据采集与存储系统的标准化和审计数据分析结果及相关电子证据的法律地位,是大数据技术在注册会计师审计中必须解决的问题。这是大数据技术充分发挥其在注册会计师审计中的重要作用的前提。目前,云计算技术还缺乏相关的法律法规,大数据计算技术的合法化是大数据面临的一个重要而紧迫的问题,尤其是数据的安全性和保密性。因此,利用大数据进行注册会计师审计必须建立一个新的审计制度或准则,而且应该特别强调大数据审计中的审计师的责任。
2.建立行业层面大数据审计分析平台
如果要在审计中实现大数据的应用,需要建立大数据分析平台。大数据审计分析平台建设有两条路径选择:一是中国注册会计师协会审计数据资源的集合,可以满足注册会计师的审计服务需求,云存储架构和云计算技术作为基础,直接构建注册会计师行业级数据审计分析平台;二是建立省级和市级的注册会计师行业数据审计分析平台。在此基础上,各省、市注册会计师行业的大数据审计分析平台整合到注册会计师行业审计数据分析平台。如果没有行业监管,那么审计市场将是一个混乱。因此,加强对行业的监督管理,也是一项必要性工作,包括行业协会的监管和行业自律监管。最好由行业协会或行业主管部门和领导的创立,聘请第三方进行数据维护,这样同时有利于研发投入审计技术。
3.推动大数据审计分析模型和审计软件的开发
行业不同需要的大数据分析模型和发展环境也不同,注册会计师审计行业需要加强对大数据分析模型的研究和软件开发,其中要结合着自身特点。大数据审计分析平台能够真正发挥注册会计师审计领域的作用,关键是要有多个可以有效解决实际问题的数据挖掘分析模型或系统审计软件。详细的合作方式应审核实践专家提供的审核问题需要解决和明确的前瞻性需求,由专家在学术研究中和数据分析工作中加强数据分析数学模型的构建和相关软件的研发。
4.加强对大数据的理解和应用能力
大数据时代是一个新的视野,它将转变生活方式,工作和思维方式,在这场巨大的技术革命中,能够抓住机遇的人,就能成为大数据或强大的数据分析计算能力的拥有者,就可以在未来的竞争中取得胜利。但是,只有审计经验和少量的数据信息或简单的数据来进行审核工作,势必会增加审计风险。因此在大数据时代,会计师事务所必须制定长期战略目标、加强对大数据的全面认知,将云审计纳入事务所的使命和战略目标,从而实现长远利益。而且可以针对个别项目进行大数据审计试点,以培养出更加具有数据分析能力的专业的审计人员。
四、结语
总之,大数据技术的不断发展给审计工作带来了新的契机,使审计工作走向精细、科学、高效,这就要求审计人员在面对新时期的具体工作时,应该树立持续发展的理念,抓住大数据技术对审计工作带来的契机,不断在审计思路和审计方法上进行创新,最大限度地利用大数据带来的机遇,争取不断提高注册会计师在大数据时代的执业能力。
[参 考 文 献]
[1]文峰.云计算与云审计――关于未来审计的概念与框架的一些思考[J].中国注册会计师,2011(2):34-36
[2]邓川,杨文莺.基于云审计的会计师事务所机遇、挑战及对策[J].财会通讯,2012(10):83-84
大数据,作为一种数据管理的理念和方式,其之所以出现,是云计算和物联网等信息技术的发展,与人类社会所积累的数据高速增长并海量积累相结合的结果。无论是如何定义,从本质上,大数据是信息管理者在当今的信息技术条件下,为解决新的海量信息处理需求,所提出的解决策略。而作为典型的信息管理活动之一的档案事业,势必会受到大数据理念的影响。
大数据并不是一个严谨而完整的学术概念,其所包含的内容相对比较抽象,从字面意义上进行理解,大数据所指的是数据规模的庞大。但从这一意义上来看,显然无法与传统的以往一系列概念进行区别,如“海量数据”(Massive Data)、“超大规模数据”(Very Large Data)。在学术界,对于大数据的定义尚未形成统一的观点,但综合各种说法,主流的思路是从大数据的特征出发,通过归纳的方式,通过对特征的描述进行定义。其中最有代表性的是3V定义[1],即认为大数据需满足3个特点:规模性(Volume)、多样性(Variety)和高速性(Velocity)。此外在实践层面,普遍认为大数据具有全数据规模、多数据类型、低价值密度、高处理速度的特点。
在数据管理理念层面,大数据的特点在于全数据规模、丰富的数据类型(可能包含半结构化数据)、全数据处理对象、多数据处理工具;在数据处理技术层面,大数据体现为对云计算和新一代数据库的应用;在操作方式层面,大数据体现为对零散信息价值的重视及对数据之间相关而非因果关系的分析。
二、大数据对档案工作带来的机遇
(一)解决信息化背景下档案的“胀库”问题
近年来,随着电子文件的理念逐步得到认可,以及档案的单位管理成本的降低,加之人们对于归档保存的重要性的认识的提升,我国的档案总量步入了一个高速增长的时期[2],但与此同时,信息化背景下的档案数据库胀库问题也随之到来了,其中较为明显的表现为“新增数据失败”等[3],胀库问题带来的,不仅仅对新增档案管理上的难题,同样重要的是,由于胀库现象的出现,档案的服务利用的效率将大打折扣,其原因在于案卷在出现胀库的过程中,无法及时有效地归档并建立索引以提供服务,破坏了档案案卷之间的连续性和关联性,降低了档案中所提供的信息的价值。信息化背景下档案的“胀库”问题,本质上在于存储和计算资源分配的不够合理,传统的数据库架构在处理新的海量数据的过程中,灵活性远远不够。解决这一问题,需要求助于大数据技术框架中的云计算技术[4],利用云计算技术强大的调配计算资源的能力,根据数据处理规模的需要,配置数字化档案管理所需要的存储和计算资源,保证档案的服务利用效率。
(二)有利于推动社会档案观的普及
大数据的核心在于从海量的数据中挖掘价值[5],这为档案价值的进一步发现和提升,提供了一个新的思路。传统的档案服务利用概念中,档案的服务利用对象是特定并且相对单一的,原因在于档案通过卷宗的形式,将一个相对完整的信息“包裹”存留,这部分相对完整的信息最终成为了档案卷宗的主题。而在服务利用的过程中,“主题匹配”成为了最为常见的档案定位方式,而主要来自于政府机关、企事业单位的日常运行信息形成的档案,其主题自然会牢牢地与其形成机关的业务活动相对应,而档案卷宗中所包含的零散的信息价值,相对容易被忽略,如今被公众广泛利用的档案,多数是民生档案[6],而其他类型档案中的零散信息价值,缺乏有效的挖掘服务利用手段,这是社会档案观在普及过程中必须解决的问题之一,即如何帮助公众挖掘他们所关心的分散于海量档案中的信息价值。大数据为档案的服务利用提供了新的价值挖掘工具,使得分散在海量数据中的零散价值成为可能,这就意味借助大数据的信息分析工具,公众将能够从主题上看上去并不相关的众多档案中,发掘其自身所需要的信息,获取相应的信息价值,将推动公众逐渐意识到档案作为当今社会最重要的信息价值载体之一的重要意义,而一旦这样的意识逐步成型,档案社会观将得到普遍的认可。
(三)有利于处理多载体类型的档案
信息技术的发展对于档案管理工作的重要影响之一,就是提供了多样化的信息载体形式,丰富了档案的类型,从最原始的纸质载体的文书档案,发展到如今的音像档案、图片等等。而随着电子文件概念不断获得认可,新的信息载体形式层出不穷,从理论上讲,每当出现一种新的信息载体形式,就会相对应地出现该载体形式的档案。这就意味着未来档案的管理工作必将是基于多载体的,其载体的丰富程度可能会远远超过我们的预期,而为最大程度保证原始证据价值,在技术条件允许的前提下,未来的档案管理工作将会尝试接受半结构化的数据作为档案,以最大程度地保留证据价值[7]。这使得未来的档案载体形式将呈现数量多、增长快的特点,这就要求针对具体档案类型的管理工具,或者抽象为一类特定的数据处理工具,是无法实现“One size fit all”的,即不再存在能够完美处理所有的档案载体类型的管理工具。这一点上与大数据对处理多数据类型过程中所提出的数据工具组合的理念,是相一致的。未来的档案服务利用活动,由于其面向的档案对象的载体是多样的,对其进行利用的工具也将是多样的,甚至为处理一些半结构化的数据的过程中,可能会需要多种数据处理工具的组合。
(四)有利于电子文件的管理
大数据将从真实性、有效性、及时性三个方面提升电子文件的管理水平。首先从真实性角度考虑,由于电子文件惊人的增长速度,其真实性鉴定工作一直是困扰档案工作者的难题之一,传统的“直接鉴定法”在实际操作的过程中所消耗的人力物力成本过于巨大[8],因此鉴定文件的真实性需要求助于大数据技术处理海量数据并分析复杂数据的能力;第二,从有效性角度考虑,电子文件的结构化特征并不明显,大量的电子文件都是半结构化甚至是非结构化的,在这种数据类型情况并不稳定的前提下,处理数据对象单一的传统档案管理数据库结构是难于驾驭的,而大数据技术框架下对于多数据结构的兼容性,能够较好地解决这一问题,提升对电子文件进行管理的有效性;第三,从及时性的角度考虑,电子文件的指数增长,使得及时地对新增档案进行管理成为了档案工作者所面临的一大难题,这样的海量数据的实时处理,是档案管理过程中前所未有的,这需要利用大数据技术框架中通过云计算的方式提升数据处理的及时性,才能保证电子文件管理的及时性。
三、大数据背景下档案工作的发展趋势
(一)从数字化到数据化
为应对信息时代对于档案工作新要求,档案数字化的工作已经进行了多年,并在一定程度上解决了传统档案利用信息技术进行管理及共享的问题[9],收到了相当的成效。但在大数据时代背景下,数字化仅仅是解决了载体形式或者说是信息技术的应用问题,可以理解为档案工作对信息技术的适应性应用,对于深入的数据挖掘与利用是远远不够的。在大数据的时代背景下,信息管理者已经不再满足于更易管理和共享的信息形式,应更为关注信息所能带来的价值,这就要求对于档案的管理工作框架,需要实现从数字化到数据化的转变,即不仅仅能够实现对档案案卷的数字化管理,更能够根据海量数据挖掘利用的需要,对档案的管理深入到数据层面,这将更为适合大数据技术架构下对数据的“流处理”模式。
(二)从信息共享到信息价值共享
随着大数据时代的到来,数据挖掘技术的应用进入了一个全新的阶段,所有的信息管理者都面临着同样一个问题:将简单而直接的信息共享活动转换为更为高级的信息价值的共享,即需要对自身所掌握的信息的价值有清晰的掌握和准确的理解,对应到档案工作者的现状上,即档案工作者仅仅了解自己在管理哪些档案并提供服务利用,已经无法适应大数据时代对档案服务利用的要求了,而需要能够了解自己所掌握的档案能做什么,所提供的档案利用服务所实现的是什么功能,也就是要明确所掌握的档案的价值。这需要对档案利用服务的认识有更加深入的认识,在大数据时代的背景下,由于对信息价值提取效率的提升,对于信息价值的共享将成为所有信息服务利用的主流趋势,这对档案服务利用工作将是全新的挑战,这不仅仅要求能够灵活地运用大数据技术在整合档案数据的基础上挖掘其中蕴含的价值,更加需要档案工作者对于信息价值有着更为敏感的“嗅觉”。
四、大数据对档案工作带来的挑战
(一)如何嵌入数据挖掘环节
传统的档案管理活动,最为通行的说法是包含收集、整理、保管、鉴定、统计和提供利用六个主要环节,这六个环节组成了基本的档案管理活动,并组成了一次完整的信息从收集到提供利用的过程。在大数据的时代背景下,对于档案管理活动提出了新的要求,即主动地挖掘其中的价值并提供利用服务,这就涉及到一个流程嵌入的问题,即数据挖掘环节应该通过什么样的方式嵌入到档案管理活动中来,是作为一个单独的环节嵌入到档案的管理流程之中,还是在传统的档案管理活动的某一环节中实现数据挖掘的功能,直接关系到档案管理活动流程的合理性。数据挖掘的嵌入问题,当档案事业逐步步入电子文件时代之后,必须要解决的问题。
(二)如何保障档案信息的安全性
大数据对于档案信息的共享程度提出了更高的要求,只有在档案资源高度共享的情况下,大数据技术框架下的云计算平台才能发挥作用,真正实现档案信息价值的利用。但随之而来,就是档案信息的安全性问题,如何解决在多类型、多结构、高共享程度状态下的数据安全问题,已经显得十分棘手。工作人员操作失误、设备及网络故障、计算机病毒、网络黑客攻击等对档案信息安全构成威胁的因素,在大数据的技术框架下,所造成的威胁可能会被相应地放大。大数据时代的档案信息的保密工作,其重心很有可能不再是保密体制的设计,而更有可能是信息安全技术的有效应用。