前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的大数据时代分析主题范文,仅供参考,欢迎阅读并收藏。
前言
在“大数据”的背景时代下,信息处理方面不断的创造了奇迹,这也会对未来计算机技术发展提供了有利的条件,在面对新时代的来临,需要不断的发展自身才能够跟上时代的步伐,信息处理技术也应该用于挑战面临的机遇,为大力发展计算机技术做好前期准备。
1.信息处理技术的概念
在企业的管理数据处理中,信息处理技术占据了重要地位。通过信息处理技术,使信息数据的输送、获取和检测、处理等技术有机结合在一起。信息处理技术将计算机技术、通信技术、网络技术、传感技术、微电子技术等科学技术融合在一起,在现代社会中用途很广泛。在现代化办公中,使用信息处理技术之后,不仅能够提高办公效率,还能有效利用高科技的办公设备,实现“人机结合”。信息处理技术的出现改变了传统的办公模式,对于办公模式的影响是极大的。
2.大数据时代的新机遇
2.1云计算受到热捧
在大数据时代中,云计算得以广泛普及,随着云服务的到来,这种趋势是很明显的。云计算整合了传递过来的数据,它拟定云平台,互通电子数据。借助于云平台即可上传信息、下载必要信息。在新的环境之下,云计算拓展了常规的范畴,提升服务性能,助推了更长久的自身进展。依循自主创新,云计算提升了日常流程的性能,增添了创新性。
2.2物联网的诞生
当今社会中的物联网将新路径的信息传递、计算机新技术、通信必备的新颖体系有机结合在一起。这是一项新型的产业,将信息处理应用于成熟的网络体系之中。物联网的外延有很多,比如地铁磁卡、医疗卡、电子钱包等。现在,传统的红包逐渐被电子红包取代了,人与人之间的沟通更加密切,这些都是物联网的优势所在。
2.3新颖的数据挖掘
在数据挖掘的过程中,人们收集大量的数据,分析数据并探寻数据的内在规律。从整体上来看,数据挖掘包括初始预备阶段、探求潜在规律、表达这三个阶段。数据挖掘添加了决策流程内的更多便利。遇有海量数据,同时缺失信息,即可求助于这样的数据挖掘。这是因为,很多企业配有的数据库仅仅可以录入数值、查验并且统计。但是,一般情况下,在搜集得出的数值之中,找到必备的提炼信息的难度是很大的,更不用说发现查找规律。在这种情形之下,就很难明晰深层的某一规律,无法表达规律。如果可以准确地分辨出信息之中的侧重点,那么就可以得到潜藏着的必备信息,这样更有利于企业做出正确的决策。
2.4方便企业拟定正确的决定
通过物联网,大规模的数据分析充分展开。通过解析流程,方便各个阶段的决定的拟定。举例而言,针对企业中的目标群体,分析员工习性、爱好兴趣。通过专门的解析,从而做出准确的决策。
3.大数据时代常见的信息处理技术
3.1信息收集、加工和传播技术
在信息处理的过程中,第一个步骤就是信息的收集。仅仅只有当信息被收集之后,才可进行大量数据进行存储、计算以及传播。在对目标数据源监控之后,把数据采集存放到结构化的数据库之中,以便信息服务系统提供输入,接下来是信息加工。信息加工的目的是对信息进行分类和加工处理。最后,信息进行传播,在信息传播的过程中,信息被收集和处理,并通过社会传播,最后提升了信息的价值。
3.2信息存储技术
信息存储技术是在需要调用相关数据时,可以直接调出使用的一种技术。该技术借助网络和介质实现数据的收集和存储。在大数据时代,数据的特征是容量大、变化迅速。只有在信息存储技术可以快捷的、长时间的、稳定地对相关数据进行存储的情况下,才可节省大量的人力、物力和财力。
3.3信息安全技g
大数据时代信息系统的特征是互联性较高。大数据时代的信息安全技术不再是对孤立的数据信息的处理,而是在基于信息系统整体进行的。信息安全技术为计算机网络带来了重要的发展机遇。与此同时,他也给计算机网络带来了巨大的威胁。所以,怎样提升信息安全?本人认为,可从下面三个角度出发来考虑。第一:打造更加可靠的信息安全体系。在这个过程中,要提高相关人员的技术水平。第二:增强大数据安全技术的研发力度。在大数据时代,以往的信息安全技术可能不再适应现代信息安全的情况。所以,应当加快大数据安全技术的研发,增加人力和物力、财力的投入。第三:对于重点信息加强监测。在大数据时代的大量的信息中,系统数据泄露随时可能发生。因此,有必要重视数据的安全性,加强重要数据信息的监测。毋庸置疑,大数据时代的信息技术的创造价值极大。在信息技术发展的未来,世界将会迎来越来越多的改变。
关键词 大数据时代 数据分析
一、相关概述
大数据环境下经济社会生活都出现了较大的变化,同时自然科学和人文科学等也都有了较大的提升。在此背景下,依靠计算机信息技术的不断发展,研究者能够使用一定的方法和技能对较为复杂且规模较大的海量数据进行数据处理,并有效挖掘其中的价值信息。大数据环境为统计学的研究和发展提供了好的机遇,同时也对统计学的拓展提出了一定的挑战。
大数据环境下数据在各个行业和领域中都有所渗透,并逐渐成为主要的生产要素。大数据本身具有价值密度低、数据体量大、数据类型多、数据处理速度快的特点。不过由于数据量的急速增长,也使得在数据分析和研究过程中由于数据库缺少必要的管理工具进行数据采集和管理,而导致数据搜索、数据分析、数据存取和数据共享等出现一定的困难。一般情况下,在大数据环境下,往往存在着数据存储、处理技术、数据安全等相关的技术性问题。这些问题的存在一定程度上影响和制约了数据的开发和应用效率。尽管大数据下进行数据分析存在一定困难,但是其在实践中的应用空间和领域却十分广泛,对于经济社会的发展具有重要的推动力。
二、大数据环境下数据分析过程分析
(一)数据的价值挖掘过程
面对海量的大数据环境,数据使用者应当围绕数据分析目标和具体要求对大数据进行有效挖掘,提取有用数据,摒弃无用数据,从海量数据中进行价值挖掘,结合数据类型提升数据使用价值。在进行具体的大数据挖掘时可以按照具体的案例来进行,比如在进行广告人群匹配时,在进行数据分析和数据挖掘上主要是面对着两种数据。一种是广告库数据,主要包含了广告库以及广告的客户信息等。这种数据一般都具有较高的结构性,能够在传统的数据库中进行采集和应用、分析。另外一种数据是客户的后期行为数据。通过对此两种数据的结合分析,有效挖掘其中的有效价值。与此同时,在具体的应用实践过程中,还需要积极发挥第二种信息的作用和价值,这样能够获得客户所需的信息。依靠对群体行为和群体智能的分析,最终形成具体的反馈机制和反馈流程,在此基础上为信息使用者提供优质可靠的数据处理信息,为信息使用者科学决策提供有效的信息和数据支持。
(二)数据的处理与分析过程
在此过程中,一方面要及时更新抽样调查的工作理念。一般情况下,大数据的样本资料都是之前的材料汇总,这就要求在对此数据进行分析处理时应当首先对数据整体进行梳理和了解,并逐步向数据局部进行延伸。同时在对海量数据进行分析处理时还应当解决好调查目标设定不合理、抽样框架不稳定以及样本数量受限制等问题。另一方面,也要进一步提升大数据环境下数据精确度标准。由于大数据环境下数据的来源比较广,数据处理质量和效果也各有差异,因此应当在允许数据之间存在准确度差异的同时提升数据精准度的标准。要在积极吸收各种数据资源的基础上,提升数据处理能力和质量,科学应对数据复杂性和变量关系复杂性等问题。除此之外,也应当围绕大数据中的数据分析,对数据关系的分析重点进行合理转换。既要重视对数据中因果关系的分析和梳理,同时也要重视对事物之间相关性的分析研究,及时转换分析思路,围绕数据分析目标和事物之间关联关系进行大数据环境下的数据分析工作。
三、大数据对统计的影响分析
(一)能够进一步拓展统计学研究领域
大数据环境对于各个研究领域都能够产生比较大的影响,对于统计学也是一样。统计学研究的是客体、客观事物之间的数量关系和数量特征,数量性是统计学研究对象最为主要的特征。由于在传统的统计学研究实践中实验数据和调查数据是最主要的研究数据,因此在大数据环境下,统计学研究对象既包括了之前的结构化数据,同时也包括了非结构化数据,这些非结构化数据不能够单纯地依靠数量关系来加以衡量和表示。这其中就包括了文本、声音、图片、动画等数据信息。从这个意义上讲,大数据环境下统计学的研究领域有了较大范围的扩展。
(二)能够对统计计算的规范性产生影响
按照传统的统计学研究方法,在反应事物量的特征时大都是依靠方差、平均值、相对数等来进行,这些研究方法能够反映出事物之间的界限和关系,并且也能够依靠数据计算规范来反映出具体的数据。不过在当前的大数据环境下,非结构性数据常常难以使用传统的数据计算规范来加以计算。从这个角度上讲,大数据环境下统计的数据计算规范也受到了较大的挑战。
(三)能够对统计的数据整理和分析过程产生影响
统计学中数据审核之前主要是针对数据的完整性和准确性。不过在当前的大数据环境下,数据审核除了要保障原先的数据完整性、准确性外,还应当保证数据审核的速度、效率以及数据预测的准确性等。除此之外,还应当准确确定数据处理的规模,合理确定数据量的级别。尽管大数据自身具有混乱性和不稳定性的特点,但是使用合理的数据整理方法也能够在大数据中有效挖掘出数据之间的隐蔽关系,提升数据挖掘的价值性。因此,大数据下统计研究对象本身具有准确和不准确两种情况,它们分别具有不同的价值属性,一般情况下不需要对其进行删除或者替换。
对于数据存储来讲,之前的统计研究数据存储过程中都是将审核、汇总或者编制的表格、图表等,并将它们进行适当的保存处理。不过在大数据环境下进行数据的保存就还需要重视数据存储成本的管控,并结合自身实际制定规章制度和计划合理确定数据存储的规模和目录。
(四)能够对数据开发和利用过程产生影响
这主要涉及大数据环境下数据的积累、开发以及应用。在传统的数据统计工作过程中,研究者都是围绕自身目标来对相关数据进行分类和汇总,通过存储和提取过程,对数据进行有效挖掘,并在此基础上为后续的数据分析和查询提供支撑。大数据环境下,数据量比较大,只有对数据信息进行适当处理才能够获得其中价值量比较高的信息。正是基于大数据自身的复杂性,统计研究者应当对前期数据进行适当处理。围绕数据的规模和结构、层次等进行合理分类和汇总,在确保真实性的同时提升数据的价值性。与此同时,由于大数据环境下数据具有流动性特点,使得数据本身也具有再生性特征,并进一步增加了数据的价值性。因此有必要针对统计研究中的大数据进行深入的数据挖掘,依靠数据整合提升数据价值性。在数据应用上则主要是针对统计学现象的预测和解释,实现在大数据环境下数据相关关系的预测和分析。
总的来讲,大数据环境不仅改变了经济社会生活,也对统计等相关科学产生了巨大的影响,如何实现大数据环境下的统计研究是统计学领域的重要课题。进一步强化对大数据的理解和把握,重视大数据在统计中的研究和应用,有效分析和挖掘大数据中的价值信息,更好地推动统计学的理论和实践应用。
(次世青、高东宇单位为首都航天机械公司;次青波单位为中国航天标准化研究所)
参考文献
[1] 田茂再.大数据时代统计学重构研究中的几个热点问题[J].统计研究,2015(05).
关键词:大数据;统计学;数据分析;抽样理论;理论
重构随着信息科学技术的高速度发展,当代获取和储存数据信息的能力不断增强而成本不断下降,这为大数据的应用提供了必要的技术环境和可能.应用大数据技术的优势愈来愈明显,它的应用能够帮助人类获取真正有价值的数据信息.近年来,专家学者有关大数据技术问题进行了大量的研究工作[1],很多领域也都受到了大数据分析的影响.这个时代将大数据称为未来的石油,它必将对这个时代和未来的社会经济以及科学技术的发展产生深远的意义和影响.目前对于大数据概念,主要是从数据来源和数据的处理工具与处理难度方面考虑,但国内外专家学者各有各的观点,并没有给出一致的精确定义.麦肯锡全球数据分析研究所指出大数据是数据集的大小超越了典型数据库工具集合、存储、管理和分析能力的数据集,大数据被Gartner定义为极端信息管理和处理一个或多个维度的传统信息技术问题[23].目前得到专家们认可的一种观点,即:“超大规模”是GB级数据,“海量”是TB级数据,而“大数据”是PB及其以上级别数据[2].
一些研究学者把大数据特征进行概括,称其具有数据规模巨大、类型多样、可利用价值密度低和处理速度快等特征,同时特别强调大数据区别于其他概念的最重要特征是快速动态变化的数据和形成流式数据.大数据技术发展所面临的问题是数据存储、数据处理和数据分析、数据显示和数据安全等.大数据的数据量大、多样性、复杂性及实时性等特点,使得数据存储环境有了很大变化[45],而大部分传统的统计方法只适合分析单个计算机存储的数据,这些问题无疑增加了数据处理和整合的困难.数据分析是大数据处理的核心过程,同时它也给传统统计学带来了巨大的挑战[6].产生大数据的数据源通常情况下具有高速度性和实时性,所以要求数据处理和分析系统也要有快速度和实时性特点,而传统统计分析方法通常不具备快速和实时等特点.基于大数据的特点,传统的数据统计理论已经不能适应大数据分析与研究的范畴,传统统计学面临着巨大的机遇与挑战,然而为了适应大数据这一新的研究对象,传统统计学必须进行改进,以继续和更好的服务于人类.目前国内外将大数据和统计学相结合的研究文献并不多.本文对大数据时代这一特定环境背景,统计学的抽样理论和总体理论的存在价值、统计方法的重构及统计结果的评价标准的重建等问题进行分析与研究.
1传统意义下的统计学
广泛的统计学包括三个类型的统计方法:①处理大量随机现象的统计方法,比如概率论与数理统计方法.②处理非随机非概率的描述统计方法,如指数编制、社会调查等方法.③处理和特定学科相关联的特殊方法,如经济统计方法、环境科学统计方法等[7].受收集、处理数据的工具和能力的限制,人们几乎不可能收集到全部的数据信息,因此传统的统计学理论和方法基本上都是在样本上进行的.或者即使能够得到所有数据,但从实际角度出发,因所需成本过大,也会放弃搜集全部数据.然而,选择最佳的抽样方法和统计分析方法,也只能最大程度还原总体一个特定方面或某些方面的特征.事实上我们所察觉到的数据特征也只是总体大量特征中的一小部分,更多的其他特征尚待发掘.总之,传统统计学是建立在抽样理论基础上,以点带面的统计分析方法,强调因果关系的统计分析结果,推断所测对象的总体本质的一门科学,是通过搜集、整理和分析研究数据从而探索数据内部存在规律的一门科学.
2统计学是大数据分析的核心
数的产生基于三个要素,分别是数、量和计量单位.在用数来表示事物的特征并采用了科学的计量单位后,就产生了真正意义上的数据,即有根据的数.科学数据是基于科学设计,通过使用观察和测量获得的数据,认知自然现象和社会现象的变化规律,或者用来检验已经存在的理论假设,由此得到了具有实际意义和理论意义的数据.从数据中获得科学数据的理论,即统计学理论.科学数据是通过统计学理论获得的,而统计学理论是为获得科学数据而产生的一门科学.若说数据是传达事物特征的精确语言,进行科学研究的必备条件,认知世界的重要工具,那么大数据分析就是让数据最大限度地发挥功能,充分表达并有效满足不同需求的基本要求.基于统计学的发展史及在数据分析中的作用,完成将数据转化为知识、挖掘数据内在规律、通过数据发现并解决实际问题、预测可能发生的结果等是研究大数据的任务,而这必然离不开统计学.以大数据为研究对象,通过数据挖掘、提取、分析等手段探索现象内在本质的数据科学必须在继承或改进统计学理论的基础上产生.
统计数据的发展变化经历了一系列过程,从只能收集到少量的数据到尽量多地收集数据,到科学利用样本数据,再到综合利用各类数据,以至于发展到今天的选择使用大数据的过程.而统计分析为了适应数据可观察集的不断增大,也经历了相应的各个不同阶段,产生了统计分组法、大量观察法、归纳推断法、综合指标法、模型方程法和数据挖掘法等分析方法,并且借助计算机以及其他软件的程度也越来越深.300多年来,随着数据量以指数速度的不断增长,统计学围绕如何搜集、整理和分析数据而展开,合理构建了应用方法体系,帮助各个学科解决了许多复杂问题.现在进入了大数据时代,统计学依旧是数据分析的灵魂,大数据分析是数据科学赋予统计学的新任务.对于统计学而言,来自新时代的数据科学挑战有可能促使新思想、新方法和新技术产生,这一挑战也意味着对于统计学理论将面临巨大的机遇.
3统计学在大数据时代下必须改革
传统统计学是通过对总体进行抽样来搜索数据,对样本数据进行整理、分析、描述等,从而推断所测对象的总体本质,甚至预测总体未来的一门综合性学科.从研究对象到统计结果的评判标准都是离不开样本的抽取,完全不能适应大数据的4V特点,所以统计学为适应大数据技术的发展,必须进行改革.从学科发展角度出发,大数据对海量数据进行存储、整合、处理和分析,可以看成是一种新的数据分析方法.数据关系的内在本质决定了大数据和统计学之间必然存在联系,大数据对统计学的发展提出了挑战,体现在大样本标准的调整、样本选取标准和形式的重新确定、统计软件有待升级和开发及实质性统计方法的大数据化.但是也提供了一个机遇,体现在统计质量的提高、统计成本的下降、统计学作用领域的扩大、统计学科体系的延伸以及统计学家地位的提升[7].
3.1大数据时代抽样和总体理论存在价值
传统统计学中的样本数据来自总体,而总体是客观存在的全体,可以通过观测到的或经过抽样而得到的数据来认知总体.但是在大数据时代,不再是随机样本,而是全部的数据,还需要假定一个看不见摸不着的总体吗?如果将大数据看成一个高维度的大样本集合,针对样本大的问题,按照传统统计学的方法,可以采用抽样的方法来减少样本容量,并且可以达到需要的精度;对于维度高的问题,可以采取对变量进行选择、降维、压缩、分解等方法来降低数据的复杂程度.但实际上很难做得到,大数据涵盖多学科领域、多源、混合的数据,各学科之间的数据融合,学科边界模糊,各范畴的数据集互相重叠,合成一体,而且大数据涉及到各种数据类型.因此想要通过抽样而使数据量达到传统统计学的统计分析能力范围是一件相当困难或是一件不可能的事.大量的结构数据和非结构数据交织在一起,系统首先要认清哪个是有价值的信息,哪个是噪声,以及哪些不同类型的数据信息来自于同一个地址的数据源,等等,传统的统计学是无法做到的.在大数据时代下,是否需要打破传统意义的抽样理论、总体及样本等概念和关系,是假设“样本=总体”,还是“样本趋近于总体”,还是不再使用总体和样本这两个概念,而重新定义一个更合适的概念,等等.人们该怎样“安排”抽样、总体及样本等理论,或人们该怎样修正抽样、总体、样本的“公理化”定义,这个问题是大数据时代下,传统统计学面临改进的首要问题.
3.2统计方法在大数据时代下的重构问题
在大数据时代下,传统的高维度表达、结构描述和群体行为分析方法已经不能精确表达大数据在异构性、交互性、时效性、突发性等方面的特点,传统的“假设-模型-检验”的统计方法受到了质疑,而且从“数据”到“数据”的统计模式还没有真正建立,急切需要一个新的理论体系来指引,从而建立新的分析模型.去除数据噪声、筛选有价值的数据、整合不同类型的数据、快速对数据做出分析并得出分析结果等一系列问题都有待于研究.大数据分析涉及到三个维度,即时间维度、空间维度和数据本身的维度,怎样才能全面、深入地分析大数据的复杂性与特性,掌握大数据的不确定性,构建高效的大数据计算模型,变成了大数据分析的突破口.科学数据的演变是一个从简单到复杂的各种形式不断丰富、相互包容的过程,是一个循序渐进的过程,而不是简单的由一种形式取代另一种形式.研究科学数据的统计学理论也是一样,也是由简单到复杂的各种形式相互包容、不断丰富的发展过程,而绝不是完全否定一种理论、由另一种理论形式所代替.大数据时代的到来统计学理论必须要进行不断的完善和发展,以适应呈指数增长的数据量的大数据分析的需要.
3.3如何构建大数据时代下统计结果的评价标准框架
大数据时代下,统计分析评价的标准又该如何变化?传统统计分析的评价标准有两个方面,一是可靠性评价,二是有效性评价,然而这两种评价标准都因抽样而生.可靠性评价是指用样本去推断总体有多大的把握程度,一般用概率来衡量.可靠性评价有时表现为置信水平,有时表现为显著性水平[8].怎么确定显著性水平一直是个存在争议的问题,特别是在模型拟合度评价和假设检验中,因为各自参照的分布类型不一样,其统计量就不一样,显著性评价的临界值也就不一样,可是临界值又与显著性水平的高低直接相关.而大数据在一定程度上是全体数据,因此不存在以样本推断总体的问题,那么在这种情况下,置信水平、可靠性问题怎么确定?依据是什么?有效性评价指的是真实性,即为误差的大小,它与准确性、精确性有关.通常准确性是指观察值与真实值的吻合程度,一般是无法衡量的,而精确性用抽样分布的标准差来衡量.显然,精确性是针对样本数据而言的,也就是说样本数据有精确性问题,同时也有准确性问题.抽样误差和非抽样误差都可能存在于样本数据中,抽样误差可以计算和控制,但是非抽样误差只能通过各种方式加以识别或判断[910].大多数情况下,对于样本量不是太大的样本,非抽样误差可以得到较好的防范,然而对于大数据的全体数据而言,没有抽样误差问题,只有非抽样误差问题,也就是说大数据的真实性只表现为准确性.但是由于大数据特有的种种特性,使得大数据的非抽样误差很难进行防范、控制,也很难对其进行准确性评价.总之,对于大数据分析来说,有些统计分析理论是否还有意义,确切说有哪些统计学中的理论可以适用于大数据分析,而哪些统计学中的理论需要改进,哪些统计学中的理论已不再适用于大数据统计研究,等等,都有待于研究.所以大数据时代的统计学必是在继承中求改进,改进中求发展,重构适应大数据时代的新统计学理论.
4结论
来自于社会各种数据源的数据量呈指数增长,大数据对社会发展的推动力呈指数效应,大数据已是生命活动的主要承载者.一个新事物的出现,必然导致传统观念和传统技术的变革.对传统统计学来说,大数据时代的到来无疑是一个挑战,虽然传统统计学必须做出改变,但是占据主导地位的依然会是统计学,它会引领人类合理分析利用大数据资源.大数据给统计学带来了机遇和挑战,统计学家们应该积极学习新事物,适应新环境,努力为大数据时代创造出新的统计方法,扩大统计学的应用范围.
参考文献:
[1]陈冬玲,曾文.频繁模式挖掘中基于CFP的应用模型[J]沈阳大学学报(自然科学版),2015,27(4):296300.
[3]卞友江.“大数据”概念考辨[J].新闻研究导刊,2013,35(5):2528.
[5]靳小龙,王元卓,程学旗.大数据的研究体系与现状[J].信息通信技术,2013(6):3543.
[6]覃雄派,王会举,杜小勇,等.大数据分析:Rdbms与Mapreduce的竞争与共生[J].软件学报,2012,23(1):32-45.
[7]游士兵,张佩,姚雪梅.大数据对统计学的挑战和机遇[J].珞珈管理评论,2013(2):165171.
[8]李金昌.大数据与统计新思维[J].统计研究,2014,31(1):1017.
【关键字】 大数据 电子政务建设 行动纲要 思想准备 需求创新 技术架构
一、大数据时代电子政务面临挑战与高层需求
1.1大数据时代电子政务面临挑战
《促进大数据发展行动纲要》(以下简称《行动纲要》)是中国启动大数据战略的里程碑,由国务院在2015年8月正式。电子政务如何适应大数据时代的发展要求,对政府部门是一个新的挑战。
构建基于大数据理论与技术的电子政务(以下简称大数据电子政务)将对政府的服务、管理、决策等方面的职能转变与深化改革起到巨大的支撑与推动作用。但是,大数据电子政务的建设涉及思想转换、机制创新、人才结构变化、技术方案选择、推广应用等一系列全新的工作,对建设者是一个很大的挑战。
1.2从大数据电子政务需求角度分析《行动纲要》
《行动纲要》可以概括为五大目标、七项措施、十大工程。它们不仅是大数据时代的社会发展需求,从软件工程角度来看,也是新一代电子政务的目标和高层业务需求。[1]
上述五大目标及高层业务需求是传统信息技术无法实现的,必须采用大数据技术才能实现。
二、目前大数据技术已有积累及发展趋势
2.1大数据技术总体介绍
大数据4V特点是数据量巨大、结构多样、低密度高价值、快速获得结果,由于传统信息技术无法应对,逐步发展起来的全新一代大数据技术。
自2006年左右Google三篇大数据技术及云计算概念提出,10年来大数据技术与产品快速发展。现将主要产品简析如下:
围绕大数据技术核心软件 Hadoop,产生了与其相关的一系列软件,称为Hadoop生态圈。比较著名的有:ZooKeeper分布式协作服务、Hive数据仓库工具、Sqoop关系数据ETL工具、Avro数据序列化系统、Pig数据流处理语言、Flume日志收集工具、Ambari集群监控与管理、Mahout机器学习、Oozie工作流引擎、Hue图形化管理界面、chukwa监控分析。传统应用中需要的很多系统级工具软件基本包括在内。这些都是开源的。
2.2大数据技术发展态势展望
2.2.1开源依然是大数据技术创新发展的基石
全球开发者通过开源社区来进行大数据代码的开发、维护和完善,从而集全球智慧推动大数据技术的不断进步。全球各大企业加大对 Hadoop、Spark 等开源社区的赞助和智力投入,开源技术生态系统不断壮大。[2]
2.2.2大数据平台兼容性与性能快速发展
大数据平台原来SQL不兼容、GB级数据性能不佳等不足已基本解决,分布式内存计算大幅提高处理性能。基于传统数据库的应用会逐步向大数据平台迁移。原来依赖主机高性能、存储高可靠性、高大成本解决方案,在大数据分布式平台中有了更好、更便宜的解决方案。原来觉得困难重重的去IOE行动,在大数据这一全新环境下,居然就顺理成章地解决了。因此,大数据平台在政府行业会有一个快速的普及。
2.2.3大数据生态使系统技术复杂度、应用成本快速降低
Hadoop适应各类低成本硬件(如X86架构),固态盘替代内存逐步流行,计算硬件成本大幅降低。
传统系统环境一般包括服务器操作系统、DBMS、各类中间件、工作流、数据仓库、BI工具、集群及负载均衡、数据交换等,产品厂商各异,技术复杂,采购维护成本高昂。Hadoop商业版打包的生态圈软件,包含了上述产品很大部分功能,复杂性、购置及管理成本大大降低。
阿里云、百度云等互联网企业在自身大数据应用基础上,将其产品和技术向市场输出,很多以云平台及SaaS形式提供,降低了技术复杂性。
2.2.4流技术发展使实时提醒及决策分析得到兼顾
流数据的高速检测及流处理以后马上保存到某个数据库,可以把实时数据、历史数据进行连接,这样,高速查询与迭代分析可以并行不背。例如,在对交通流做实时的检测预警分析的同时,如果在交通高峰期某区域产生拥堵,需要快速分析影响范围,防止出现连锁反应。
2.2.5虚拟化、平台化使得云计算与大数据整合逐步走向完成
基于虚拟化技术的快速发展,象Linux container、谷歌Kubernetes、YARN支持多种计算框架,mesos资源调度核心、docker工具会走向数据中心操作系统。二是Hadoop技术操作系统化、平台化,数据挖掘及展示工具适应性加强。这些助力云计算与大数据终得融合。
三、大数据电子政务建设共同性及难点分析
3.1大数据电子政务的思想准备
大数据的电子政务及社会化应用,将对政府的架构、职能等方面发生深刻的变化,主要将表现为:
3.1.1机构更加扁平化
由于信息化程度,特别是大数据处理能力对决策自动化程度的提高,再加上交通进一步的便捷,机构扁平化、减少管理层次将成为趋势,省管县的模式可能会在更大范围内推行。
3.1.2政府事务性人员降低、专业性要求更高、廉政监督更加严密
政府日常管理中很大一块工作量,就是接受申请、审核、审批等事务,除了服务态度差、部门间推诿、奇葩证明等顽症,审核、审批过程由于主要靠人为判断,流程慢且有很大的寻租机会,这些都严重影响政府形象及公信力。
随着电子政务网上申请、物联网现场监控、部门数据共享等信息化手段普及,备案制推行。政府监管对象的行动、时间及空间移动都会以数字形式被采集、传输、挖掘,原来受限于人力、时间无法做到的事,在大数据时代就是举手之劳或完全自动化,因此事务性处理人员会大幅减少。基于深度挖掘与精准推测技术支持的项目中后期监督、决策事项,不仅流程更加透明,对人员综合素质也更高[3]
同时,每个政府人员不可避免地会受到大数据无远弗届的监管,有来自体制内,也有来自非政府组织、个人的。
3.1.2基于大数据的决策成为政府工作的常规手段
大数据可视化技术使得人们用比数据表格形式更加容易识别、图形化的方式,达到展示浓缩的信息、表达新的知识、作出推荐及预警、行动命令等目的。能够精确、清楚地描述复杂信息,而且富有趣味性、便于阅读。犹如现代医生离不开化验设备一样,不仅政府工作人员日常监管会依赖实时提示、精准推测,政府官员做决策时会越来越依赖大数据的量化分析结果。因此,大数据咨询的机构会获得较大的增长空间。
3.1.4公众参与政府决策、公共事务的手段及水平更高
随着政府数据不断公开和技术发展,“大数据民主”会获得象魔镜这样的大数据供应商支持。公众参与社会事务决策的程度与水平也会水涨船高,对政府决策在深度分析基础上提出他们有数据支持的评判意见。
3.2大数据电子政务的应用阶段及功能类型分析
许多系统都喜欢挂上大数据这个名头,那么,什么样的电子政务才能算大数据应用?电子政务结合功能及数据处理技术上可划分为三个阶段:以事务处理为主的数据库应用阶段,以数据集成及查询分析为主的数据仓库阶段,以预警及预测为主的大数据阶段。宽泛一点说,带有共享、预警、分析和预测四类功能,且数据量接近TB级的系统,都可称为大数据应用。四类功能在大数据不同应用阶段所占比重是不同的。现分析如下:
3.3基于决策过程的大数据电子政务业务创新
政府决策涉及大众切身利益、耗用巨大资源、影响深远,所以,政府最大的节约就是决策的科学性。下面,以连续有限比较决策论代表人物Herbert Simon的决策四阶段划分为基础,通过解析政府最重要的决策过程,提供一个思考路径,大数据电子政务能促进政府职能转换、业务创新。
3.3.1决策前期准备阶段
决策前期准备的信息收集过程中,政府面临信息“稀缺”与“过载”并存的问题。由于部门条块分割,部门之间实现数据交换、共享仍存在不少障碍与困难。另一方面,随着互联网发展,政府工作受到新闻及网络媒体产生的信息洪流冲击,面对这些巨量的毁誉夹杂、真假难分的信息不知如何应对。
《行动纲要》明确了政府数据共享具体要求及时间表,建立具有权威性的政务数据交换制度、机构,减少部门协调成本,提高数据交换的质量,建立对社会的数据公开及购买数据服务等机制,可以有效解决信息稀缺的问题。
应该借助大数据分析工具将网络舆论中内嵌的多重利益和多元价值转化为定量化、可视化的参考信息,在科学的基础上界定决策问题、确定决策目标。[4]
3.3.2多方案设计阶段
对决策目标评估凭经验、缺乏量化分析,这是政府在方案设计阶段存在的主要问题。大数据在这一个阶段可提供很多支持,如:通过舆情分析了解决策目标公众认可度,建立如经济、人口、城建、文化、环保、技术等主题数据库,分析各种方案的适宜性、约束条件,进行方案优化。
3.3.3政策方案选择阶段
目前,方案选择以定性决策为主,依赖领导的经验。随着决策议题日趋复杂化,这种模式急需改进。发挥大数据作用,建立并不断完善政府常见决策类型的分析模型,吸纳定量决策方法的优势,形成定性和定量相结合的综合决策模式。随着大数据技术发展,政府决策也可以象军队沙盘推演一样,直接观地对多种方案在各种参数输入下模拟可能结果。
3.3.4决策执行及反馈阶段
和实施一项政策后,及时收集和评估公众的反映十分重要。由于网络公众舆情构成十分复杂,个体正当意见诉求,纯粹情绪发泄,利益集团诉求,恶性炒作,甚至敌对组织蓄意捣乱。利用大数据语义分析和行为分析等算法,获得大众正当的诉求,了解状态动态变化,对决策模型进行动态测算,有的放矢地调整政府政策,以更好地实现既定的政策目标。要充分利用网络舆论的优势,创新模式,利用其疏导误解、凝聚共识、支持政策实施。
3.4大数据电子政务的架构设计示意
电子政务相当一段时间会采用传统和大数据混合模式,常见系统架构示意如圆图1。
电子政务应用趋势是数据从传统DBMS向大数据应用环境转移,但业务处理及展示层仍会以传统技术为主。
3.5大数据电子政务建设中需关注的几个问题
3.5.1机制及模式创新
大数据应用对数据、业务、技术应用的要求更高,需要适应不断创新的环境,不是非常适应政府常规工作氛围。电子政务大数据应用可以考虑共建、外包、采购服务、政策支持等多种模式,发挥政府应用引领、市场化竞争等不同优势。
3.5.2大数据电子政务建设投资预算原则
大数据技术仍处在一个爆发初期,架构、技术都在不断变化。政府在资源投入方面需要谨慎。总体规划、分步建设、按需投入的原则与大数据分布式技术特性也非常吻合。
3.5.3大数据交换及共享的标准化
国家标准委2007年《政务信息资源交换体系》规范了传统电子政务信息资源的总体框架、技术要求、数据接口规范、技术管理要求,虽与大数据应用有一定差距,但大部分还是可以参考的。应尽快形成政务大数据交换、共享、公开、交易的相关标准与规范。
3.5.4政府数据在交换、抓取、开放方面的趋势
《行动纲要》明确要求政府间数据共享及开放,纵横交叉、市场补充的数据共享模式是一个解决方案。纵向行业数据交换中心由行业上级机构(如部、省级)建立运行,横向区域数据交换中心由当地政府建立并负责运行并对外开放。数据抓取的业务特点比较明显,各中心、甚至单位都会根据具体需要进行。只要有充分的需求,会出现专业数据交易机构,政府通过购买服务获得需要的数据。
3.5.5系统安全及数据隐私
大数据因其影响范围广,安全上应采取更加严格的要求。数据脱敏的法律法规、评估标准、国产化工具的逐步形成,才能促进与保障政府将数据开放,为社会服务,为创新创业服务。
四、大数据电子政务的展望
大数据电子政务的发展将还有一段很长的道路要走,随着数据大量积累及深度分析技术提高,对各级政府在思想、法规、机制、职能、人才甚至政治生态等各方面会带来意想不到的改变。政府管理经验的算法商业化会有一个较快的发展,技术上则要关注政府私有云平台在大数据应用方向的发展趋势。[5]
参 考 文 献
[1] 国发〔2015〕50号《国务院关于印发促进大数据发展行动纲要的通知》
[2] 陈光,大数据发展新趋势,中国建设信息化 2015年第10期,66-67
[3] 安学军,大数据对电子政务的影响及应用,天津科技 2014年,第4期,
【关键词】大数据时代;医院;统计信息管理;策略
一、医院统计信息管理的作用
统计信息管理工作对于医院的运营发展来说有着极其重要的作用,其在具体工作中主要体现在以下几方面:
1.监管医疗质量。通过统计医院在运行管理中的各项相关信息,能够有助于掌握医院在该时间段内的医疗水平,明确掌握在该时期内患者的患病率以及主要患病原因,从而有针对性地制定现阶段的医疗工作方案,增强医疗质量。
2.促进考核管理工作的开展。通过信息统计,能够帮助管理部门有效掌握现阶段各相关科室的工作情况,明确各科室在工作中所存在的问题和不足,以此为依据来开展相关考核管理工作,提高医护人员在工作中的积极性、责任心和规范性,从而促进整体医护工作水平的提高。
3.为决策的制定提供有效依据。随着医改工作的不断深入,医院行业内的竞争也越来越激烈,只有通过准确及时的信息才可以有效掌握医院在各个阶段的运行情况,从而制定出有针对性的发展策略和发展方案,保证医院的健康发展,增强自身竞争力。
4.整合医院资源,提高资源利用率。通过统计工作,能够更好掌握当下医院内部所有人力、物力资源的情况,从而找出医院在资源配置方面所存在的问题和不足,制定更加切实有效的资源配置方案和配置计划,提高资源的利用率。在具体工作中,对于人力资源的统计,主要是针对当下医护人员的技术能力、工作情况、资质等相关信息数据,以此来协调各个科室内的医护人员配置,避免在部分科室出现医护人员较多,无法得到充分利用的情况,将医护人员的利用率最大化。而对物力资源的统计则有助于掌握各项设备仪器材料的使用情况,及时更新补充所需要的仪器设备材料,并做好对仪器设备材料的有效管理,找出在日常使用中所存在的材料不合理使用或者仪器设备闲置等问题,及时调整相关采购计划和使用计划,避免仪器设备材料的浪费,有效控制相关成本。
5.完善医疗体系。通过分析研究信息统计数据能够更好地分析和掌握当下医院在运行管理中所存在的缺陷缺点,从而为医疗体系的完善和优化提供良好依据,不断完善医疗体系,不断增强医院的临床医护服务水平。
二、医院统计信息管理存在的主要问题
(一)缺乏对信息统计管理工作的重视。在现阶段的医院统计信息管理工作中,有相当一部分医院都缺乏在这一方面工作的重视。首先,在人力资源配置方面,缺乏必要的专业人才,并且现有工作人员在能力素质方面也相对较差,信息统计的效率和准确性都亟待提高。其次,在当下管理结构体系建设方面也缺乏必要的重视,管理体系相对比较随意和混乱,统计信息管理工作流于形式,难以发挥应尽的作用和责任。
(二)管理技术落后,存在安全隐患。当下虽然大部分医院都已经构建相应的信息化管理系统,但是没有做好各相关系统之间的串接,所以在信息全面统计和共享方面存在一定的问题,影响了医院信息统计管理工作的效率和质量。统计信息在医院日常经营管理中发挥着极其重要的作用,需要通过统计信息来做好对临床诊断、药物使用等方面的工作的开展,对于数据的时效性和准确性都有着非常高的要求。并且由于在现阶段基本都是采用计算机来进行相关信息统计工作的开展和信息统计数据的处理保存,所以统计信息管理系统自身在安全性方面也存在较大问题,比如木马病毒、黑客入侵、工作人员行为不规范等等,都会导致统计信息数据的丢失或者泄露。一旦出现信息数据的泄露或者丢失,都会严重影响医院的发展,并且还有可能导致严重的医患纠纷。
(三)统计信息利用率较低。医院统计信息管理的作用是为了帮助医院更好开展内部管理工作,制定切实有效的发展策略和发展计划。在此过程中必须做好对相关统计信息结果的有效分析,只有这样才可以将这些信息数据背后所潜藏的价值挖掘出来。然而在当下对于统计信息并没有充分利用,整体利用率较低,数据的时效性较差,难以满足现阶段工作的需求。并且相关统计信息管理人员自身也缺乏这一方面的意识,没有做好对信息数据的挖掘,导致统计信息管理工作流于形式。
三、大数据时代医院统计信息管理工作的有效途径
(一)增强信息化意识,明确信息管理目标。为了更好促进医院统计信息管理工作水平的提高,在现阶段医院管理层需要正确认识信息化管理的重要性和价值,强化医院内部的信息化建设和信息化管理,明确当下信息化管理的目标和目的,学习和引进先进的管理理念,并结合自身实际情况积极开展相关信息化建设,不断促进统计信息管理工作效率和质量的提高。
(二)增加基础设施建设力度,不断提高信息化水平。在大数据时代,医院统计信息管理工作必须在时效性和准确性方面得到进一步提升,而这都需要建立在相应基础硬件设施和软件设施的基础之上。因此医院需要结合自身实际情况强化在基础设施方面的建设,投入足够的人力物力,(下转第60页)构建信息化的统计信息管理部门,引入先进的计算机设备、软件程序、统计分析系统等等,为统计信息管理信息化工作的开展奠定良好基础。
(三)完善统计指标体系,增强信息利用率。医院统计信息管理工作的任务不仅仅在于对各项相关信息数据的采集和储存,更需要做好对相关统计信息的分析研究,挖掘信息数据的内在价值。在以往的信息统计管理工作中由于技术设备等方面的限制,难以实现对海量医院信息的统计分析,但是通过应用大数据技术,就可以实现对信息数据的深入挖掘和高效处理。因此为了实现这一目标,就必须制定相应的统计指标体系,指导和规范相关统计工作的开展,及时评价和评估相关工作的质量,明确工作中所存在的问题不足,并将分析得到的结果储存在信息数据库中,通过数据库来实现对这些问题不足的高效处理。在此过程中大数据技术所发挥的作用是极其重要的,它能够实现对各项相关数据信息的整合分析,深入挖掘这些数据背后所显示出的问题。
(四)增强风险防范意识,保障系统安全运行。大数据技术的应用离不开计算机技术、互联网等的支持和参与,所以在具体的统计信息管理工作中,非常容易受到各种网络风险的影响,例如病毒、黑客入侵,因此在当下必须具备相应的风险防范意识,根据具体情况,合理采用相应的防火墙和安全防护技术,有效阻挡病毒黑客的侵袭侵入。同时还需要做好对相关工作人员的规范管理,制定合理科学的工作流程要求和管理要求,指导工作人员的工作,规范工作人员在信息统计工作中的行为,避免因为工作人员行为不规范而导致信息数据出现泄露或者丢失的问题。
四、结语
【关键词】大资管大数据应用
一、“大资管”背景介绍
2012年以来,国家监管部门推进了一系列市场化改革措施,逐步打破了银行、券商、保险、基金、信托、期货等各类资产管理机构之间的竞争壁垒,形成了相互交叉、跨界竞争、创新合作的发展态势,“大资管”时代正式来临。在“大资管”背景下,商业银行将加快推进资产管理业务向“代客理财”的资产管理本质回归,逐步改变目前部分理财业务成为资产负债调节的附属工具、理财产品成为存贷款替代产品的现状,真正向为客户切实提供价值增值的资产管理本源转变,进一步获得相对独立的业务发展地位。
二、“大数据”介绍
2011年5月,麦肯锡首次提出大数据(柴洪峰,2013)。一般认为,大数据就是规模巨大、结构复杂,采用传统数据处理方法无法很好地在合理的时间和成本范围内进行存储和处理的数据。大数据的产生主要源于数据的爆发式增长,其核心理念是一切皆可数据化。
中国银行业正在步入大数据时代的初级阶段。经过多年的发展与积累,商业银行的数据量已经达到100TB以上级别,且非结构化数据量还在以更快的速度增长。商业银行在大数据应用方面具有天然优势:一方面银行在业务开展过程中积累了包括客户身份、资产负债情况、资金收付交易等大量高价值密度的数据,这些数据在运用专业技术挖掘和分析之后,将产生巨大的商业价值;另一方面商业银行具有较为充足的预算,可以吸引到实施大数据的高端人才,也有能力采用大数据的最新技术。总体看,正在兴起的大数据技术将与银行业务呈现快速融合的趋势,给未来银行业的发展带来重要机遇。
三、“大资管”时代商业银行对“大数据”的具体应用分析
(一)挖掘客户需求、促进产品创新方面
在“大资管”时代,由于打开了混业经营的大门,牌照管制放宽、投资范围扩大、相关限制减少,各类资产管理机构不再被限制在特定的业务边界内,业务范围不断扩展并交叉,资产管理领域的竞争更趋激烈。在这场竞争中,谁能率先开发出切实满足客户需求的产品,谁才能获胜。因此紧跟市场和监管变化步伐、贴近客户需求的产品创新,是资产管理业务快速发展的关键推动力。而大数据可以有效记录客户的金融资产持有和使用等信息,商业银行可以在分析客户投资行为模式的基础上,将客户行为转化为信息流,从中分析客户的个性特征和风险偏好,更深层次地理解客户的投资习惯,智能化分析和预测客户资产管理需求,从而为产品创新奠定基础,提高产品的差异化水平。
应用案例:2012年年中,光大银行面向全行财富客户和私人银行客户推出了其自主研发的阳光理财・资产配置平台(AAP)。截至2014年3月25日,AAP平台直接和间接促成的理财产品、代销基金、代销保险和其他产品的销售总额达到84.28亿元,其中通过AAP平台直接促成的销售额为28.73亿元,基于AAP平台生成的财富管理报告书达成的销售额为30.81亿元,预估通过门户网站达成的销售额为24.75亿元。据了解,AAP平台通过对海量、真实的客户信息进行分析,形成15类客户投资偏好;然后在产品端进行跨部门整合,创建了以客户需求为分类导向的产品库,再辅之以客户经理的微调建议,形成了基于客户个性化投资偏好的金融资产最优配置比例建议。目前,AAP平台不仅能够根据客户需求提供合理、个性化的资产配置建议,还能够对客户的持仓资产进行持续跟踪,根据宏观市场环境变化动态调整资产配置方案。
(二)实现客户细分、提升营销效率方面
“大资管”时代,资产管理行业为投资者提供了全方位、多层次、差异化的投资产品和投资渠道,掀起了全民理财的浪潮。为此,甚至有媒体把大资管解释为“大众资产自主管理”。面对众多的投资者群体,如何迅速、准确、主动地为其匹配投资产品,将成为制胜关键。商业银行须以客户需求和客户体验为中心,根据大数据分析了解客户的资金水平、投资偏好等信息,并以此为基础进行客户细分,从而帮助银行将最合适的产品服务推介给最需要的客户,变被动营销为主动营销,化同质营销为差异营销,提升银行的营销精准度和交叉营销率。
应用案例:2013年6月份,10万经过挑选的平安微信服务账户的用户收到了平安银行主动推送的贷款产品的信息。约有1万人打开了并阅读了这条信息。在此之后,平安银行接待了2000人左右的电话询问,他们都是通过这一条微信信息反向联系银行。平安银行借助其在银行、证券、保险跨业经营的优势,通过“一账通”产品将客户在信用卡、房贷、寿险、车险、基金、信托、证券等方面的信息进行整合,使得客户的习惯和需求得以通过数据更精准的描述,再运用“大数据”技术对客户进行细分,实现了银行产品的精准营销。
(三)甄别投资风险,优化资产配置方面
“大资管”背景下,商业银行为满足客户多元化投资需求,将不断扩大投资范围,资产管理业务的复杂性进一步增加,投资交易、产品设计等环节蕴含的风险因素也在不断积累,客观上要求商业银行持续优化风险管理工具、增强风险评估能力,有效控制资产管理业务的市场风险和产品风险。对风险管理来说,最重要的就是能否事先发现风险苗头,提前采取应对措施,防止潜在风险演变为事实风险。而大数据最核心的应用在于预测,为商业银行提前研判风险提供信息支持。如银行在配置资产端的资产时,可以通过大数据分析,综合资产端客户的资产负债、支付以及流动性状况,对资产端投资对象进行全面评估,提高对外投资的精准度,降低投资风险。
应用案例:Thasos Group是美国一家初创对冲投资公司,据其首席科学家潘巍,该公司是目前唯一一家使用大数据投资的对冲基金,而且收益率超过非高频交易之外的对冲基金平均交易水平,而他们之所以能够表现优异,就是缘于对大数据的科学和充分运用,通过这些数据的挖掘来准确判断美国消费者的行为,进而了解美国宏观经济运行的趋势,从而做出正确的投资决策。
四、商业银行大数据应用建议
(一)加强数据的整合和数据应用平台的开发
大数据运用的关键在于有大量有效且真实的数据。一方面商业银行可以考虑搭建自有的大数据平台,掌握核心数据的话语权。目前,已有部分银行开始谋划布局。譬如建行打造的电子商务平台“善融商务”已于2012年6月正式上线,业务涵盖电子商务服务、金融服务、营运管理服务、企业社区服务及企业和个人商城。在为客户提供增值服务的同时,获得客户的动态经营信息和消费习惯。另一方面还要加强与电信、电商、社交网络等大数据平台的战略合作,建立数据和信息共享机制,全面整合客户有效信息,将金融服务与移动网络、电子商务、社交网络等密切融合。
(二)加快数据分析队伍的建设
大数据时代面临客户关联信息越来越丰富,客户关联的信息种类和信息量呈现爆发式增长,如何理清这些关联关系,将大数据得到的结论和行业的具体执行环节一一对应起来,给客户提供有针对性的销售和服务,对数据分析人员提出了更高的要求。数据分析人员不仅要有较高的业务理解力,而且还要有很强的数据建模、数据挖掘技术能力。因此,人的因素成为制胜关键,必须加快适应大数据时展的人才队伍建设。
参考文献
[1]娄飞鹏.商业银行应用大数据优化经营管理策略研究[J]南方金融,2014年第05期.
[2]谢利,光大银行:“大数据”推动银行业务创新[J]金融时报,2014年08月01日.
[3]迟慧,大数据时代商业银行创新之道[J]新金融世界,2014年第10期.
[4]楼文龙,银行资产管理业务发展趋向[J]中国金融,2014年第20期.
1.1计算机信息处理技术的定义
计算机信息处理技术在现代办公与企业管理数据中扮演着极其重要的角色,它是将数据传输,信息分析、处理、使用等技术结合在一起,从而更方便快捷的管理数据信息。计算机信息处理技术涉及领域很多,它以计算机技术为核心,还包括传感、微电子、通信工程、网络工程等先进的科学技术。在现今尤其是企业管理数据处理与现代化办公中得到了充分的利用,逐渐成为人们日常办公生活的一部分,员工在专业设备帮助下可以合理安排工作,把人与硬件、软件三者相结合,极大程度上提高了办公效率,计算机信息处理技术在数据库与计算机技术的支持下,通过数据处理系统,根本上改变了传统的办公模式,产生了非凡的影响。
1.2大数据的概念
从字面意义来讲,大数据即数据量极其庞大的数据,这不仅仅局限于数据信息量的巨大,还包括数据信息的复杂化、产生信息的多样化与数据信息的重复化。随着当代社会虚拟数据化快速且不断的发展,大数据是现今社会的必然产物,与传统计算相比,大数据有很多优势,例如大数据拥有低廉的成本,高比率的资源利用率,规模大,速度快等特点。而大数据数据量庞大,从而产生数据冗杂与各种数据之间复杂的关系。在生产与生活中,大数据可以把所有的活动用数据记录存档,这是其核心。分类分析、遗传算法、机器学习、遗传算法等都是大数据的关键技术。大数据具有超前的决策能力与洞察能力,相较传统数据软件有其可望不可即的数据处理能力,符合了物联网与计算机发展的需求,极大程度上对社会发展与人们生活习惯产生变革性的影响。《华尔街日报》认为大数据与智能化生产、无线网络革命并称为引领未来繁荣的3大技术变革。在大数据时代,对于用户群体来讲,“云”是很多人再熟悉不过的系统,蜂拥而至的各种IT云盘、云照片、云音乐等提供几乎无限的互联网资源,利用虚拟数据,便于用户在随时随地分享云资源,从最早的电脑,到普及的平板与手机,只需要网络与大数据“云层”,就可以告别之前原始的操作。
2大数据时代计算机信息处理技术的机遇与挑战
2.1面临的机遇
2.1.1数据挖掘与应用创造出更多的产业价值
数据挖掘即通过分析每个数据,从大量数据中寻找其规律的技术。数据挖掘一般由3个阶段组成:数据准备、规律寻找与规律表示。数据的挖掘有利于提高决策。很多企业在把庞大的数据集中后,碰到“数据海量、信息缺乏”的通病问题,这就在数据准备阶段遇到难题,大多数事物型数据库仅有数据录入、查询与统计这些比较简单但是低层次的功能,无法从冗杂的数据中快速准确地提出有效的信息,进而更无法通过数据总结出更有价值的信息,这样就无法发现目标规律并且表示出这种规律。如果能及时准确地对庞大的数据进行到位的分析,就可以获得一些隐藏在数据背后的信息,比如目标群体在该领域的行为习惯、兴趣爱好,通过专员来为该群体“私人订制”,做出合理的决策与对应措施,提高工作效率与企业核心竞争力。例如在用浏览器检索某词条时,键入某些关键字后,就会跳出该关键字前缀与后缀的词组选项,甚至只打出关键字汉语拼音第一个字母都能够检索到该词条,这就是浏览器通过大量网民的“行为轨迹”数据进行记录与挖掘分析的基础上,总结出搜索者的共性习惯行为,大大提高了检索速度,从而让更多的网民不约而同地使用该检索网站。
2.1.2带来了物联网与云计算的新形
势物联网是当今社会通信系统、信息传播、计算机技术等高新技术集中的精华。作为新兴产业的重要内容,它普及应用在信息与网络成熟的系统工程中。大数据时代下,物联网衍生出很多新型的产业,信息化的养老系统完善,人民群众基本IC一卡通的普及,方便且多功能的电子钱包的应用,过年取代传统的现金红包而火热流行的电子红包等等都是从以人为本为出发的核心,切切实实地充分利用大数据与云服务的功能。新形势下,云服务的浪潮是几乎不可避免的。云计算是通过把数据聚集起来,在云平台与各种电子设备进行数据交换,上传下载用户所需要的信息。在新的政策环境下,云计算的服务能力得到了增强,大力推进了云计算的发展;云计算自主创新能力包括自身的创新能力与计算机信息处理技术发展与云计算相结合能力也大大增强。
2.2面临的挑战
2.2.1信息安全的要求更高大数据时代下
网络越来越普及,信息安全问题就日渐重要,无论是大型企业的信息安全还是每个网民个人信息安全都格外重要。在进行网上冲浪与网购的时候,就必须注意网络信息,甄别信息的真假,稍有不慎,通过钓鱼网站,个人隐私被入侵,信息就会落入不法分子手中,造成信息安全问题进而产生人员与财产的损失。毫不夸张地说,在当前条件下,谁要掌握信息供给网络,谁就拥有整个世界。所以,国家应该建立更完善的法律;相关机构可以通过应用来牵引相应的安全的技术发展,充分发挥自身优势;个人也应该注意保护私人隐私,避免不必要的损失。
2.2.2需要专门的人才大数据时代下
既需要技术人才更需要管理人才。大数据时代是技术的时代,技术型人才自然炙手可热。而人才的培养需要一定的周期,对于这种新兴的产业,人才缺口自然较多。相对于技术型人才,管理型人才更为紧缺且重要,政府和企业的领导者,也要有意识地转变思维方式,学习用数据思考、说话和管理。在飞速发展的社会中,经验主义会成为大数据时代的束缚。比如,很多管理者抱怨“90”后员工无法使用过往的激励方式来鼓励,相对来讲,下级与上级、同事与下属沟通不畅,这都是各自成长环境所影响的。管理者们需要不断更新自己的数据库,学会用大数据的方法,随时去找到合适的解决方法,这些都是需要漫长的演变过程。
2.2.3数据价值分析更为重要大数据的实现在于分析
拥有大数据并不是企业与政府的目的,其目的是从这些数据中了解真实的信息,决策者通过数据进行真正合理的管理、决策、检测、评价,并在生活中产生价值。对海量数据分析早已成为企业、政府的迫切需求。大数据下数据冗杂、繁多,数量十分巨大但是密度却较低,这就容易出现很多无用的信息与挂羊头卖狗肉的虚假信息,需要逐个筛选鉴别,这是一个十分艰难且巨大的系统工程,并不是一般的个体或者企业能胜任的任务。大数据的分析需要一个漫长原始数据的积累,例如百度的词条检索,是经过上亿网民不断检索积累才造就了如今的智能检索;同理,亚马逊上拥有美国所有生活必需品,因此它可充分掌握美国消费者的原始数据,做出的判断就有权威性与预测性,甚至可在某时期向特定商家订购特殊性商品,并且能保证热卖,这都是根据亚马逊有巨大的数据源,常年累计分析推测出来的。
3大数据时代计算机信息处理技术的发展方向
相对于传统小规模的单一数据形式,大数据通常具有数据规模大、数据机构复杂等特点,各种数据间形成的相互关联的结构,增加了数据处理的难度,而当前的计算机信息处理技术很难胜任大规模复杂结构数据的处理需求,这就需要一种新的数据服务网络来提供更加高效、快捷的服务。此外,大数据时代的到来,带来了机遇,也带来了更多的风险,因此,安全性也是未来计算机信息处理技术发展的方向之一。
3.1计算机网络朝着云计算网络发展
云计算网络发展离不开已经成熟的计算机网络,计算机网络是其必要的基础,两者缺一不可。计算机网络发展离不开计算机硬件的不断更新换代,然而就目前来讲在大数据时代,常规的计算机硬件已经不能够满足如此巨大的数据处理需求,常规计算机数据处理架构也存在诸多问题,最突出的是新应用的数据需求已经超过目前计算机硬件所能提供的上限。在大数据时代背景下的今天,与网络发展步伐相比,计算机硬件的发展速度远远落后;与此同时,当前传统的计算机网络技术是建立在硬件基础上的静态模式,这种模式没有及时快速地响应当今瞬息万变的网络与应用发展的弊端显露出来,由此应运而生出类似于数据中心这种将现有的网络转变成可编程的基础设施。随着云计算网络不断发展,企业与政府对网络的需求,不仅仅局限于简单的网络中心,把目标转向类似于开放式传输这种快捷,更符合大数据时代的网络方式。网络软件有着计算机软件缺少的灵活的编程性与回应性等重要的优势,因此云计算也逐渐转变为互联模式,即云计算网络。该技术拥有更多信息储存能力同时具备完整服务器运行计算与数据处理能力。避开了计算机处理数据信息速度慢、效率低的问题,并能及时反馈。凭借着云计算网络完善与发展,计算机信息处理技术将更加快捷、高效率,应用也会越来越丰富、普及。
3.2计算机安全信息技术进一步发展
在大数据时代,整个数据系统是通过网络相互连接的,个人电脑的数据存储将通过互联网共享到计算机网络平台。而网络本身是一个开放性的平台,任何人都可以随时随地地从中获取自己想要的信息,在大数据时代,犯罪分子通过对海量数据进行分析,能够较容易地获得商业机密或个人信息,这就必然涉及到数据的安全问题,因此,安全性也将是大数据时代计算机处理信息技术发展最重要的方向之一。大数据时代计算机信息安全技术不再建立在某个单一形式的数据安全管理上,而是对整个数据关联结构进行系统管理,从整体上提高数据的安全水平。因此,传统的计算机信息处理安全软件已经无法满足大数据时代安全管理工作的需求,开发新的安全技术软件、构建新的计算机安全体系显得尤为重要,这也在一定程度上促进了计算机安全信息技术的发展,推进信息安全技术向前发展。
4结语
关键词:大数据时代 税收管理 挑战 建议
一、大数据时代背景下我国税收管理面临的挑战
(一)海量涉税信息的整合工作不到位
随着我国网络技术的不断发展,在税收管理中应用互联网技术已经成为了未来税收管理的发展趋势。目前,我国的税收信息化建设取得了一定的成果,但是,与互联网技术的发展相比,依然存在很大的差距。主要表现为以下几点:第一,对税收系统内部存在的各种信息进行整合的力度不足。我国针对税收管理,建立了多个系统,有综合征管系统、出口退税系统以及行政办公系统等。这些系统中存储的信息较为分散,我国对这些系统中存储的信息进行整合的力度不足,严重影响了税收管理工作的工作效率;第二,对智能化的管理信息系统了解不足。在企业管理中应用信息化技术,已经是当今企业管理的主流。很多企业使用高度智能化的信息系统存储企业的信息,税务部门的管理人员对这些系统不了解,不能在这些系统中取得相关的数据,只能要求企业提供数据。税务管理人员不能掌握第一手的企业信息,也不能通过查看企业存储的数据发现问题,对税收管理工作的发展有着不利的影响。
(二)无法及时监控并应对涉税舆情事件
随着网络技术的快速发展,计算机在人们的生活中被广泛的应用。人们可以通过计算机,查看身边发生的每一件事情,网络已经成为了各类信息的收集地和舆论的放大器。目前,我国人们越来越关注税务问题,尤其是有关国有企业的税务问题,更是人们关注的焦点。网络具有快速传播的功能,与政府有关的信息,尤其是税务信息,传播的速度更快,面对这样的情况,税务部门必须提高处理涉税事件以及化解舆情危机的能力。
二、对大时代背景下实行税收管理的建议
(一)树立大数据思维
在大数据时代背景下实行税收管理,不仅需要使用数据技术进行税务的管理工作,更要树立大数据思维,以大数据的观念去认识税收管理工作,这样才能推动税收管理工作的现代化发展。树立大数据思维,可以从以下三个方面入手:第一,要全体,但不要抽样;第二是要效率,但不要百分百的精确;第三,要相关,但不要因果。在大数据时代下,数据信息多种多样,因此,对任意数据信息进行全面详细的分析,是很难实现的。在这样的情况下,需要做到以下三点:第一,全面的接受信息,第二,对信息进行快速的分析,第三,根据分析的结果提出最佳的解决方案。这才是大数据时代背景下税收管理应对挑战的方法。
(二)做好大数据的分析工作
在大数据时代下,数据信息数不胜数,在众多的信息中挑选出有用的信息,是一项很艰难的工作。面对这样的情况,税收管理部门可以根据大数据的特点,在税收管理中应用信息化的手段,对大数据进行有效的分析。对大数据进行分析,可以从两个方面入手:第一,对数据进行全面的整合。在传统的税务管理中,数据信息的收集是工作的重点,但随着大数据时代的来临,数据信息的收集工作远比数据分析工作简单,因此,税务管理部门应该将工作的重点转移到数据的分析工作上,通过对数据的详细分析,促进税收工作的发展;第二,对数据进行深度的分析。在数量庞大的涉税信息中,很多数据之间有着千丝万缕的联系,但是,这些数据信息之间的联系并不是轻易就可以获得的,需要税收管理人员对数据信息进行深度的分析,才能找到数据之间的联系。
(三)对税收管理部门的业务模式进行创新
传统的税务管理模式,已经不适应当今社会的发展需求,对税收管理部门的业务模式进行创新,是势在必行的。在税收管理中,可以将大数据技术作为税收管理的手段。在传统的税务管理中,审计抽样是常用的税收管理手段,但随着大数据时代的来临,这种手段已经落伍。新型的税收管理手段是利用大数据技术开展审计工作,运用大数据技术,对企业中的涉税信息进行全面的收集,然后对其进行深入的分析,这种新型的业务模式,可以提高税务审计工作的效率,促进税收管理工作的发展。
三、结束语
综上所述,在大数据时代背景下开展税收管理工作,会遇到海量涉税信息的整合工作不到位等问题,这些问题的存在阻碍了税收管理工作的发展,但只要解决了这些问题,就能够提高我国税收管理的质量以及工作的效率,从而推动我国税收管理快速实现现代化的目标。
参考文献:
[1]彭骥鸣,曹永旭,韩晓琴等.大数据时代税源专业化管理面临的机遇与挑战[J].税收经济研究,2013(6):21-24
[2]彭骥鸣,陈爱明,韩晓琴等.大数据时代强化税收风险管理的思考[J].税收经济研究,2014(5):28-35
关键词:大数据时代;财务分析;财务指标
互联网迅速发展的大数据时代,财务分析的内涵和外延都在不段扩展,如何利用蕴藏在海量财务数据背后的宝贵信息,为企业管理者经营决策提供科学依据是当下很多企业财务分析需要进行攻坚的难题,因此放弃固守报表核算和报表分析这一传统思路,实现从“事务型”向“经营管控型”的转变是具有重要的理论与实践意义的。
一、大数据对财务分析的影响
大数据也被称作巨量资料,它是一种需要新的处理模式才能够让企业拥有更加强大的决策能力和洞察能力的信息资产,一般分为四个层面:数据收集与存储层;数据整合与加工层;知识发现层;应用层。大数据的引进,衍生出财务共享服务模式的出现,使财务从集中式向共享式变化,扩展了财务管理的方式。正确的大数据为财务分析在提供宏观经济数据上的支持集中表现在以下三方面。
(一)为战略分析提供有力的保证
利用大数据分析,不仅可以从产品服务的经营模式入手,还可以从市场发展潜力,产品品质,员工积极性,创新能力,顾客满意度,产品寿命周期,价值链等多方面进行分析。通过在此之上获知的分析数据,可以及时把公司的战略转化为政策,把公司的意志转化为行动。
(二)通过对财务管理信息的挖掘与扶持,建立企业数据库
随着计算机的不断发展和数据挖掘技术的兴起,越来越多的传统行业将受到信息化的“洗礼”,从海量数据中提取有意义的关联规则或其他隐藏信息,再对企业信息化进程中获得的海量财务数据通过分析对象,数据采集,数据预处理,特征提取,数据挖掘等手段来进行分析并加以运用,为企业搭建出有效的数据库。
大数据可以借助数据库内部信息系统,按收入分布和消费阶层来开发出针对性的产品,促进企业产品的销售,也可以多维度对产品销售收入、利润分析、存货进销存分析及区域差异化进行分析,并能为企业的快速发展控制风险,为经营战略提供数据扶持。
(三)提升财务管理信息的准确度
传统财务使用的是“漏斗式”记账方法,会计人员在记账时只是将原始凭证中的结构化信息转记到记账凭证上,因而过滤了很多非结构化的重要信息,而这些非结构化的信息由于受制于技术限制,有些与决策相关的数据并没有受到应有的重视,或者由于数据分类标准的差异,导致数据整合利用难度大,效率低。但运用大数据可以使大量财务管理数据的准确性得以提升。正确的大数据为财务分析提供宏观经济数据上的支持,不但可以衍生出财务共享服务模式,而且使财务从集中式向共享式变化,扩展了财务管理的方式,使财务分析思路进入多车道模式,为企业管理者经营决策提供科学依据。
二、传统财务分析面临的主要问题
(一)财务分析者只注重财务处理能力
很多财务分析者因为是财务出身,所以只偏重于财务处理能力的提高,并不清楚企业经营环境及采用的经营模式,那么进行财务分析得到的分析报告可能会产生歧义。在这种错误的不正确的信息导向下,决策者也绝对不可能制订出正确的、有效的经营决策。因此,在不掌握具体经营方式前提下所进行的财务分析都是徒劳并且毫无意义的。
(二)会计分析方法造成的差异
会计准则允许企业采用不同的会计方法,而不同的方法就会产生不同的财务结果。在比较不同的企业时,必须考虑到会计方法上的差异所带来利润表的不同。第一,会计政策运用上的差异。企业在不同会计年度间采用不同会计方法以及不同企业以不同会计方法为基础形成会计信息,均会使信息具有的可比性造成极大影响。例如:装修费作为长期待摊费用处理,年限是否妥当;固定资产计提折旧年限是否有差别等等。第二,会计数据的自身局限制。会计工作是基于一系列假设的前提而进行的,前提受主观因素的影响较大。例如:大量的预收账款的存在,是否有提前确认收入粉饰报表的可能;发出的存货的计价方法变更是否会影响到营业成本的确认;子公司和关联方是否会对公司利润产生影响等等。
(三)财务运用比率分析法的缺陷
财务比率分析只是一种评估企业业绩的手段,而不是能解决企业所有的管理问题。单个比率是无法提供关于整个企业所有的相关信息,因此,必须计算一组财务比率,然后才能对企业进行适当的评估。合理选择比率取决于该企业所属行业的特征。即使采用多项比率来衡量和预测一家公司的业绩,如果不与行业平均值和竞争对手比较,也无法得出有用的结论。此外,财务比率是计算的结果,如果没有仔细的解释和其他额外的非财务信息,这些比率本身是无法揭示企业所面临的实际问题。即使可以通过这些比率来识别企业的潜在问题,财务比率也无法提供有效的解决方案。
(四)财务分析报告形式单一
现阶段管理会计提出的报表分析依然停留在传统“事务型”状态,注重事后分析,忽视事前、事中管控。因而分析出来的财务报告对于后续的溯源分析一筹莫展,只能粗略地进行定性判断,财务分析报告形式单一,无法给管理层做出决策性指引。因此,要针对企业所处时期,针对不同的服务对象(投资者,债权人,管理者不同的利益主体需要的财务分析目的是不同的)采用对应合理的分析方法来实现财务分析的多元化。
三、大数据时代下改进财务分析的对策
(一)培养财务分析专业人才
财务分析者一定要对整个企业经营生产活动有全过程,全方位的了解和把握。从事财务分析的人员,不仅要精通企业财务会计的原理,方法及相关的政策法规,而且要全面掌握现代企业经营管理知识及应用数学、概率论、统计。最为重要的一点是让财务分析者下基层锻炼,全面参与公司各个环节的业务过程。但因财务人员毕竟不是业务人员,其只需要做到掌握业务循环中的关键控制点,学习在基于关键控制点上协调考核指标及控制流程即可。
(二)提升会计分析数据的准确度
会计分析是在进行财务分析前的一个重要环节。会计分析的目的是评估企业的会计数据其所反应的经营业务程度。如何判断企业是否存在会计数字的扭曲,并能迅速还原真实面貌,提炼出未加工过的数据,最好的方法就是通过关注会计报表的附注所披露出的细节充分认识公司使用哪种会计政策和会计估计。与此同时要在财务报告中引用预计值,不同企业间的比较需要进行必须的调整。
(三)引入非财务数据构建新的财务分析方法
财务分析的目的在于为进一步调研和寻找解决方案提供基础信息,分析方法不能只对报表数据进行反映,引入非财务数据分析方法至关重要。现阶段,报表展现的只是企业经济资源的一部分,列入报表的往往是可以利用的,可以用货币计量的硬性资产,但对企业的人力资源,大量知识资本和知识产权的无形资产,优质客户群体,以及通货膨胀等因素的影响均没有在报表中予以反映出来。而这些信息一般会在会计报表附注中体现。适当增加报表附注,特别是披露大量表外信息,会计信息系统终端产品的财务报告“增容”势在必行。此外,政府应出台相应会计准则加以规范,同时独立审计工作也要随之改进,拓展审计范围,增加对前瞻性信息的审计。
(四)不同的发展阶段要确定不同的分析重点
不同的阶段要有不同的关注目标,这就需要采用合理的方法实现财务分析的多元化。公司成立初期,财务分析主要围绕行业及企业战略、远景进行具体规划,进行本行业主要竞争对手及产品分析的资源整合,把企业战略落实到实际经营层面。随着企业战略定位日渐清晰,其重点业务开始转向发展财务架构,配合业务组织结构去搭建,经营分析及风险控制要逐步提上日程。而后随着公司规模快速扩张及新一代消费群体消费行为的变化,财务分析趋势侧重精细化管理。同时积极建立内部信息系统,实时收集终端客户各项数据,进行多维度产品销售收入、利润分析、存货进销存分析及区域差异化分析等,只能这样才能为企业快速发展控制风险,为下一步经营战略提供数据支持。
四、结束语
财务分析的目的是找出生产经营过程中存在的问题,为决策提供依据,但许多企业在做好财务分析之后,并没有将分析的结果用于改善企业的经营管理。财务分析没有贯彻落实到企业实际工作中。那么有效的财务监督控制和风险预警机制则为财务分析的有效提升奠定了基础。
参考文献:
[1]侯志才.浅谈财务报表分析方法[J].财务通讯,2012(12).
[2]夏明涛.大数据时代下的财务管理转型[J].新会计(月刊), 2015(06).
[3]李钢.大数据时代财务分析的研究[J].现代商业,2015(05).