前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的大数据论文主题范文,仅供参考,欢迎阅读并收藏。
1.1大数据对大量数据信息的处理
由于历史文化名城展示与利用涉及到的内容很多,包括历史学、地理学、建筑学、社会学、景观生态学等,与此同时,随着科学技术的进步,先进的数据采集、建筑测绘等软硬件设施已经大量应用于历史文化名城的展示与利用当中,在此过程中产生了数量庞大的数据信息,而大数据能够对这些庞大的数据信息进行快速准确的处理.所谓“大数据”就是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产.例如,三维激光扫描技术是一种通过激光反射的原理,将被测量对象通过三维激光扫描系统的处理,构建成一整套的点云数据模型,在此基础上,通过专业的三维软件技术对于被测对象进行逆向的数字化构建,从而能够进行后续的数字化的研究与利用.在此过程中,点云数据会大量涌现,尤其是对于展示与利用真实性要求更高的项目而言,所产生的数据将会无限接近于真实的被测对象,数据会呈现出几何数量级增长.数据量大,能够促进历史文化名城展示与利用在探索方法和研究理念的层面上产生根本性的变革.对于早期的历史文化名城的展示与利用来说,由于受到认知性和数据分析能力的影响,人们就某一处历史文化名城的展示与利用的形式、内容以及方法上,仅仅是能够通过数量有限的样本案例和数据资料,利用较为传统的技术手段进行数据的分析、评估和管理.大数据的应用,能够将大量的历史文化名城的相关信息进行有目的性的筛选和处理,为展示利用的方式、方法在名城中的应用,提供了较为全面和具体的对策措施,提高展示利用实施的精确性.
1.2大数据对多样数据类型的处理
历史文化名城在展示利用时涉及到的数据繁多复杂.单就其中的某一处历史建筑来讲,《历史文化名城、名镇、名村保护条例》对建筑本身的历史档案包括了5项内容:1)建筑艺术特征、历史特征、建设年代及稀有程度;2)建筑的有关技术资料;3)建筑的使用现状和权属变化情况;4)建筑的修缮、装饰装修过程中形成的文字、图纸、图片、影像等资料;5)建筑的测绘信息记录和相关资料.除此之外,还有关于历史沿革、历史事件、地名典故、名人轶事等资料.上述几项内容,基本涵盖了一处历史建筑的历史价值和人文价值,这些详细资料,在历史文化名城的展示利用时会起到举足轻重的作用.在历史文化名城的展示利用的过程中,数据的类型非常多,有图片资料、文字资料、影像资料、图纸资料、点云数据等.在以往展示利用处理数据信息的时候,利用传统的数据处理技术,事先定义好结构化的数据.结构化数据是将对象数据向便于查询、处理的方向抽象的结果.结构化数据即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据.结合到典型场景中更容易理解,比如企业ERP、财务系统;医疗HIS数据库;教育一卡通;政府行政审批;其他核心数据库等.在结构化数据过程中,通常会忽略一些特定条件之下所不必考虑的细节,筛选出有用信息.随着互联网技术、展示利用技术以及测绘技术的快速发展和演进,非结构化的数据大量的出现,难以用结构化来进行表示,在存储记录数据的同时还要储存数据的结构,增大数据存储和处理的难度.相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括视频、音频、图片、图像、文档文本等形式.具体到典型的案例中,如医疗影像系统、教育视频点播、视频监控、国土GIS、设计院、文件服务器PDM/FTP)、媒体管理等具体应用资源,这些行业对于存储需求包括数据存储、数据备份以及数据共享等.目前在历史文化名城展示与利用当中,所利用的数据大部分都是非结构化的数据,而这些非结构化的数据将会逐渐成为主流化的数据.随着历史文化名城保护的发展,与展示利用相关的影响因子指标数量上必定会更加的丰富和细化.为了满足历史文化名城展示与利用的目的,在相关数据激增的同时,新的数据类型还会不断出现,很难用一种或是几种规定的模式来描述趋于复杂、多样性的数据形式.而大数据与传统的数据处理方式最大的不同之处就是,它在非结构化数据和信息的方面能够最大限度地将大量历史文化名城展示与利用的相关影响因子指标的细节信息进行数据非结构化,可以减少在数据处理过程当中的数据流失现象,为展示与利用提供更加充分的情报信息与技术支撑.
1.3大数据对数据信息的快速处理
由于科学技术水平的飞速发展和普及,数据越来越庞大,必须有相应的数据处理能力才能够将大量的数据进行充分而有效的利用.历史文化名城的展示与利用发展到今天,展示利用的相关数据除了具有传统属性以外,还具有时效性,通常某些数据的价值会随着时间的推移而迅速降低,能否快速准确地处理这些数据,则是充分体现它们的价值所在,而大数据的特点就在于能够快速、持续、实时的处理数据,从而能够满足相关的需求.在经济发展和大规模建设工程中,经常会忽略历史文化名城的历史文脉的科学展示与利用.有时会单纯地将历史文化名城的展示与利用和社会发展、自然环境及其居民生活割裂对待,这样会恶化居民的生活环境,不利于拉动居民的消费,不利于延续传统的历史文脉,不利于文化产业的发展,不利于创造品牌效应,降低城市的知名度,不利于历史文化名城的可持续发展,对传统风貌会造成严重破坏.在大数据的背景下,为了保护这些稀缺的展示利用资源,使得名城保护能够可持续发展,大数据就需要对名城的相关数据进行快速处理,及时快速的提出有效、合理的保护措施.
2大数据在历史文化名城展示利用中数据处理的应用
2.1在历史文化名城空间数据上的应用
在《历史文化名城、名镇、名村保护条例》中提到,历史文化名城、名镇、名村应当整体保护,保持传统格局、历史风貌和空间尺度,不得改变与其相互依存的自然景观和环境;建设控制地带内的新建筑物、构筑物,应当符合保护规划确定的建设控制要求;核心保护范围内的历史建筑,应当保持原有的高度、体量、外观形象及色彩等,从条例以上的内容描述可以看出,与历史文化名城展示与利用的相关信息具有非常典型的空间性.历史文化名城展示与利用中空间数据的采集,基于移动设备、互联网络、测绘系统、自动记录系统、数据档案系统等,以及通过这些系统综合分析所产生的再生数据.大数据通过整合和深入提取这些空间数据,将这些信息进行重新利用,实现海量展示与利用的数据信息的实时处理,智能判断以及快速决断,为某一项历史文化名城的展示利用提供决策依据.随着三维激光扫描技术的逐渐成熟,在历史文化名城的街区展示利用中,通常采用三维激光扫描技术,将历史街区现有的建筑特征和风貌进行数据的采集和整理,之后通过计算机相关软件的处理,恢复历史街区传统的风貌特征,并通过虚拟现实等技术手段将其进行一定的场景重现.
2.2在历史文化名城数据分析上的应用
由于大数据在信息处理上具有透彻感知、广泛互联互通、深入智能等特点,能够借助互联网络进行传递、协同以及共享操作,在通过利用先进的数据分析技术,深入分析收集到的展示利用的数据后,进而获取到更加具有创新性的、系统性的、全面性的数据信息来满足某一项历史文化名城在这方面的信息需求.大数据在数据分析方面的应用,从过去单维度的项目计划、项目管理和项目执行,转变为多维度的新兴的项目协作关系.在这种新的组织关系下,每一处历史文化名城个体,在进行展示与利用项目的筹划、设计和实施过程中,都可以精确地、自由地、即时地共享和获得相关信息,发掘同一类型数据的共性和不同,对彼此各自的特点进行正面、真实、合理的归纳与总结,找到若干种恰当的展示与利用的方式与方法,然后进行比较和选择,以达到最佳的展示利用的效果.大数据的应用,促进了历史文化名城的数字化基础构建和物理设备的相互融合,通过数据对于名城的数据采集和汇总,经过网络实现人与物的统一与整合,之后再通过云计算技术,使其对于历史文化名城的展示与利用的管理更加动态化、系统化.
3大数据对历史文化名城展示利用的意义
历史文化名城的组成是由历史文脉和城市形态两大重要要素构成.现在愈来愈多的人们开始呼吁政府有关部门采取有效的措施,保护和传承历史文化名城的历史脉络和注重塑造城市形态,传承历史记忆,展现人文气息.在社会经济处于重大历史变革的今天,对于历史文化名城传承的思考更加具有意义.历史文化名城的历史文脉和城市形态通常表现为包括城市空间形态、结构形态、聚集形态等一些具有可读性强的、城市意向明显的、静止性的、永久性的客观物体.城市形态作为物质属性,其展示利用通常是展现城市的空间轮廓、城市肌理、街道格局、风貌特征、建筑物和构筑物本体等;而历史文脉作为非物质属性,其展示利用通常是展现与历史文化形态有直接联系的演变规律、历史事件、社会结构、社会制度、哲学思想、伦理观念、语言文字、文学艺术、礼仪风俗以及地域文化等.历史文脉的展示通常是结合历史文化名城的物质空间和相关史实文献资料的整理,采用声、光、电等现代的技术手段将抽象的历史文脉以一种相对具体的形式进行展示.大数据的功能和作用就是能够把城市形态和历史文脉等这些具有物质属性和非物质属性的资料信息进行数据化、数字化的统计、整理和归纳,以一种清晰的思路与方式展示历史文化名城文化创造的成就,以生动、形象、完整的方式来诠释历史文化的脉络.通过大数据在历史文化名城形态特征的展示与利用,探索古代与现代文明相互融合的有效方式与途径,在保持相关历史记忆的同时,加入新的科学、技术的活力,从而促进历史文化名城的可持续发展.从历史文化名城的展示利用的角度来说,加强文化遗产展示与利用和促进经济与社会发展的有机结合,探索展示利用的有效解决途径和方式,是为历史文化名城的展示与利用提供策划方案、拟定策略、提供决策的科学依据.只有在保持古城的形态和历史文脉传承的前提下,选择大数据的方式进行历史文化名城的展示与利用,文化遗产本身及其遗产价值才能以更有成效、最佳的方式体现.
4结语
云会计可以让企业将工作重心转移到经营管理上,而将会计信息化的基础建设和软件服务工作外包给互联网企业,这种模式所带来的优势和效率显而易见,将推动企业管理模式的转变和思维模式的转变。与此同时,要在企业中推广云会计的应用,还存在着急需突破的困境,这些困境不但制约云会计服务商的发展壮大,也无法消除企业采纳云会计的种种疑虑。首先是数据标准缺失困境。目前尚没有明确的指导性和约束性文件,云会计服务商只是凭着商业逻辑开发相关的软件并提供硬件基础服务,用户也只是根据自身需要选择相应的服务,至于是否符合未来云会计数据的要求,则无暇顾及。各厂商在开发产品和提供服务的过程中各自为政,为将来不同服务之间的互连互通带来严重障碍。例如,用户将数据托管给某个云会计服务商,一旦该服务商破产,用户能否将数据迁移至另一个云会计服务商?如果用户将数据同时托管给多个云会计服务商,能否便捷地执行跨云的数据访问和数据交换?目前在数据的处理标准方面还没有具体的突破,尤其是在数据汇集以后,如何整理?如何分析?如何访问?是三个密切联系又急需解决的问题。在大数据环境下,数据该如何共享?如何保持一致性?也必须有标准来支撑。另外,数据的质量标准是保证数据在各个环节保持一致的基础,这方面的缺失使数据的应用范围受到极大约束。由于数据标准的缺失,导致云会计的应用及服务标准也难以制定,如何对不同云会计服务商提供的服务进行统一的计量计费?如何定义和评价服务质量?如何对服务进行统一的部署?这些问题也使得云会计的普及举步维艰。其次是安全问题困境。云会计的安全不仅涉及当事企业,也与许多第三方企业的利益息息相关,这个问题解决得好,可以极大地促进云会计的发展,否则将使涉事企业面临经济、信用等多方面的巨大损失。一是存储方面的安全问题,云会计的存储技术运用虚拟化及分布式方法,用户并不知道数据的存储位置,云会计服务商的权限可能比用户还要高,因此云会计的数据在云中存储时,如果存储技术不完善,那么会计信息面临严重的安全隐患。二是传输方面的安全问题,传统的会计数据在内部传输时,加密方法一般比较简单,但传输到云会计服务商的云端时,可能被不法用户截取或篡改,甚至删除,将导致重大的损失。
二、数据标准困境的解决方法
要解决云会计中的数据标准困境,必须厘清数据标准的制定原则和制定思路,才能推动云会计的健康发展。
(一)数据标准的制定原则
云会计的最大特点是数据海量、数据互通、数据复杂等不同于以往会计信息系统中的结构化数据格式,是一种大数据的表现形式。标准化的云会计数据不但有助于解决“信息孤岛”问题,更可以大大降低数据的使用成本、软件的兼容成本等。在制定标准化数据过程中,要树立高效性、可用性、经济性三者互相协调的观念,既要反对简单沿用他国标准的做法,也要摒弃完全定制化的观念,要坚持可持续、可协同的标准化思路。高效性是指云会计的数据标准要使得产出投入比最大化,如系统方面的投入与系统运算能力是否协调,存储空间的效率是否高效,数据中心的能源消耗是否最小化,设备的维护成本是否最低等;云会计的高效性直接影响到云会计服务商与企业用户的可持续发展,否则许多投入成本可能会演化为沉没成本。可用性是指云会计的数据标准不仅使云会计服务商能够满足用户当前的需求,而且能够不断升级,满足用户的未来需求。可用性越好,那么在发生业务变动时,系统的迁移性越好,即使在发生系统故障时,恢复时间也能最短化。经济性要考虑全周期的成本,如标准建设的成本、标准应用的成本等,另外一个值得注意的是用户的学习成本,虽然它不一定直接与用户的经济成本挂钩,但会影响到用户使用系统的积极性,一个难以掌握、难以使用的标准终究会遭到用户的抛弃,没有长久的生命力。
(二)数据标准的制定思路
鉴于以上所阐述的数据标准的制定原则,建议按照“官方引导,协同制定,继承扩展”的思路来制定数据标准。云会计的数据标准不仅是个别企业的标准,而且关系到所有企业能否相互交换、相互沟通的基础性工作。单纯由官方(协会或政府)统一进行设计,再把标准无偿地开放给社会使用,其优点是工作效率高、设计成本低,但标准并非直接来源于会计工作的实际情况,标准的客观性略差,可行性较低。单纯由民间设计,企业按照实际会计工作需要自主制定,再以某种收费或免费的方式向其他企业开放,其优点是标准相对客观,可行性较高,但整体的社会成本较高,推进速度慢、公信力差。这两种方式均难以克服固有的缺点,因此最好的方式是将官方的公信力和民间的积极性相结合,协调各方资源,协同制定数据标准,以公共产品的形式免费供给各企业使用。为了推动我国会计信息化的蓬勃发展,我国早在2004年就制定并了《信息技术会计核算软件数据接口》(GB/T19581-2004)国家标准。于2010年6月又了更新版的《财经信息技术会计核算软件数据接口》(GB/T24589-2010)系列国家标准。随着国际上以XBRL(可扩展商业报告语言,eXtensibleBusinessReportingLanguage)为基础的会计数据标准的诞生,我国于2010年10月了《可扩展商业报告语言(XBRL)技术规范》(GB/T25500.1-2010)系列国家标准和《企业会计准则通用分类标准》。由此可见,我国在会计数据标准的制定和应用方面始终走在国际的前沿,尤其是GB/T24589-2010系列标准,不仅包括了会计科目、会计账簿、记账凭证、会计报表,还涵盖了应收应付、固定资产等内容,填补了国内标准化方面的空白,即使在国际上也处于领先的地位。因此此类标准既具有社会意义,也具有经济意义;既推动国内会计事业的发展,也能助力国际会计事业的发展。因此,建议对该标准的实际应用情况进行跟踪研究,确切了解标准的应用效果和应用质量等,收集企业的反馈意见,发展并完善,结合云会计的特点,制定新版的标准,在国内推广的同时,也将其贡献给世界标准化组织,为其他国家或世界性组织提供参考。
(三)制定数据标准的具体建议
大数据环境下,为了使云会计真正高效、廉价地为企业服务,使云会计的有关应用早日落到实处,本文尝试提出制定数据标准的若干建议。基础性标准。基础性标准是原则性的、指导性的,为整体的标准体系提供总则规范、专用术语及参考架构等,目的是为建立庞大的标准体系打下基础,起到统一、规范的作用,并为将来的标准建设提出原则性指导意见。数据的处理标准。数据的处理包含了数据整理、数据分析和数据访问三个部分,相应地就要制定数据整理标准、数据分析标准、数据访问标准。数据整理标准是指在数据采集汇聚后,初步的处理方式和方法,细分后又包含数据表示、数据注册和数据清理三类标准。数据分析标准主要针对大数据环境下数据分析的性能、功能等提出具体指标,并进行规范。数据访问标准则要求制定标准化的接口及共享方式,最大化地扩大数据的应用范围。数据的质量标准。数据的质量标准针对数据质量提出具体的管理要求和指标要求,确保数据的质量,使其在产生、存储、交换和使用等各个环节中保持一致,并对数据全生命周期进行规范化管理,一般应该包括元数据质量标准、质量评价标准和数据溯源标准三类。应用及服务标准。应用及服务标准主要是针对大数据提供的应用和服务,在技术、功能、开发、维护和管理等方面进行规范,主要包括开放数据集和数据服务平台两类标准。其中开放数据集标准是为了向第三方开放数据而制定的规范标准,数据服务平台标准是对大数据服务平台所提出的功能性、维护性和管理性标准。
三、安全困境的解决方法
云会计的应用使得用户与会计信息的物理存储位置产生空间上的分离,在通过互联网传输、储存和使用数据、信息的过程中,安全问题成为企业关注的一个重点,云会计服务商必须构建完善的安全管理机制,并随着技术的发展不断改善,才能保证企业获得安全的云会计服务。云会计的安全问题首先体现在会计信息的传输阶段。在企业内部传输时,在适当的物理措施和制度保证基础上,通过简单的加密就可以保证信息的安全。但会计信息一旦要传输至云中时,那么会计信息的安全性就受制于云会计服务商。由于云会计的信息传输载体是互联网,传输过程中信息可能被非法截留,甚至被篡改。第二个问题体现在会计信息的存储方面。云会计的应用可以使企业便捷地获得并处理会计信息,但云会计采用了虚拟化的分布式方法,用户并不清楚会计信息的存储位置,不法分子可能会对云端的会计信息发起攻击,盗取或篡改其中的信息。第三个问题体现在会计信息的使用阶段。作为商业机密,会计信息的使用对象一般是与财务密切相关的工作人员或企业管理人员,在日常工作中,保密不周、人机分离、密码过于简单、角色划分错乱、权限错配等都会使会计信息泄露出去。建议从以下包含技术手段及管理手段的七个方面展开工作,解决云会计的安全问题。
(一)研发云会计的大数据水印技术
以往为了加强对多媒体数据的版权保护,数字水印曾经是一种主要的加密手段,在不影响使用的前提下,将标识信息以隐蔽的方式插入到多媒体数据载体的内部。但云会计中的大数据具有无序性、动态性等特点,在其中插入水印要非常谨慎,其前提是会计大数据中存在冗余信息。可以将少量水印信息嵌入到会计大数据的冗余信息位置上,既可以识别出大数据的所有者及使用对象,也有利于追踪分布式环境下的泄密者。
(二)研发会计大数据的溯源技术
由于云会计数据的来源繁杂多样,有必要记录这些数据的来源以及传播和计算过程,可以采用数据库领域的数据溯源技术,通过标记法对数据进行标记,记录数据在云端的查询与传播历史。数据溯源技术应用于云会计中还需要解决以下两个问题:(1)数据溯源是否危及隐私保护。数据溯源要分析会计大数据的来源,而数据来源本身就是非常敏感的隐私数据,这样的溯源可能无法获得用户的谅解。(2)数据溯源的自身安全保护,当前大多数大数据溯源技术并未充分考虑安全问题,如标记本身是否正确、标记与数据之间是否绑定等,而大数据的高速性、大规模、多样性等特点使之更难解决。
(三)加强用户身份及会计云身份的认证
在云会计的应用中,除了对用户身份的认证外,还必须设置对会计云的身份认证,只有这种双向认证得到有效落实,云中的数据才能被安全地合法访问。首先,会计云是一个海量的分布式系统,拥有庞大的用户群体,具有动态性和跨区域的特点,很难对违法数据进行跟踪和管制。如果云会计服务商不能对用户进行严格的认证,就会给恶意攻击者留下可乘之机。因此无论用户在何处登录,云会计服务商和应用程序都要验证用户的合法身份。其次,为达到欺诈目的而在互联网上驻留的“黑会计云”也将不断涌现,用户可能遭到恶意软件的攻击,也可能会被网络钓鱼。因此用户在使用会计云之前,必须对会计云的身份进行验证。为了达到用户与会计云的双向认证,必须建立跨云认证模型,实现用户与会计云之间安全且高效的互相认证,确保双方的数据安全。
(四)制定用户可验证的数据存储方案
用户把自身的数据存储在云中,就必须依赖云会计服务商确保数据的安全性,但在外包服务的商业模式下,云会计服务商的可信度难以评估,很难让用户相信自己的数据被云会计服务商正确地存储、处理,为此云会计服务商必须制定用户可验证的数据存储方案。云会计服务商可以建立一种动态化更新及开放式验证的数据完整性核查方案,确保数据的完整性及可恢复性,使用户随时可以知晓存储在云中的数据的正确性,即使在数据遭到一定程度的损坏时,也能从会计云中取回全部数据。在此基础上,拟订数据泄露的问责方案,使用户在怀疑数据遭到泄露时,可以核查甚至追究云会计服务商的相应责任。
(五)设置动态数据的安全保护机制
在功能日益复杂的情况下,云会计的应用程序也不断大型化,云会计服务商的安全保护经验和技术水平也参差不齐,为用户提供的应用程序肯定会存在各种安全漏洞。在云会计为多个用户提供服务的环境下,一个相同的服务进程要处理多个用户的数据,如果应用程序存在安全漏洞,那么个别的恶意用户就有机会盗用其他用户的权限,窃取数据和商业机密,所以应该设置防止非法用户恶意操作的动态化数据安全保护机制。可以对数据流进行分散控制,一方面对数据进行细粒度标记;另一方面基于数据流策略对数据的流向进行约束,从而实现在相同的服务进程中对不同的用户数据进行隔离,达到保护数据的目的。
(六)建设可信的会计云计算平台
在云会计环境下,用户将数据及计算全部托管到云端,不仅无法对自身的数据进行控制,更无法对云会计服务商的计算过程进行监督,为了达到用户对云会计信任的目的,云会计服务商必须通过一整套安全技术手段,建设用户可以远程监督的云会计计算平台,从而提高用户的信任度。可以通过建设虚拟的可信云会计计算平台,为数据存储及会计核算中的所有数据提供可信的运行环境。
(七)建设管理、心理、法律三个安全软屏障
除了上述各种技术手段保障云会计的安全外,还应该从管理、心理、法律三个方面建设安全软屏障,从而达到“软硬结合”的境界,全方位保障云会计的健康运行。
1.管理软屏障。
作为高端的会计信息化系统,云会计的安全保障离不开“三分技术,七分管理”,对物理设备和从业人员进行严格管理。对物理设备既要做好隔离工作,也要在移动和更换过程中严格控制。对从业人员建立严格的身份控制和权限划分,不同级别的从业人员只能访问权限内的数据。经常更换用户名和密码,对数据访问行为进行严格记录。云会计服务商不能获取用户的会计数据,只能操作工作权限内的数据。
2.心理软屏障。
利用各种宣传手段对用户和管理人员进行软约束,使其了解云会计的安全特点和自身应该严守的工作规范,避免由于误操作和恶意操作给云会计带来各种威胁。
3.法律软屏障。
1.大数据的概念和特征
对于大数据时代,目前通常认为有下述四大特征,称为“四V”特征:第一,数据体量巨大(VolumeBig):数据量级已从TB(1TB=210GB)发展至PB(1PB=210TB)乃至ZB(1ZB=220PB),可称海量、巨量乃至超量;第二,数据类型繁多:越来越多的为视频、位置信息、图像与图片等半结构化和非结构化数据信息;第三,价值密度低,商业价值高:以视频为例,连续不间断监控过程中有价值的数据可能仅为一两秒的数据流;第四,处理速度快,处理工具演进快:数据流往往为高速实时数据流,而且往往需要快速、持续的实时处理。[2,3]
2.大数据时代对人才的需求
2013年3月,IDC数字宇宙报告《大数据,更大的数字身影,最大增长在远东》预计到2020年数字宇宙规模将达到40ZB。这意味着需要大量的人力和技术对如此庞大的数据进行处理、分析和管理。在此情况下,对于大数据环境下新型人才的培养问题在近年逐渐受到重视。未来对具有大数据管理和分析能力的人才需求将快速增长,这些人员除了具备相应的技术能力、管理能力、社交能力、系统分析和开发的能力外,还需要具备深度分析数据的能力。同时,一些和大数据相关的职位也会应运而生,例如数据分析师、数据架构师等。2011年麦肯锡全球研究所给出的一份报告预测,美国到2018年对具有良好信息素养的经理人才的需求量大约在150万人,此外,还需要14万~19万数据分析方面的资深专家。[4]在我国,互联网企业、电子商务、金融机构、医疗卫生、零售、保险等行业及政府数据中心对大数据专业人才的需求量都很大。
二、大数据时代下山东理工大学信管专业培养模式
大数据时代产生对相关人才的巨大需求,因此,山东理工大学(以后简称“我校”)信管专业提出了新的培养标准和课程设置体系,培养具有我校特色的信息管理专业人才。
1.培养目标和培养标准
在大数据环境下,重新定位信管专业的培养目标和标准,以适应“大数据”对专业人才提出的新要求,是信管专业建设的首要议题。我校信管专业突破国内高校信息管理专业人才培养的三种主要模式(一是强调IT技术,弱化了现代管理理论与方法;二是强调管理又过于弱化了IT技术;三是IT技术与管理相融合,但实际效果不理想),[5]强调学生不但要掌握现代信息系统的规划、分析、设计、实施和运维等方面的方法与技术,更要具有现代管理科学思想和较强的信息系统开发利用以及数据分析处理能力。我校信管专业还制定了全新的培养标准矩阵(如表1所示),从五大方面28个小方面更为详实地阐述了信管专业学生需具备的技能和能力,并为课程的设置提供了依据。
2.课程设置体系
为了满足大数据时代对人才提出的新要求,我校信管专业课程设置围绕主干学科(管理学、经济学、计算机科学与技术、管理科学与工程)不仅设置了国内高校信管专业常设的管理学、统计学、管理信息系统、数据库原理与应用、数据结构与算法分析、计算机网络基础与应用、Java程序设计、电子商务等课程外,还设置了数据仓库与数据挖掘、商务智能与人工智能等相关课程,使学生在理解新兴数据处理模式的同时,智能化数据分析处理及决策支持能力得到训练。与此同时,还设置了基于移动终端的APP开发、企业信息系统构建与仿真、电子商务平台架构设计等课程,使信管专业的学生成为拥有合理知识结构的复合型人才。大数据时代下新型的信息管理与信息系统专业人才的培养既要高度重视理论知识的学习,又要加强实践能力的培养。为此,我校信管专业还设置了工程实训、软件实习等实践项目,以及为期10周的IM&IS应用实践环节,为学生搭建实践平台,拓宽实践渠道。通过3年在校学习及总计约1年的实践锻炼(如图1所示),我校信管毕业生不仅具有良好的管理知识基础、信息技术应用能力,现代信息系统的开发利用的能力,还具备智能数据分析处理工具的操作能力以及综合数据分析处理能力。
3.特色
大数据时代下,我校信管专业制定了具有自身特色的培养模式,即:培养目标和标准与行业发展结合,适应大数据对人才能力需求的变化;培养具有综合分析和管理能力,强调动手能力的新型信管人才。
三、总结
(一)物流配送的服务水平直接影响着电商的服务水平作为电子商务的末端环节,物流配送是电子商务里面唯一面对面接近消费者的环节,在消费者看来,无论物流企业是否是电商本身,物流企业的服务水平都代表了电商的服务水平。京东商城作为电商里面的佼佼者,得到了消费者的普遍认可,其高效的配送起到了至关重要的作用。凡客诚品的如风达,也曾经给凡客带来了比较高的顾客认可度。
(二)良好的物流配送能够增加电商的顾客忠诚度随着电子商务的发展,人们的信息化水平已经远远超过了过去,获取信息的渠道也更加的多样化,与之相对应的是,消费者的忠诚度也大大降低,消费者可能今天钟情于这个网站,明天又会认可那个网站。能够在消费者的的心目中形成良好的品牌效用,稳定有效的物流配送极其重要。
(三)物流配送的成本直接影响了电商的盈利状况中国目前的电商发展势头良好,双11每年的数据刷新都让人眼前一亮,这样的数字在一定程度上反映了消费者的消费理念已经发生了巨大的变化,以前是在网下买东西,现在是网上网下对比着卖东西。但是,在这样良好的势头下,有一个问题也引起了人们的思考,就是电商的盈利问题。物流配送是电子商务的瓶颈,指的不仅仅是物流配送的速度约束着电子商务实现的速度,还指的是物流配送的成本是传统商务所没有的,电商的竞争优势很大是由于价格优势,而如果包邮以后依然有这样的优势,电商的利润究竟在哪里?数据对物流从产生了巨大的冲击,迫使电商物流迅速的适应信息化和数据化的浪潮,同时,也给电商物流配送带来了巨大的机会,将其配送过程中产生的大量数据整合,用于配送计划的安排、电商服务的优化,更好的为卖家和卖家服务。
二、大数据时代电子商务物流配送存在的问题
虽然电子商务物流配送已经成为电商的重要利润源泉,也成为一些大型的B2C商家的主要盈利点之一,京东商城就将自己的物流配送优势作为自己的主要竞争优势之一[2],但是电子商务物流依然存在着一些的问题,主要有以下几个方面:
(一)相比于电子商务的发展,物流配送的发展依然滞后。电子商务主要包含信息流、资金流和物流。其中信息流和资金流在点击之间就可以实现,不受时间和空间的限制,物流就受到时间和空间的限制。随着物流信息化和网络化的发展,现在物流已经有了很大的进步,近几年的发展也可以用日新月异来形容,但是相对于电子商务的发展来说,物流的发展还是相对滞后。
(二)分散的物流配送造成了社会资源的重复配置,物流企业竞争力低下。我们国家2014年的第三方物流企业数目众多,但是,大多数是中小型物流企业,竞争优势不明显。2014年,天猫在B2C领域的市场份额为57%,第二位的京东为21%,二者就占到了B2C的78%。但是在物流领域,民营快递前十名的市场分额占到了80%。大部分物流企业小而分散,网点重复建设,浪费了大量的社会资源。
(三)O2O的发展对电商的配送水平提出了更高的要求。随着移动商务的发展,O2O成为电商发展的必争之地,但是,O2O对配送的要求更高的迅速、快捷、准确。某配送小区提出了线上线下一体化、闪配(60分钟配送)、增值服务(代收、代缴)的服务理念,这些理念对配送提出了更高的要求,如何均衡配送的成本和服务,成为O2O电子商务发展的一个重要课题。该图表来源于物流沙龙通过上述图表我们可以看到,O2O的配送成本是非常高的,假设平均每单的价格为50元,利润率为30%,则利润为15元,扣除配送成本11.25元,利润变为3.25元,利润率变为6.5%。由此可见,配送导致了利润率的降低。4、大数据本身对电商物流配送造成了更大的冲击。大量数据的归集和挖掘使电商物流配送越来越透明,电子商务企业对于物流的要求也越来越高,这样就迫使物流配送企业竞争更加激烈,并且有传统的价格竞争向更高的服务层次的竞争转化。
三、电子商务与物流配送的发展的新特点
国务院2014年9月12日印发的《物流业中长期规划(2014-2020年)》中指出,物流行业的重点工程之一就是电子商务物流工程,建成一批区域性仓储配送基地,吸引制造商、电商、快递和零担物流公司、第三方服务公司入驻,提高物流配送效率和专业化服务水平。[3]随着电子商务的飞速发展,信息化对各行各业的影响越来越显著。作为与电子商务有着亲密接触的物流业,更是受到信息化和网络化的深刻影响,不能适应信息化的物流配送企业几乎不能在大数据时代的竞争中获得一席之地。电子商务和物流配送的关系也随着时代的发展表现出了很多新的特点,主要由以下几个方面:
(一)物流配送企业自身的网络化、信息化。物流企业不同于生产企业,其业务不仅仅局限于本地,因此,通过传统的口碑、人脉宣传是远远不够的,随着网络化的发展,物流的宣传也必须通过网络来进行,物流企业大部分都建立了自己的官网,来宣传自己的企业。物流配送设计的面比较广,一个物流配送企业在各地有多个仓库,如何实现仓库之间的合理调配、仓库内部的有效管理、运输过程的快速准确,仅仅通过传统的管理方式是远远不够的,目前,有很多的管理系统的出现应用于物流企业。TMS、WMS、LMS、SCM、CRM、OA都是信息化与物流相结合的产物,提高了物流配送的效率,更好的提高了物流配送的服务水平。随着移动商务的发展,物流APP也逐渐投入使用,很多的物流APP开始应用于运输领域和配送领域,丰富了物流配送的形式。2014年5月起,越来越多的快递面单变成热敏标签面单,新面单是由菜鸟网络联合各快递企业共同成立的“电子面台”出品。这种电子面单面向60多款主流配送软件,使用软件的可免费使用电子面单,节省了纸张,提高了打印速度,节省了人力资源。电商物流配送的信息化深入到配送的各个环节和领域。
(二)物流资源的共享成为物流发展的必然趋势。2013年5月28日,阿里旗下天猫、银泰集团联合复兴集团、富春集团在深圳成立了“菜鸟网络科技有限公司”,此外,马云邀请三通一达和顺丰加入,这几家民营快递各投入了5000万,占股1%。以上资料显示,民营快递正通过自己的方式谋求资源的共享,中国邮政也表示要与阿里巴巴合作,将自己的网点对民营快递开放。电子商务物流配送企业虽然是竞争关系,但是,在配送的过程中,网点的重复建设大大的耗费了社会资源,也占用了大量的社会资金,各个快递公司之间实现资源的共享既能够提高配送的服务水平,也能够大量的节省资金,降低道路的拥堵程度,提高配送的经济效益和社会效益。
“大数据”成为互联网热门词汇大约从2009年开始,到了2013年,大数据对各领域都产生了巨大的变革力量,2013年被称为“大数据元年”。[1]大数据时代势不可挡,与媒体密切相连的特性使得参与网络教育的人员会通过更多的移动设备接入到网络中,数据的数量会大大增加,增长速度会大幅加快,大数据对于网络教育的影响不仅仅在具体方法上,也体现在思想上。对于文献的检索,我们通过高级检索,分别以主题为“大数据”包含“网络教育”、“在线教育”、“远程教育”为关键词在中国知网(CNKI)中进行检索,共检索到相关期刊文献64篇,手工去除不符合要求的通知或者征稿等无关信息,剩余18篇文章。文献发表时间分布于2013年至2014年,数量也从4篇迅速增长到了14篇。文献的主题也多种多样,主要集中在平台建设发展、学科建设、师生关系、学习工具等方面,研究者主要关注大数据技术的发展和应用对传统的网络教育产生的深远的影响,帮助网络教育摆脱发展瓶颈,找寻到一条符合国内现状的发展道路。可见由于大数据的迅速发展,对教育领域特别是网络教育产生了巨大的影响。
二、我国基于大数据的网络教育研究的内容分析
大数据技术在网络教育的应用,对于传统平台的更新建设,推动学习者个性化学习,促进师生交流、生生合作都具有非常重大的意义。另外,对于平台中课程点击量、浏览量的记录和分析,也能动态地设置学习内容,教学组织形式,满足学习者多样的学习需求。
(一)通过对大数据的梳理,分析网络教育
平台发展困境,有针对性地寻找解决方法,以促进平台的建设张辉[2]指出:移动学习绝不是简单的网络学习移动版,需要更深层次的探索和研究。在大数据的支持下,研究者可以得到全文本的数据进行分析。通过对发展模式、受众对象、学习资源、支撑环境等数据的分析,我们发现网络平台发展的现实困境,理论研究深度不足、学习资源针对性不强、即时通信反馈手段落后,这些问题制约了学习者平台学习的动力。根据问题有针对性地作出切合实际的需求分析,进行个性化的信息建设,加强实时反馈提高学习效率,从而建立全方位覆盖社区居民学习需求的学习平台,有效落实建设学习型社会的要求。翟霞[3]指出:大多数干部网络教育平台的考评采用“学时制”和“学分制”,即以学习时间作为学习的考核标准之一,这样的方式即使学习者只是播放学习课程而没有进行学习,平台也无法得到相关数据和反馈。大数据技术可以为其提供学习过程的监管,对学习者学习提供有效的进度控制和实时反馈,为学习者提供根据随课程内容和学习者反馈而变化的帮助。网络教育平台学习者每一次学习的数据的收集和分析,能够为平台发展建设提供有价值的参考,帮助平台优化学习者的学习环境。基于大数据的分析调查比以往基于抽样的问卷或者电话调查的方法都更加全面有说服力。
(二)教学和考核方式的创新推动学习者学习的个性化发展
大数据时代,学习者在学习过程中留下很多数据碎片,通过分析这些数据碎片能够分析出学习者的学习模式,为学习者提供个性化发展的环境。马星宇[4]指出,新兴在线教育在教学以及考核方式上较以往的开放式教育有所创新,以MOOCs(MassiveOpenOnlineCourses)为代表的新兴在线教学模式的特点就是让任何人在任何时间都可以学到任何知识,这必然会改变传统的以传授单一课本知识为基础的教学模式。对于教师来说,科学技术的进步,能够使学生的反馈更加细化帮助教师有效评估每位学习者的学习情况,为学习者提供符合他们学习需求的进度和强度。对于学习者而言,学习者通过对自己学习数据的分析也能够进入“自主进度式学习”,数据分析结果让学习者根据自己的进度使用视频进行学习,学习者根据自己的进度在掌握不好的章节进行反复学习,直到达到100%精通。对于学习内容的构建,在线教育就是一种基于标准算法和数据挖掘为基础的个性化学习服务。只有不断根据目标学生的需求和社会的需求来不断完善教学内容,才能满足学习者获得知识的需求。张辉[2]指出,依靠“大数据”的分析能够建设用户参与资源的个性化配置和推送,自动生成每个学习者感兴趣的教学资源。在线平台要收集学习者在平台上依据自己的兴趣点和关注点进行主动地点播学习内容的“点击流”数据,根据一定的规则给予每个学习者适当地资源推送。从而满足每个学生学习的个性化需求,促进学习者的个性化发展。
(三)大数据环境实现网络教育完美的在线交互活动
为了平衡资源分配的不均衡,中国早期的在线教育只是简单的把传统课堂中的课程的学习内容和学习材料照搬到网络上,使网络成为知识流动的通道。刘涛指出,这样的在线教育与传统教育相比,唯一的区别就是学习材料的数字化和学习界面的网络化,缺乏“个性化”的在线课程导致在线教育的学习效果大打折扣,效率比传统教育显得低下。这种困境应该通过大数据环境推动在线服务的个性化,促进新型师徒关系的产生,即在线教育的数据库根据每个学习者的不同个人情况提供完全“个性化”的学习内容,包括具有针对性的学习材料,通过在线测验发现每个学习者的知识弱点,针对这些弱点进行相对应的重点训练,基于记忆规律的复习提醒机制。这种就形成了师生的新型“师徒关系”。这种模式能够让教师完全了解每一个学习者的水平和学习能力,显然是学习的最有效的方式。邢丘丹等指出,在线教育交互分为个别化交互和社会化交互,前者是学习者和学习资料之间的交互,后者是学习者和教师或者学习者之间的交互,社会互是提高在线教育交互水平的关键因素。在线交互平台身份认证体系的建立,针对信息资源的存储和分析,服务器等硬件设施的架构都能够推动在线教育交互活动的顺利进行。
(四)大数据时代推动新型学习支持工具的发展
张振虹等[8]指出,学习仪表盘是随着在线教育蓬勃发展和大数据时代来临而产生的一种新型的学习工具,基于信息跟踪技术和镜像技术,对学习者的学习行为、学习习惯、兴趣等信息进行有效的记录和追踪,通过科学化的分析,达到可视化和个性化的显示,为在线学习的学习者、教师、教育管理者和研究者提供多方面的学习信息,也帮助学习者进行有效的自我认知,帮助自我实现个性化学习。新型学习支持工具的出现和发展为学习者在网络平台进行学习提供了高效的学习支持。
三、研究的发展趋势
网络信息资源是指计算机或信息终端等以通信为手段通过网络再现出来的集声音、文字、图像于一体的各类信息资源的总和,其实质是电子出版的高级形式,大数据的到来构成了网络信息资源的多个来源,特征如表2所示。由于我国网络信息资源建设相对较晚,虽着手进行资源调优,但在挖掘有效的网络信息方面,还存在着诸多问题,如:数据结构的处理不健全、缺乏深层挖掘研究、度量模型的不健全或缺失等。
2相关概念
本节以“文献”为例,介绍大数据时代下网络信息资源所呈现的社团模式及其概念。定义1.文献网络信息资源(LNIR)LNIR=<ArtID,ArtN,AutN[],Abst,Keys[],Clc,Doc>,其中,ArtID是文献编号,具有唯一值;ArtN是文献名字;AutN[]是文献作者及其相关信息,可具有多个值;Abst为文献摘要;Keys[]为文献关键词,可具有多个值;Clc为文献的中图分类号;Doc为文献的标识码。定义2.作者社团(LNIRAS)设LNIRi与LNIRj组成一个作者社团当且仅当(LNIRi.ArtID≠LNIRj.ArtID)∩(LNIRi.AutN[]∩LNIRj.AutN[]≠NULL)。定义3.关键词社团(LNIRK)设LNIRi与LNIRj组成一个关键词社团当且仅当(LNIRi.ArtID≠LNIRj.ArtID)∩(LNIRi.Keys[]∩LNIRj.Keys≠NULL)。定义4.主题社团(LNIRAN)设LNIRi与LNIRj组成一个主题社团当且仅当(LNIRi.ArtID≠LNIRj.ArtID)∩(Compare(LNIRi.ArtN.getString(),LNIRj.ArtN.getString())≠NULL)。定义5.分类号社团(LNIRCL)设LNIRi与LNIRj组成一个分类号社团当且仅当(LNIRi.ArtID≠LNIRj.ArtID)∩(LNIRi.Clc.trimNums()=LNIRj.Clc.trimNums())。
3网络信息资源社团及模型
由于大数据时代网络信息资源的急剧暴增,使得网络信息资源的价值密度备受关注。将网络信息资源分类整理,不仅信息量过于庞大,而且由于学科之间的交织或科研需要,各个分类之间也是紧密联系的。现本文就文献网络信息资源所形成的模型做简要介绍。假设有5篇文献,根据定义1,设这5篇文献如图1所示;可分别形成作者社团(见定义2)、关键词社团(见定义3)、主题社团(见定义4)、分类号社团(见定义5)。本节列举作者社团与关键词社团,其中,设作者社团的度为1,即可以形成以1个或以上的作者为中心的社团;设关键词的社团为2,即可以形成2个或以上的关键词为中心的社团。图2列举了图1中A1、A2、k1、k2、k3形成的社团如图2所示。由图1可得,作者社团有:LNIRAS(A1,A2)={LNIR1,LNIR4};LNIRAS(A1)={LNIR1,LNIR2,LNIR4};LNIRAS(A2)={LNIR1,LNIR3,LNIR4,LNIR5};关键词社团有:LNIRK(k1,k2,k3)={LNIR1};LNIRK(k1,k2)={LNIR1};LNIRK(k2,k3)={LNIR1,LNIR5};LNIRK(k1,k3)={LNIR1,LNIR3}。由此可以清晰得看出各个网络资源及其之间的关系,为海量数据的挖掘提供了便利。
4结语
(一)数据深度挖掘与预测研究对海量数据进行挖掘,分析、提炼出有价值的信息,一直是交警总队在常态交通管理中努力和不断尝试并力求达到的分析动态化、管理精细化的目标。在交通事故预警方面,我们通过对370余万条交通事故的地点、人员、车辆等信息分析,每年市、区两级事故易发或死亡人数较多的“黑点”,由总队定期督促属地交警支(大)队限期整改。针对一段时间内本市欺诈通事故(俗称“碰瓷”)高发的情况,我们建立并不断补充完善了事故“碰瓷”嫌疑人员和车辆黑名单,通过提前预警、发案比对等方式累计锁定相关嫌疑人415人,取得了很好的成效。在交通状况评价方面,我们以道路拥堵程度、交通事故数量为主要评价要素,创新性地将各区(县)地面道路和快速路的整体交通情况以“指数”的形式分色展现,供业务部门和支(大)队参考。为掌握全市快速路交通流结构和集散规律,我们利用分布在中环及中环以内快速路上约300个断面构成的车牌识别系统实时采集流量数据,开展了集散性OD分析的探索,即将全市快速路网划分成20个“小区”,通过数学建模和车辆信息的跟踪,展现各“小区”间交通流转移的时空分布特征,为拥堵成因分析、排堵预案制定等提供参考。在道口安保方面,我们通过对历史数据的分类统计、比较,研究制定了重大活动安保工作的道口查控方案。2010年上海世博会举办前夕,时任市委书记的俞正声同志在G15沈海高速公路朱桥检查站现场,对“车驾查控系统”的技术架构、实时运作以及海量数据的采集、分析及应用状况进行了详细调研,当即要求我们研发“世博道口通行证管理及不停车安检系统”。上海世博会期间,该系统累计实时关联10多个数据库,核发297.7万余张通行证,不仅将进沪车辆安全审核检查关口前移,还通过利用“车驾查控系统”的实时比对功能,既做到了“持证”车辆的快速通行,又实现了“逢疑必查”的目标。世博期间,系统比对命中有关车辆1.5万余辆次,有效提升了民警的工作效率和打击精确度,同时也对预防和缓解全市各道口因安检引发的大面积拥堵问题起到了积极作用,减少了道口现场安检压力及对交通的影响,得到了各级领导和社会的一致肯定。在为“大公安”服务方面,我们尝试定期将网上追逃人员信息与本市机动车档案进行关联比对,筛选出在逃人员可能驾驶的机动车信息,累计抓获在逃人员329名,探索出了“先由人查车、再由车查人”的信息提炼新方法,取得了很好的实战效果。
(二)数据可视化随着各类统计、分析数据的不断增多,各级领导、基层民警都希望通过直接的“可视化”界面展示各类数据和信息。2009年,我们构建了基于GIS地图的应用平台,并将采集或共享的实时路况、“110”交通类报警事件、视频监控、快速路入口匝道控制、停车场泊位等信息在电子地图上进行分层次展现,这些实时、动态的信息可按需随时调阅。2010年上海世博会期间,根据安保工作的需要,我们制作了两张专题图。“进沪陆路道口流量专题图”实时展示当日全市进沪道口的机动车流量、“持进沪通行证”机动车流量、5分钟进沪流量等信息和道口排队区、安检区的视频监控信息。此外,通过对各道口历史流量的数据统计,提供流量预警信息。“世博园区管控区周边道路流量专题图”除整合了全市快速路、高速公路、地面主干道路的实时路况和快速路匝道开闭状态等信息外,实时展示当日进出世博管控区的机动车流量、5分钟流量等。两张图的应用,为市公安局“二指”坐镇指挥的领导以及民警实时掌握交通流量、科学指挥、调配警力等提供了依据,受到了充分肯定。
(三)参与“交通指数”的研究经过多年的建设,上海已经完成市区重要道路的交通流信息的采集,并实现以红、黄、绿三种颜色代表路况的信息。为使交通参与者全面、客观地了解本市道路交通的实时通行状态,向其提供了量化的拥堵指标。2009年,交警总队在数据应用上的视野不再仅着眼于自身,而是跨出一步,会同市政府相关部门,将手中的静态数据和市政府相关部门可共享的动态数据关联起来。继参与了荣获上海市科技进步一等奖的“上海世博智能交通系统关键技术及应用”项目研发之后,2011年起,交警总队积极配合上海市城乡建设和交通发展研究院(原上海市交通信息中心)研究“道路交通指数”。通过对大量采集的各类交通实时数据、历史数据进行统计、分析、比较,最终用“道路交通指数”这一数值方式来量化描述道路交通运行状态,同时结合GIS地图加以分色、分块展现,并通过网站、微博、手机APP等向公众实时,力争做到既能客观地评价交通拥堵状况,又能方便出行者的理解与记忆。
二、与当今“大数据”应用的差距
目前,“大数据”的应用处于发展初期,在我国更是刚刚起步。通过多年的实践和积极探索,交警总队“大数据”的应用成效明显,但我们感到,与当今国内外成功的“大数据”应用相比,我们还存在差距,主要表现在:
(一)在理念和思维上仍存在差距随着互联网、云计算、移动互联等相关智能技术的飞速发展,可以预见,“大数据”陈志康:公安交通管理“大数据”的应用与研究在公安交通管理方面的应用也将愈加广泛。但与其“4V”(即Volume大量、Velocity高速、Variety多样、Veracity真实性)特点相比,未来“大数据”的应用与发展绝不是简单依赖数据采集量的扩大,也不仅仅是服务器性能、数据的简单扩容或累加,而是对于其中蕴含的理念、思维的转变和突破。与“小数据”时代相比,“大数据”时代的转变是多方面的。例如,传统统计方法追求精确,但“大数据”只预测宏观趋势;传统的统计、研究关注因果关系,而“大数据”更强调数据之间的关联等。
(二)在技术和手段上仍较为匮乏就我们目前拥有的各类交通管理数据而言,其体量并不能称之为“大数据”。如果要同各警种的数据相关联,与市政府相关部门的数据相融合,将数据的应用转化为生产力,其所面临的困境还十分明显,这也直接反映了我们在技术和手段上的匮乏。2009年,我们便已利用“数据仓库”技术等当时较为成熟和先进的技术开展交通管理核心数据的深度挖掘,力求为业务部门提供更丰富、有效的统计数据,但受限于传统关系型数据库的架构,无论在计算效率还是结果表现上均无法得到“质”的突破。此外,我们对于海量视频的快速检索、车辆照片关键特征的提取等方面仍缺少高效的手段,使得对于这类非结构化数据的应用、管理仍处于初级阶段,对其中蕴含的有深层次应用价值的信息无法加以进一步挖掘。“大数据”的处理流程一般可概括为四个步骤,即“采集、预处理、统计分析、数据挖掘”。其中,“预处理”是当前传统数据处理中被忽视或被弱化的部分,除了受限于主流的关系型数据库(如Oracle)、集中式存储等架构外,还与缺少将非结构化数据(例如视频、图片、文本、声音等)向结构化数据(即可以用二维表结构来表达的行数据,例如存储在数据库中的记录)转换的有效技术手段有着重要关系。所以,现有的统计分析、数据挖掘等绝大多数针对的是结构化数据(目前仅占所有数据量的10%至20%,其余均为非结构化数据),难以真正体现“大数据”多样性的特点。
三、今后公安交通管理“大数据”的研究与应用方向
(一)研究和建立“公安交通管理大数据应用平台”结合市公安局“十三五”信息化建设规划,研究和建立“公安交通管理大数据应用平台”。不断学习研究Hadoop、虚拟化等新技术,构建全新的数据存储、处理技术架构,不但要使数据的存储容量更大、运算速度更快、展现形式更丰富,更要突破同类数据的局限,从看似毫不相干的数据之间发现关联性,真正体现“大数据”的精髓。
(二)满足数据采集的需求,提升管理水平“大数据”应用的核心是数据挖掘,为公安交通管理中遇到的难点问题提供原因分析依据,但其基础却是所采集数据的质量和种类。因此,一是要不断提高各类交通管理相关基础信息的采集质量,为后续数据处理奠定坚实的基础。二是要积极建立与市交通委员会、市保监会等社会相关部门的数据共享机制,扩充与机动车、驾驶人、特定行业管理、道路等相关的数据类型。三是依托高校、科研院所等专业力量进行深入研究,力争突破图片、视频等海量非结构化数据的管理难题,运用有效的数据模型和架构,实现类似结构化数据的统一描述、查询和处理。四是积极会同市公安局相关部门,在数据层面加强与市公安局“警综平台”“情报综合研判实战平台”“视频监控平台”“治安卡口信息综合管理平台”等的对接,为公安交通信息研判分析提供支撑。
(三)抓住重点,突破四个阶段的核心技术应用“瓶颈”我们要选择合适的软件、工具,真正将数据转化为信息,并提炼出有价值的信息。在数据采集方面,重点解决高并发数的访问、操作问题,使服务器、数据库负载均衡并分片处理。在预处理阶段,重点做好“生产库”向“资源库”的转移和数据清洗等工作,满足后续数据处理的实时计算需求。在统计分析阶段,要在了解业务需求的基础上,着重在不同数据的“关联性”上下工夫,找到规律。在数据挖掘阶段,要力争实现数据从“事后统计”到“事前预测”的突破。
1.1简介
(1)对于医院的管理者来说
信息统计对于医院未来的发展方向和医院出现的各种问题都能够通过数据进行判断,提高了管理者掌握正确方向的能力。
(2)信息统计工作
有利于对医院医疗的质量控制进行监管。目前,医院的发展趋向于专业化,一家医院的医疗质量和专业化程度是衡量医院医疗水平的重要标准。所以信息统计工作,一方面对本院的医疗水平进行统计,通过数据客观的衡量医院医疗水平;另一方面,通过对医疗病例进行统计可以对一个时期的患者患病率和患病原因进行统计分析,有利于医院具有针对性地建立医疗救治方案。
1.2管理模型医院信息统计管理模型可以分为两大主要内容。
(1)针对病患进行统计,统计内容包括病患性别、年龄、患病原因、病状、住院时间、诊治措施等。
(2)对医院的管理内容进行统计,统计各个部门间的人员流动、工作表现、部门效能等。
1.3对医院管理发挥的作用
医院信息统计工作对于医院的管理发挥着不可替代的作用,其主要表现包括以下几个方面:
(1)有利于医院质量管理的考核和评价
通过医院信息统计客观统计的数据可以对医院质量管理进行考核和评价。对医院各个科室的管理水平、医疗能力进行考核可以发现在科室活动中存在的问题,便于及时做出调整。对于医院员工的考核可以统计出员工的工作能力和工作表现,有利于约束员工行为,提高医生和护士的服务水平,提高医患关系的融洽度。
(2)有利于医院管理决策的正确性
医院的经营市场化形式趋于明显,在面对市场竞争中,医院的管理者每一项决定都关系着医院未来的发展。通过医院统计信息,医院的管理者可以准确地掌握自身的经营能力,同时通过对市场的统计分析可以准确判断出医院未来的发展方向,并能够通过统计数据加强自身的竞争力。
(3)有利于医院资源的整合
医院是集人力和物力为一体的综合性企业。在对医院资源的信息统计中,可以将人力资源和物力资源进行统计,便于医院进行管理。对于医院人力资源的统计主要是统计医生的专业能力和护士的服务水平。通过客观的数据可以了解医生在某一医疗领域的计数水平和护士的服务水平,一方面能够为医院针对某一科室进行人员加强配置,另一方面可以对人员的奖惩制度进行完善。对于医院物力资源的统计可以确保医院设备正常工作和耗材的储备充足。同时还可以避免资源的重复,给医院的经济造成损失。
(4)有利于医疗体系的建设
通过统计数据可以发现医院在某一方面的不足,通过具有针对性的建设,可以帮助医院建立较为完善的医疗体系,更好地服务与百姓。医院医疗体系的建设是医院立足的根本,在现代化医疗体系建设中,数据的分析是医疗体系完善的基础,只有客观地评价医疗体系的结构和性能,才能够保证医院稳定发展。
2面临的问题
2.1信息化薄弱
随着信息化时代的到来,大数据的分析已经深入了各行各业,作为医疗的前沿,医院在信息化建设方面相对于其他行业相对薄弱。医院信息化薄弱问题一方面来自管理层对医院信息化建设的不重视问题;另一方面,医院信息化建设需要巨大的财力、物力和人力,医院将精力投入在医疗设备的改进和医疗水平的提高方面,在信息化建设上就难以投入过多的精力。
2.2信息化统计内容单一
在大数据时代,医院信息统计工作内容越来越丰富,然而一些医院并没有意识到信息统计数据的重要性,信息统计内容还只局限于对病人的病例进行统计。由于统计内容的单一,难以形成有效的分析数据,对于医院的管理和医疗水平的提高不能发挥出统计数据实际的价值。
2.3信息化统计专业性差信息化
在医院管理中的应用缺乏统计的专业性,目前,医院所采用的信息化系统主要包括HIS医院管理系统和CIS临床信息系统,这两套系统主要功能是降低劳动化强度辅助医院进行人和物的管理,而对于统计数据适用性并不强。所以医院信息化急需具有专业性的统计系统,充分利用数据的价值,帮助医院进行管理和医疗能力的提高。
3发展对策
3.1提高统计信息质量在大数据时代
大量的信息集中在医院的信息科,如何快速将这些信息进行分类和提取是信息科所要面临的重要课题。信息的准确性是信息统计工作必须严格管控的内容,在现代化医疗体系建设中,把握信息的质量的关键在于建立信息内容评价标准和信息应用规范,信息数据的应用具有3个主要特征,一是准确性,二是适用性,三是及时性。统计信息的评价标准和应用规范主要围绕信息数据这3个主要特征进行确立。
(1)信息的准确性信息的准确性
对于来自方方面面的信息真伪进行判断,只有准确的信息才能够成为有效信息,在医院中如果误用了错误信息数据则会造成严重的问题。提高信息的准确性首先要明确信息的来源,其次要对信息的真伪进行辨别,最后对信息的价值进行评价。
(2)信息的适用性
在医院的信息管理中,如何从大量的信息内容中获取对信息应用目标有用的数据是信息管理的内容之一。信息的适用性选择需要建立统一的标准,避免“张冠李戴”造成信息错用的问题。信息的适用性原则主要从医院自身的信息采集为标准,因为不同的医院在信息产生上都不相同,只有利用自身的信息才能确保信息的适用性。
(3)信息的及时性信息具有时效性
相同的事情在不同的阶段所产生的信息不一定完全相同,因此,在信息采集和统计时,必须要以最新数据为价值参考,加快信息刷新的频率,降低失效信息勿误的可能性。信息统计的及时性主要表现在医院建立信息及时交流的基础上,只有增强科室之间、部门之间、人员之间的信息沟通机制才能保证信息及时被利用。
3.2科学化管理利用大量的数据统计促进医院科学化
管理是医院信息统计工作的核心内容。医院信息统计科学化管理主要实现以下几方面工作目标:
(1)信息统计的评测信息统计的评测功能
可以对医院的人员、设备、耗材等进行统计,还可以对近段时间的医患病因进行统计,通过对医院各项数据的统计与近期医患病因的统计可以分析出在某段时间医院需要加强某方面医疗的能力。利用信息统计的评测功能还可以对医院某一专项的医疗水平进行评测,统计医疗过程中的不足,帮助医生及时调整医疗方案。
(2)信息统计的决策
我国医疗体制改革不断完善进行中,对于来自各个层面的数据进行统计分析,能够为医院的管理者提供准确的决策依据,帮助决策者正确判断医院经营方向。并且通过对本院的统计信息可以快速找到医院系统中的薄弱环节,依靠准确的数据为管理者提供医院改革的参考。
(3)信息化统计的监督
医院医疗和服务的质量是医院水平的重要表现,医院信息统计可以对医院的各个科室、每一位医生及护士的工作能力和工作状态进行一个时期的统计,通过数据可以客观地、真实地反映出不同科室的医疗质量和个人的服务水平。信息化统计的监督功能是保障医患关系融洽的重要手段,通过建立奖惩制度提高医生和护士的工作认真性,而信息化的统计数据则是衡量和监督医生和护士工作积极性的重要参考。
4结语
大数据的特征常用4V来表示,具体是指大数据的四个显著的特征:第一是数据体量,主要指的是巨大的数据量与数据的完整性。第二是数据类型,指数据的种类非常的多而且复杂,大数据技术就是要在这些复杂的数据类型之间寻找其关联性。第三是处理速度,爆炸式增长的数据量要求快速化的处理速度,才能使得数据的有效利用。第四是价值,大数据的最终目标是将庞大数据中找到数据时间的价值关系,通过找到低密度的数据价值对决策做支持。当前大数据技术不仅产生于特定领域中,而且还产生于我们每天的日常生活中,Facebook、微博、微信等社交媒体上的数据就是最好的例子。大数据发展为社会各领域带来的机遇和挑战,网络思想政治教育作为信息时代育人的新载体自然无法回避这个新的环境变化。分析大数据对网络思想政治教育带来的巨大机遇与严峻挑战,探讨如何在大数据时代创新网络思想政治教育的具体措施,进而为下一步发展提供有益的指导已然成为热点研究问题。
二、大数据时代下的网络思想政治教育的新发展方向
(一)树立大数据时代的网络思想政治教育的数据意识
网络思想政治教育必须顺应科技与时代的发展。大数据时代教育工作者需要树立网络思想政治教育的数据意识,这是发展大数据环境的网络思想政治教育的首要前提。针对大数据发展网络思想政治教育可以分为如下三个方面。首先是要全面了解和分析大数据本身,理解大数据是什么、大数据的变革力量何在、大数据的未来发展趋势等等;其次是在理解大数据的基础上,系统地分析大数据时代对网络思想政治教育可能产生的影响,带来的机遇和挑战。最后是充分的确立数据意识,意识到数据是现代社会最具价值的资源,是发展与决策的源泉。用数据意识驱动网络思想政治教育工作创新发展,例如在一定的数据分析基础上将灌输式集中教育变为交流式个别教育。
(二)借助大数据技术对网络思想政治教育进行量化研究
定性研究与定量研究相结合是网络思想政治教育的重要研究方法。定量分析法是对社会现象的数量特征、数量关系与数量变化进行分析的方法。定量分析使用数学模块对研究对象可量化数据进行的分析,通过分析对目标给予评价并做出判断。定量分析方法始终受到教育工作研究人员的关注,因为网络思想政治教育中存在极大的不确定性和动态性的因素,定量分析方法可以帮助我们对网络思想政治教育进行科学评价。但与此同时定量分析方法具有很大的复杂性,受很多技术因素的限制,一直不能很好的发挥作用。大数据技术的出现为定量研究提供了一种新的技术手段,成为科学研究新的范式。定量研究可以运用大数据技术进行理论假设、建立数据模型以及数据分析验证。由此可见,大数据时代网络思想政治教育的研究,需要与数据资源丰富的机构单位合作,借助这些数据载体的平台、资源以及高精尖的技术,进行合理合法的挖掘教育对象的信息,从而精确的开展网络思想政治教育活动。另外,要建设一支过硬的网络思想政治教育队伍,不但要具备思想政治教育的专业知识,而且还要具备创新的网络教育观念、精通大数据等新技术手段。
(三)促进大数据时代网络思想政治教育信息资源建设