大数据库建设方案精选(九篇)

前言：一篇好文章的诞生，需要你不断地搜集资料、整理思路，本站小编为你收集了丰富的大数据库建设方案主题范文，仅供参考，欢迎阅读并收藏。

第1篇：大数据库建设方案范文

关键词：NoSQL 3.20工程 研判分析

一、前言

当今世界是一个信息高速发展的时代，随着网民参与互联网产品和应用的程度越来越深，互联网将更加智能，互联网的数据量也将呈爆炸式增长。可以预见公安行业信息化发展在未来几年里，数据将以每年 30%到50%的速度爆炸式增长。

在大数据时代下对系统又提出了新的需求：1、高并发读写的需求，高并发、实时动态获取和更新数据。2、海量数据的高效率存储和访问的需求，类似SNS网站，海量用户信息的高效率实时存储和查询。3、高可扩展性和高可用性的需求，需要拥有快速横向扩展能力、提供7*24小时不间断服务。

物联网发展和互联网应用带来了多源海量数据的存贮、管理、处理、融合、整合和挖掘分析问题，传统的关系数据库管理系统（SQL数据库管理系统）已不能完全适应这些海量数据的管理与计算要求，NoSQL数据库管理系统应运而生。NoSQL数据库主要有键-值存贮（key-value stores）、 BigTable、文件存贮数据库（document store databases）和图形数据库（graph databases）等类型，相关的数据库软件主要memcached， Redis， MongoDB， CouchDB， Apache Cassandra和HBase等等，都是开源的。

NoSQL数据库与传统的关系数据库管理系统相结合，为智慧城市数据管理提供整体解决方案，应用NoSQL并不是全盘否定SQL数据库，而应该是NoJustSQL依赖于SQL。

二、传统数据库在大数据处理中存在的问题

传统数据库，主要指关系型数据库，在长期的实践中体现出性能好、稳定性高等特点，在使用上也比较简单，功能强大，在实际的数据库工作和研究发挥了很好的作用。但关系数据库在应对大数据存在明显的问题：

1、分库分表缺点：

（1）受业务规则影响，需求变动导致分库分表的维护复杂。

（2）系统数据访问层代码需要修改。

2、Master-Slave缺点：

（1）Slave的实时性保障，在实时性要求很高的应用中，可能需要进行相关处理。

（2）在高可用性方面的问题，Master存在容易产生单点故障的致命弱点。

3、 MMM缺点： 本身扩展性差，一次只能一个Master可以写入，只能解决有限数据量下的可用性。

三、NoSQL概念

1、什么是NoSQL NoSQL是Not Only SQL的缩写，而不是Not SQL，它不一定遵循传统数据库的一些基本要求，比如说遵循SQL标准、ACID属性、表结构等等。相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。

2、主流NoSQL数据库--HBase简介 HBase是Hadoop Database的简称，它是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术，可在廉价的PC Server上搭建起大规模、结构化的存储集群。

HBase是由Google Bigtable的开源实现，类似于Google Bigtable利用GFS作为其文件的存储系统，HBase利用Hadoop HDFS作为其文件的存储系统；Google是通过运行MapReduce来处理Bigtable中的海量数据，HBase同样是通过利用Hadoop MapReduce来处理HBase中的海量数据的；Google Bigtable利用 Chubby来作为协同服务，HBase是利用Zookeeper来作为对应的。

四、NoSQL的特点分析

1、NoSQL是易扩展的

NoSQL数据库的种类繁多，但是他们有一个共同的特点，就是去掉了传统关系数据库的“关系型”这一特性，所以NoSQL数据库的数据之间是无“关系”的，这样的数据库就非常容易扩展，同时，在架构的层面上也具有可扩展性，有多种NoSQL数据库之间的整合能力。

2、NoSQL是灵活的数据模型

NoSQL数据库不需要事先为要存储的数据建立对应的字段，随时可以存储自定义的数据格式。而在传统的关系数据库里，增删字段是非常麻烦的，如果是大数据量的数据库表，增加一个字段简直是很麻烦的。

3、NoSQL是高可用的

NoSQL数据库可以方便的实现高可用的架构，而且不太影响性能。比如Cassandra，HBase模型，就可以通过复制模型实现高可用。

4、NoSQL是具有大数据量的处理能力，具有高性能的特点

NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，这种读写能力体现更加突出，这得益于它的“无关系性”，数据库的结构简单，NoSQL的 Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

五、“3.20”工程海量数据分析应用

“3.20”工程是在江苏省公安厅统一部署下开展的路面监控建设工程，要求在市区主要道路每3公里记录一次车辆轨迹，国道等城市道路每20公里记录一次。

由于“3.20”工程每天产生海量过车信息，数据总量大、日均增量大、占用存储空间多，仅仅依靠Oracle关系数据库技术的存储建库模式，已不能完全满足实战应用的需求。对于传统的关系数据库来说，在一张几百亿条数据记录的表里面进行SQL查询，效率极其低下，用户不可忍受。在传统的关系数据库系统中往往采用分库、分表的策略进行数据存储，这种方式使得单表的查询效率得到提高。然而在能耗监测系统中往往需要对全局数据进行综合统计查询，往往涉及到几十上百个表，查询效率无法保证。

这就需要在“大平台”总体数据库体系下，深入研究“大数据”应用处理问题，引进HDFS分布式文件系统，采用Hadoop架构的NoSQL数据库技术，科学规划设计数据存储、传输、建库的模式，满足“3.20”工程车辆数据应用需要。NoSQL数据库采用“键-值”对的方式对数据进行存储，该存储方式是不需要固定的表结构的，也就不存在连接操作，具体操作时效率就比较高。在大数据存取上具备关系型数据库无法比拟的性能优势。

Hadoop应用场景

基于Hadoop HDFS等分布式文件系统存储结构，能够有效解决海量数据快速读写的性能瓶颈问题，是开展“大数据”应用访问、统计分析很好的解决方案。

对于需要分析的大数据，特别是对于日均增量达4000万的过车信息数据等，采用NoSQL数据库技术，运用Hadoop的HDMS结构方式进行存储建库，搭建多个“3.20”工程大数据专题库，并利用MapReduce功能来进行数据分析，多台机器组成集群进行并行计算，以此提升全省“3.20”工程大数据的处理和分析能力。

在汇集整合全省道路监控网“3.20”工程相关信息资源的基础上，结合各警种业务部门实战需求，充分利用“大数据”技术，以人车案关联分析为建设重点，实现全省一体化查询服务、人车案关联分析、重点车辆电子档案、重点车辆积分预警、警务地理信息系统对接应用、指挥调度系统对接应用等功能，面向全省基层单位、专业部门、各级公安机关领导提供系统服务，为开展深度研判应用奠定基础。

参考文献

[1]黄富洁.公安决策支持系统的研究与设计[D].济南：山东山东大学，2004

[2]张岚.浅析数据库技术的发展趋势[J].信息与电脑（理论版）.2012

第2篇：大数据库建设方案范文

颠覆性改变

由于医院数据具有数据量总体偏小，并以结构化数据为主，以及管理工具以ORACLE、SQLserver等数据库管理系统为主等特点，使得医院信息系统仍然以提高工作效率、提升精细管理和优化诊疗流程为主，医疗质量主要体现在对医疗过程的环节控制上，真正以提高诊断水平和诊疗技术为目的的信息系统还屈指可数。另外由于医院管理总体上还比较粗放，对于这些有限的数据利用率也还不够高，因此有人得出医院没有大数据的结论。

但作者认为尽管大数据目前在医院还没有得到充分应用，却已越来越表现出大数据的特征。首先区域医疗的发展使得一个地区的医疗数据完全达到PB级，即使是在医院内部，10多年的数据也接近乃至达到PB级。其次医疗数据越来越多样化，临床的深入应用必然要采集包括数值、文字、影像、文本、语音等各种类型的诊疗数据。另外，云计算、移动互联网、可穿戴设备、基因治疗、大型影像设备的发展让医疗领域快速积累了大量蕴含极大价值的诊疗数据。这些海量数据依靠原有的数据库或数据仓库技术已经难以得到充分的利用，必须引入新的技术才能解决。

利用这些“大数据”将对医疗服务模式产生巨大影响。首先在临床决策支持上，通过全面分析同类型患者的体征数据和疗效数据，比较多种干预措施的有效性，找到最佳治疗途径。精确分析包括患者体征数据、费用数据和疗效数据在内的大型数据集，帮助医生确定临床上最有效和最具有成本效益的治疗方法。

利用规则和数据进行实时分析，给出药物过敏重点人群、慢病患者等各类警示信息以及重复检查检验提示，提醒医生防止潜在的错误，降低医疗事故率。对数据的深入分析和挖掘，能给医生提供诊疗建议，从而提高工作效率和诊疗质量。

其次，基于海量的临床和分子生物学数据、信息与知识的整合与分析，个性化医疗逐渐进入临床实践。通过高级算法和分布式计算加快基因测序计算效率，加速基因序列分析，让疾病的发现过程变得更快、更容易和更便宜。根据基因信息，制定专门的疾病治疗方案。考察遗传变异对特定疾病的易感性和对特殊药物的反应的关系，针对不同患者采取不同的诊疗方案，提供个性化治疗服务。

另外，大数据分析技术对非结构化数据的分析能力更加强大，以此可以发展智能化诊疗技术。比如可以使用图像分析和识别技术识别医疗影像（X线、CT、MRI）数据，或者挖掘医疗文献数据建立医疗专家数据库，从而通过操作计算机就基本可以对大部分常见病和多发病做出诊断。另外大数据分析、海量医学影像检查、三维重建技术和机器人手术等将颠覆手术模式，未来医院的手术也许将按如下路径展开：智能诊断->海量影像检查->三维重建->手术导航->机器人手术。

同时，大数据采集管理结合可视化技术，可以有效提升医疗效率和质量。如西雅图儿童医院的医护人员通过使用iPad上的数据可视化和分析工具Tableau来分析遍布医院各处的服务器和数据库里的数亿TB数据，并以数据可视化方式展现数据之间的关系和趋势。可视化数据分析不但帮助医护人员减少医疗事故，制定临床试验计划，而且还帮医院节省了供应链成本。

此外，在健康管理和流行病检测以及疾病预防方面，大数据也将大有作为。通过对健康传感器采集的如睡眠质量数据、日常活动数据，以及大量公共卫生和健康行为数据，还有来自社交网络上的各种相关数据进行关联分析，提供一个可针对个人的健康行为分析平台，协助将健康传感器和移动数据转换为个人健康建议和指导。

另一方面，公共卫生部门可以通过覆盖全国的患者电子病历数据库，快速检测传染病，进行全面的疫情监测，并通过集成疾病监测和响应程序，快速进行响应。大数据帮助确定哪些人是某类疾病的易感人群，如应用高级分析可以帮助识别哪些患者有患糖尿病的高风险，使他们尽早接受预防性保健方案。这些方法也可以帮患者从已经存在的疾病管理方案中找到最好的治疗方案。

总而言之，通过对大数据的深度挖掘利用，不仅能够改变诊疗模式，还会使患者服务、决策方式和精细化管理等方面都发生质的改变。

积极应对

面对大数据带来的机遇和挑战，作者认为首先要转变对大数据的态度。现在业内对新技术往往存在不正确的认识，一种是盲目追随，不管是否符合实际，不管是否能够产生效益，盲目引进新技术，导致不必要的浪费；另一种是盲目拒绝，觉得大数据还很遥远，高挂免战牌。

对待像大数据这类新技术，一定要树立大数据意识。首先要热情拥抱，不要排斥，要跟进、学习和体验，并思考大数据与行业的结合点，努力应用创新。其次是要科学对待，思考并创新应用新技术解决现实问题。

之后，还要有效组织大数据。大数据不是凭空而来的，医疗大数据完全是在互联网、物联网、云计算和可穿戴设备等深入应用到医疗行业各个领域后聚集而来的，应用大数据还必须学会有效组织大数据。医疗领域的信息系统不少还是离散的、垂直的业务和单一的应用。通过云计算可以搭建一个扁平化的信息云平台，在此之上可以把原来离散的信息系统整合起来，进而促进业务的有效协同。可以把离散在各个系统、各个机构甚至各个医疗器械中的健康信息提取出来，形成完整的诊疗信息，从而形成完整的临床诊疗数据中心。

第3篇：大数据库建设方案范文

关键词：大数据；BIM系统；基础数据；施工企业

大数据时代，建筑行业无可回避。那么，大数据对建筑行业到底会带来哪些影响呢？“大数据”的标签已经开始引领建筑业。但“大数据”的真正含义是什么[1]，它如何影响建筑行业？在最简单的形式中，大数据是一个庞大而复杂的数据集的集合。管理数据的能力成为关键。许多建筑公司开始为业务和技术进行大数据定义，将大数据与BIM结合，管理与BIM相关的数据和其他协作流程[2]。

大数据技术的战略意义在于借助于专业软件，对这些含有意义的数据进行专业化处理。提高对数据的“加工能力”，通过“加工”实现数据的“增值”。建筑行业是数据最多的行业，但也是数据最不透明的行业。建筑行业中，掌握数据能力强的企业，必然产生极大的竞争优势，并形成核心的竞争能力。那么，大数据时代，施工企业该如何构建企业的基础数据库？企业基础数据又该如何利用呢？

1 建筑施工企业基础数据定义

施工企业在施工全过程中产生的资料，将其电子信息化后产生的数据，就可以成为基础数据；基础数据包括：预算数据，建筑施工模型，企业定额，企业指标库、企业知识经验库；其中，企业定额库是企业所独特的，通过设计阶段的建筑实物模型得到的计划量，根据各个企业的管理水平和技术力量不同，资源实际的消耗量也不一样。施工过程中发生的人、材、机、税、费、技术、消耗量、价格等，都属于施工企业的基础数据中的预算数据。对于施工企业来讲，最核心的基础数据就是企业定额。通过搜集、分析、归纳、反馈、再收集这一循环来制定一个企业的基础数据库；施工企业的基础数据有很多种类：工程数据、企业消耗量指标、价格库、构件库等，只有工程项目本身的数据来源于设计，其它的数据另有解决方案来收集、处理、共享、应用。

2 基础数据构建基本条件

2.1 共同平台，相同规范

上下层级协同归集，创建一个共同开发的平台；最好能有一个和清单计价规范一样的整体分类；建筑企业基础数据要在BIM平台发挥使用价值，首先要归集成大家认可的企业定额库、指标库等。平台的构建是关键，一定要由懂得施工流程与控制相关的专业人员和系统软件建立数据库。

2.2 需求出发，部门配合

首先要从需求出发，再分析自己的需求应该来源于哪些数据；由对应的各部门提供，专门部门管理；基础数据库要开发对应的应用，让数据流动起来。

2.3 做好规划，管理先行

做好大数据规划，信息细度的划分等数据管理规范是基础数据库的基石。在管理手段上提出符合专业数据的要求；在技术手段上和云、BIM等先进系统软件结合；在理念上基础数据是需要的；在制度上规定必须用；在技术保障上推广BIM等手段[3]。

不同的建筑数据来源，必定对应不同的管理出处和管理目标，整合是关键，但还要进行必要的区分和归类；基础数据协同、共享的基础是数据的结构化；建筑企业的目标是将项目流程化，模块化，规范化。这样整理出的大数据，才能为行业所用；建筑过程中发生的所有数据，都要能自动化、低成本、高效率收集起来，并能将数据尽可能结构化，并与行业业务系统对接，可随时再利用，并可分享给全行业。

3 目前存在的数据构建难点

3.1 数据难以收集

建筑企业长期处于手工时代，基础数据都存放于业务人员的大脑中。

3.2 数据无法实现共享

尤其是中小施工企业，各职能部门的数据，都是为自己部门服务，没有统一口径的数据；企业编码不统一，建筑企业信息化数据难以共享，缺乏一个大的数据平台。

3.3 基础数据库对专业要求太高

数据库的专业化程度太高，非数据专家不能应用；建立数据库考验企业人员的业务能力；基础数据库的创建与运维，考验信息化部门的信息管理能力。最关键的问题是，建筑行业管理层次的困难，就是对这海量数据的掌控能力不够，因此必须要借助BIM这样的工具。同时基础数据库需要一个缓慢积累过程。

4 BIM系统在基础数据构建方面的作用

4.1 基础数据提升管控力度，改善管理效率

基于BIM的基础数据库，数据被处理后的信息，是支持决策的关键，可以派生管理所需的信息；数据的归集主要是将数据结构化，管控就是通过对结构化数据的应用，完成特定的任务与工作；基础数据库的建立实际是可以认为是我们施工企业管理理念的更新，提升管理的效率。

4.2 借助基础数据，提升经济价值

基于BIM的基础数据库，为我们规范管理，带来经济利润的提高；基础数据可以归纳、分析、提炼出一些KPI指标，应用于企业内部的考核和外部沟通；还能促进建筑工厂化建设，减少耗材和浪费，控制人工支出等。

4.3 实现数据共享，提升项目和企业协同能力

轻松管理软件资产，过程数据留在企业数据服务器，不再担心数据流失；工程问题照片实时收集和监管处理；知识积累和共享、建立企业标准：企业指标库、企业自动套、企业定额库、企业构件库，让企业中的每位员工都能成为行业专家，企业专家建设，全公司员工共享，大幅提升团队专业水平；共享、协同、应用：轻松建立基于BIM的企业级项目基础数据库，实现BIM图形数据、报表数据共享，实现产值统计、生产计划、材料用量分析、成本分析等多项企业应用。

5 结束语

大数据时代，BIM技术不仅在处理项目级的基础数据方面发挥了作用，在支撑企业级海量数据方面，同样具备强大的能力。建筑业项目管理主流模式至今还是以承包制为主，集约化运营难以做到。其根源就在于企业级数据集约化还无法实现，但基于大数据时代的需求，借助于BIM的企业级项目管理系统的发展，解决这一问题将不再是难事。

参考文献

[1]孟小峰，慈祥.大数据管理：概念，技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.

[2]侍干霞.建筑企业信息化建设[J].城市建设理论研究（电子版），2014（7）.

第4篇：大数据库建设方案范文

Gartner报告预计，2013年全球各大企业用于大数据业务的投资总额将增至340亿美元，同比增长8倍；2013年年初IDC预测，大数据技术与服务市场将从2010年的32亿美元攀升至2015年的169亿美元，实现高达40%的年增长率，并将是整个IT与通信产业增长率的7倍。大数据的发展趋势毋庸置疑。

数据越发庞大，积累的商业信息越多，价值也就越大。以海量、多样、快速为显著特征的大数据，不像传统数据库的数据那么易于管理和分析，在为整个IT及通信行业带来机会的同时，也提出了更高的要求。大数据时代的战略意义已超越如何掌握庞大的数据信息，而是实现对这些数据的深层挖掘，进而让其“增值”。

驱动大数据发展的重要因素主要来自两个方面：一是消费领域，如网购及社交媒体应用产生的大量数据；另一方面来自城市基础设施建设，安防便是其中之一。建设平安城市的过程伴随大量数据的产生，尤其是以视频监控为主要特征的数字安全监控（Digital Security Surveillance， DSS）。我们所居住的城市中有无数的高清摄像头，涉及治安监控、指挥通信、侦查破案、规范执法、社会服务等，视频接入规模从几千到几十万，随着安防监控对高清、智能、联网的要求越来越高，每天产生的数据规模正以惊人的速度不断增长。

安防大数据

从全省、市视频监控，交通卡口监控，到运营商机房和基站的环境量监控，原有的系统数据查询越来越慢，写入的数据越来越多，需要配置的存储也越来越大，原先使用的关系型数据库性能压力激增，IO陷入瓶颈，不得不承认安防领域的大数据时代已经来临。然而，一直以来，由于安防行业的自身业务特点以及国内厂商受研发方向所限，大数据技术在安防领域并不如在IT、互联网行业那样得以深入应用。随着科技巨头的入驻，这一市场格局正在发生巨变。

基于安防的大数据同样引起了计算机和服务巨头IBM的注意。2012年10月，IBM了专为大数据处理打造的专家集成系统PureData，并和南京有关部门达成建设“智慧南京”的战略合作，综合应用智慧交通、智慧医疗、智慧数据系统，提高南京市民的生活水平。

云计算解决方案供应商浪潮紧随其后，于同年年底宣布推出用于大规模部署的公共云数据中心——“模块化数据中心”。 “数字安全监控远非安装几个摄像头那么简单。除了捕获数据，还要从中充分挖掘新知，在此基础上开发更多应用。传统安防厂商和IT厂商合作是未来的发展趋势。安防厂商对业务的熟悉度与IT公司的大数据检索和分析能力是绝佳的互补。”英特尔公司全球数字安全监控市场总监Todd Matsler如此评价。

智能计算至关重要

随着政府部门大力推动“平安城市”、“和谐社会”建设，各行各业对安防产品的需求全面爆发。金融、交通、政府等传统领域的安防应用更加深入，新生领域如教育、卫生、体育、能源飞速发展，社区、居民相关应用也在不断升温。根据《安防产业“十二五”规划》所提到的目标，到“十二五”末期，安防产业规模将翻一倍，年均增长率达到20%左右，2015年总产值达到5000亿元。从高端市场如军队、政府、司法、金融、交通、核电站、机场与港口，到中端市场如工业设施、教育、医疗，再到居民小区、零售店铺、仓库管理、物流等民用市场，安防需求将全面爆发。

与此同时，安防行业在国内的发展表现出一个重要特点，即由政府主导的大型项目推动，如智能交通系统。以视频监控为主要特征的数字安全监控扮演着无可替代的重要角色，在城际间、城市中的各类设施及行业中不断部署、渗透。随着视频监控与IT、电信行业的联系日益紧密，数字化、高清化、网络化和智能化成为其发展方向。

如何从前端摄像头获得的数据中挖掘出有用的信息，最终服务于智慧城市、智能交通？我们需要构建一个复杂而精致的系统，并考虑互联性、安全性和可管理性。英特尔在构建这个系统时，利用主动管理技术实现了设备之间的互联，并提出了分布式智能计算的构想。后者包含三个重要概念，一是如何从瀚如烟海的数据中挖掘出对各行业有用的知识，二是保证基础架构及设备与设备间的数据流动，三是降低数据对来自于不同用户或者不同系统的访问障碍。”

这套系统化解决方案，从数据获取、存储到分析及应用各个层面均有覆盖，包括软件。这些基于IA架构的技术，不仅广泛应用于后端运算系统以及开发系统，也在前端和边缘设备中发挥着巨大作用，可以帮助设备开发商大幅缩短产品上市周期，降低开发成本，同时，其强大的计算能力以及基于互联网应用的开放平台也将进一步促进安防行业的多样化发展。

而博康智能副总裁田广表示，安防行业的数字化、高清化、网络化和智能化转变，也契合了国家的物联网政策。数字安防监控行业的现状是缺乏标准却要谋求大发展，这对企业产品兼容性、未来的可扩展性、产品性能、安全性以及稳定性是个很大的挑战，需要企业在软件、上层平台等方面都有很强的规划和实施能力。

安防的可期未来

全国政协委员、南京政协主席沈健就大数据时代政府的公共基础建设需求这一主题曾说过：在大数据时代，政府要做的事情，第一应该高度重视数据的采集和生成；第二做好数据的公开工作；第三，数据的整合；第四，建立我们的数据文化；第五，数据安全。这意味着在智慧城市的基础建设中，大数据将承担更多信息的挖掘和整合工作。

当数据全面实现联网、共享，得到有效存储，并予以充分分析和挖掘，安防领域的大数据时代将真正深化。那时警察可以轻松地搜索某一时段某一颜色或某一品牌汽车的所有视频并快速识别违章行为；在没有人为干扰的情况下，视频监控设备通过自动分析对动态场景中的目标进行定位、识别和跟踪，在异常情况发生时做出反应，进行自动报警；现在每年社会走失的老人、小孩成千上万，开发“人员走失查询系统”，联网共享这些视频资源，将为更多的老百姓服务……

大数据究竟可以带给安防一个怎样的未来，我们拭目以待！

-李育新

LSI SAS力挺新型服务器

LSI 公司日前宣布，其12Gb/s SAS存储解决方案将用于100多款新型服务器，这些服务器均采用日前宣布的IntelXeon处理器E5-2600 v2产品系列。包括Asustek、Fujitsu、Gigabyte、Huawei、Intel、Supermicro等在内的领先服务器制造商，均已选用LSI12Gb/s SAS和MegaRAID解决方案，为其新一代服务器平台提供存储性能加速和企业数据保护功能。

LSI 12Gb/s SAS技术能将存储I/O性能提升50%。Intel Xeon 处理器E5-2600 v2产品系列采用22nm工艺技术，大幅降低了功耗，同时提升了性能。这样的组合解决方案将为新一代服务器提供强大的平台。

今年，针对服务器和外部存储OEM厂商，LSI宣布推出业界首批12Gb/s SAS 片上RAID（RAID-on-Chip）和I/O控制器。7月，LSI率先宣布向市场推出12Gb/s SAS主机总线适配器系列产品。

自SAS诞生以来，LSI推出了众多领先的产品。LSI SAS解决方案能提供同类最佳的SAS技术，确保互操作性和统一的厂商支持，现已应用于业界最广泛的服务器平台之上。

昆腾改变数据存储、共享和保护方式

昆腾公司近日宣布正在与CommVault一同扩展其对象存储产品，以便为数据中心融合备份与归档提供独一无二的解决方案。这个经过验证的解决方案基于昆腾Lattus对象存储技术以及CommVaultSimpana 10 软件，能够实现全面数据保护和归档战略，从而降低了主存储成本并优化了备份性能，同时在多 PT 级环境中最大程度降低了管理复杂性、管理成本和资本支出。

在一个高度可扩展、高成本效益，并且不需要“叉车式”升级的一种永久性磁盘归档的磁盘解决方案中，Quantum Lattus可近线访问全球各地的归档数据。Lattus提供比传统 RAID 产品更优异的耐用性，其中包括真正的自我修复和自我保护功能，并且无需复制就能自动进行多站点保护。最终实现一个无需备份的高弹性、容灾、可扩展的归档库。CommVaultSimpana将备份、归档、报告和灾难恢复（DR）统一到一个软件平台上，提供一个融合数据管理解决方案来控制成本和风险。通过昆腾Lattus-D 与CommVaultSimpana的整合，企业现在可以放心地在Lattus上存储单一归档数据实例。这种方式超出了传统冗余副本数据保护计划所提供的保护措施。客户还能得益于全球规模所实现的低延迟访问。

Emulex光纤通道助力HP StoreFabric

第5篇：大数据库建设方案范文

关键词：大数据；管理会计信息系统；项目管理

引言：大数据时代，能否从海量信息中获取关键或相关信息，进而获得客户，成为企业盈利的重要环节。对大数据的分析和应用是管理会计的职能之一。传统管理会计重视财务信息的分析和应用，忽略了海量非结构化的业务数据，与业务脱节严重，管理会计报告质量不高。2016年，财政部《会计改革与发展“十三五”规划纲要（2016-2020）》，提出“提高企业会计信息化水平”，“推动基层单位会计信息系统与业务系统的有机融合，推动会计工作从传统核算型向现代管理型转变”，并“密切关注大数据、“互联网+”发展对会计工作的影响”。这表明管理会计信息化已上升成为国家战略层面的高度。管理会计信息化成为企业的基本要求，数字化、信息化、智能化转型势在必行。如何构建大数据管理会计信息系统并应用，是本文研究的重点。

一、大数据对管理会计的要求

1.大数据和大数据技术

自媒体和多渠道电商平台的兴起，产生了海量大数据。大数据是指与目标群体相关的存储类型多样化的海量数据，具有短时间体量巨大、类型多样化、价值密度低、时效性高等特征。大数据分为结构化和非结构化数据两种。结构化数据是指能够以一定的逻辑结构进行呈现的数据，通常指以文字、数字和表格形式存储的财务数据、人事数据、供应商和客户数据等，这些数据便于使用者运用传统技术方法进行计算和分析。非结构化数据是指不能以一定的结构呈现，以图片、动画、音频、视频等多样化存储形式存在的数据，这些数据难以使用传统技术方法提取有效信息，且产生时效短，数量巨大，因此，需要大数据技术及时对数据进行挖掘、清洗和分析，才能提取经营决策有效信息。

大数据技术包括大数据信息平台构建、数据挖掘和清洗、数据分析和处理等技术。大数据挖掘是对数据的全覆盖式搜索，通过关键词的精准和模糊搜索，全面搜索含关键词的字段、图片、动画、网页、音频、视频等数据，按一定规则对数据进行描述、分类，归入数据仓库。数据清洗是依据一定规则对分类数据提取关键信息，清洗无用数据和信息，归集至相应的数据库。数据分析和处理是指运用聚类分析、回归分析、决策树分析等大数据分析方法对数据进行分析，发现数据的变化趋势，为经营决策提供数据佐证。

2.大数据与管理会计信息系统的关系

大数据的发展为管理会计信息系统提供了共享云平台，提高了会计信息化处理效率，降低了会计信息化成本。应用大数据技术数据，能够做好市场预测帮助企业抓住先机，提高财务决策的科学性，提升了管理会计分析预测的精准度和效率。同时，大数据对管理会计提出了大数据思维、分析能力、工具应用能力等更高的要求。

管理会计信息系统是助力管理会计实现增值目标的应用工具，其构建的原则和框架，不仅应基于项目单位的建设需求，还应符合大数据时代的要求。管理会计信息系统基于大数据技术进行搭建，对结构化数据和非结构化数据进行全面搜索，归集到基础数据库中，采用信息技术对数据进行挖掘和清洗、分析处理形成可视化数据库，提供专业化、可视化的数据处理报告、专项报告、项目决策报告。

二、大数据时代管理会计信息系统构建原则和框架

1.构建原则

（1）安全性原则

管理会计信息系统，是多部门协同建设和使用的数据系统，应从用户级别和使用权限、信息搜集和处理、跨库数据提取等方面保证数据库的安全性。首先，建设单位应依据管理层级和权限设置用户级别和权限，确保在用户登陆和使用范围的安全性；应设置信息的重要性等级标准，便于数据读取部门能够依据数据等级标准判断数据来源的重要性。其次，管理会计为了做出战略决策、财务决策、项目决策，需要从内外部搜索、接收大量数据。信息搜索过程面临较大风险，应建立高标准的防御措施，抵抗病毒和黑客的入侵。最后，管理会计信息系统内部跨库数据的访问和提取环节，是安全保障的重要环节，应在确保安全性的前提下提升跨库访问和提取的速度。

（2）开放性原则

管理会计信息系统应按照开放性原则，建立开源云平台，架设开放性结构，满足大数据处理的需求。未来的税务征管系统、银行系统、工商系统等平台都将实现数据开放查询。架设开放性结构的管理会计信息系统，能够满足外部环境和信息复杂多变的管理需求，多端口设计可以为企业后续扩容提供便利。

（3）统一性原则

管理会计信息系统包括人力资源系统、财务信息系统、供应链系统、销售信息系统等多个数据库。各个数据库相互独立，具有不同的数据代码和标准。要建设管理会计信息系统，需要整合各独立数据库的序号、代码、标准和转换规则，按照统一性的原则，实施整体统一代碼规则。只有依据统一性原则建设，各独立数据库才能实现跨库搜索和查询，形成统一的数据库资产，才能为实现管理会计目标提供数据支持。

2.构建框架

管理会计信息系统是由多个数据系统组成的复杂系统。依据系统论的理论，多个要素组成的复杂系统，具有开放性、自组织性、整体性、关联性、等级结构性、动态平衡性等共同特征。根据系统论的观点和方法，管理会计信息系统可按照基础设施层、基础数据层、分析应用层和综合报告层进行构建。管理会计信息系统构建框架见下图。

（1）基础设施层

基础设施层是系统的平台，是数据存储的媒介，由互联网、服务器、云服务器、计算机软硬件等组成。企业应根据战略发展的需要和实际财务状况，系统化设计管理会计信息系统，明确项目建设预算，制定合理的实施方案。基础设施层的构建不仅要满足现有的系统管理需求，还应保留足够的可拓展空间，便于未来的开放性结构扩容。

（2）基础数据层

基础数据层是管理会计信息系统的数据输入层，分为结构性数据和非结构性数据。其中，结构性数据由人力资源部门、财务部门、业务部门、研发部门等分别在相应系统端口输入源数据；非结构性数据则由系统采用大数据挖掘技术从外部获取，包括从政府网站、工商、税务、银行、电商平台、论坛等多渠道获得实时数据。基础数据层存储各种类型的源数据，为分析应用提供数据依据。

（3）分析应用层

分析应用层包括两部分，第一部分是预算管理、战略管理、资金管理、成本管理、投融资管理、风险管理、绩效管理等管理会计工作任务；第二部分是大数据技术工具和管理会计工具。分析应用层的职能是通过大数据挖掘、分析技术、管理会计工具，对基础数据进行分析和应用，完成管理会计工作任务。系统运用大数据挖掘、清洗技术，对非结构化数据的图片、音频、视频、动画、网站信息进行描述、归类，挖掘有效信息；并通过聚类分析、决策树分析、回归分析等技术对有效信息进行分析，为管理会计的预算管理、资金管理、投融资管理、成本管理、风险管理、绩效管理等职能管理提供清洗后有效信息。管理会计应对结构化和转化后的非结构化数据进行综合处理，才能做出精准的决策。

（4）综合报告层

综合报告层是管理会计经过分析处理后提供的可视化报告，包括预算报告、战略报告、经营管理报告和绩效报告等。综合报告层是管理会计信息系统的核心，其机密程度、访问权限和修改权限应为最高级。综合报告可以不设置固定汇报格式，依据管理层的需求，提供有针对性的管理报告。

三、管理会计信息系统在项目管理中的应用

在阿米巴经营理念下，每个业务部门都是一个独立经营、自负盈亏的主体。各独立核算主体按业务类别划分项目制进行运营。每个业务部门或每个项目配备一名业务伙伴（以下简称BP）。企业设置BP岗位，是对业务的支持。BP是将财务职能提升到业务前端，与业务同步，为业务提供预算编制和调整、风险识别和防控、资金结算与费用控制、财务分析和评价等管理会计服务和支持。BP的职能，一是辅助业务部门跟进全流程，为业务提供专业的财务建议和服务，二是为管理会计提供全过程链的分析数据。BP岗位能力，除了具备管理会计能力和信息系统使用能力，还需要掌握宏观经济基础、行业生命周期、产业链、企业的经营战略和策略、采购模式、生产工艺流程、营销模式等信息。本文以项目管理中BP的工作流程来介绍管理会计信息系统在项目管理中的应用。

项目管理中，BP的工作主要分为事前预测和服务、事中控制和支持、事后评价和反馈三部分。BP进入项目组，需要掌握项目实施区域环境和风险评估、项目业务流程、主要竞争对手、项目预算等情况，才能为项目提供全流程专业预测和支持。管理会计信息系统是BP快速掌握项目情况的优质工具。项目阶段BP和业务的工作成果表如下。

1.事前預测和服务

事前，BP的职责是对项目区域宏观环境、法律规章、行业生命周期、项目竞争程度进行风险评估，完成项目预算计划。BP可以运用大数据挖掘技术，搜集项目实施区域最新的政策文件、税收优惠条件、项目实施最新规定、同类项目案例文书等资料，录入管理会计信息系统的基础数据层；通过对比分析，生成该区域项目实施的外部环境可视化报告；结合企业过去存储的同类或相同区域的区域环境风险评估报告，生成本项目的可视化风险评估报告。风险评估报告应包括项目流程图和风险识别点标识，有利于项目业务执行的风险防控。BP编制项目预算，应在公司年度总预算内控制项目预算额度。BP编制项目预算计划，应依据项目执行方案，按照时间序列和项目进度，填制预算资金支付计划表，并按预算调整因素确定预算调整金额幅度。经项目负责人调整和确定后，确定项目预算计划。

2.事中控制和支持

事中，BP的职责是对项目执行的风险识别和控制，提供财务支持和服务。BP的风险识别和控制主要体现在对项目合同的成果交付和支付等条款议定，以及财务结算风险控制。项目按产品和服务类型可分为常规项目和新增项目。对于常规项目，BP可以通过管理会计信息系统获得以往期间同类项目的风险评估报告和项目风险控制表，可对同产品项目的风险点识别和控制有清晰认知。对于新增项目的风险识别，BP可以运用大数据挖掘技术搜索项目风险评估因素，并通过与项目负责人的沟通，明确项目风险识别和控制环节，提升项目风险防控水平。BP对项目的财务支持主要体现在对结算票据的核算处理环节。BP将票据扫描录入后，系统调用合同库数据，自动比对开票人、票据金额、产品名称、发票号码、发票专用章等信息要素。通过比对审核后，项目的业务流、资金流、信息流进入相应分析应用层的专项管理系统。资金流信息进入资金管理系统，完成资金收付和会计记账等核算工作。业务流信息进入项目管理系统，动态显示项目进度。供应商、客户、产品工艺、产品流程、采购费用等信息流信息进入信息管理系统，丰富项目信息数据。

3.事后评价和反馈

事后，BP的职责是对项目绩效、人员绩效和往来单位进行评价，并完成项目绩效报告、员工绩效报告、往来单位评价报告和项目总结报告。项目绩效报告不再是过去对项目的经验总结，而是依据管理会计信息系统的预算计划、执行、调整、项目盈利等情况进行针对性的科学评价。员工绩效报告，依据项目方案，按进度和时间节点，对员工完成项目任务的质量和进度进行评价，既利于项目员工成长，也利于项目管理。往来单位评价报告，从信息管理系统导出基础数据，按照项目评价标准对供应商和客户进行级别评价，并列出评价依据。评价依据应按照往来单位规模、管理制度、人员能力、预算执行、合同议价等因素进行客观列示。项目总结报告是从财务角度对项目方案、预算执行、盈利能力、发展能力等进行总结。

综上，可以看出，大数据时代，管理会计信息系统运用大数据信息技术和管理会计技术进行大数据信息处理、财务支持和风险防控，在事前、事中、事后三个环节能够有效降低项目的风险水平，提高项目执行效率，提升项目盈利能力。

四、管理会计信息系统的安全保障

第6篇：大数据库建设方案范文

关键词：大数据 SAP HANA 电力大数据 电力系统

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2016）11-0150-01

近年来，国内许多电力企业的业务不断发展，除了传统的火电发电，还涉及风力发电、光伏发电、电站检修和运营服务等方面业务。为了加快两化融合，促进企业管理及信息化双提升要求是建设企业运营管理系统的大数据平台的关键驱动因素，大数据平台的建成将成为企业管理及信息化运转的驱动引擎，是加快电力信息化规划实现步伐。

通过大数据平台建设，形成全公司范围的运营管理解决方案，保障企业管理工作标准化、规范化、精细化、高效化，真正为决策服务。电力企业大数据平台具有业务数据量大，分析模式复杂，数据读取频繁，等诸多特点，如何利用最前沿的软硬一体的大数据库应用支撑是摆在电力企业运营管理系统建设面前的重要难题。

1 大数据定义与特征

大数据又称海量数据，指的是所涉及的数据规模巨大，以至于目前已有的软件工具无法在合理时间内，处理、管理、挖掘这些数据，并将其整理成为帮助企业经营决策更积极目的的信息。大数据的4V特征：数量（Volume），即数据巨大；多样性（Variety），即数据类型繁多；速度（Velocity），即处理速度快；价值性（Veracity），即追求高质量的数据。

2 SAP HANA技术

SAP HANA提供多用途的内存应用设备，企业可以利用它即时掌握业务运营情况，从而对所有可用的数据进行分析，并对快速变化的业务环境做出迅速响应。

通过SAP HANA，企业可以在业务运作期间基于海量实时详细信息分析业务运营情况。企业可以探索和分析来源于所有数据源的全部交易数据和分析数据。运营数据在产生时由内存获取，并通过灵活的视图迅速将分析信息呈现给用户。外部数据可轻松的被添加至分析模型，与整个企业的数据进行整合。

3 电力大数据平台的架构设计

电力大数据平台系统具有业务数据量大，分析模式复杂，数据读取频繁，等诸多特点，如何利用最前沿的软硬一体的大数据库应用支撑是摆在电力企业运营管理系统建设面前的重要难题。

3.1 电力大数据平台架构

将数据平台总体架构划分为三大层：采集层，存储层以及分析/展现层。这种架构，是对传统标准企业级数据仓库架构的扩展，既能满足一个数据中心平台层面的所有需求，又具备充分的前瞻性，为未来EOM提供实时、兼具广度和深度的大数据应用提供支撑。

3.2 数据采集层设计

数据抽取、转换、加载的任务将在此处完成。整个平台的数据整合能力将由SAP HANA Smart Data Integrator来提供，通过开放的数据接口连接各种类型的底层数据源，并且在数据加载的同时进行第一轮的数据清洗任务，提高保证数据的规范性。

3.3 数据存储层设计

数据存储管理是本方案的核心部分。在整个方案设计中，SAP建议把数据按照数据的时效性分层管理，即历史数据和活动数据。历史数据部分包含所有的分析数据，存放电力企业历年来的数据。活动数据（热点数据）部分包含日常分析中最常使用的数据，所有的前端分析数据都将在活动数据中命中，在活动数据中将进行保证最大的数据分析并提高和数据检索效率。

3.4 数据分析/展现层

SAP建议使用SAP BusinessObject作为整体的数据展现平台。BO中的语义层工具Information Designer Tool（IDT）将负责业务数据模型的整体管理，通过IDT中的数据调用，把需要展现的数据输送给前端工具进行报表展示。

4 关键技术及方案优势

高性能内存计算技术：数据分析应用，对实效性往往要求极高，对数据存储平台提出了更高的要求：高速的数据装载的同时，提供毫秒级的查询响应。全面的数据集成能力：本方案ETL工具将利用SAP数据采集系统SAP Data Integrator，这是一个专门面向企业信息管理的应用平台，帮助企业迁移、转变和提升数据。实时数据流分析能力：SAP在信息集成过程，增加了独一无二的架构――基于内存的实时数据流处理机制，把需要处理的数据在内存中流动起来，高效地输送到各个处理环节，实现高频次、小批量的数据处理调度，到达高吞吐量、低延时的理想效果。

5 结语

本文提出了一套针对电力系统的解决方案和基于SAP HANA的大数据平台架构，大数据平台架构包括对电力数据采集层，数据存储层和数据分析/展现层，该平台在高性能，数据集成，实时数据流分析和可靠性上具有很大的提高。对电力大数据平台的研究还存在很多不足之处，还有待在今后的学习和工作中进一步研究。

参考文献

[1]Liu Qingyun， Gao Shu， Cao Xiufeng， Chen Liangchen.Research Of The Security Situation Visual Analysis For Multidimensional Inland Navigation Based On Parallel Coordinates. The Third International Conference on Cyberspace Technology[C].EI： 20161802313580.

第7篇：大数据库建设方案范文

百尺竿头

推动基础软件平台建设

中国信息化周报：您如何看待南大通用2014年的发展？

崔维力：2014是公司成立十年来发展最快的一年。首先员工人数从年初的300人发展到年末的近500人，并建立了一套有效的技术人员任职资格评价体系；其次，我们自主研发的支撑大数据应用的新型数据库GBase 8a集群规模突破120节点，在电信、金融等领域应用不断突破，市场营收增长40%以上，特别是中国农业银行基于GBase 8a构建的总行数据仓库正式上线，可以说是国产基础软件在金融领域应用的一个里程碑。我们还专门搭建了PB级的结构化大数据测试平台，来验证GBase 8a产品，这应该也是国内数据库厂家独有的。另外，今年我们还通过和IBM战略合作获得了Informix数据库技术授权，我们将基于Informix最新源代码自主构造一款面向高端行业复杂事务处理的数据库产品GBase 8t，这样通过引进、消化吸收、再创新，GBase 8t将与GBase 8a一起构成公司“双子星”产品，分别在OLTP和OLAP领域为南大通用的更高速发展提供有力支撑。2014年的这些发展，使公司上下树立了打造国产数据库龙头的信心。

中国信息化周报：中国拥有数据库龙头企业也是用户、产业、政府所期望的。

崔维力：是的。数据库具备平台属性，平台需要龙头。国际上无论软硬件平台，都是围绕龙头构建产业链，龙头需要一定规模的用户、配套工具、人才来支撑。我们国家硬件平台的龙头效应好一些，比如服务器、PC机，甚至手机等，但CPU、OS、数据库尚缺乏真正龙头，很难形成良性格局。

中国信息化周报：在当前环境下，推动基础软件平台的龙头打造，需要政府哪方面的引导？

崔维力：南大通用2014年的高速发展离不开政府部门的支持。今年，工信部电子发展基金、发改委云专项都支持了南大通用打造面向关键行业的大数据处理平台，我们将基于GBase 8a集群与Hadoop的“混搭架构”构建支撑我国电信、金融、安全等领域的大数据处理平台解决方案。另外，今年天津市也把南大通用列为重点支持企业，何树山副市长及各委办局领导都专程到公司调研指导，滨海新区领导更是多次到南大通用指导工作。

中国信息化周报：但是，龙头可能带来垄断的问题。

崔维力：这个问题需要辩证的看。追求商业目标，龙头往往会带来垄断。打破垄断则往往靠创新，然后新的一代龙头形成。正是在这个不断打破的过程中，技术、社会在进步和发展。当前环境下，培育龙头是支撑国产化及自主可控战略的抓手。这个龙头首先是催生类似CPU、OS、数据库等基础平台产品的龙头。参照IBM、MS等从软硬一体化上打造全链条也许是可行的，链条上产品选择不开放，也许会带来整个链条的“木桶效应”。

布局OLTP市场

实现数据库国产化替代

中国信息化周报：前面您提到农行数据仓库案例，您说它是国产基础软件在金融领域应用的一个里程碑？

崔维力：南大通用今年在行业营销上取得持续增长态势，这得感谢我们中兴、荣之联、浪潮、东软等合作伙伴，不断拓展我们GBase 8a产品在电信、金融、安全等领域的应用，更把它带出国门。农行数据仓库项目是一个十分典型的案例。农行数据仓库建设选用的是我们GBase 8a集群产品，目前已经上线的数据存储与管理平台，数据量达到500TB、每日新增数据800G，支撑包括贷记卡、信用卡、网络银行、资金转移定价等多个业务需求。

此项目成功实施，使农行成为国内首家在核心系统中进行数据库国产化部署的银行，破除了对国外昂贵产品的依赖心理，而且节约建设成本70%以上。该项目能成功实施与农行领导重视国产化及安全可控信息技术应用，保障金融数据安全可控，并从响应国家战略角度，以一种使命感、顶着巨大压力支持国产化应用分不开。正是这种敢“吃螃蟹”的勇气，不仅帮助了国产数据库产品的成熟，坚定了金融领域实现数据库国产化替代的信心，而且也成就了国产基础软件在金融领域应用的一个里程碑。

中国信息化周报：GBase 8a在金融、电信领域的主要竞争对手是国外产品吗？

崔维力：GBase 8a定位数据分析类应用，也就是OLAP应用，它的价值点在高速。我们在国内市场上直面竞争的是EMC、HP、Teradata等国际一线产品。经过我们5年多的产品打造，GBase 8a在技术上与国际同类产品保持同步，这两年我们与国际上竞争对手同台竟测，一直名列前三甲。GBase 8a集群定位于支撑行业大数据或结构化大数据，我们很多应用实践表明它与Hadoop的混搭架构是复杂大数据应用场景下的理性选择，Hadoop的非结构化大数据处理能力强大，而GBase 8a集群使用SQL进行结构化大数据处理和分析，并具有高并发、支持多表联合复杂查询、高安全等优势。

当前我们的研发团队正在进一步完善在大数据存储管理平台中GBase 8a计算引擎和Hadoop计算引擎的深度融合，并实现相互间的数据透明交换。构建全数据统一存储、统一计算、统一分析、统一服务接口、统一监控管理的大数据应用平台。明年我们将创新突破200节点以上更大规模的集群部署，以及跨数据中心的数据同步与统一管理等很有挑战性的问题，从而保持市场竞争力。

中国信息化周报：国内基础软件领域，包括操作系统和数据库，大多采用基于开源软件的发展模式。GBase 8a这种引进商业源代码授权的模式，其差异化何在？

崔维力：首先一个不同之处在于我们基于Informix源代码进一步开发的功能，包括对国产CPU的支持、安全功能模块、集群功能模块等源代码的知识产权完全属于南大通用，我们是可以不反馈给IBM的。当然，和IBM协同发展Iinformix源代码体系是另外一个问题。开源软件已成为一种主流的软件开发模式，软件服务化也已成为一种趋势，我们也在计划在适当时间把我们GBase 8a的源代码以及我们基于Informix的增值开发模块的源代码开源到社区里。南大通用希望推动国产数据库领域软件开发上的参与分享模式。

中国信息化周报：南大通用今年发展很快，您目前的感受是什么？

第8篇：大数据库建设方案范文

1档案数据采集安全

档案数据采集包括电子文档的收集和纸质档案的数字化处理两个部分。档案数据采集安全在强调数据收集的齐全完整的同时，也要考虑由于重复收集产生的数据冗余问题。

1.1档案数据收集范围扩展

从某种意义上来说，“大数据”的一个重要理念就是掌握的数据量越大、内容越丰富，从中推断出的信息就越多、结论就越有参考价值。具体到档案工作，无论是从档案的凭证价值和情报价值，还是档案的现实价值和长远价值，抑或档案的第一价值和第二价值来考虑，就档案数据收集而言，可能需要重新思考收集的范围和形式。大数据往往是唯一的样本数据集。举例而言，那些测量交通、土壤酸碱、雨量、风力等物理信号的监控设备，或视频监控以及其他类型的器材所连续积累的时段性或实时性数据，都单独记录着一个唯一的活动片段，一旦数据丢失，这个片段就随之永远消失。［6］从档案收集的齐全、完整、真实、有效和数据安全考虑，这些数据文档都应该实时在线归档,并同时保存离线副本。具体操作规范和标准可参考《电子文件管理暂行办法》（中办、国办厅字〔2009〕39号）和《电子文件归档与管理规范》（标准号：GB/T18894-2002）。另一个比较典型的案例是美国政府的《联邦政府Web2.0使用情况和档案价值报告》，该报告中提到，在社交平台上产生的信息，只要具有业务价值、证据价值和背景价值，就可以认定为归档的文件。我国迄今为止虽对这类内容无具体的归档规定，但根据大趋势判断，各级各类档案馆的收集范围需要主动扩展。档案大数据也可以说是档案的“全数据”。相对于其他领域的数据收集，档案大数据更强调的是数据的“全”：收集业务范围内的所有档案数据。一个基层档案部门，只要收集了本机关、团体、企事业单位的全部档案数据，即使数据总量不大，也可以称之为大数据。因为在其后对这些数据进行的分析，将采取“样本=总体”的方法；凡采用这种分析方式的数据分析方法，就称为大数据分析。当一个机构拥有全部或者几乎全部的档案数据，就能从不同的“相关”关系而非“因果”关系中更细致地统计和研究数据的方方面面。因此，档案大数据中的“大”不是绝对意义上的，而是相对意义上的“大”。与此同时，在具体工作中我们也发现，在大数据环境下，原来按“单位”进行的档案收集会有相当程度的冗余信息产生。例如，各级部门下发的红头文件，如果每个收文单位都作了归档，在今后可能建立的某种级别的云档案数据库中就存在相当的数据冗余。［7］这时就可能需要在归档的源头与具体规定这类文件的归档单位，其它收到此类文件的单位不需要归档，但在需要时有查询和利用的权限。

1.2纸质档案数字化过程和结果安全

纸质档案数字化的过程安全是指在档案数字化过程中没有发生危害档案实体和信息安全的事件或行为。因此，一系列的规章制度和规范的操作流程是必要的。首先，要考察数字化服务提供单位的资质和信誉。其次，要建立完善的管理制度。例如，案卷不准擅自带离加工现场；当日数字化的案卷必须当日归库；案卷进出库有严格的交接、检查手续等等。最后，在数字化的过程中严格遵守《纸质档案数字化技术规范》（标准号：DA/T31-2005），档案的拆卷要以不破坏档案装订原貌为基础，在扫描过程中保证案卷整洁并确保扫描图像与原件一致。纸质档案数字化的结果安全是指数字化后的档案数据有效、可用。因此，档案数字化后必须经过电子档案质量检查这一环节。这也是对档案数字化结果安全监控的重要一步。主要包括三个过程或环节：一是质量抽查，对于不合格的数据要及时返工重扫。二是数据检测，主要内容包括病毒检测、运行检测和数据核对等三个方面。三是数据利用检测，主要是将全部数据直接挂接到档案管理系统后，对外提供利用时，是否出现错误或者使用者发现的一系列问题。［8］为了保证数字化后档案信息的长期有效可用，异地的多种载体备份存储和数字信息定期可读性抽查、复制备份等制度的建立也是必要的。

2档案信息管理系统安全

从上世纪90年代国内最早的档案管理软件产生至今，已经经历了近20年的发展。随着计算机及网络技术的发展，数字化档案管理方式在分布形式上从最初的单机版（C/S架构）、到网络版（B/S架构）、直至发展到最新的面向服务的数据平台（SOA架构）；在功能上则从单一的仅实现简单档案管理的软件、到档案管理软件与OA系统整合的数据库、再到现今的将数字化档案管理方式渗透到整个工作流（workflow）的数据库平台。档案大数据是在档案方面涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的信息。［9］因此，档案信息管理系统的安全在很大程度上决定了档案信息的安全。

2.1数据支持平台安全

美国政府大数据计划中的国家档案和文件署（NARA）计划为十亿电子记录（CI-BER）建设网络基础设施，这是一个联合机构主办的测试平台。这个多机构主办的网络基础设施，对国家档案馆87万多样化的数字记录文件和信息的收集，可称为计算研究所的“文艺复兴”。这个试验台将评估技术和方法，进行超大规模数据收集，以支持可持续的访问。［10］纵览国内外各行业大数据建设实践，构建档案大数据平台至少要实现四个层次的部署：一、云服务商提供全面、可视化的服务，尤其是档案大数据服务委托方有权随时监管、分析基础设施中发生的所有事项；二、收集海量档案数据，并解决各个数据库的兼容问题；三、数据库有更快识别目标、锁定威胁来源和敌对事件的能力和相关设置；四、基础设施具有可扩展性，可以执行短期和长期的分析。监控管理、风险控制、规则遵从是档案云数据支持平台确保安全的最基本要求。

2.2数据计算环境安全

传统的数据库系统不能有效地处理大数据的原因在于，这些系统的设计无法应对现如今结构化数据所占比例越来越低，数据类型日益复杂的状况，以及传统的数据库无法既迅速又比较经济地对系统进行拓展。不仅是硬件程序的设计环节，从数据管理的角度来看，少量的数据样本容易进行单独的测试和监控，而档案大数据计算平台上存储的数据首先要有详细的类别划分，其次才是存储和计算。档案数据库的数据分析完成后，是要将结果呈现给不同的人群使用的。针对同一条查询指令，应该让不同角色的人群看到不同的结果信息，即查询所反馈的结果应该是不一样的：技术人员读取有关系统和设置管理的数据；档案工作人员查看、操作与自身业务范围相关的内容；普通利用者可以得到经审核公开的电子文本或目录。大数据时代的档案安全解决方案应该包括足够强大的、能够针对不同层次的人群提供不同的展现界面和工具。同时，档案大数据系统必须具有目录整理、档案采集、档案审核、系统维护等功能，并利用现化代网络技术，实现多人多客户端操作。

3档案数据提供利用安全

正如1893年立式文件柜的出现最终解决了纸质文件的存储和检索的困难，档案大数据必将对档案信息的查找利用带来颠覆性的变革：档案收集保管的最终目的是为了方便利用；档案大数据的核心不是拥有数据，而是拿这些档案数据去做什么。

3.1档案数据比对分析

档案大数据最直观的应用在于数据的比对分析。例如，在经适房的申购过程中，如何才能快速有效地鉴别申购者的资格？用申购者提供的姓名、身份证号等相关信息比对在房地产交易、车辆管理、金融机构等数据库的相关信息，可以准确掌握申购者的资产状况，剔除不够格的申请者。还有一个典型例子就是我国医疗档案大数据建设的“3521工程”。该项目融合了我国绝大部分三甲医院和部分二甲医院的数据库和影像文件的数字化信息系统以及电子健康档案系统，旨在通过数据自动汇总、统计分析，进行慢性病、流行病的自动筛查、趋势分析和爆发预警；同时系统还可以为新药研发、新治疗方案的设计等工作提供数据支持。档案大数据提供利用在一定程度上来说只需要知道档案大数据“是什么”，而不需要知道“为什么”。这种变化已经远远突破了技术层面，将对人类认知世界的方式方法产生重大影响。从档案大数据进行的对比分析，就是用档案数据说话的最简单直接证明。档案工作的核心在“用”。利用者在档案数据比对分析时，通过轨迹研判、信息关联等方式，由已存的较全面的档案信息，才能得出正确、合理的结论。在这种状况下，可提供利用的数据资源的丰富，就代表了一定程度上的利用环境安全。

3.2档案咨询服务

第9篇：大数据库建设方案范文

（1.中南大学 信息科学与工程学院，湖南 长沙410083；2.中南大学 地球科学与信息物理学院，湖南 长沙 410083）

摘要：计算思维能力是当前国内外大学课程建设和教学改革的重要内容和方向。文章以非计算机专业数据库系列课程为例，探讨如何在教学过程中培养计算思维能力，同时对改革的重要内容即数据库课程群建设进行分析，阐述如何在数据库系列课程教学过程和课程群建设中引入计算思维的思路和方法，为高等学校教育教学方法和课程改革提供思路。

关键词 ：计算思维；教学方法；教学质量；课程群建设；课程改革

基金项目：湖南省普通高等学校教学改革研究项目（湘教通[2014]247号）；教育部高等学校文科大学计算机教学改革项目（教高文计函[2014]05号2014-A128）；全国高等院校计算机基础教育研究会2014年课题（201445）。

第一作者简介：奎晓燕，女，副教授，研究方向为计算机网络和数据库技术，xykui@csu.edu.cn。

0 引言

计算思维是由美国卡内基·梅隆大学周以真教授在Computational Thinking中提出来的。周教授认为计算思维是运用计算机科学的基础概念求解问题、设计系统和理解人类的行为，其根本内容是本质、抽象和自动化。计算思维涵盖了反映计算机科学之广泛性的一系列思维活动，是与读写能力一样的人类基本思维方式[1]。目前，国内外计算机界学者对计算思维这一课题进行了大量的研究。研究结果表明，计算思维不仅反映了计算机及计算机科学在当前社会中重要的新认识，也反映了计算机学科最本质的特征和最核心的方法，这在计算机技术飞速发展的今天尤为重要[2]。

1 计算思维在数据库系列课程改革中的作用

数据库技术是信息系统的核心技术。近年来，数据库技术和计算机网络技术相互渗透、相互促进，已成为当今计算机领域发展迅速、应用广泛的两大技术。在数据库系列课程中，教学方法革新和课程群建设是课程改革的两个重要方面。在数据库课程改革中引入计算思维有助于正确理解计算和计算机，可以更好地揭示表象背后的核心问题，揭示不同现象之间的共同本质，从而有效提高教学质量，培养出时展所需要的高素质人才。

在数据库系列课程的教学过程中引入计算思维的理念，应当使计算思维的本质始终贯穿整个数据库课程教学过程，根据讲授的具体知识点适时引入计算思维的思想，培养学生的创新能力和计算思维能力，久而久之，教师形成新的教学思路和行之有效的教学方法。具体来说，计算的想法是把复杂问题分解，把问题简单化；计算的方法是选择一个合适的模型反映这个问题的相关方面；计算的思维是考虑当出现问题时如何恢复等。总的来说，计算思维是采取适当的方法解决问题并理解人类行为，这是计算机科学中非常重要的一些想法[3]。

在数据库系列课程的课程群建设中引入计算思维，必须先研究课程群各门课程的关联性，通过课程整合删除重复过时的内容，增加可增强学生应用和创新能力的新内容，一方面提高教学效率，使学生在有限的学时内能吸收更多的知识；另一方面，针对课程群理论与实践并重的特点，通过引入计算思维更好地训练学生的思维能力，提高学生的综合技能。

2 在数据库教学过程中引入计算思维的方法和步骤

在数据库系列课程的教学过程中，一方面是理论知识讲授，通过教学帮助学生正确理解和掌握数据库的基本原理，熟练掌握数据库的设计方法和应用技能；另一方面是通过实践环节激发学生对数据库相关知识的兴趣，培养独立探求新方法、新技术的技能，使之成为适应能力强、有创新精神和创造才能的专门人才。在数据库系列课程的教学过程中引入计算思维，需要结合课堂教学和实践环节这两个方面。教师应当始终将计算思维的本质贯穿在课堂教学中，根据讲授的具体知识点适时引入计算思维中涉及的关注点、嵌入、保护、转化、纠错和恢复、启发式等基本概念和思维方法，引导学生领会计算思维的新方法；在实践环节，教师提出问题、给出实验任务，学生通过独立完成或者小组协作的方式运用计算思维的系列方法解决实际问题，从中探索解决问题的新方法，发现问题的本质，达到更好吸收和巩固知识、学会运用计算思维方法的目的，最终培养学生的创新思维和计算思维，提高其独立思考、解决问题的技能[4]。具体实现方法主要包括以下几方面。

1） 整合并精炼教学内容。

由于课程教学内容较多，教师应在课堂教学和实践环节中将教学内容根据章节进行归类、重新整合，选取重点和难点知识中的典型问题以提问的方式入手，用讨论的形式加强互动，启发学生同步思考，调动学生的学习积极性和参与热情，形成师生积极互动的良好氛围，使学生从被动接受知识变为主动探讨问题，达到良好的教学效果。此外，教师应通过对整合性教学内容的分析，建立各相关知识点与计算思维核心概念之间的关系和联系，在教学中表述出各知识点对应的应强化和渗透的计算思维具体核心概念。通过教师整合、分析和精炼教学内容，学生在有限的学时内可以更高效、主动地掌握更多知识和技能，同时这也有效促进教师不断地自我学习和提高。

2） 采用生动具体的实例教学法。

在教学过程中，教师以当前点击率颇高的淘宝网、当当网、京东网等多个购物平台和银行数据库管理系统为切入点，引入数据库的相关概念以及数据存储、数据模型、数据组织等相关知识；通过在购物平台上进行

关键词 搜索查找特定信息的过程，引入关系、数据表、查询、索引、视图、存储过程、触发器等相关知识；通过购物者选中物品、点击支付平台进行网上提交订单和在线付费购买的过程，引入数据库的安全机制、身份验证、登录和权限管理、数据备份等方面的知识，这样用学生熟悉的生活实例引出相关的数据库知识点，帮助学生从更简易、更直观、更清晰、更生动、更透彻的角度学习相关知识，始终将计算思维的思想贯穿其中，摆脱传统教学方法的单一性和枯燥性，激发学生的学习兴趣，提高学习效果，一方面锻炼学生的思维，另一方面激发学生的创造力和学习能力，让学生掌握用计算思维思考和解决问题的本领。

3） 将计算思维融入实践教学。

数据库课程实践环节重点锻炼学生对计算思维方法的运用能力，引导学生探索解决实际问题的方法，是对课堂教学内容的补充，促进学生更好地认识和巩固计算思维的方法。实践环节可以采用课堂练习、综合设计等多种形式；对于单一知识点练习题可以要求学生独立运用计算思维方法完成；对于综合设计题，学生可划分小组进行探讨，各自阐述对问题的认识和对知识点的理解，提出解决思路与方法，确定方案，然后上机实践，让计算机检验思路和方法的正确性。实践过程将知识作为载体，实现思想和方法的传授，通过有效使用工具，可以达到事半功倍的教学效果，使得学生不仅可以掌握数据库相关的软硬件工具、数据库系统及各类语言，而且通过抽象表示设计有效的算法，通过程序的实现高效地解决实际问题，真正掌握数据库的相关知识和技能。

3 在数据库课程群建设中引入计算思维的方法和步骤

数据库课程群建设中的系列课程均是高校非计算机专业必修或选修的与数据库相关的公共基础课程（数据库应用基础、数据库技术与应用、数据库系统原理、数据库应用系统开发等），这些课程涉及全校非计算机专业的所有学生。课程群建设是近年来课程建设改革的一个发展趋势，是针对某一受教育对象将相关的课程组合在一起，进行整合更新，使课程内容更贴近现实需求，提高学生应用和创新能力以及教学效率和质量。

数据库课程群的教学内容是根据教育部对计算机基础教学基本要求设计的，教学目标是通过课程学习帮助学生了解数据库应用领域，掌握基本的数据库技术，提高数据库管理系统分析、数据库应用程序设计和开发、数据库使用和维护的能力。课程群建设以教指委提出的“普及计算机文化、训练计算思维、培养信息应用能力”为总体目标，从培养学生信息素养、计算机应用能力等方面着手，以数据库技术为基础，以计算思维为切入点，以应用能力为目标，构造并设计数据库课程群知识体系及教学方案，旨在新形势下进一步提高高校计算机基础教育的质量[5]。具体实现方法主要包括以下几方面。

1） 以计算思维为切入点。

数据库课程群建设的实施可采用课程知识体系及教学内容重组与教学方法推动相结合的方式，在宏观上，以计算思维为切入点重组课程知识体系框架；微观上，参照教学指导委员会编制的《高等学校计算机基础教学发展战略研究报告暨计算机基础课程教学基本要求》和《高等学校计算机基础核心课程教学实施方案》提出的课程基本知识体系和实验体系，融入最新数据库技术、通信技术、网络技术等相关概念、方法和应用，形成数据库课程群建设的方案。

一个高效的教学团队对于强化质量意识、深化教学改革、促进课程群建设、提高教学质量发挥着极其重要的作用。基于师资队伍的现状，教学团队建设应以教学研究为切入点，以提高队伍的教学水平和改善队伍职称结构为目的，最终形成稳定的、高水平的师资队伍。团队中的教师应该认真学习并掌握计算思维的精髓，能够在教学过程中引入计算思维，启发学生训练思维能力，用计算思维的方法思考和分析问题，提高学生对知识的综合运用能力。

2） 采用层次化教学方法。

教学方法的研究与实践在数据库课程群建设中占据相当重要的地位。教师要改革传统的以单纯的操作、技术为重点的教学方式，转变为以思维能力养成训练、问题求解能力培养、工作实践能力培养为目标的新型教学方式，采用层次化教学方法进行数据库课程群建设，针对不同层次的课程和不同专业的学生采用不同的教学方法（如图1所示）。第1层课程采用启发式教学方法，教师用多媒体课件等教具向学生形象、生动地演示课程重点和难点，通过灵活设计教学过程让学生积极参与教学活动，更好地掌握知识；第2层课程采用案例教学法、讲授教学法、实验教学法相结合的方式；第3层课程采用课题研究教学法、讨论教学法、指导自学法相结合的方式。除此之外，无论是哪一个层次的教学，都应该在整个教学过程中研究计算思维要素的概念、案例、课题的教授方法，研究如何将隐式计算思维要素与课程内容有机结合并呈现出来，使学生感受计算思维的科学性与普适性，从而提高学生的计算思维能力和科学素养。

3） 科学制订课程知识体系。

在数据库课程群建设中，建立科学的课程知识体系能大大提高课程群建设的质量和效果。具体来说，一方面要准确分析计算机公共课的培养目标及知识结构要求，在正确认识数据库技术系列课程知识体系特点的基础上科学提炼计算机学科内涵；另一方面要及时跟踪国内外计算机技术和数据库技术的发展和趋势，不断根据大数据[6]、透明计算、云计算、物联网[7]时代的技术发展特点修正、更新和调整教学内容，让课程知识体系能始终适应时展的需求。同时，要以培养计算机应用开发能力为目标，以计算思维为切入点，对教学内容进行科学组织和优化；在充分调研、认真分析的基础上，确定学生应具备的知识结构，明确改革目标，提出具体方案并投入课程改革实践，分析改革效果，进行总结和推广研究。这个过程可以反复交叉进行。改革是无止境的，改革的效果也是相对的，没有最好，只有更好。教师应在实践中不断调整和修正教学改革方案，建立科学的课程知识体系。

4 结语

数据库系列课程是高等学校非计算机专业中非常重要的公共基础课[8]，如何在计算机技术飞速发展的背景下更加深入地理解计算机学科的内涵和性质，根据不同专业、不同年级学生的特点开展有针对性的教学，在数据库系列课程教学和数据库课程群建设中引入计算思维以有效促进课程改革，是高校计算机基础课教师应重点关注和思考的问题。笔者阐释了计算思维在数据库系列课程改革中的作用，介绍了在数据库系列课程教学过程和在课程群建设中融入计算思维的方法和步骤，期望通过大胆的探索为培养和提高教师和学生的计算思维能力打下基础。

参考文献：

[1] 周以真. 计算思维[J]. 中国计算机学会通讯， 2007(11): 11-14.

[2] 李廉. 计算思维: 概念与挑战[J]. 中国大学教学， 2012(1): 7-12.

[3] 龚沛森， 杨志强. 大学计算机基础教学中的计算思维培养[J]. 中国大学教学， 2012(5): 51-54.

[4] 李晓明， 蒋宗礼， 王志英， 等. 积极研究和推进计算思维能力的培养[J]. 计算机教育， 2012(5): 1.

[5] 教育部高等学校计算机基础课程教学指导委员会. 高等学校计算机基础核心课程教学实施方案[M].北京: 高等教育出版社， 2011: 4-5.

[6] 大数据时代来临[N]. 北京晚报， 2012-06-15(40).

[7] 严大虎， 陈明选. 物联网在智慧校园中的应用[J]. 现代教育技术， 2011， 21(6): 123-125．