数据分析设计全文(5篇)

［摘要］伴随着大数据、移动互联网等信息技术的不断成熟，数据支持决策已经影响到社会和生活的各个方面。我国的教育信息化在近年来也快速发展，“智慧校园”已经成为高校信息化建设的一致目标。在智慧校园视角下，高校将建立起丰富、多样、繁杂的信息数据库，如何利用这些数据，并且影响和支持决策将是“智慧校园”的重要突破点。通过对校园宏观环境和用户需求的深入分析，开展教学、服务、管理、科研四个方面的数据分析系统设计，建立基础、决策、分析数据库并研究分析模型，形成一套服务于教师、学生和校园管理者的数据分析系统整体方案。

［关键词］数据分析；大数据；智慧校园；决策支持

1国内外研究开发现状和发展趋势

1．1现状与趋势

在当今大数据、云计算、物联网和移动互联网等新思路、新技术快速发展的又一历史时期，高等教育面临着前所未有的发展机遇，在经历了网络化、数字化、信息化管理阶段之后，“智慧校园”将是在“互联网＋教育”趋势下最重要的发展思路。随着计算机技术的不断发展，各种系统结构化和非结构化数据以前所未有的惊人速度迅猛增长，“大数据”时代已经到来。大数据是指数据结构比较复杂、数据规模大的数据集合。其数据量已经远远超出了一般数据管理工具可以承受的处理时间以及数据处理及存储管理能力。在当今大数据环境下，高校管理系统的数据结构及数据量发生了巨大的变化。在数据存储、数据管理、数据分析及数据挖掘等方面面临着巨大的机遇和挑战。为了有效地利用大数据为高校决策分析提供更好的服务，必须基于大数据建立相应的数据分析系统。

1．2国内外研究与开发综述

随着大数据的发展和教育信息化的不断深入，基于大数据开展的高校校园数据分析与应用逐步受到重视。对大数据的定义始终没有形成统一的意见。维基百科对大数据（Bigdata）的定义是：所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息。麦肯锡全球研究院将大数据定义为：无法在一定时间内使用传统数据库软件工具对其内容进行获取、管理和处理的数据集合。加特纳（Gartner）于2012年修改了对大数据的定义：大数据是大量、高速、多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与优化处理。而在高校学生数据的分析应用方面，国内外高校均有开展相关的研究。纽约州波基普西市玛丽斯特学院（MaristCollege）与商业数据分析公司Pentaho合作发起开源学术分析计划，旨在一门新课程开始的两周内预测哪些学生可能会无法顺利完成课程，它基于商业分析平台开发了一个分析模型，通过收集分析学生的学习习惯，包括线上阅读材料、论坛发言、完成作业时长等数据信息，来预测学生的学业情况，及时干预帮助问题学生，从而提升毕业率。上海财经大学基于校园信息化数据基础，开发了校务决策支持系统，面向人才培养、内部管理、科学研究和师生服务等方面开展决策分析；华东师范大学利用校园信息化基础数据，开展了校车人数与载客分布分析，提升了校车使用率；利用一卡通数据开展了贫困生的特征确定、潜在贫困生分析、后续跟踪验证，有效提升了帮困扶贫的工作效率。

摘要:畜产品安全与人们的生命安全和身体健康息息相关，近年来，畜牧业作为农业产业调结构、转方式、提质量、增效益的主导产业和重要方向，基础条件和发展模式发生深刻变化，进入产业化、规模化、集约化的高速增长新阶段。在新的要求下，保证产品质量成为畜产品发展的首要要求，也是保障民生的重要内容，提高产品质量就要从提升畜产品检验检测的工作质量上入手。文章对畜产品大数据分析系统的构建进行了全面的分析，为系统的开发提供理论的依据。

关键词:畜产品;大数据;数据仓库;监测分析

1畜产品大数据的现状

在大数据时代下，人工智能、云平台和高性能计算等技术的高速发展为畜产品智能检测分析系统提供了重要的支撑。智能检测分析系统的建构，有利于提升畜产品检测的智能化，完善畜产品质量安全体系，推进农业信息化建设［1］。将畜产品检测与大数据技术相结合，利用现代信息技术，通过采集海量碎片化的信息数据，准确的进行筛选、分析，并最终归纳、整理出政府和相关机构需要的资讯，构建一套畜产品检测智能分析系统，实行及时有力的深度分析，整体提升畜产品检测监管能力和水平，促进畜牧业产业健康、可持续发展。针对目前畜产品的检测，其数据处理主要存在3个问题:(1)畜产品检测注重检测方法的使用和创新，检测设备的培训和升级，检测人员的指导和培训，而对检测数据分析不够重视，没有深度发掘测试数据的潜在价值。(2)各类检测机构众多且互不统属，有传统的人工统计模式，还有利用软件进行简单分析的模式。此外实验室所用大型仪器，厂家不同，操作软件也不同，数据存储和处理也不同，测试数据分散，导致数据收集困难。(3)畜产品数据的数据统计、分析与挖掘还比较滞后，需要向系统化、集成化、智能化的方向发展，缺乏相对应的畜产品检测数据分析系统。

2大数据平台的数据处理

2．1数据获取

数据获取是从数据源收集数据，数据源分为闭源数据和开源数据。闭源数据指的是和相关检测机构合作获取的内部数据，这部分数据可靠性比较高且不向外部公开，仅仅只作为分析统计使用，不能进行商业的应用。开源数据是指各检测机构通过网络的公开检测数据，比较分散，可以利用爬虫软件进行抓取［2］。对开源数据进行收集时，首先是定时，每段时间对相关网站进行分析，观察所检测数据的更新情况。其次定量，要准确地识别出哪些是最新的、哪些是相关的内容。数据主要来源于国家、省、市、县和具有检测资质的企业等相关网站，这些数据都比较分散，需要进一步进行有意义信息的提取，比如:过滤冗余信息，集成互补性信息。这其中还存在很多问题，如信息的质量问题，哪些信息是有价值的、可信赖的。可以从可信溯源(信息的不同来源进行分析，省市级的信息比较重要和真实)、动态轮询(根据后期分析和预测结果对数据源之前的重要性权重进行动态更新)做出判断。采集数据分为结构化数据和非结构化数据，要区别对待。

摘要：随着高校各类应用系统的发展，信息化建设将转向大数据服务阶段。如何有效利用分散在各系统中的数据，为学校的管理与决策提供数据支撑，是迫切需要解决的问题。文章阐述了数据采集整合过程和分布式存储技术，设计了大数据分析平台基础架构和功能模块，分析了相关数据模型。通过搭建大数据分析平台，测试了数据采集功能和各分析模块的展示情况。

关键词：大数据分析平台；Hadoop；数据采集

引言

随着高校信息化建设快速推进，国内高校基本完成各类基础应用系统的建设，在应用系统中也存储了大量的数据，包括教师和学生的工作、生活、学习、教学和科研等数据，以及个系统的日志数据。由于各系统相对独立无法进行系统间的数据共享，使得这些系统数据都闲置在各应用系统中。因为在学校的管理与决策中缺乏真实可靠的数据做支撑，所以研究如何将闲置的数据有效利用起来，对高校的信息化建设会更有意义。大数据分析平台是在现有各应用系统的基础上，对各系统汇集起的海量数据资源进行清洗、整理、挖掘、分析等操作后，数据标准化程度提高其利用价值也更大。大数据分析平台的基础是数据，核心是分析模型，目标是应用。本文将整合校园内各应用系统数据，并对其进行挖掘、整理、分析，然后通过构建数据模型，搭建统一的大数据分析平台，实现对零散的数据进行整合分析，分析结果可以为学校及各部门的管理和决策提供数据支撑，数据的利用价值也更高。对师生在工作、生活、学习、教学和科研方面提供行为分析，分析结果为学校优化管理方式，提升服务水平提供指导，勾画“千人千面”，让学校真正了解师生。

1关键技术简介

Hadoop[1]是一个分布式系统基础架构，充分利用集群的优势对数据进行运算和存储。Hadoop由许多元素构成，底层是分布式文件系统（HadoopDistributedFileSystem，HDFS），用来存储集群中所有存储节点中的文件。HDFS上一层是Ma-pReduce引擎,为海量的数据提供高速计算。ETL（Extract-Transform-Load）[2]是用来描述将数据从源端经过抽取（Extract）、转换（Transform）、加载（Load）到目的端的过程。使用ETL目的是将学校中分散、零乱、标准不统一的数据整合到一起，为学校管理决策提供数据支撑。Sqoop[3]是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库间进行数据的传递，可以将一个关系型数据库中的数据导入HDFS，也可以将HDFS的数据回流到关系型数据库中。Sqoop也为NoSQL数据库它也提供了连接器。Nutch[4]是一个开源的高度可扩展和可伸缩性的分布式爬虫框架。Nutch主要由爬虫Crawler和查询Searcher组成，Craw-ler主要用于从网络上抓取网页并建立索引，Searcher主要利用这些索引检索用户的查找关键词来产生查找结果。两者之间的接口是索引，所以除去索引部分，两者之间的耦合度很低。

2基础架构设计

摘要：为实现教育过程中的一站式在线服务，基于大数据分析技术设计包括数据资源库、大数据分析层、智慧教育信息云服务层、应用服务层和表现层的智慧教育平台。大数据分析层采用Hbase数据库结合SQL计算执行引擎分析智慧教育数据，将分析得到的学生、教师以及资源信息等传递至智慧教育信息云服务层；智慧教育信息云服务层通过验证用户、服务绑定和服务提供，使平台用户享受平台存储文件、课程管理和课程等服务。智慧教育信息云服务层中在线学习模块的管理员审核教师备课资料和学生学习资源、教师在线或录播授课以及学生课程选择与确定功能的实现，实现教师、管理员以及学生的在线信息交流。平台测试结果表明，该平台可根据学生个性化学习行为提供个性化教学和管理，实现教师、管理员与学生的在线交流，且平台教育资源存储服务和教育资源门户服务均可实现，应用价值高。

关键词：教育平台设计；智慧教育；课程管理；大数据分析；在线学习；教育资源存储

引言

当前由于存在海量教育资源，导致教育应用平台建设资源分散和低水平重复建设问题严重，教育信息化虽在网络环境和硬件建设方面取得一定成果，但尚未能实现大数据下的智能服务，造成教育平台建设发展不均衡，无法向教师、管理员和学生提供一站式在线服务，成为影响教育信息化的重要难点。智慧教育是指将信息化理念运用在教育领域[1]，全面深入地运用现代信息技术，加快教育改革与发展进程。随着大数据分析技术在教育领域的不断深入，翻转课堂、MOOC等一些新兴教育模式逐渐兴起，技术革新推动教育模式发生转变，如何利用大数据分布式数据存储特点[2]，构建大数据环境下的智慧教育平台，克服学习障碍，实现智慧学习是众多学者关注的热点问题。大数据技术合理整合教育资源，向教育行业人员提供了虚拟服务，辅助教师和学生简化智慧教育平台开发部署过程，构建出适合教育和科学研究的智慧教育平台，为平台使用者提供存储文件、课程管理和课程等服务。发展智慧教育云平台能够在为学生创建良好学习环境的同时，向教师、管理员和学生提供一站式在线服务[3]，因此，本文基于大数据分析技术设计智慧教育平台。

1智慧教育平台设计

1.1大数据分析技术平台

智慧教育平台采用大数据分析平台的分布式框架。大数据分析技术平台将大数据处理、数据交换与共享以及数据分析挖掘合理整合，用于智慧教育平台设计过程中，大数据分析技术平台框架如图1所示。SQOOP数字交换工具通过同步学校以及外部存储系统的教育资源数据，将教育资源数据保存在文件系统中，文件系统中海量教育数据传输到大数据分析层，大数据分析层采用HBase数据库结合SQL计算执行引擎，分析海量智慧教育数据，业务层主要挖掘、分析和处理智慧教育信息数据。

摘要：我国正从工程教育大国转向工程教育强国，案例教学是培养研究生工程能力的主要模式和方法。案例库的建设成为案例教学成败的关键。以大数据分析方向为例介绍了案例库建设的目标、设计思路和内容框架，从真实应用出发，找出共性，主题分解。有利于学生“搭积木”式地构建自身的知识体系，“渐进式”提升解决复杂工程问题的能力，培养工程素质。

关键词：案例库；主题分解；案例设计；教学改革

1引言

案例教学是以学生为中心，以真实项目裁剪的案例为基础，通过呈现案例场景，引导学生发现问题、分析问题和解决问题，从而在实践中掌握理论、形成观点、提高能力的一种教学方式。这是强化实践能力培养，促进理论与实践有机融合的重要途径，是专业学位研究生教学改革的趋势[1]。教育部早在2015年发文对加强专业学位研究生案例教学提出了指导性意见。目前案例教学是推动专业学位研究生培养模式改革、提高人才培养质量的重要手段[2]。案例的设计和使用必须考虑到课程和专业特征，在课程教学大纲框架下，从教学形式到教学内容均要受到相应的约束[3]。这就必须考虑选用的案例是否合适、与教学目标是否契合[4]。因此，系统地设计教学案例和案例库显得尤为重要。

2大数据分析案例库设计目标

大数据方向专业学位研究生的培养目标是处理和分析大规模数据，从中获取有用信息。然而这只是一个宽泛的知识性要求，对于专业学位研究生，还需要加强实际工程开发项目的训练，提高解决复杂工程问题的能力，尤其是需要培养学生互联网新业态中的大工程观、互联网从业人员的职业规范、工程伦理等工程素质。因此，大数据分析案例库的设计目标是：通过知识点、简单应用和综合实践案例的教学实践，让学生掌握大数据处理与分析领域的工程伦理、工程方法、工程创新思想和工程实践技能，能独立开发大数据处理及分析相关项目，掌握信息获取、信息抽取、信息处理和智能分析等多种技术和方法，并能自觉地在项目实践中考虑到信息安全等因素，以培养多学科交叉背景下大数据分析应用设计、研发和验证、能够为复杂工程问题提供可行的工程解决方案的能力。

3案例设计原则