前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的大数据分析主题范文,仅供参考,欢迎阅读并收藏。
我们知道,HDFS中的文件分配表的核心是NameNode,客户端主要通过NameNode执行数据操作,DataNode会与其他DataNode进行通信并复制数据块以实现冗余,这样单一的DataNode损坏就会导致集群的数据丢失。但是NameNode一旦发生故障,后果就会非常严重。虽然NameNode可以故障转移,但是花费大量的时间,这也意味着序列中会有更多的等待时间。此外,HDFS的垃圾回收,尤其是Java垃圾回收还需要占用大量的内存,一般是本机有效内存的10倍左右。
因为HDFS的设计更多是建立在响应“一次写入、多次读写”任务的基础上,多数情况下,分析任务都会涉及数据集中的大部分数据,也就是说对HDFS而言,请求读取整个数据集要比读取一条记录更加高效,所以HDFS在语言选择方面更偏向于基础语言,而不是高级语言。
传统的操作可以用更短的时间来开发部署,维护成本更低、安全性更好。业内有这样一种说法,大多数操作系统支持C语言、汇编和Java的原因是文件系统处于一个较低水平。HDFS的工具和其他文件系统工具相^存在差距,比起曾经处理的任何文件系统或分布式存储,HDFS周围的工具表现不佳。基于Java的文件系统只能搭上IT人员最喜爱的POSIX工具的末班车,尝试过NFS挂载HDFS吗?其它的HDFS工具的安装也相对较复杂,相反如果使用REST bridge Tool和客户端命令行就会非常容易。
HDFS支持原生代码扩展,提高了运行效率。另外社区也为NameNode的发展作出了很多贡献。如果想要打造一个高端的系统,那么必须打破监测和诊断工具中的NameNode瓶颈,总之在操作系统上使用基于C或C ++的较为成熟的分布式文件系统往往是更好的选择。
关键词:大数据 智能 数据分析
中图分类号:F503 文献标识码:A 文章编号:1674-098X(2014)04(a)-0021-01
对于数据分析来说,其主要的目的就是通过对数据的分析去发现问题或预测趋势。从数据钻取、大规模分析的技术手段、以及算法执行上来说,大规模分析是和小规模数据在技术上是有很大差异的。想要探究大数据下的智能数据分析技术,首先要对数据分析这一概念进行深入研究。
1 数据分析
数据分析的过程其实简单的说就是做报告,做什么样的报告反映什么样的指标。最开始的时候基本上是data processing。例如零售行业来说,最主要的指标就是库存、销售同比增长情况、利润同比增长情况、促销率等等。对于不同的行业会有不同的相关的KPI需要跟踪,所以报告的内容也会有所侧重,但是只要你一个行业做久了,熟悉了套路之后,基本上就是以同样的方法开展。
对于数据分析,如果公司部门分的比较细的(例如可能有建模组),那么做数据分析可能永远都是做data processing了。对于模型的分析,需要你对业务有了深入的了解就可以建立一些模型出来(例如推荐模型)等等。
数据分析主要涉及的技能:
(1)数据库的能力。越全面越好,如果不是理工科的,最起码要会select那些简单的查询语句。
(2)EXCEL、PPT的能力。报告的呈现一般都是Excel+PPT的形式,最好VBA,这样就可以将很多人工的工作转化为自动化的能力,提高工作效率,领导也对你刮目相看,自己也有更多空余的时间准备其他方面的知识。
(3)市场分析能力。学会观察市场的走向和关注的内容,例如零售行业,现在大家都对CRM很热衷,那相关的分析方法和方式是怎么样的,你要自己去了解。从来不会有人手把手的将所有东西都告诉你,你必须自己学会去增长知识。
(4)一些会计的知识。因为通过以上分析,就是会计管理的一部分内容,最后还是公司盈利问题。有兴趣的也可以去看看战略管理方面的,对于做数据分析也很有好处的说。
综合来看,可以说数据分析=技术+市场+战略。
2 如何培养数据分析能力
理论:
基础的数据分析知识,至少知道如何做趋势分析、比较分析和细分,不然拿到一份数据就无从下手;
(2)基础的统计学知识,至少基础的统计量要认识,知道这些统计量的定义和适用条件,统计学方法可以让分析过程更加严谨,结论更有说服力;
(3)对数据的兴趣,以及其它的知识多多益善,让分析过程有趣起来。
实践:
(1)明确分析的目的。如果分析前没有明确分析的最终目标,很容易被数据绕进去,最终自己都不知道自己得出的结论到底是用来干嘛的;
(2)多结合业务去看数据。数据从业务运营中来,分析当然要回归到业务中去,多熟悉了解业务可以使数据看起来更加透彻;
(3)了解数据的定义和获取。最好从数据最初是怎么获取的开始了解,当然指标的统计逻辑和规则是必须熟记于心的,不然很容易就被数据给坑了;
(4)最后就是不断地看数据、分析数据,这是个必经的过程,往往一个工作经验丰富的非数据分析的运营人员要比刚进来不久的数据分析师对数据的了解要深入得多,就是这个原因。
3 大数据
大数据就是通过统计分析计算机收集的数据,在人们可能不知道“为什么”的前提下,了解到事物的状态、趋势、结果等“是什么”。
对于大数据,一直来说,数据规模导致的存储、运算等技术问题从来不是最重要的瓶颈。瓶颈只在于前端数据的收集途径,以及后端商业思想引领的模型和算法问题。早期的各类OLAP工具已经足够了,后来类似海杜普这样的研究则彻底降低了分布式数据的架构成本和门槛,就彻底将大数据带入了一个普及的领域。
从技术层面说,大数据和以前的数据时代的最大差异在于,以前是数据找应用/算法的过程(例如各大银行的大集中项目,以及数据建仓),而大数据时代的重要技术特征之一,是应用/算法去找数据的过程,因为数据规模变成了技术上最大的挑战。
大数据的特点:
(1)大数据不等同于数据大,我们处理问题是根据这个问题的所有数据而非样本数据,即样本就是总体;不是精确性而是混杂性;不是因果关系而是相关关系。
(2)大数据应用的几个可能:当文字变成数据,此时人可以用之阅读,机器可以用之分析;当方位变成数据,商业广告,疫情传染监控,雅安地震时的谷歌寻人;当沟通变成数据,就成了社交图谱。一切都可以量化,将世界看作可以理解的数据的海洋,为我们提供了一个从来未有过的审视现实的视角。
(3)数据创新的价值:数据的再利用。例如重组数据:随着大数据出现,数据的总和比部分更有价值,重组总和和本身价值也比单个总和更大;可扩展数据:在设计数据收集时就设计好了它的可扩展性,可以增加数据的潜在价值;数据的折旧值:数据会无用,需淘汰更新;数据废气:比如语音识别,当用户指出语音识别程序误解了他的意思,实际上就有效的训练了这个系统。
总之,大数据是因为对它的分析使用,才产生和体现它的价值,而不是因为其用到了突出的技术和算法才体现了它的价值。
4 大数据下的智能数据分析
在大数据的背景下,必须考虑数据之间的关联性。一个单独的数据是没有意义的,实际中,选择处在两个极端的数据往往更容易找出它们之间的联系,把它们放在一个框架中看才能发现问题。因此,可以用以下四种方法在大数据背景下进行智能数据分析:
(1)从解决问题的角度出发收集数据;
(2)把收集的数据整理好,放入一个框架内,并利用这个框架帮助决策者做出决定;
(3)评估决定与行动的效果,这将告诉我们框架是否合理;
(4)如果有新的数据出现,我们将考察能否利用它对前面三步做出改进,以及我们今天是否还需要收集更多种类的数据。
5 结语
数据分析的最终目的是帮助业务发现问题并解决问题,提升公司价值,而这些是从数据发觉的,而不是盲目下结论。每家公司都有自己业务生产的数据,通过数据分析、同比环比、漏斗分析及模型等,发现业务上存在的问题,帮助公司业务的优化。
参考文献
[1] 李贵兵,罗洪.大数据下的智能数据分析技术研究[J].科技资讯,2013(30).
关键词:告警数据 Hadoop Spark
1 引言
随着电信网络的不断演进,全省数据网、交换网、接入网设备单月产生告警原始日志近亿条。以上告警通过网元网管、专业综合网管、智能网管系统[1]三层收敛,监控人员每月需处理影响业务或网络质量的告警事件为20万条,但一些对网络可能造成隐患的告警信息被过滤掉。如何从海量告警数据中获取与网络性能指标、运维效率相关的有价值的数据,对于传统的关系型数据库架构而言,似乎是一个不可能完成的任务。
在一般告警量情况下,ORACLE数据处理能力基本可以满足分析需求,但当告警分析量上升到亿级,如果采用传统的数据存储和计算方式,一方面数据量过大,表的管理、维护开销过大,要做到每个字段建索引,存储浪费巨大;另一方面计算分析过程耗时过长,无法满足实时和准实时分析需求。因此必须采用新的技术架构来分析处理海量告警信息,支撑主动维护工作显得尤为必要,为此我们引入了大数据技术。
2 分析目标
(1)数据源:电信运营商网络设备告警日志数据,每天50 G。
(2)数据分析目标:完成高频翻转类(瞬断)告警分析;完成自定义网元、自定义告警等可定制告警分析;完成被过滤掉的告警分析、TOPN告警分析;核心设备和重要业务监控。
(3)分析平台硬件配置:云计算平台分配8台虚拟机,每台虚机配置CPU16核;内存32 G;硬盘2 T。
3 制定方案
进入大数据时代,行业内涌现了大量的数据挖掘技术,数据处理和分析更高效、更有价值。Google、Facebook等公司提供可行的思路是通过类似Hadoop[2]的分布式计算、MapReduce[3]、Spark[4]算法等构造而成的新型架构,挖掘有价值信息。
Hadoop是Apache基金会用JAVA语言开发的分布式框架,通过利用计算机集群对大规模数据进行分布式计算分析。Hadoop框架最重要的两个核心是HDFS和MapReduce,HDFS用于分布式存储,MapReduce则实现分布式任务计算。
一个HDFS集群包含元数据节点(NameNode)、若干数据节点(DataNode)和客户端(Client)。NameNode管理HDFS的文件系统,DataNode存储数据块文件。HDFS将一个文件划分成若干个数据块,这些数据块存储DataNode节点上。
MapReduce是Google公司提出的针对大数据的编程模型。核心思想是将计算过程分解成Map(映射)和Reduce(归约)两个过程,也就是将一个大的计算任务拆分为多个小任务,MapReduce框架化繁为简,轻松地解决了数据分布式存储的计算问题,让不熟悉并行编程的程序员也能轻松写出分布式计算程序。MapReduce最大的不足则在于Map和Reduce都是以进程为单位调度、运行、结束的,磁盘I/O开销大、效率低,无法满足实时计算需求。
Spark是由加州伯克利大学AMP实验室开发的类Hadoop MapReduce的分布式并行计算框架,主要特点是弹性分布式数据集RDD[5],中间输出结果可以保存在内存中,节省了大量的磁盘I/O操作。Spark除拥有Hadoop MapReduce所具有的优点外,还支持多次迭代计算,特别适合流计算和图计算。
基于成本、效率、复杂性等因素,我们选择了HDFS+Spark实现对告警数据的挖掘分析。
4 分析平台设计
4.1 Hadoop集群搭建
基于CentOS-6.5系统环境搭建Hadoop集群,配置如表1所示。
4.2 Spark参数设置[6]
Spark参数设置如表2所示。
4.3 数据采集层
数据采集:由于需采集的告警设备种类繁多,故采取分布式的告警采集,数据网设备、交换网设备、接入网设备分别通过IP综合网管、天元综合网管、PON综合网管进行采集,采集周期5分钟一次。采集机先将采集到的告警日志文件,通过FTP接口上传到智能网管系统文件服务器上,再对文件进行校验,通过Sqoop推送到Hadoop集群上。
4.4 逻辑处理层
(1)建立高频翻转告警监控工作流程
先将海量告警进行初步删选,通过数量、位置和时间三个维度的分析,得出高频翻转类告警清单列表,最后由专业工程师甄别确认,对某类告警进行重点关注和监控。
(2)差异化定制方案
按组网架构细分,针对核心重要节点的所有告警均纳入实时监控方案;
按业务网络细分,针对不同业务网络设计个性化的监控方案;
按客户业务细分,针对客户数字出租电路设计个性化的监控方案。
4.5 数据分析层
Spark读取Hive[7]表的告警数据,然后在Spark引擎中进行SQL统计分析。Spark SQL模K在进行分析时,将外部告警数据源转化为DataFrame[8],并像操作RDD或者将其注册为临时表的方式处理和分析这些数据。一旦将DataFrame注册成临时表,就可以使用类SQL的方式操作查询分析告警数据。表3是利用Spark SQL对告警工单做的一个简单分析:
5 平台实践应用
探索运维数据分析的新方法,利用大数据分析技术,分析可能影响业务/设备整体性能的设备告警,结合网络性能数据,找到网络隐患,实现主动维护的工作目标。
5.1 高频翻转类告警监控
首先制定了高频翻转类告警分析规则,将连续7天每天原始告警发生24次以上定义为高频翻转类告警,并基于大数据平台开发了相应的分析脚本,目前已实现全专业所有告警类型的分析。表4是全省高频翻转类TOP10排名。
5.2 核心设备和重要业务监控
目前以设备厂商或专家经验评定告警监控级别往往会与实际形成偏差,主要表现在以下几个方面:监控级别的差异化设定基于已知的告警类型,一旦网络重大故障上报未知的告警类型就无法在第一时间有效监控到;同一类型的故障告警出现在不同网络层面可能影响业务的程度是完全不同的;不同保障级别的客户对故障告警监控的实时性要求也是不同的。
通过大数据分析平台对差异化监控提供了灵活的定制手段,可根据告警关键字,分专业、地市、网管、机房、告警频次等维度自主定制需要的告警数据,实现日、周、月、某个时间区等统计分析。
应用案例:省NOC通过大数据分析出一条编号为CTVPN80113的中国平安大客户电路在一段时间内频繁产生线路劣化告警,但用户未申告,省NOC随即预警给政企支撑工程师,政支工程师与用户沟通后,派维护人员至现场处理,发现线路接头松动,紧急处理后告警消除、业务恢复。
5.3 被过滤告警分析
全省每天网络告警数据300万条~500万条,其中99%都会根据告警过滤规则进行过滤筛选,把过滤后的告警呈现给网络监控人员。过滤规则的准确性直接影响告警数据的质量。一般来说告警过滤规则可以从具有丰富运维经验的网络维护人员获得,但是这个过程非常繁琐,而且通过人工途径获得的告警过滤规则在不同的应用环境可能存在差异,无法满足网络维护的整体需要。采用大数据技术对被过滤的告警进行分析可以很好地完善过滤规则,让真正急迫需要处理的告警优先呈现给维护人员及时处理,真正做到先于客户发现故障。表5是动环专业被过滤的告警情况分布。
5.4 动环深放电分析
动环网管通过C接口采集蓄电池电压数据,在停电告警产生之后,电压数据首次下降到45 V,表示该局站电池出现深放电现象,通过计算这一放电过程的持续时间,记为深放电时长,该时长可以初步反映电池的放电性能。一个局站每天产生几十万条电压等动环实时数据。
在告警数据分析的基础上,实现对蓄电池电压变化数据的分析,提醒分公司关注那些深放电次数过多和放电时长过短的局站,核查蓄电池、油机配置、发电安排等,并进行整治。利用Spark SQL统计了一个月内抚州、赣州、吉安三分公司几十亿条动环数据,分析了其中深放电的情况如表6所示。
6 结论
本文利用HDFS+Spark技术,实验性地解决告警数据存储和分析等相关问题:一是通过数据分析,从海量告警数据中发现潜在的网络隐患;二是结合资源信息和不同专业的告警,最终为用户提供综合预警;三是转变网络监控思路和方式,通过数据汇聚、数据相关性分析、数据可视化展示,提高了网络监控效率;最后还扩展到对动环实时数据、信令数据进行分析。
从实际运行效果来看,HDFS和Spark完全可以取代传统的数据存储和计算方式,满足电信运营商主动运维的需求。
参考文献:
[1] 中国电信股份有限公司. 中国电信智能网管技术规范-总体分册[Z]. 2015.
[2] Tom white. Hadoop权威指南[M]. 4版. 南京: 东南大学出版社, 2015.
[3] RP Raji. MapReduce: Simplified Data Processing on Large Clusters[Z]. 2004.
[4] Spark. Apache Spark?[EB/OL]. [2016-11-27]. http:///.
[5] Matei Zaharia, Mosharaf Chowdhury, Tathagata Das, et al. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing[J]. Usenix Conference on Networked Systems Design & Implementation, 2012,70(2): 141-146.
[6] S鹏. Apache Spark源码剖析[M]. 北京: 电子工业出版社, 2015.
[7] Hive. Apache HiveTM[EB/OL]. [2016-11-27]. http:///.
[8] Holden Karau, Andy Konwinski, Patrick Wendell, et al. Learning Spark: Lightning-Fast Big Data Analysis[M]. Oreilly & Associates Inc, 2015.
[9] 员建厦. 基于动态存储策略的数据管理系统[J]. 无线电工程, 2014,44(11): 52-54.
【关键词】大数据;大数据营销;京东
一、数据分析时代演变历程
(一)数据1.0时代
数据分析出现在新的计算技术实现以后,分析1.0时代又称为商业智能时代。它通过客观分析和深入理解商业现象,取缔在决策中仅凭直觉和过时的市场调研报告,帮助管理者理性化和最大化依据事实作出决策。首次在计算机的帮助下将生产、客户交互、市场等数据录入数据库并且整合分析。但是由于发展的局限性对数据的使用更多的是准备数据,很少时间用在分析数据上。
(二)数据2.0时代
2.0时代开始于2005年,与分析1.0要求的公司能力不同,新时达要求数量分析师具备超强的分析数据能力,数据也不是只来源于公司内部,更多的来自公司外部、互联网、传感器和各种公开的数据。比如领英公司,充分运用数据分析抢占先机,开发出令人印象深刻的数据服务。
(三)数据3.0时代
又称为富化数据的产品时代。分析3.0时代来临的标准是各行业大公司纷纷介入。公司可以很好的分析数据,指导合适的商业决策。但是必须承认,随着数据的越来越大,更新速度越来越快,在带来发展机遇的同时,也带来诸多挑战。如何商业化地利用这次变革是亟待面对的课题。
二、大数据营销的本质
随着顾客主导逻辑时代的到来以及互联网电商等多渠道购物方式的出现,顾客角色和需求发生了转变,世界正在被感知化、互联化和智能化。大数据时代的到来,个人的行为不仅能够被量化搜集、预测,而且顾客的个人观点很可能改变商业世界和社会的运行。由此,一个个性化顾客主导商业需求的时代已然到来,大数据冲击下,市场营销引领的企业变革初见端倪。
(一)大数据时代消费者成为市场营销的主宰者
传统的市场营销过程是通过市场调研,采集目前市场的信息帮助企业研发、生产、营销和推广。但是在大数据以及社会化媒体盛行的今天,这种营销模式便黯然失色。今天的消费者已然成为了市场营销的主宰者,他们会主动搜寻商品信息,货比三家,严格筛选。他们由之前的注重使用价值到更加注重消费整个过程中的体验价值和情境价值。甚至企业品牌形象的塑造也不再是企业单一宣传,虚拟社区以及购物网站等的口碑开始影响消费者的购买行为。更有甚者,消费者通过在社交媒体等渠道表达个人的需求已经成为影响企业产品设计、研发、生产和销售的重要因素。
(二)大数据时代企业精准营销成为可能
在大数据时代下,技术的发展大大超过了企业的想象。搜集非结构化的信息已经成为一种可能,大数据不单单仅能了解细分市场的可能,更通过真正个性化洞察精确到每个顾客。通过数据的挖掘和深入分析,企业可以掌握有价值的信息帮助企业发现顾客思维模式、消费行为模式。尤其在今天顾客为了彰显个性,有着独特的消费倾向。相对于忠诚于某个品牌,顾客更忠诚与给自己的定位。如果企业的品牌不能最大化地实现客户价值,那么即使是再惠顾也难以保证顾客的持续性。并且,企业不能奢望对顾客进行归类,因为每个顾客的需求都有差别。正是如此,大数据分析才能更好地把握顾客的消费行为和偏好,为企业精准营销出谋划策。
(三)大数据时代企业营销理念———“充分以顾客为中心创造价值”
传统的营销和战略的观点认为,大规模生产意味着标准化生产方式,无个性化可言。定制化生产意味着个性化生产,但是只是小规模定制。说到底,大规模生产与定制化无法结合。但是在今天,大数据分析的营销和销售解决的是大规模生产和顾客个性化需求之间的矛盾。使大企业拥有传统小便利店的一对一顾客关系管理,以即时工具和个性化推荐使得大企业实现与顾客的实时沟通等。
三、基于数据营销案例研究
———京东京东是最大的自营式电商企业。其中的京东商城,涵盖服装、化妆品、日用品、生鲜、电脑数码等多个品类。在整个手机零售商行业里,京东无论是在销售额还是销售量都占到市场份额一半的规模。之所以占据这样的优势地位,得益于大数据的应用,即京东的JDPhone的计划。JDPhone计划是依据京东的大数据和综合服务的能力,以用户为中心整合产业链的优质资源并联合厂商打造用户期待的产品和服务体验。京东在销售的过程中,通过对大数据的分析,内部研究出一种称为产品画像的模型。这个模型通过综合在京东网站购物消费者的信息,例如:年龄、性别、喜好等类别的信息,然后进行深入分析。根据分析结果结合不同的消费者便有诸如线上的程序化购买、精准的点击等营销手段,有效的帮助京东实现精准的营销推送。不仅如此,通过对于后续用户购物完成的售后数据分析,精确的分析商品的不足之处或者消费者的直接需求。数据3.0时代的一个特征便是企业不在单纯的在企业内部分析数据,而是共享实现价值共创。所以,京东把这些数据用于与上游供应商进行定期的交流,间接促进生产厂商与消费者沟通,了解市场的需求,指导下一次产品的市场定位。总的来说,这个计划是通过京东销售和售后环节的大数据分析,一方面指导自身精准营销,另一方面,影响供应商产品定位和企业规划,最终为消费者提供满足他们需求的个性化产品。
四、大数据营销的策略分析
(一)数据分析要树立以人为本的思维
“以人为本”体现在两个方面,一方面是数据分析以客户为本,切实分析客户的需求,用数据分析指导下一次的产品设计、生产和市场营销。另一方面,以人为本体现在对用户数据的保密性和合理化应用。切实维护好大数据和互联网背景下隐私保护的问题,使得信息技术良性发展。
(二)正确处理海量数据与核心数据的矛盾
大数据具有数据量大、类型繁多、价值密度低和速度快时效高的特点。所以在众多海量的数据中,只有反映消费者行为和市场需求的信息才是企业所需要的。不必要的数据分析只会影响企业做出时代Time2017年第04期中旬刊(总第657期)正确的决策。鉴于此,首先企业需要明确核心数据的标准;其次企业要及时进行核心数据的归档;最后要有专业的数据分析专业队数据进行分析,得出科学合理的结果以指导实践。
(三)整合价值链以共享数据的方式实现价值创造
[关键词]综采工作面 数据分析
中图分类号:TD823 文献标识码:A 文章编号:1009-914X(2016)16-0016-01
1.引言:本文主要从综采工作面大数据的支撑下如何选择综采“三机”(三机指采煤机、刮板机、液压支架)展开探讨,综采工作面“三机”配套不能停留在简单的“经验类比”上,而应开发研制综采设备选型的大数据系统,避免在选型设计中受决策者个人偏见或感彩的影响。同时还要对系统中的主要环节进行动态优化设计,使其设计参数与实际运行参数得到统一。目前的综采工作面“三机”选型设计还是以“经验类比”为主,虽然基本上能够满足生产需要,但在某些环节上还存在着严重的不合理现象。
2.综采工作面大数据分析影响着综采“三机”的合理配套选择
2.1 采煤机的机型选择
采煤机机型选择之前要考虑一下数据:首先考虑地质条件,主要包括综采工作面内断层断距、走向、煤层倾角、煤质硬度等判断是否具备选择采煤机的条件,在地质条件适合综采的情况下再考虑其他因素如采高、每月计划产量、每刀生产能力、截深、功率、牵引方式,实际生产能力主要取决于采高、截深、牵引速度以及工作时间利用系数。采高由滚筒直径、调高形式和摇臂摆角等决定,滚筒直径是滚筒采煤机采高的主要调节变量,每种采煤机都有几种滚筒直径供选择,滚筒直径应满足最大采高及卧底量的要求。截深的选取与煤层厚度、煤质软硬、顶板岩性以及移架步距有关。截割速度是指滚筒截齿齿尖的圆周切线速度,由截割部传动比、滚筒转速和滚筒直径确定,对采煤机的功率消耗、装煤效果、煤的块度和煤尘大小等有直接影响。牵引速度的初选是通过滚筒最大切削厚度和液压支架移架追机速度验算确定。牵引力是由外载荷决定的,其影响因素较多,如煤质、采高、牵引速度、工作面倾角、机身自重及导向机构的结构和摩擦系数等,没有准确的计算公式,一般取采煤机电机功率消耗的10%~25%。滚筒采煤机电机功率常用单齿比能耗法或类比法计算,然后参照生产任务及煤层硬度等因素确定。
2.2 刮板机的选择
在选型时要确定的刮板输送机的参数主要包括输送能力、电机功率和刮板链强度等。输送能力要大于采煤机生产能力并有一定备用能力,输送能力应大于采煤机的最大生产能力,一般取1.2倍;电机功率主要根据工作面倾角、铺设长度及输送量的大小等条件确定;刮板链的强度应按恶劣工况和满载工况进行验,要根据刮板链的质量情况确定链条数目,结合煤质硬度选择链子结构型式。
2.3 液压支架的选择
液压支架的选型就是要确定支架类型(支撑式、掩护式、支撑掩护式)、支护阻力(初撑力和额定工作阻力)、支护强度与底板比压以及支架的结构参数(立柱数目、最大最小高度、顶梁和底座的尺寸及相对位置等)及阀组性能和操作方式等。此外还要考虑矿井采区工作面的煤层、顶底板及地质条件数据,依据不同类级顶板选取架型。
液压支架具备最基本的特点是(1)要顶得住:它的初撑力和工作阻力要适应直接和老顶岩层移动所产生的压力,使控顶区的顶板下沉量限制到最小程度;(2)要移得走:它的结构形式和支护特性要适应直接顶下部的岩层冒落特点,尤其要注意顶板在暴露后未支护下的破碎状态,要尽量保持该处顶板的完整性,支架底座的比压要适应底板岩石的抗压强度,以防止底板松软而使底板下陷不能移架。
2.4 “三机”合理配套选择工程复杂
从采煤机、液压支架、刮板输送机的选型参数中看到,综采设备的合理配套是很复杂的系统工程。满足生产能力要求采煤机生产能力要与综采工作面的生产任务相适应,工作面刮板输送机的输送能力应大于采煤机的生产能力,液压支架的移架速度应与采煤机的牵引速度相适应,而乳化液泵站输出压力与流量应满足液压支架初撑力及其动作速度要求;满足设备性能要求输送机的结构形式及附件必须与采煤机的结构相匹配,如采煤机的牵引机构、行走机构、底托架及滑靴的结构,电缆及水管的拖移方法以及是否连锁控制等。输送机的中部槽应与液压支架的推移千斤顶连接装置的间距和连接结构相匹配;采煤机的采高范围与支架的最大和最小结构尺寸相适应,而其截深应与支架推移步距相适应。如果综采没有大量数据的支持,“三机”的合理选择无从下手。如下图三机配套关系图(见图1)
3.综采工作面大数据分析的意义
3.1 经济效益方面
工作面生产前期需要决策“三机”选择,不同的决策者往往站在自己的专业领域考虑设备,这样在缺乏综合数据分析下往往造成“三机”设备不配套,不仅会造成大量资金的浪费,短时间内不能满足高产高效,又影响煤矿企业经济效益。
3.2 安全生产方面
井下作业条件特殊,尤其是工作面,时刻都面临着危险,如果没有工作面大量数据分析的支持,错误的选择“三机”,不能很好的配合工作,这样很可能会造成液压支架支撑不住顶板压力而造成顶板事故,工作面进度跟不上可能会诱发火灾、一氧化碳等事故,还有“三机”的机械故障也容易造成人员伤害等等。
小结
一、智慧江苏的建设现状
信息化建设成果显著。一是既有投资计划完成超前。据2015年数据统计,全省“十二五”期间宽带基础设施建设累计完成投资1399.6亿元,提前一年完成五年投资计划。二是“宽带江苏”、“无线江苏”建设取得显著成效,多项指标在全国名列前茅。数据显示,至2014年底,江苏光缆线路总长度205.4万公里,位列全国第一;三网融合业务进一步在全省推广,继续保持全国第一;而互联网省际出口带宽8453G,宽带接入端口总数3198万个,移动电话基站数24.5万个,光纤到户覆盖家庭数达1984万户,均位列全国第二。据权威统计,2014年江苏信息化发展水平指数达到82.49,位列全国第二;信息资源开发利用水平指数则居全国第一。
智慧化建设卓有成效。一是智慧城市入选数量和规模位居全国第一。如扬州、常州等6市以及昆山、江宁等12个区县园区分别被工信部、住建部、科技部列入智慧城市建设试点。二是智慧城市生活应用推进迅速。如“我的南京”智慧城市门户服务平台信息化示范工程,以手机应用的形式集成了社保、违章处理、预约挂号、公积金查询、主干道监控以及公交查询等多种社会公共服务。这类服务既有效减轻了政府部门的工作量,又为民众生活提供了便利,初步实现居民日常行政业务需求的智慧化处理。
二、智慧江苏建设中存在的问题
无线覆盖质量欠缺。据统计,截至2015年底,全省已建成“JSFree”免费WiFi热点约3.9万个、AP数近50万个。但从实际调研情况来看,南京、无锡、常州、苏州、扬州及南通等市的部分公共区域虽已可搜索到“JSFree”的WiFi信号,但接入质量并不高,且不时会出现无法成功建立连接,或建立连接后依然无法访问互联网的情况。
应用范围深度有限。一是项目范围有限。现有智慧江苏建设项目主要涉及城市政务、民生、交通、生活、娱乐和旅游等五个方面,而在农业、医疗、工业、物流、教育等方面的应用则相对欠缺。二是应用功能较为单一。目前,江苏多数智慧项目仅开放原始数据查询。这其中,民生和交通智慧建设项目相对较好,但应用深度依然有限。如江苏省智慧城市门户,下设智慧政务栏目仅限于信息导航,并未涉及政务信息的在线处理。而智慧南京项目“我的南京”手机应用虽提供违章信息的在线处理,但其罚款的在线缴纳目前仍仅支持部分金融机构进行缴纳。
数据分析挖掘缺乏。目前智慧江苏项目的绝大多数是对数据资源的表面搬运,仍处于数据资源利用的初级阶段,数据资源挖掘不够。跨行业的信息资源整合、数据挖掘、知识发现和协同决策更为缺乏,智慧化程度低。如“我的南京”手机应用中,所提供了对南京主干道的视频监控,公积金及社保等数据的获取也停留在直接查询,未能深层次利蕴含的数据价值。
三、深化智慧江苏建设的对策建议
加强规划统筹,促进互联互通。一是建议系统制定支持技术与平台、信息基础设施、数据概念模型、数据编码、信息系统安全与保障、信息系统运维等方面的智慧江苏建设与评价的标准和规范。加强顶层规划和统筹设计,明确建设目标,提供建设指导,防范建设风险,协调建设利益。二是应广泛运用互联网、物联网、云计算、移动通信、地理空间、智能终端等现代信息技术,注重信息基础设施的升级建设,提高无线网络的接入覆盖率和质量,全面促进互联互通,整体推进建设进程。三是需加快建设“互联网+”和利于大数据分析的基本环境,提升公共基础设施的感知能力。如可将温度传感器、重力传感器、音频采集器、视频采集器等数据采集及环境感知设备嵌入至基础设施中,构建虚拟视听触动系统,并涵盖工业、商业、农业、办公、居住、旅店、展览、餐饮、会议、文娱、交通、灯光照明、信息通信与显示等诸多方面,实现日常运行的监测采集、智能分析和科学决策。
坚持以人为本,立足省情民情。一是应当联系江苏省的历史文化特点和可持续发展,将信息系统与经济发展、城乡管理、公共服务和文化传承紧密结合,注重节能减排、绿色环保、环境友好等宜人自然条件的监测、建设与管理,优化全民生活环境。二是建议完善信息交互功能,形成全方位信息提供和自下而上的信息反馈机制,推动智慧建设与社会的高度融合,实现多元互动、多向协同。
深化数据挖掘,获取智能智慧。一是可组织数据挖掘与分析专家,在统计、在线分析处理、情报检索、机器学习、专家系统和模式识别方面协同攻关,针对具体行业和领域实施数据挖掘工作,深挖数据价值,发现潜在知识,形成一系列具备数据分析和知识推理功能的智慧化方法。二是建议试点设计运用城市和乡村的分析决策支持模型,实现模型在网络环境下的共享与应用,形成一系列具备公共管理问题辅助决策功能的智慧化模型,优化决策质量。三是建议利用大数据挖掘与辅助决策研究成果,增强和完善现有智慧功能,研发特色智慧应用。按照不同行业和不同权限,以手机应用、网页或专门应用的方式向社会公开,以对包括民生、环保、公共安全、城乡服务、工商业活动在内的各种需求做出智能响应。支持个人更好地了解生活环境,选择更为理想的生活方式;支持工商企业更好地掌握客户需求和消费习惯,选择更为理想的生产制造和商业模式;支持农业更好地感知环境和监测对象,提高对自然环境的风险应对能力,推动耕地资源的合理高效利用,促进农业的现代化精准管理;支持政府更好地获取综合信息和运行状况,做出更为准确科学的决策。将江苏省建设成具备感知、记忆、理解、逻辑、辨别、计算、分析、判断等多种能力的智慧体,实现高层次智慧化。
引领产业发展,助推创新创业。一是建议大力实施智慧化应用项目,使项目的公益性、市场性、营利性有机结合,建立科学的商业运作模式,通过多种途径和方式推广和应用智慧化项目。二是应鼓励大数据产业发展,获取数据仓库、数据安全、数据分析、数据挖掘等围绕大数据管理的商业价值,在金融、通信、零售、医疗、旅游、政府公共事业等领域深化创新创业。三是需催生“互联网+”智慧产业,加快行业O2O布局,推动互联网与行业融合创新,整合线上线下资源,鼓励创新商业模式,探索个性化定制、按需制造、众包众创等新型生产方式,推动制造业服务化升级。
关键词:住宅空置;电力数据;大数据分析;用电量;供电信息数据;供电企业 文献标识码:A
中图分类号:TM743 文章编号:1009-2374(2016)33-0191-02 DOI:10.13535/ki.11-4406/n.2016.33.094
根据欧美发达国家相关机构对长达30~40年多个房地产市场周期的研究表明,商品房的空置率合理区间为3%~10%,10%~20%为空置危险区,空置率在20%以上为商品房严重积压区。利用公司掌握的居民客户用电量数据,推断以户为单位的居民住宅的空置状况,可以为房地产市场空置住宅的研究提供借鉴,同时结合该区域电量和业扩报装数据,可为公司调整配电网建设和供电服务策略提供一定参考。
1 研究对象
截至2015年12月,已经建档立户并抄表核算电量的所有居民客户。
1.1 判断标准
空置房可能因各种原因偶尔通电造成用电量“非0”,为方便处理,将居民住宅空置的判断标准严格定义为居民客户月度用电量为0千瓦时。实际的居民住宅空置率可能比本文计算值高。
1.2 数据获取
提取2013年1月~2015年12月低压居民电量为0的客户数据935万余条;通过采集系统,采样获取29万余户低压智能电表2015年国庆节期间用电量数据;通过信息采集,获取房地产价格、交易等相关数据。
1.3 分析粒度
由于数据量大,受硬件资源配置和数据积累限制,此次分析挖掘区域、价格等信息仅以行政区域为基础进行计算,未能进一步细化至片区,颗粒度相对较大。
2 研究结果
2.1 月度趋势分析
根据月度低压居民0电量数据统计,2013年1月~2015年12月居民住房空置率趋势如图1所示。
从公司供区范围整体居民住宅空置率来看,近三年呈波浪式起伏趋势,每年二、三季度空置率明显上升,其中在2014年5、6月达到最高值19.35%;一、四季度空置率相对下降,在2015年2、3月达到最低值16.06%。
从乡村居民住宅空置率来看,近三年呈现整体微上升趋势,反映出农村居民外出比例逐年加大;同时每年2月空置率均为当年最低值,反映出春节期间外出农民工集中返乡,0度用户数集中减少。
从城镇居民住宅空置率来看,近三年以来,月度空置率整体呈小幅下降趋势,与国家经济下行、城市房地产市场逐渐萎缩致使房产交易活跃程度相对一致。
2.2 区域内分析
随着近几年发展,各类区域居民用电总量和增长速度各不一致,空置率呈不均匀分布,其中城镇地区土地供应有限,部分新增房地产开发转移至城郊等地区,致使部分居民空置率不断上升,例如一类主城区:
从图2可以看出,一类主城区的A等地空置率均超过20%。以A为例,随着近几年城市规划发展,一大批大型居民小区相继建成,原有乡村土地被用来进行住房开发和改造,造成住房供应较多空置率达到22.17%。
以XX(居民小区)为例,从2009年开工建设,随着小区1~4期陆续完工,用电户数逐渐增至3400余户。根据系统提取的2013年1月~2015年12月每户月度用电量共计43000多条数据,完成0电量居民比例统计如图3:
从趋势图形分析,XX随着用户的不断入住,2013~2015年0电量居民比例逐步下降,从最高的89.68%下降至29.35%。即使居民空置率大幅下降,但29.35%的数据仍远高于17.91%的平均数据。
相关建议:政府相关部门、房地产开发商可根据各地区居民住宅空置率和经济实力分布,因地制宜地采取价格优惠等房地产政策调控手段,进一步活跃房地产市场,促进房地产经济可持续发展。供电企业可针对各地区(小区)空置率不同的情况,按重要顺序做好可靠供电应对(恢复)方案,以最快、最大程度保证居民生活用电。
2.3 从房地产市场投资分析
通过投资、竣工房地产核心数据多维计算和分析,房产市场和投资关系密切,但空置率与之关联反映不明显。近三年居民住宅空置率逐年降低,但从房地产市场开发投资趋势来看,2013~2014年在经历连续的低速增长后,2015年缓慢回升,其中2015年投资金额同比下降5.9%;商品房竣工面积基本与投资金额走势基本一致,其中2014年最高达到353.4万平方米,2015年出现大幅下降,同比降低24.4%。总体来看,由于本报告空置率计算以供电居民用户为基础,已投资开发未形成居民用户供电关系的房产不在计算范围,因此空置率与房产市场投资关联反映不明显。
2.4 从居民用电量分析
从近三年居民住宅空置率和居民售电量占比来看:
2.4.1 一类主城区居民电量占比最高(57.78%),同时空置率为18.58%,高于市平均水平。说明一类主城区居民用电市场总量庞大,在空置率较高的基础上,其余在用居民电量仍占绝对多数,表现出居民住房“空置”与“在住”交织分布,客户用电排查情况复杂,服务压力较大,需重点关注。
2.4.2 二类农业大县居民住宅空置率为22.93%,全市最高水平。该类区域发展相对缓慢,居民电量占比11.42%。居民空置基本为农村外出务工造成,存在负荷因节日或农时而短时间大幅波动。因此该类地区农村居民的供电服务,尤其是重大节假日集中负荷增长需要重点关注。
2.4.3 三类经济综合区居民住宅空置率较低(14.57%),居民电量占比为30.8%,仅次于一类主城区,需持续关注空置率变化趋势。
3 相关结论及建议
3.1 分析结论
3.1.1 通过对近三年来低压居民0电量数据的分析,市居民住宅空置率17.91%,虽逐年呈下降趋势,但仍处于10%~20%的危险区间。
3.1.2 一类主城区、二类农业大县、三类综合经济区居民住宅空置率分别为18.58%、22.92%、14.57%,其中一、二类高空置率区域,由于地域、经济等因素影响,城镇和乡村呈现出明显相反的住房空置现状,两类区域房屋投资和持有风险较大。
3.1.3 不同空置原因可为公司供电服务资源的调拨和分配提供一定的参考。
3.1.4 节日期间居民用户用电规律一定程度会反映该户居民的出行习惯。
3.1.5 大数据分析中反映出的房屋空置率季节性变化,供电企业可针对性提前做好供电服务应用措施;根据房地产成交量价与空置率的变化趋势,政府相关部门可针对性实施房地产开发审批、价格指导、政策刺激等措施。
总体来看,公司低压居民客户用电量数据存在多种、多样深入挖掘的价值和潜力。
3.2 相关建议
3.2.1 当前公司都在基于大数据开展管理提升,建议公司开展数据特别是大数据应用计划编制,统筹整合相关应用需求,提高资源的利用效率,结合公司“互联网+”应用同步开展大数据挖掘的技术平台研究和搭建工作,更好地运用电力数据信息给公司和地方政府提供经营管理、投资决策等参考。
3.2.2 建议相关业务部门根据大数据挖掘分析的需要,做好相关业务信息系统功能和基础数据的维护,保障系统的有效支撑和数据质量真实、可靠。
3.2.3 建立高效常态化的地方政府单位(部门)联络机制,全面、及时、准确地获得地方经济、产业等相关数据,有效支撑公司大数据关联分析工作。
参考文献
关键词:大数据 MapReduce SQL
中图分类号:TP338.8 文献标识码:A 文章编号:1007-9416(2013)08-0233-02
1 引言
云计算从开始所谓的“炒概念”到现在获得大多数的认可,过程中技术的成熟,应用和服务的推出是这种转变的关键。Google、Amazon、Microsoft、IBM等云计算的老牌企业巨大的投入,最近Apple花费500万美元购买icloud域名,推出云音乐服务,不难看出云计算巨大的吸引力和发展潜力。很多国内组织机构也投入了大量的资源,如中国移动的“大云”,华为的“云帆计划”和“阿里云”。开源社区也贡献了很多云计算项目,如Hadoop[1],Eucalyptus[2]和abiCloud,对云计算发展起到了重要作用。
MapReduce[3]作为云计算的关键技术之一,是Google提出的一个用来处理海量数据的分布式系统编程模式。用户定义一个映射函数(Map)处理一个键/值(key/value)对来产生中间的键/值(key/value)对集合,还指定一个归纳函数(Reduce)来合并所有的与同一中间键(key)相关的中间值[4]。MapReduce正是把分布业务逻辑从这些复杂的细节中抽象出来,使得程序员可以不需要有什么并行或者分布式系统的经验,就可以处理超大的分布式系统的资源。从而通过廉价的计算服务来实现原先只能通过采用昂贵高性能计算机才能达到的效果。
2 大数据分析平台
MapReduce编程模型。MapReduce是Google开发的Java、Python、C++编程模型,Hadoop MapReduce是Google MapReduce的开源实现,主要用于大规模(TB级)数据文件处理,它是一种简化的分布式编程模型和高效的任务调度模型,编程人员只需将精力放在应用程序本身,使得云计算环境下的编程十分简单。MapReduce思想是借助“Map(映射)”和“Reduce(化简)”构成运算基本单元,先将数据切割成不相关的区块,分配给大量Map任务处理,再将中间结果作为Reduce函数输入,最后将最终结果汇总输出。MapReduce[5]执行方式如图1所示。
简而言之,从图1可以看出,Map-Reduce编程模式将输入数据文件划分为M个独立的数据分片(split);然后分配给多个worker启动M个Map函数并行地执行、写中间文件(本地写)、并将计算结果以key/value对形式输出中间结果。中间结果key/value按照key分组,执行Reduce函数,根据从Master获得的中间文件位置信息,将Reduce命令发送给中间文件所在节点执行,计算并输出最终结果,MapReduce的输出存放在R个输出文件中,可进一步减少了传送中间文件对带宽的需求。
3 实验分析
3.1 实验数据集
采用8年地面全要素填图数据如表1所示。其中数据格式为(26列/行),各属性名称分别为:区站号(长整数),经度,纬度,海拔高度(均为浮点数),站点级别(整数),总云量,风向,风速,海平面气压(或本站气压),3小时变压,过去天气1,过去天气2,6小时降水,低云状,低云量,低云高,露点,能见度,现在天气,温度,中云状,高云状,标志1,标志2(均为整数),24小时变温,24小时变压。
3.2 实验与分析
3.2.1 加载数据
首先,分别在Hive和SQL server平台上创建表,然后把数据集1,4,8分别加载数据到SQL server,1,4,8个节点的Hive平台的各个表中。
从图2中可以看出,MapReduce加载数据的时间远远小于SQL server,而且集群结点数越多,数据加载时间越短;
3.2.2 大数据分析
查找各区站的总降水量(求和任务)
select a ,sum(m) from tab6 group by a;
查找能见度和温度都相等的区站(多表查询任务)
select a1.a from tab1 as a1,tab2 as a2 where a1.t=a2.t and a1.r=a2.r group by a1.a;
图3可以看出,在执行求和任务时,随着数据量增大,SQL server执行时间明显增加,而MapReduce却增加很平稳。图4可以看出,在执行多表查询任务时,MapReduce随着数据量的增大,执行时间缓慢增长,当处理大数据集时,可以看出MapReduce比SQL server更适合处理多表查询。文中对SQL server和MapReduce的性能进行对比,当处理大数据集时,MapReduce具有很较好的优势,当数据量增大时,SQL server会出现内存溢出问题,而且MapReduce的可扩展性高,结点越多,数据分析性能越好; MapReduce用户可以自定义函数来处理SQL server和Hive本身无法处理的问题,更符合大数据处理的需求。
4 结语
随着云计算技术的发展,基于MapReduce的数据分析方法受到越来越多的关注。为此,本文提出了基于MapReduce的大数据分析方法,并对MapReduce和SQL server进行了性能比较,实验表明,基于MapReduce的分析方法在大数据分析上是有效可行的。下一步我们将通过MapReduce结合其他数据库系统的优势,开发具有MapReduce和关系数据库双重优点的大数据分析系统。
参考文献
[1]Tom White. Hadoop: The Definitive Guide[M]. O'Reilly Media, Inc, 2009.
[2]Daniel Nurmi, Rich Wolski, Chris Grzegorczyk, Graziano Obertelli, Sunil Soman, Lamia Youseff, Dmitrii Zagorodnov. The Eucalyptus Open-Source Cloud-Computing System[C]. Proceedings of the 2009 9th IEEE/ACM International Symposium on Cluster Computing and the Grid, DC, USA, 2009:124-131
[3]Jeffrey Dean, Sanjay Ghemawat. MapReduce Simplified Data Processing on large clusters[C]. Communications of the ACM - 50th anniversary issue: 1958 2008, New York, USA, 2008:107-113.
[4]Michael Stonebraker, Daniel Abadi, David J. DeWitt, Sam Madden, Erik Paulson, Andrew Pavlo, Alexander Rasin. MapReduce and Parallel DBmss: friends or foes?[C]. Communications of the ACM - Amir Pnueli: Ahead of His Time, New York, USA, 2010:64-71.
随着电信用户数量的不断增加以及使用需求的多样化,电信企业在日常运行的过程中,需要根据用户使用需求,对自身的管理活动以及服务机制进行及时调整,以期满足用户的使用需求,提供更为高质量的电信服务。大数据分析作为一种新的企业管理决策机制,凭借大数据的技术优势,实现了对数据信息的全面梳理与有效汇总,为企业的发展提供了契机。大数据分析在电信企业中的使用,从技术层面上,提升了电信企业的管理能力,对于用户的使用需求以及变化趋向能够及时获取,并以此为参考,进行企业发展决策的制定与调整,实现了电信企业管理转型活动的有序开展,为电信企业后续工作的开展提供了必要的数据支持与参考。
2大数据分析在电信企业中应用的必要性
大数据分析推动电信企业的升级,电信企业由于自身工作环境以及用户数量的特点,使得其运行管理模式与传统企业之间有着较为明显的差异,在实际运行的过程中,电信企业需要以用户为中心进行视图数据资源的汇总分析,从而对用户的消费行为以及使用习惯进行深入了解,进而为后续电信企业运行管理活动的开展提供了必要的数据支持。但是在传统的数据分析体系下,受到技术条件等多方面因素的限制,电信企业在进行数据分析的过程中,难以真正地将用户使用需求与电信企业自身的运行管理活动进行衔接,从而导致数据分析工作质量的降低。大数据分析与传统数据分析有多不同,其借助于良好的技术框架,通过对BI系统等一系列软件系统的开发应用,真正意义上实现了海量数据的高速处理以及准确筛选,在保证数据分析质量的前提下,降低了企业在人力、物力以及财力方面的投入,避免了资源浪费的出现,扩展了企业营利空间。例如电信企业在大数据分析的框架下,可以从CRM系统中对用户订购套餐以及使用情况进行获取,进而对用户的消费行为、消费习惯以及业务发展趋势进行明确,对电信企业服务类型以及用户群体的扩展提供了必要的数据参考。对于电信企业的各个生产服务环节而言,大数据分析活动的开展,有着十分重大的现实意义,从长远来看推动了电信企业的健康快速发展。
3电信企业实现大数据分析的意义
①大数据能够在很大程度上提升电信企业内部各个系统的使用效率,加快运行与计算的速率。大数据打破了之前电信Management&TechnologyofSME中小企业管理与科技企业旧有的数据管理模式以及使用模式,改变了传统的数据管理模式与应用程序对应关系,大数据能够将一种数据管理模式分化成多种虚拟数据管理模式,而每种虚拟数据管理模式能够根据实际的需要,同时在一种实体数据管理模式上运行多个程序与软件,这就极大地提升了数据管理模式的使用效率,保证了系统的使用效率,提升了数据管理模式的运行效率,保证了数据中心的数据资源的高效应用。②大数据能够在很大程度上减少数据中心的运行成本,降低电信企业自身的资金投入。在现有的数据管理模式设置模式下,在数据中心安排了为数众多的独立数据管理模式,这些数据管理模式不仅占据了巨大的空间,造成了一种空间资源的浪费,同时也耗费了巨大的能源,而为了保证数据管理模式的正常运转,及时排出数据中心内部的大量热能,就需要在排热保温方面投入大量的资金。随着电信信息化进程的不断深入,建设进程的加快,数据中心的规模越来越大,数据管理模式的数量也随着增加,这在一定程度上增加了维护人员的数量,加大了人员费用的支持,而数据管理模式虚拟技术能够在很大程度上解决这一难题,通过虚拟化技术,减少数据管理模式的空间占有率[1],同时减少了电信在能源费用、保温散热方面的投入,大数据能够有效地减少数据管理模式的数量,从而降低了对维护人员数量的要求,减少了在人员方面的支出,从而降低了电信数据中心建设与运行的成本,保障了高效的财政安全。
4大数据分析在电信企业中使用管理所遵循的原则
大数据分析在电信企业运行管理的开展不仅需要各项技术的支持,还需要工作人员立足于大数据分析开展的实际,以科学性原则与实用性原则为引导,从宏观层面提升自身的思想认知程度,明确大数据分析的基本需求,进而全面提升电信企业大数据分析的效率。①大数据分析在电信企业运行管理中的应用必须要遵循科学性的原则。大数据分析在电信企业中的实现,要充分体现科学性的原则,只有从科学的角度出发,对电信企业的相关内容、大数据分析的定位以及具体职能,进行细致而全面的考量,才能够最大限度地保证大数据分析能够满足电信企业运行管理工作的客观要求。只有在科学精神、科学手段、科学理念的指导下,才能够以现有的技术条件与操作方式为基础,确保大数据分析在电信企业运行管理工作中的科学高效实现。②大数据分析在电信企业中的应用必须要遵循实用性的原则。由于电信企业涉及领域较多,工作类型内容多样,信息数据繁多。为了适应这一现实状况,确保大数据分析在电信企业中的有效应用,就要尽可能地增加大数据分析应用方案的兼容性,减少复杂冗余环节对电信企业运行管理中大数据分析应用活动的不利影响。因此大数据分析以及相关技术应用流程必须进行简化处理,降低操作的难度,提升大数据分析应用方案的实用性能,使得在较短时间内,进行有效化操作,保证电信企业运行管理工作的顺利开展,提升现阶段电信企业运行管理工作的质量与水平。
5大数据分析在电信企业中使用管理策略
5.1CDR、RFID、Wi-Fi网络信息的分析
电信企业通常使用CDR、RFID、Wi-Fi网络进行电信服务业务统计以及用户消费行为分析,伴随着电信用户数量的增加,服务类型的多样化以及社交网络的扩展,传统的信息数据分析方式越来越难以满足数据分析工作的客观需求。而大数据分析在CDR、RFID、Wi-Fi网络中的实现,使得用户在获取电信服务的过程中,各类用户习惯以及消费取向进行对比分析,使得电信企业在相关网络使用阶段,能够更加明确自身工作重点,并在分析的过程中,对系统以及相关服务进行完善,全面提升电信企业的服务质量[2]。
5.2大数据分析在电信企业运行管理的使用
大数据分析在电信企业运行管理活动中的使用,需要技术人员与企业管理者,不断进行大数据分析工作硬件设施的完善发展,通过数据挖掘等一系列方式,使得企业管理人员与决策者能够在较短时间内,从用户使用需求、套餐设计以及目标客户的定位等方面出发,实现用户体验的提升,对于客户维护以及开发工作的进行有着十分深远的影响。同时在进行大数据分析使用的过程中,需要着力进行工作人员素质的提升与专业技能的培养,充分发挥人才优势,使得工作人员能够满足电信企业大数据分析工作的客观需求,保证大数据分析的有效性,为后续共组的开展提供了必要的人才支持。
6结语
在推动大数据分析与电信企业运行管理活动有效衔接的过程中,电信企业相关工作人员需要明确大数据分析工作在电信企业日常运行管理以及企业决策之中的重要性,在此基础上,以科学性原则与实用性原则为引导,从多个维度出发,将大数据分析落实于电信企业使用与管理活动之中,推动电信企业决策管理活动的有效性,满足电信企业发展的客观需求,提升服务能力。
作者:李卫红 单位:中国电信濮阳分公司
【参考文献】