公务员期刊网 精选范文 数据化运营方案范文

数据化运营方案精选(九篇)

前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的数据化运营方案主题范文,仅供参考,欢迎阅读并收藏。

数据化运营方案

第1篇:数据化运营方案范文

【关键字】 互联网 大数据 系统建设一、背景

随着互联网、移动互联网、数码设备、物联网等技术的发展,全球数据生产正在高速增长,信息已成为企业的战略资产,企业越来越需要长期保存各种数据,以进行用户行为分析、市场研究等,服务企业发展。目前,“去管道化”成为电信运营商提得最多和思考最多的问题,业内认为大数据是运营商“去管道化”最有可能的实现形式之一,运营商发展大数据具有其他行业无可比拟的优势,主要体现在:运营商掌握数据充分全面;通信网络数据提供的可持续性;运营商对数据可以有效利用。

在此背景下,本文将对电信运营商大数据应用系统建设方案进行探讨,为省级电信运营商部署大数据平台提供借鉴。

二、大数据应用系统功能架构

大数据系统目标架构,主要由五大核心平台构成,如下图所示:

采集分发平台:解决异构数据源之间数据交互,满足各种数据源之间数据统一采集和统一数据分发,提升数据实时和准实时海量数据采集分发能力;

实时分析平台:实现实时宽表数据整合,提供实时报表,提供统一实时查询;

离线分析平台:Hadoop平台解决海量结构化数据和非结构化数据快速批处理效率、海量数据存储能力;传统ODS、EDW、数据集市采用MySQL平台;

大数据运营监控平台:解决大数据运营监控,调度,开发,运营维护问题处理和运营分析平台;

大数据数据服务平台:满足快速对外提供统一数据服务共享平台。

三、大数据应用系统数据库建设

对于大数据平台数据库,建议采用传统关系型数据库+Hadoop的混搭方式进行建设,主要基于以下考虑:1、对于传统结构化业务数据,采用关系型数据库已非常成熟,新建平台延续采用关系型数据库处理传统数据,避免大量改动。2、对于非结构化数据,则采用Hadopp架构进行处理,解决以下问题:海量数据储存成本高;数据批量处理能力不足;计算和存储扩展能力受限;流式数据处理能力缺失;缺乏非结构化数据的处理能力。

四、大数据应用系统数据采集方案

电信运营商大数据平台数据主要来源为两种:来自IT系统的结构化数据和来自网络的非结构化数据。

4.1结构化数据采集

数据来源主要包括来自CRM系统的客户/用户资料、产品/销售品、产品订购、业务办理等,来自计费系统的账单、详单、余额、缴费、欠费等,来自结算系统的结算清单、过往记录等,来自客服系统的咨询投诉、外呼等,来自网厅的电子订购、业务办理、电子渠道咨询/投诉等,来自ITV的点播记录、节目库等,来自增值业务平台的订购与退订等。

对于上述结构化数据,目前主要通过ODS系统进行采集,大数据平台直接与ODS系统做接口即可获得,不需直接从系统采集,大大提升了数据采集的效率。

4.2非结构化数据采集

非结构化数据视图如下图所示:

1)固网DPI部署方案

以某电信省公司为例,其 IP城域网覆盖所有地州,2015年底预计达到3000G出口链路,其中省会城域网出口1200G。

现网在IP城域网出口部署一套DPI系统,具备280G带宽的监控能力(上下行),主要功能模块为多终端私接监控、 全协议分析。存在问题如下:覆盖能力不足:覆盖城域网规模9%,不具备对单地市出口的完整监控能力。功能缺乏:无法实现终端识别、网站识别、应用识别等功能。

本期可采用如下方案:

方案一:全覆盖部署

在城域网出口部署,实现全覆盖,共3000G。

方案二:两地州及省会两区县轮询方式部署

地州轮询:采集设备部署位置为163骨干机房,容量配置为同时覆盖两个地州共620G。

省会区县轮询:采集设备部署位置为省会CR机房,容量配置为同时覆盖两个县区共680G。

方案三:一地州及省会一区县轮询方式部署

地州轮询:采集设备部署位置为163骨干机房,容量配置为同时覆盖一个地州共310G。

省会区县轮询:采集设备部署位置为省会CR机房,容量配置为同时覆盖一个县区340G。

轮询方式说明:建议轮询周期不短于一个月,以免频繁轮询影响大数据分析系统的数据可用性和精准度。

以上三种方案主要区别在于覆盖范围,以及相应的投资,在投资充分的情况下,建议采用方案一,对城域网出口进行全覆盖部署,在投资紧张的情况下,建议采用方案三,对一地州及省会一区县通过轮询方式部署,后期根据投资情况再逐步扩大覆盖范围。

2)分组域DPI部署方案

新建分组域DPI,分为采集部分和处理部分,对3G、4G、AAA等数据进行采集,通过DPI解析后的数据,同步给大数据平台及其他相关平台使用。

3)七号信令监测系统改造方案

改造现有七号信令监测系统,提供对手机的信令采集,通过A口提供以下数据:所有采集区域内手机主叫的数据;所有采集区域内不处于关机或者占线的手机被呼的数据(不包含占线、关机被呼的数据,信令中不包含此数据);所有采集区域内手机的短信数据;所有采集区域内手机的位置更新数据。

第2篇:数据化运营方案范文

参观过2007年中国国际通信设备技术展览会的人可能都会察觉到,无论是设备厂商还是运营商,大多屏蔽掉了那些枯燥、复杂的技术和设备,而将真正贴近人们生活和工作的业务应用及解决方案作为了展示的重点,这种改变在数据通信领域显得尤为突出。

应用为王加剧竞争

在本届展会上,那些枯燥的高科技、冰冷的设备逐渐淡出人们的视线,“应用为王”成为了数据通信领域的主旋律。

中国电信将“号码百事通”、“商务领航”、“互联星空”、“我的e家”四大增值业务作为了宣传重点,而为了显示自己在设备之外的竞争力,设备厂商也向人们展示了大量基于IP的数据通信产品及解决方案;这些直接针对最终用户而非运营商的产品和解决方案,不禁让人深切地感觉到,“运营商需要什么,设备厂商就做什么”的时代真地已经成为了历史,“运营商的客户需要什么,设备厂商就做什么”的时代正在悄然来临。

此外,从本届展会上中国电信展示的针对政府的“数字城管”、针对公安系统的“平安城市”、针对保险行业的“远程定损”以及针对家庭用户的IPTV等定位于不同用户的业务中,我们不难看出,正在向综合信息服务商转型的运营商将更加注重市场的细分;而厂商向人们展示的统一通信、IPTV、视频监控、数字家庭等更有针对性的产品和方案,则让我们有充分的理由相信,厂商早已经意识到了这一点。

当然,“应用为王”时代的来临也意味着,数据通信厂商间的竞争已经从单纯的技术、设备领域延伸到了应用领域,IC与IT融合的趋势将更加显著。本届展会上我们看到了更多IT厂商的身影,就是最好的证明。

全IP、融合、移动趋势显著

尽管在本届展会上,运营商、设备厂商都不约而同地将应用作为了宣传的重点,但无论是从那些吸引眼球的解决方案,还是只能充当配角的设备身上,我们可以明显地感受到,正如人们预料的那样,数据通信正在向着“IP化”、“融合化”、“移动化”的方向演进。就像华为在本届通信展上的主题“移动、全IP、融合”一样。

为了满足种类日益丰富的应用对城域以太网带宽和稳定性的要求,厂商在设备上可谓下足了功夫,阿尔卡特朗讯、北电、华为、中兴通讯、烽火等厂商都在展会上展示了各自最新的以太网路由和交换产品,这些基于MPLS和PBT技术的城域以太网设备除了能够提供更高交换和路由能力、更丰富的接口外,还提供了更高级别的QoS保障、更快速的保护导换功能,保证了城域以太网的可扩展性、可靠性和稳定性。

第3篇:数据化运营方案范文

【关键词】 物联网 云计算 大数据 数据共享 云桌面

一、引言

随着环境信息化建设的逐步深入,各级环保部门产生的数据量急剧增加。数据产生的范围也逐步扩大,涵盖环保科学研究、环保行政执法、环境监测分析、环保基础设施建设、生态保护以及其它环保行政主管部门。大多数数据都以最原始的形态存在,不利于数据信息互通和共享,造成大大小小的信息“孤岛”。而大数据是需要新处理模式才能具有更强的决策力,洞察发展力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理,并转化为具有决策功能的信息。本文研究的重点是利用物联网、云计算、大数据技术对这些数据进行有效融合,搭建环保大数据信息共享管理平台,为环境管理提供决策支持。

二、平台的定位

针对环保系统各业务之间缺乏联系,系统内部数据管理及信息共享困难等问题,环保大数据信息共享管理平台作为一个科学、完整、统一的信息共享平台,打破环保行业各系统之间的信息孤岛,促进信息的互联互通,实现环保信息与业务的共享,从而提高环境保护行业的综合决策能力和公共服务能力。

该平台综合应用“物联网、云计算、大数据管理”等先进技术,为环保行业用户提供新型数据管理平台,为大数据运营提供新的合作模式,主要实现功能如下:

(1)多源、异构数据采集。通过RFID技术、传感器等物联网底层传感技术,实时采集污染源、生态等信息;

(2)海量数据处理。包括海量异构数据的融合转换、数据云存储、数据实时分析及环保数据挖掘等;

(3)云桌面安全管理。引入云桌面从根本上保障数据存储安全,作为数据运营的基础。

三、平台设计理念

环保大数据信息共享管理平台拥有行业领先的设计理念,围绕环保行业大数据的“感知、管理、存储、展现、应用”等五个层面的需求,提出了针对性的整体创新技术方案。

四、平台系统架构

环保大数据信息共享管理平台架构由数据采集、数据存储、应用展示三大系统模块构成如图1。

(1)分布式采集系统:基于“桌面云”技术,统一各类数据的逻辑模型,建立统一的物联网数据采集系统;

(2)环境数据中心汇聚存储管理平台:通过数据格式的转换,统一建模,构建异构信息的集中存储管理平台;

(3)环境数据应用展示平台:实现仪器设备及环境监测信息的统一展现、以及运营管理系统;

(4)云计算和存储中心:基于IaaS虚拟化技术,为环保数据信息共享管理平台提供弹承载系统。

五、平台核心功能架构

围绕环保行业大数据的“感知、管理、存储、展现、应用”,提出了整体创新技术方案如图2。

5.1数据感知层

为解决当前仪器设备分散、品牌各异的难题,构建物联网的环境数据采集体系,统一采集规范,建立统一数据采集平台,针对各类型设备开发接口,管理接入各类型的物联网设备,实时异构信息的统一采集;

5.2数据管理层

考虑到传统利用PC服务器连接仪器设备采集数据的方式易发生数据外泄的状况,基于桌面云的环境数据安全管理,采用桌面云主机连接仪器,保证采集数据存储在服务器上、无法拷贝,从最根本上解决数据安全问题,保证数据的产业价值;

5.3数据存储层

环保数据具有复杂性和动态性,涉及多部门/地区/领域,需要处理大量的数据,基于环境专题数据建设“IaaS-PaaSSaaS”三种层次的多元化云服务,弹性架构设计,为应用数据平台提供弹承载体系;

5.4数据展现层

当前不同品牌、型号的仪器设备所产生的实验数据不能集中管理、集中查询且人工收集管理耗时耗力,对多源异构的海量数据进行数据转换、主题建模、分析展现,可保证所有监测站的环境数据可以统一汇聚、处理和展现;

5.5数据应用层

传统环评业务采用人工报送检测形式,由各站点自行负责,管理松散,没有运营机制,空置率相当高,导致丰富数据资源无法产生经营效益。为强化环境数据、仪器设备运营共享管理,在运营管理模块加入了数据运营和计费功能,让环境检测工作流程化,将原有手动化的检测流程改造为业务开通运营流程,数据不仅可以流转起来,还可作为资产参与运营,实现闲散设备的自我造血,自我运转。

六、结束语

本方案适用于环保行业IT支撑系统数据整合,无论是为了降低数据存储成本,提高数据共享效率,还是为了探索大数据技术引入,或是实现支撑系统各域的数据融合,都可参考本方案架构进行搭建。

参 考 文 献

[1] 彭庆. 基于大数据技术的数据共享平台方案研究[J]. 电信技术,2014(10):22-25.

第4篇:数据化运营方案范文

在不久前举办的以“创新ICT,助力融合医疗”为主题的华为融合医疗论坛上,华为正式了《华为医疗行业白皮书》,对当前医疗行业信息化现状进行了深入剖析,“融合医疗”也成了与会者津津乐道的一个主要话题。

新应用亟待融合基础设施

有分析师指出,我国医疗信息化的重心正在发生改变,逐渐由原来的以部门为核心构建IT系统转变为以医生、护士的工作为核心构建IT系统。从医院的角度来看,以病患的需求为核心,建立跨学科的医疗服务平台日益流行。

论坛上几位知名医生都对记者表示,利用信息技术支持并促进医疗业务的开展是必然趋势。比如,有医生希望早日从移动医疗中受益:医生使用平板电脑查房,病人通过平板电脑点餐,将大大提高医护人员的工作效率,改善病人的体验。北京大学第一医院就已经基于华为的解决方案实现了有线与无线网络的融合,并构建了无线查房系统,从而有效地提升了医护人员的工作效率。

医疗业务、手段和工具的融合,也需要有融合的基础设施来支撑。华为在ICT融合解决方案领域一直走在业界前列。华为企业业务BG医疗行业解决方案首席架构师温长城表示,华为希望将其创新的ICT融合解决方案更好地用于融合医疗服务,助力国内数字医疗以及区域医疗建设。事实上,华为在这方面已经取得了显著进展,比如福建龙岩人民医院基于华为的云计算技术构建了医疗云,将原有业务进行整合,实现了无PC办公,不仅将医护人员的工作效率提高了一倍,而且大大降低了整体拥有成本。

温长城分析说:“从技术的角度讲,医疗信息化的很多解决方案与华为擅长的运营商领域的信息化解决方案有相通之处。华为将多年来在运营商领域积累的技术和实践经验运用于医疗领域,可达到事半功倍的效果。我们进军医疗行业信息化领域,急需解决的问题是了解医疗行业用户的真实需求,将融合的ICT技术更好地用于医疗行业。”

在医疗行业,华为最值得骄傲的资本是融合解决方案,包括服务器、存储、网络以及云操作系统等。华为可以针对医疗行业不同用户的需求提供有针对性的解决方案,包括医疗云数据中心解决方案、容灾解决方案、有线无线相结合的融合网络解决方案等。“融合的实质就是互联互通,保障数据的自由流动。华为的基础设施解决方案就是围绕信息融合展开的。”温长城表示,“华为可以为医疗用户提供端到端的基础设施解决方案。”

云计算、大数据刚开始

在医疗行业,云计算和大数据也是关注的焦点。记者从采访中了解到,大多数医院的数据总量在10TB以下,而现在常见的大数据应用是PB级的。而且目前很多医院尚处于数据整合阶段,没有精力或能力去做大数据分析。“目前医疗行业的大数据应用主要集中在区域医疗领域。”温长城说,“医疗行业正在逐步推动大数据应用,尤其在区域医疗领域,大数据有其现实需求,如医政管理。”

有人说大数据与云计算是一体两面。现在许多医院已经进行了服务器虚拟化,这是否意味着这些医院的一只脚已经迈进了云计算的大门?

第5篇:数据化运营方案范文

据思科统计,2015年全球有163亿网设备。思科预测,2020年全球将有263亿网设备。提高安全性以保护在联网设备上运行的内容和数据,已成为移动运营商在全面迎接5G过程中肩负的新任务。移动运营商需要在整个移动网络上部署安全解决方案。

在逐步向5G、虚拟化和云技术转型的过程中,移动网络面临的潜在攻击和威胁数量也在日益增多。为有效抵御现有的和潜在的威胁,移动运营商需要采取整体性方案来实现可靠的安全性。

近日,在巴塞罗那举办的世界移动通信大会上,思科推出了面向移动运营商的安全架构。这是一个全面的以防范安全威胁为目的的解决方案组合,可为整个网络、终端(设备)和云提供多层保护。这一架构的新要素包括:

第一,网络安全。为帮助运营商保护移动回程、避免对核心网络的攻击,思科推出了新一代高度可扩展的物理和虚拟安全网关(SecGW)解决方案,由Firepower 9300和Firepower 4100系列防火墙设备、ASR 900系列路由器和ASAv提供支持。

第二,设备安全。思科的设备安全解决方案让企业和运营商能够扩展可见性和设备级保护,为企业提供最强大的移动设备平台。思科和三星将通过三星Knox、思科AnyConnect和思科Stealthwatch解决方案,向企业客户提供终端可视性与数据智能。

第三,云安全。现在,运营商可通过自身管理的云或思科管理的云环境,为客户提供全新的托管安全服务,从而创造新的收入流。

近日,思科宣布推出全新的云交付安全平台“Cisco Umbrella for Service Providers”,致力于帮助运营商满足客户的关键需求,同时增加创收机会。

思科还宣布将CiscoUmbrella安全服务与思科演进分组核心(EPC)集成在一起,可在Cisco Ultra Services Platform或Cisco ASR 5500系列路由器上运行,为移动设备带来更安全的互联网体验。

众多移动运营商和设备制造商正在部署这些安全解决方案组合,包括德国电信、三星、沃达丰和记澳大利亚公司等。通过部署这些解决方案,他们将更加信心十足地迈向5G时代。

德国电信安全业务主管德克・柏科侯芬(Dirk Backhofen)表示:“我们非常高兴能与思科共享同一个愿景,并坚信包括我们在内的众多运营商可以充分利用Cisco Umbrella for Service Providers这样的云交付安全平台,提供新的创收服务,为客户带来安全可靠的互联网体验。我们期待与思科紧密协作,通过Cisco Umbrella为我们的企业客户不断提供创新的安全服务。”

三星电子移动通信业务部首席技术官李仁宗(Injong Rhee)表示:“借助思科这一全新平台,我们正在打造安卓手机端安全软件领域的里程碑。携手思科,我们将为客户提供最佳的安全技术和富有洞察力的数据分析,帮助他们有效保护敏感信息和关键业务应用。”

思科安全业务工程高级副总裁吉・里滕豪斯(Gee Rittenhouse)表示:“安全是移动运营商的重要业务支撑,能够帮助他们充满信心地进行网络转型、加速虚拟化,并为迈向5G时代铺平道路。”

思科致力于帮助客户建立强大的安全体系,获得更丰富的洞察,提供更可靠的保护,做出更快速的响应,以消除安全漏洞,在避免增加风险的同时,全面把握网络扩展带来的全新机遇。”

第6篇:数据化运营方案范文

一份来自权威机构的调研报告显示,到2015年,全球移动数据流量将比2010年上升26倍,达到每月6.3 EB (exabyte),每年75 EB (exabyte)的量级,后者相当于190亿张DVD或者536万亿条短信的数据量。而运营商首先要能支撑这样的数据流量,才能保证业务顺利开展。可见,移动数据流量激增,将让运营商面临前所未有的挑战。

移动数据流量风暴来临

该调查报告预测,2010年到2015年期间,移动数据流量的年度复合增长率将达到92%,而这种增长主要来源于两大全球性的趋势:平板电脑和智能电话等移动设备持续普及和移动视频应用的普及。

依据该研究机构的预测,到2015年,全球将有超过87%的移动网络流量由智能手机、笔记本电脑以及其他便携设备产生。连接到移动网络的平板电脑,在2015年,将能产生每月248 PB (petabyte)的移动网络流量,甚至会高于2010年全球移动网络的总流量。

而移动视频流量将成为移动网络中的流量大户。据该机构预测,移动视频流量在2015年将占总移动数据流量的66%,将会比2010年增长35倍。对此,思科环球服务供应商务部副总裁Suraj Shetty也曾表示,2010年全球移动数据流量比2009年上升了2.6倍,连续第三年创造了近三倍的增幅,移动网络的优势已经越来越明显。而涉及视频应用的新移动产品不断推陈出新,更是推动移动数据流量显著增长的主要因素。

兼顾成本与性能的MOVE

移动数据流量高速增长的压力已经摆在了眼前,但对运营商而言,如何以合理的运营成本获得网络性能的弹性增长才是他们所关心的问题。而近期,思科在移动通信大会上的旨在解决移动数据流量高增长问题的全新解决方案――MOVE(Monetization、Optimization、Videoscape Experience)似乎为解决这一问题提供了一些新鲜的思路。

这款被称为 MOVE的产品是一个横跨整个移动网络的方案,它囊括了从客户端到网络,再到云端的整个链路,包含了思科的移动Videoscape平台,思科电信运营商 Wi-Fi方案以及思科适应性智能路由(Cisco Adaptive Intelligent Routing ,AIR)。

在MOVE中,Videoscape的作用非常突出,思科采用了很多创新技术,用以保障移动视频服务的体验。比如通过思科ASR5000和思科统一计算系统平台的新技术,思科移动Videoscape综合平台能确保移动运营商为其客户传输加强型的移动视频体验。同时,借助Videoscape综合平台下的内容分发网络(CDN)功能,还能够确保这些平台将移动网络与更大的视频传输网络相连接。在保证性能的同时,MOVE也充分考虑到运营成本的问题,利用Videoscape 媒体套件功能,运营商还能提供高效率、低成本的内容管理。

思科电信运营商 Wi-Fi方案是一个端到端的解决方案,它结合了思科下一代热点技术。通过这一平台,运营商可以打造一系列新的服务和移动体验。通过集合全新的Cisco Aironet 1550系列户外无线接入点及Cisco CleanAir技术,电信运营商还可以提供更低成本的服务和高安全的覆盖,即使在户外运动场地和交通通道内,也能支持用户下载大量的移动视频。

第7篇:数据化运营方案范文

关键词: 大数据;电信网络;精简架构;数据即服务

Abstract: In this paper, we discuss a number of domestic and international big-data telecommunications architectures and propose our own lean big-data architecture. This new architecture combines the practical application scenarios of operators, and the universal large platform is abandoned. There are two directions in big-data development: improving business efficiency and providing data as a service (DaaS). Capturing, managing, and mining core data of a telecom operator is the basis for service implementation. Rapid deployment and application of big data is the final target. A balance also needs to be struck between in efficiency, cost and time when deploying a big-data architecture.

Key words: big data; telecommunications network; lean architecture; data as a service

中图分类号:TN915.03; TP393.03 文献标志码:A 文章编号:1009-6868 (2013) 04-0039-003

1 电信运营商建设大数据

思路及关键技术

运营商的网络和用户是运营商的核心资产,而其中流动的数据(包括用户配置基础数据、网络信令数据、网管/日志数据、用户位置数据、终端信息)是运营商的核心数据资产。对于运营商来说,最有价值的数据来自基础电信网络本身,对于基础管道数据的挖掘和分析是运营商大数据挖掘的最重要方向。抓取、管理和挖掘这些数据是运营商的当务之急[1-2]。运营商基于核心数据的大数据应用可从两个方面入手:

(1)通过大数据应用提升自身运营效率。比较典型的应用包括:信令多维分析、网络综合管理及分析、业务和运营支撑系统(BOSS)经营综合分析、精准营销等。

(2)通过数据即服务(DAAS)拓展新的服务内容,提供对外服务。包括个体及群体的位置信息以及用户行为分析等,对于第三方公司(比如零售业或者咨询公司、政府等)都是非常有价值的信息。运营商可以基于这些数据提供对外DAAS服务,拓展市场空间。

为了构建电信运营的大数据应用,从技术能力的角度可以分为数据收集与存储、信息检索汇聚、知识发现以及智慧4个层面。电信大数据技术层面如图1所示。自下而上数据挖掘深度增加,难度加大,对于系统的智能需求提升。其中关键的技术包括抽取转换装载(ETL)、并行计算框架、分布式数据库、分布式文件系统和数据挖掘、机器学习等。

面对海量的大数据,如何有效进行数据处理是需要解决的迫切问题,分布式并行处理是有效手段。传统关系型数据库多采用共享磁盘(Sharing-disk)架构,当数据量达到一定程度,将面临处理的“瓶颈”以及扩展的困难,同时成本也偏高。当前有效的做法是采用分布式文件系统/分布式数据库结合做分布并行处理。目前基于开源的Hadoop平台是业界采用较广泛的一个实现方案。Hadoop[3]的核心思想是基于Hadoop分布式文件系统(HDFS)存储文件或者基于HBase数据库(也是基于HDFS),使用分布式并行计算框架MapReduce来并行执行分发Map操作以及Reduce归约操作。在Hadoop的计算模型中,计算节点与存储节点合一。存储数据的普通PC服务器可以执行MapReduce的任务。而在Sharing-disk模型中,存储节点与计算节点是分离的,存储的数据需要传送到计算节点做计算。Hadoop计算模型适合离线批处理的场景,比如Log日志分析、文档统计分析等。它是关系型数据库管理系统(RDBMS)的有益补充。

在私有技术上实现分布式存储和并行处理,在调用接口上与Hadoop兼容,这是一个可行的技术方案。这种方案可以避免上述Hadoop的缺点,同时在性能上做更多的优化。有效的手段包括增加数据本地性(Data Locality)特性,在多次迭代的计算过程减少数据在不同节点之间的传送;使用索引和缓存加快数据的处理速度。结合存储和计算硬件进行调优也是有效的手段,可以使用数据的分层存储,将数据分布在内存、固态硬盘(SSD)、硬盘等不同介质上[4],使得与计算资源达到很好的平衡。

面对海量数据实时性的要求,比较有效的方式是采用复杂事件处理(CEP)[5]。实时流处理采用事件触发机制,对于输入的事件在内存中及时处理。同时对于多个事件能合成一个事件[6]。实时流处理需要支持规则以满足灵活的事件处理要求。实时流处理可以使用分布式内存数据库、消息总线等机制来实现快速实时响应。目前商用的CEP产品有不少,但是在功能、性能以及适用范围上有较大差异,选择成熟度高以及合适的产品是关键。

针对大数据中大量的半结构化或者非结构数据,NoSQL数据库应运而生。NoSQL数据库放弃关系模型,弱化事务,支持海量存储、高可扩展性、高可用及高并发需求。NoSQL数据库在特定应用场景下有很高的优势,是传统数据库的有效补充。按照数据模型,NoSQL主要有四大类:键-值(Key-Value)型、列存储型、文档型、图型,它们对应不同的应用场景。比如Key-Value型适合简单键-值对的高效查询,而图型适合社交关系的存储和高效查询。

针对大数据挖掘分析、搜索以及机器自适应学习等技术在企业系统中逐步应用。相关的算法种类很多,当前需求较多的是分布式挖掘和分布式搜索。

由于数据类型以及数据处理方式的改变,传统ETL已经不适用。运营商需要根据应用场景做不同的规划。目前来说,由于运营商应用系统差别较大,尚未有一种统一的处理模式。比较可行的一种方法是依据数据的功用以及特性做分层处理,比如大量的数据源首先做初筛,初筛完之后有部分数据进入数据仓库或者RDBMS或者其他应用。初筛可以使用Hadoop或者CEP或者定制的方式来完成。

针对运营商的不同应用场景,需要采用不同的技术或者技术组合。比如用户实时详单查询,数据量巨大,但是它的数据类型简单,数据以读为主,不需要复杂的Join操作,数据的分布性好。相比传统的RDBMS,使用Hadoop可以大大提升查询性能,降低处理成本。更多的应用可能需要多种技术的组合。比如信令采集及多维分析,信令数据特别是分组域(PS)信令数据量大且实时性要求高,有效解决海量数据处理与实时性要求是它的关键,需要CEP与Hadoop的组合。在当前阶段,不同的技术成熟度不一,由于业界大数据应用进展较快,我们认为当前针对不同应用的精简方案是最合适的,也就是依据应用场景,挑选最合适的组件做组合,摒弃通用化的大平台。

2 中兴通讯大数据实践

中兴通讯依托在云计算等领域的长期积累,针对大数据形成了一套完整的技术体系架构。ZTE大数据技术体系架构如图2所示。架构依据运营商的不同的应用需求,注重采用组件搭建的方式,形成端到端的精简方案。下面以两个具体的案例进行说明。

(1)用户实时位置信息服务系统

该系统实时采集蜂窝网络用户的动态位置信息,并通过规范接口提供DAAS服务。实际工程中,当期接入的用户数达两千多万,每天用户位置更新数据可达40多亿条,高峰期更新达到每秒几十万次。除了采集的位置,还可以结合其他数据源比如用户年龄等属性做分析,以应用编程接口(API)开放给上层应用。此外该系统需要有良好的可扩展性,后续可以接入其他区域的数据源。另外这套系统需要有良好的性价比,成本可控,时间可控。依据这些需求,我们在成熟的组件K-V NoSQL 数据库的基础上搭建了系统。用户实时位置信息服务系统如图3所示。

用户实时位置信息服务系统是一个典型的精简方案,它基于分布式Key-Value NoSQL数据库的分布式缓存(DCache),组装了对位置流事件实时处理的系统。DCache既是消息总线,也是内存数据库,能很好地满足实时性的要求。同时DCache基于x86刀片服务器,采用分布式架构,系统的扩展性很好,成本较低。该系统性能优越,稳定可靠,取得良好的效果。

(2)信令监测多维分析系统

随着运营商数据业务快速增长,运营商对于网络质量提升、网络运营效率有着更大的压力。通过采集网络Gn接口、Mc接口信令并加以处理分析,可以获得网络运行的完整视图,基于信令的相关专题分析,比如网络质量分析、流量效率分析、多网协同分析、客户投诉及服务分析等对于运营商网络运营有极大的价值。

信令监测多维分析的难点在于信令流量大且数据量大,比如某运营商省公司Gn接口峰值流量可以达到4 Gb/s,每天信令数据可达1 TB。需要采集信令并做多种分析以服务于不同的部门。

信令监测多维分析系统采用分层的架构,便于数据共享及和应用的扩展。信令监测多维分析系统如图4所示。使用实时流处理满足实时性高的数据分析要求,对于会话或事务详单(XDR)初步处理完的数据采用传统RDBMS存储供后续分析查询使用。对于数据量庞大的XDR采用Hadoop HBase存储并查询,原始信令采用分布式文件系统存放在本地。

在这个方案中,数据根据它的使用特性采用不同的方式存储和处理,突破RDBMS处理“瓶颈”和扩展性的“瓶颈”,达到了很好的效果。在测试中,4节点PC服务器可以全部承担某运营商省公司PS域XDR的存储,入库性能可达50 Mb/s,针对上百亿条记录查询,可以在10 s内返回。取得了很好的实践效果。

3 结束语

电信运营商面临大数据发展的机遇,都在积极推动大数据的试点和商用。在当前大数据技术快速发展的形势下,根据需求和应用场景搭建精简方案,可以帮助运营商在当前激烈竞争环境中快速获得竞争优势,在效率、成本和时间上取得最佳平衡。

参考文献

[1] Cisco Systems. Cisco visual networking index global mobile data traffic forecast update, 2011 - 2016 [EB/OL]. [2013-03-25]. http://.

[2] MANYIKA J, CHUI M, BROWN B, et al. Big data: The next frontier for innovation, competition, and productivity [R]. McKinsey Global Institute, 2011.

[3] WHITE T. Hadoop权威指南 [M]. 2版. 周敏奇, 王晓玲, 金澈清, 译. 北京:清华大学出版社, 2011.

[4] SNIA. 2012 SNIA Sprint Tutorials-NextGen Infrastructure for Big Data [EB/OL]. [2013-02-15]. http://

[5] NEUMEYER L, ROBBINS B, NAIR A, et al. S4: Distributed stream computing platform [C]//Proceedings of the IEEE International Conference on Data Mining Workshops (ICDMW’10), Dec 14-17,2010, Sydney, Australia .Los Alamitos, CA, USA: IEEE Computer Society, 2010:170-177.

[6] SHARON G, ETZION O. Event-processing network model and implementation [J]. IBM Systems Journal, 2008,47(2):321-334.

作者简介

第8篇:数据化运营方案范文

对话嘉宾:上海证券通信有限公司运营保障部经理史永良、艾默生网络能源有限公司国有银行拓展部总经理张华山、索克曼溯高美电气集团大中华区首席代表佟光华、HDS华东华中区技术总监陈骏、Avocent华东区经理毛空云。

主持人:在当前的经济形势下,建设下一代金融数据中心,从用户层面来看,你更注重哪些因素?相比以往,有哪些更加深入的思考?

史永良:证券行业的技术部门盈利不一定要通过财务报表体现,但盈利能力的确是可以衡量的。比如,技术部门要提供怎样的处理能力,使证券企业能实现500万个客户的管理能力,每天成交1000万笔处理能力,这些都可以折算成实际利润,这个能力对于公司是可预期、可盈利的,这样就把成本部门变成盈利部门。

证券行业以前存在的IT问题是,越是股市低迷,越要缩减成本,IT投入也要缩减;股市火爆、行情好的时候,处理能力不够了,那时就不顾一切地添置设备,只要能快速满足业务需求就行,采购根本不考虑性价比。这两年证券行业开始明白了,行情不好、盈利能力下降的时候,反而是做基础建设投入的大好时机。经济总是要发展的,股市的牛市、熊市总是循环往复的,基础打好,有了盈利能力就具备了获得利润的基础。

交易所给我们的任务第一是确保运营安全;第二是提高服务水平;第三是适度盈利。我们一直致力于追踪新技术发展,考虑用成熟产品、先进产品,目的就是要安全。大集中做完以后,证券公司的业务发展有很大灵活性,但IT发展的灵活性有限,这是急需处理的问题。

主持人:尽管对绿色的呼声很高,但只有不到10%的企业真正在数据中心运用了能源管理技术,这个原因是怎么造成的?你们对金融数据中心用户有什么建议?

佟光华:数据中心现在面临最大的问题就是散热问题,数据中心在投资运营方面最大的问题是电费,电费牵涉到最大的部分是空调费用,然而怎么降低空调费用?我从UPS设备厂商的角度来看,解决办法第一是完全用高效能产品,让输入电力得到最好的应用,输出得到最高的效率。第二是占地面积要小,任何一个产品,设备摆在那里,就占了可用面积甚至营业面积。第三是能源储存问题,电池占多大的空间,维持运转产生的热能是多少,需要多少空调费用制冷?UPS在设备发展上也是这样。

张华山:艾默生主要做机房设备,包括UPS空调配件监控,提供一体化解决方案。从节能角度来说,艾默生具备完整的节能解决方案,如空调节能、UPS柔性解决方案,提供绿色数据中心机房建设的一整套思路。整体来说,艾默生产品已经在国内80%的重要金融数据中心里应用,包括工行、中行、建行、农行、深交所、上交所以及深圳证券交易公司。

主持人:提高利用率,资源高度虚拟化是未来金融数据中心的发展方向。数据中心的数据量、业务量逐渐增大,如何应对管理效率方面提出的更高要求?

毛空云:我们提供了可视可见的节能方案,可在集中平台上看到所有服务器的状态和控制,并且提供了绿色能源解决方案,可在机房规划设计过程中就避免单个机柜用电负载过大,分布不均匀。我们提供集中化的远程管理控制方案,使IT管理人员在远端就能做到“在现场”管理。

陈骏:我们提供存放数据的载体,设备本身要节能。我们新一代设备的外观朝着奇特的形态发展,但更加容易散热,前后通风。应对数据大集中,我们不是重新建一套系统,而是采用虚拟化技术把原有设备整合起来,以提供更高的效率。

主持人:从国际趋势及自身经验来看,各位认为国内金融数据中心应该关注哪些重点?

张华山:新一代的数据中心主要新在哪里?一个是绿色节能,另一个是柔性扩展。柔性解决方案核心是机房要考虑到未来的扩容、维护和便利性。这一方面艾默生无论是UPS架构还是配电、整个系统的智能化监控方面都有很多理念。

佟光华:数据中心的首要任务是安全,这是无法取代的。第二个任务是绿色效益,就是高效能数据中心。我们要顺应大潮流,提供高效能产品,在最小化面积的同时取代落后的电池解决方案。

第9篇:数据化运营方案范文

关键词:地市局;虚拟;运营监控

作者简介:赵卓(1982-),男,浙江温州人,温州电力局,工程师;谭书平(1981-),男,湖南芷江人,温州电力局,工程师。(浙江

温州 325000)

中图分类号:F272 文献标识码:A 文章编号:1007-0079(2013)23-0176-03

一、需求分析

1.企业经营管理需求

国家电网公司“三集五大”部署方案中提出要建设总部和省公司运营监控中心,实现对公司主要经营活动和管理绩效的实时在线监测。作为地区局而言,虽然没有运营监控中心这个实体机构存在,但同样需要这种功能满足领导层对企业主要经营活动的实时监控需求。企业领导层需要从提升管理的角度,抓住跨部门协作的关键领域,横向贯通主要核心业务领域的信息流,从而使管理层能够透视公司信息运行状况并发现问题。通过可视化数据挖掘实现对众多底层信息系统数据可视化,提高决策水平,提升安全管理、经营绩效、营销服务、电网运行、人力资源等管理效能。

2.企业信息化需求

国家电网公司信息化SG186工程建设顺利竣工以来已建成的底层信息系统数目众多,但这些系统与产品分散建设,缺乏统一规划与精细管理,不具备集中展示效果且可视化效果较差。目前迫切需要对底层系统进行数据集成、多角度的展现,把原本分散在各个底层系统的业务指标信息统一展示,实现企业同业对标、经营绩效等信息可视化、各业务部门关键信息可视化、流程可视化、场景可视化、经营成果可视化。

二、工作目标与建设内容

1.工作目标

温州电力局虚拟运营监控中心遵照省公司“三集五大”体系建设的总体安排,利用浙江公司“五大”建设成果,结合温州电力局实际情况开展建设。根据国网公司信息规划对信息运行的“平台集中、应用融合、决策智能、安全实用”相关要求,实现地区局达到“可靠性更高、业务内涵更广、响应速度更快、服务质量更优”的信息运行特征。以用户体验及功能、数据组织的合理性、操作的顺畅性、界面的直观可视性等方面为建设重点。

虚拟运营监控中心设计思路是:充分利用各阶段成果和现有信息化基础,以实现地县全面监测、综合分析、协调控制为目标,遵循标准化建设原则,构建“职责明确”的组织体系和“协同高效”的工作机制,确保为省运营监控中心提供更充分的服务、确保为企业领导层和基层单位提供更充分的服务。①

2.建设内容

温州局虚拟运营监控中心建设将充分利用浙江电力公司“SG186”工程建设成果,结合温州局实际情况开展建设,最大程度体现温州电力局自身的经营发展需要,建成集经营业务全方位监测、分析、预警、追溯及流程监控为一体的综合性平台。

全面检测:根据局领导层的关注内容,提取在用信息系统的各类重点指标数据并集中展示,实现对企业主要经营活动、核心资源等在线监测。同时针对不同需求场景展现全局运营成果和经济运营状况。

运营分析:在实现监测功能的同时,对监测的运营管理数据开展实时汇总分析,从各专业或各基层单位等不同的纬度进行综合绩效评分,及时判断运营状态与发展趋势,为领导层提供决策依据。

预警追溯:根据运营管理数据的分析结果,确定各指标数据的阀值界限,对各类运营管理异动、问题和风险用图形化的方式直观预警。同时根据业务需求实现指标溯源分析,通过指标结果数据逐层追溯到凭证、订单级别的明细数据。

流程监控:监控关键业务全过程管理,实时掌握处理流程中的关键节点及各项业务流程的执行情况,从而发现潜在的问题,同时对企业年度重点工作任务或重点项目进度进行及时监督和督办。

三、技术支持系统建设

1.技术方案

温州电力局虚拟运营监控中心项目定位是省公司运营监控中心技术支持系统在温州局及县局的延伸,将严格遵照省公司运营监控中心系统的开发要求,在省公司运营监控中心系统框架下充分利用省公司现有的BW数据中心和开放数据平台所形成的数据仓库资源,结合温州电力局实际需求进行建设,本地目前不考虑设置服务器。

考虑到省公司数据仓库数据量庞大,地市局访问不方便且速度较慢,同时地市局对数据仓库中自身相关的数据存在旺盛的应用需求,具体表现为对数据粒度更加精细、需求更加灵活多变、可操作性更强。因此地市局迫切需要省公司为其搭建更符合本地特色的“数据集市”平台。该平台作为省级数据仓库的子集,在保障与省级经营分析系统数据一致性的同时可集中进行有针对性、及时、灵活、细化的数据分析,大大促进地市分公司进行精细化经营,也使省公司运营监控系统的功能得到进一步的延伸和完善,②同时使地市局信息人员能够参与到应用层面的工作中。

数据源层:是原始数据层,分为省级部署系统(包括ERP、营销、PMS等系统)和温州自建系统(包括PI系统等)。

数据存储层:分为省级和温州市级两个数据存储。省级数据存储基于省公司成熟的数据中心系统架构,数据仓库层存储明细数据,提供溯源分析的详细数据存储;数据集市层存储面向应用主题分析的业务指标,提供指标的管理、定义和业务逻辑等功能。温州虚拟监控主要存储面向温州自建系统的个性化数据。

应用设计层:应用SAP公司提供的BOE平台,具有一整套报表开发设计解决方案,主要是水晶易表;结合FLEX组件的灵活开发,两者共同设计组成具有可视化的动态的报表展现界面。

分析展现层:基于省公司综合分析展现平台,实现统一访问入口和单点登录,提供在线的指标监控、预警、分析和辅助决策。主要包括财务指标预警、生产指标监控、电网运行指标预警和指标管理等应用功能。

2.建设情况

温州局虚拟运营监控中心按照主题及业务分为8大板块,分别为主页、资产经营、电网运行、优质服务、同业对标、综合计划、计划与预算及重点项目。这一举措实现了同一平台各业务指标的展现,横向贯穿了企业的建设、生产、销售、运营等各个领域。

目前系统已接入指标总数量183个,其中财务68个、发策17个、人资10个、运检29个、物资18个、基建15个、营销26个。

(1)资产经营板块主要通过资产、收入、成本、投资、利润等展现,将企业拥有的一切资源资本化,让每一项资产都能在企业有序的组织下成为为企业的经营目标而“战斗”的“列兵”,发挥其应有的作用。

(2)优质服务板块主要通过电费管理、电能计算、客户服务、综合管理四个维度对企业在完善服务理念、提高服务质量、规范服务操作、科学简化服务流程等方面进行客观的展现,便于相关人员及时发现存在的问题。

(3)同业对标(业绩部分)主要涵盖电网坚强、资产优良、服务优质及业绩优秀,通过横向与兄弟公司的比对直观展现企业短板,促使企业进一步提升。目前该板块展现设计已经完成,数据接入需要在省公司完成之后才能进行。

(4)综合计划作为对企业未来较长时间内资源和需求之间平衡的概括性设想,全业务指标数据的接入与预警,为企业的发展、领导的决策提供参考。

(5)基建、技改、配网、营销、科技、大修项目全过程管理,通过项目计划、开工、完工等重要节点展现企业项目建设情况。

(6)实现温州自建系统PI系统实时数据(15分钟)的接入与展示,全天96个节点监控电网运行状态,为提前预测、分析电网负荷提供可靠参考。

四、组织机制设计

为保障省运营监测(控)中心各项业务有效开展,构建以省运营监测(控)中心为主、与各业务部门配合支持、覆盖省地县三级组织机构的运营监测(控)业务管理体系。组织体系见图1。

地市局虚拟运营监控中心是一个以信息系统为支撑,各业务部门成员组成的非正式序列机构,它为领导层及业务部门提供专业决策所需的综合辅助分析支持和相关分析报表,为企业管理水平提升提供支撑。③

地市局虚拟运营监控中心与国网、省公司两级运营检测(控)中心在具体业务对象、监测与分析深度、广度和细度各有侧重:

具体业务对象方面,地区局虚拟运营监控中心侧重于领导层及重要业务部门为基本业务对象;监测与分析方面,省公司层面对本单位重要业务流程和主要指标进行细致、具体的监测;地区局层面对本单位关键业务流程和重点指标进行细致、具体监测,开展综合分析。

地市局各业务部门负责保障业务数据的完整性、及时性和准确性;通过虚拟运营监控中心配合省公司建立指标分析模型;根据虚拟运营监控中心提供的系统预警或异动信息,通过本专业的角度进行分析,制订消除计划。

地市局信通公司作为业务部门与省公司数据中心的牵头联系部门,负责业务数据抽取相关事务,参与省公司数据中心地市局和县局部分数据集市建设。

五、机制设计

通过内部协作机制保证省、地、县三级组织机构运营监控业务有序开展,使省运营监测(控)中心业务覆盖面更广,企业运营信息获取更全面,同时也为地市县基层单位提供更多的服务。具体内部协作流程图见图2。

省运营监测(控)中心定期的分析报告及监测周报通过地市局虚拟运营监控中心落实到地市局各业务部门及各县局单位。

地市局虚拟运营监控中心定期由牵头部门召开全局运营情况分析会,形成《××电力局每周要情》和《××电力局月度运营分析报告》,报送省运营监测(控)中心和局领导,同时抄送相关业务部门和所涉县局。《每周要情》和《月度运营分析报告》的主要内容包括本单位核心业务情况、发现异常和问题数量、类型以及异动等问题消除情况。

六、结语

温州电力局虚拟运营监控中心将原本分散的各系统业务指标在同一平台集中展示和动态预警,实现了关键信息、业务流程、经营成果的全过程可视化,为我局决策层和管理层提供了跨专业、跨部门、集监测、分析及预警功能于一身、掌控企业重要运营情况的综合信息监测平台,并为运营监测工作的有效开展奠定了基础。下一步温州电力局将积极适应五大体系发展要求,紧紧围绕省公司建设省、市、县一体化运营监控系统建设方案和工作进度,不断创新实践,确保圆满完成各类工作任务。

注释:

①王小平,张成志,赵昀飞.虚拟化技术在企业的应用[J].电脑知识与技术,2010,(28).

②石家亮.基于虚拟化技术的数据中心解决方案[J].电脑知识与技术,2010,(21).

③孙泽锋.云计算在电网企业的应用与信息安全[A].中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C].2011.

参考文献:

[1]张文盛.虚拟化服务器的应用研究[J].办公自动化,2010,(8).

[2]谭文辉.利用VMware实现数据中心服务器虚拟化[J].舰船电子工程,2008,(6).

[3]周铁成.虚拟化技术在数据中心架构中的应用研究[J].现代计算机(专业版),2009,(4).

[4]成旻.基于虚拟化技术的呼叫中心构建与实现[D].北京:北京邮电大学,2011.

[5]刘承科.服务器虚拟化技术在宁波电力的应用研究[J].电力信息化,2011,(8).