前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的数据解决方案主题范文,仅供参考,欢迎阅读并收藏。
纵观国内实施ERP系统终告失败的企业,结合ERP的核心管理思想,可以将国内企业实施ERP系统失败的原因划分为项目管理的原因和技术管理的原因。
项目管理方面的原因或者是由于企业核心业务流程不合理,系统实施时并未对其进行充分合理优化,而仅仅套用了ERP供应商已有的功能模块;或者是项目实施过程中缺乏系统控制;再者是部分企业领导层只是将ERP系统看成一种普通信息系统的引入,低估了实施系统的难度,导致实施过程中配合力度不够,后续投资跟不上。
其实,在企业实施ERP系统的过程中,还存在着一个巨大的技术管理问题,就是企业未能有效地进行基础数据的管理,这是导致企业ERP实施失败的重要原因。
数据管理的缺陷
众所周知,ERP之所以能帮助企业进行高效管理,必须是建立在对大量全面、准确、实时的企业数据的访问、存储和分析的基础之上。而现在的一些ERP供应商为了减少成本,降低客户的疑惑度,便淡化了对企业基础数据结构的优化程度,基本忽略了对企业现有业务数据的整顿,只是从企业现有的零散和混乱的数据源中调用数据,来迎合其产品的数据输入模块,最终导致了企业基础数据处理的严重缺陷。
首先,在企业实施ERP之前,没有及时地调整企业基础数据,为后来的系统数据管理紊乱埋下了隐患。通常,存在以下三方面的前台数据操作问题:(1)数据输入不规范,同一部门不同的成员有不同的数据输入格式,造成数据不单一。(2)数据操作权限混乱,从而存在数据来源多,同一业务在不同部门的赋值不同。(3)企业本身一些业务不规范,没有及时形成业务数据,导致在系统中的数据不完整。
其次,由于ERP涉及到财务、销售和生产等各方面的数据,因此,数据结构复杂,数据源均来自于不同的二级部门,对于那些有一定发展历史的企业,已经形成了较为稳定的、且各具特色的二级单位数据库。由于在各个部门之间缺乏数据通道,各个二级单位的后台数据库都成为了“信息孤岛”。如果在实施ERP系统的时候,不能很好地解决这一问题,就无法集成企业的基础数据。
亮出三招
结合国内企业在实施ERP过程中存在的上述问题,作者认为可以围绕企业基础数据做出一系列的调整和管理,主要有以下三招。
整顿信息流
以现代企业管理为指导,以信息管理技术为工具,对企业现有的信息流进行整改,包括调整企业的职能模块,优化企业业务流程。ERP项目上马前,要充分了解企业信息流的情况,从企业权利结构方面入手,分析严重影响数据输入、数据产生或数据管理等的原因,在调整企业职能模块的基础上,还需要优化企业业务流程。
构建数据管理模式
现在很多大型企业的二级单位已经建立起了相对稳定的业务子系统,同时具备自身的数据库结构。但是,由于缺乏各部门之间的信息通道,所以,就形成了一个个“信息孤岛”。
实施ERP也就是要解决这样一个问题,即如何权衡效益和成本,综合各个业务子系统的信息。全部重建固然可能达到最好的数据集成,但成本巨大;全面包容,又会造成数据平台过多,数据格式过于分散,不能达到ERP系统的基本要求。因此,最重要的工作就是要先认真地考察各个业务子系统现有的数据结构,考虑其数据规模、数据库本身结构、接口设计优劣状况来确定哪些可以沿用不动,或变动较小。同时,应该明确规定各类数据的出处,保证特定数据具备确定的数据源,清理各部门之间数据管理重叠区,从而可以建立ERP的综合数据管理模式。
“我们期待IBM信息管理软件在即将到来的2012年呈现更加快速的增长,成为大数据时代中信息管理的利器。IBM一直提倡‘Think Big’,鼓励自身深入思考、突破创新。在如今的大数据时代,我们对‘Think Big’有了崭新的诠释:Think of All Things That Big Data Makes Possible――深入思考并发掘大数据的无限可能,而这也正是IBM信息管理解决方案致力于为用户创造的价值。”IBM软件集团大中华区信息管理软件总经理卢伟权表示。
这是一个不折不扣的“大数据时代”。据统计,全球90%的数据都是在过去两年中生成的。为了应对数据大爆炸的挑战,IBM推出针对大数据的全面解决方案,彻底突破了传统数据仓库和单一的数据管理体系,能够为企业组织提供实时分析信息流和Internet范围信息源的能力,实现更为经济高效的大数据管理,并为在此之上的业务分析和洞察奠定坚实基础。
IBM中国开发中心信息管理首席架构师及大数据架构师陈奇博士表示:“汹涌而至的大数据时代带来严峻的挑战。然而,挑战背后也蕴藏着无限的机遇。IBM可以帮助各行各业的客户将其数据价值不断延伸,为企业发掘发展动力。我们的大数据平台愿景就是将大数据融入企业,通过IBM大数据解决方案和客户端及合作伙伴解决方案,为用户提供优化的大数据环境,更加积极及时、经济高效地从规模化、多样化和高速化数据中提取有效观点,帮助用户获得突破性的洞察力和价值,化挑战为机遇,化大数据为高价值。”
IBM大数据解决方案实现了针对大数据管理的企业级可靠性和适应性实时分析,在行业中具有突出的优势。其最广泛的平台与数据仓库、数据库、数据集成、业务流程管理等组件充分集成,得以将大数据融入企业,充分满足各种业务需求,帮助企业稳步发展。
IBM大数据解决方案跨多个行业,能够帮助多渠道客户分析其观点和体验。目前已有数千家新客户正在转到应用IBM的大数据解决方案上,以便从最广泛的大数据中获取可执行的洞见。丹麦能源企业维斯塔斯(Vestas)通过使用IBM大数据软件分析PB级别的天气数据,改善风力涡轮机的放置位置,从而获得最佳能量输出效果,以前需要数周方可完成的分析现在仅需不到1个小时就可完成。
高密度是结构化布线设计的设计人员和顾问需要面对的强制性要求,而在降低布线基础架构物理空间需求的同时保持功能性和灵活性是首要问题。认识到同时提高密度和管理性的需求,通过创新的设计流程,安普布线能够为这些环境提供全套的解决方案。
安普布线基于在电信市场行业内的多年经验,开发出了新一代的电缆管理和电缆布线产品。
安普布线Hi-D 系统是一套完整的下一代基础架构硬件产品,用于提高布线性能、维护性和日常使用功能。在这款先进基础架构的设计中,电气和机械要求及使用和维护性要求均为重点考虑要素。
安普布线Hi-D 系统包括: 角型配线架、水平和垂直线缆管理、超长存储、具有专有技术的侧面管理、光纤配线架系统、自动等电位连接控制。这些产品的组合使得安普布线Hi-D 机架内可以达到极大的配线量。
安普布线 Hi-D 系统提供了极佳的电缆检修和维护平台,可以高效地执行移动、添加和变更工作,并具有连接处理可靠性。
安普布线Hi-D 的专业侧面管理托架是一种可以重复使用的角托架,可以自动地适应正确的弯曲半径。同时Hi-D 系统的良好空气流动设计可以支持有源设备的运行,通过保持电缆远离通风通道,可支持各种冷却方式,提高设备的可靠性和空气流动效率。
安普布线 Hi-D 高密度连接系统提供了多种降低运营费用的功能,提高投资回报率(ROI),其中一个就是重视工作任务的需求,以降低移动、添加、变更及故障排除所需的时间。
通过针对铜缆和光纤的零 U 电缆管理,客户可以达到节约空间的目的。
新型安普布线 Optimate 布线系统提供了插入损耗和回波损耗非常低的 MPO - LC 分接盒。通过这些新型的高级 MPO 产品,数据中心所有者可以在 200 米的通道内最多可设计 6 个 MPO - LC 分接盒,同时仍可保证满足 1 Gb 和 10 Gb 以太网、光纤通道和 Infiniband 等数据中心应用的插入损耗和回波损耗值,且不需要任何额外的有源设备,即可非常轻松地扩展通道或构建冗余路径,这可缩减安装费用,降低电源和冷却需求和提供更高的移动、添加和变更灵活性。
安普布线 Optimate 还适用于标准 LC 连接器,在 100 米通道内最多允许连接 12 个连接器。
【关键词】 数据容灾 两地三中心
故宫博物院,建立于1925年10月10日,是在明朝、清朝两代皇宫及其收藏的基础上建立起来的中国综合性博物馆,也是中国最大的古代文化艺术博物馆,其文物收藏主要来源于清代宫中旧藏。
故宫博物院保存着各种文字、图片、流媒体信息,数据存储量大,种类多,随着馆藏的不断积累和丰富,拥有一套完整的网络数字化资源已经是最基本必不可少的基础设施,其规模和使用水平已经成为衡量一个博物馆现代化管理水平的一个重要依据。而作为越来越重要的博物馆数据资源,其安全性将是重中之重。因此,针对超大容量的数字图像信息、视音频信息和标本数据的安全性,迫切需要一套大容量、高性能的存储设备进行集中数据存储,并建立起一套合理的容灾方案,以便于管理、保存、易用的数字化资源存放,实现博物馆数据资源的数据保护管理。
根据故宫博物院信息化建设规划,将在数据集中的基础上,建立容灾备份中心,并在将来形成两地三中心的数据容灾方式。经过与故宫博物院领导和容灾技术专家的交流,根据故宫博物院的业务需求和系统规划提出容灾系统解决方案。
1 故宫博物院容灾方案系统需求
1.1 系统现状
故宫博物院主要信息系统系统包括办公系统、业务系统以及数据采集、加工和利用系统。办公系统和业务系统主要以服务器为主的运行模式,部门系统采用了数据集中存储的方案。数据采集、加工和利用系统通过NAS存储作为临时存储介质,对加工完成的数据通过FC SAN的架构统一的存储到专门的系统核心存储设备中。
对于数据保护方案部分,通过NBU备份软件,将重要的数据备份到带库或者是磁盘阵列中。
如何为上述业务系统提供灾难备份支持,确保了业务系统的7×24×365的业务连续性,实现了无数据丢失的灾难备份系统。将是故宫博物院信息系统下一步的建设目标。
1.2 建设目标
根据故宫博物院现行的容灾规划,容灾项目建设分成两个部分:
(1)同城容灾规划:故宫中心机房:主数据中心,用于业务的生产运行,作为集中监控中心。北京同城容灾机房:同城备份数据中心,用于在主数据中心出现短期无法解决的故障或非区域性灾难时,将部分业务或全部应用系统切换到同城备份数据中心。
(2)异地容灾规划:异地容灾机房:异地备份数据中心,用于北京发生区域性灾难发生时,在较短的时间内进行关键的业务应用系统恢复。
3 故宫博物院数据保护方案
在对故宫博物院生产中心现有环境进行细致分析的基础上,充分了解异地灾备与同城灾备建设的系统需求,严格遵循故宫博物院数据保护规划的容灾策略和设计原则,本容灾方案,包含异地灾备和同城灾备总体方案,涵盖生产中心存储整合,以及同城灾备中心、异地灾备中心建设几个主要部分。
3.1 故宫博物院数据同城容灾方案
我们在规划灾难恢复方案时,首先应根据具体业务要求明确灾难恢复方案所要达到的目标。因为不同的灾难恢复目标,会有不同的灾难恢复技术实现方案,以及炯然不同的投资规模和运行成本。通过存储设备的MirrorView同步镜像方案,实现同城容灾。
MirrorView的实施和主机、操作系统、数据库透明,即不占用主机、操作系统、数据库。而且不同的主机、操作系统、数据库可以通过一套MirrorView实现容灾。MirrorView同时支持双向的容灾互备。MirrorView用来复制基于SAN存储网络的数据。(见图1)
在异地容灾建设过程中,可根据实际情况进行分步实施。
针对故宫博物院的需求,建议采用基于存储阵列的Mirror View中心容灾方案。在北京生产中心和同城灾备中心,建议采用基于存储阵列的无数据丢失的Mirror同步容灾方案。这种方案能够在保障生产系统正常运行、性能不受影响的前提下,实现数据0丢失。
3.2 故宫博物院数据异地容灾方案
为了进一步提高数据安全性的保护,故宫博物院在实现同城容灾的基础上建立两地三中心的异地灾备中心,防范区域级的灾难。根据故宫博物院的信息化发展规划,先建设北京同城容灾中心的基础上,规划建设异地容灾中心;最终形成2地3中心的容灾架构(见图2)。
这样一个同城灾备加上异地灾备的三中心灾备方案,根据容灾规划,生产数据中心作为总行生产中心,运行绝大部分业务系统,并且作为集中的监控中心。同城备份中心实现与生产中心应用级的灾备功能,确保RTO和RPO范围内的业务持续运行,防御非区域性灾难。异地数据容灾中心实现数据级的备份,常规情况下用于测试系统,用于防御重大区域性灾难。
在北京生产中心和同城灾备中心到异地灾备中心之间建立基于磁盘阵列的Mirror异步数据复制,实现无距离限制、无数据丢失的远程数据备份方案。
生产中心的磁盘阵列与同城灾备中心磁盘阵列保持同步关系。同城灾备中心与异地备份中心间磁盘阵列为异步关系。
在正常运行时,将生产中心的存储系统设置成源磁盘,将同城灾备中心的存储系统设置成目标磁盘,这样源磁盘中的数据就会在MirrorView的管理下通过数据备份通道镜像至目标磁盘之上,Mirror同步方式可以保证写入磁盘的数据绝对不会丢失。
当生产系统发生灾难性故障时,利用同城灾备中心同步的Mirror备份数据和同城灾备中心的备份机,可有效的将生产数据恢复到完全一致的生产状态。
与此同时同城灾备中心MirrorView将实时传送至异地的灾备中心,保证同城区灾难备份系统完整性和远程备份系统的有效性、自动化。
灾难备份系统在灾难发生后能否快速接替或恢复系统工作,使业务系统尽快恢复运行,需要强有力的组织、管理工作和多种规程予以保障。得当的组织管理工作、训练有素的人员可以大大缩短恢复的时间,组织管理工作是灾难恢复工作中的重要一环。
[关键词] Oracle数据库;备份;恢复;方案
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2016. 07. 088
[中图分类号] TP315 [文献标识码] A [文章编号] 1673 - 0194(2016)07- 0189- 02
1 引 言
随着油田广域网的深入应用,油田开发生产管理、经营管理等信息数据急剧增加,并已成为宝贵的资产。企业给类信息在企业全部资产中所占的比例越来越大,在企业的网络系统中,宝贵的已经不是企业所购置的各种硬件设备,而是企业在长期发展过程中所积累下来的各类数据。人们也认识到企业内部信息安全的重要性。为了确保企业网络重要信息的安全,保证采油厂各项油田开发、科研、生产管理以及经营管理等工作的顺利开展,网络重要信息的备份和恢复是采油厂企业网络建设和应用过程中必须解决好的重要问题。
分析和总结多年来网络建设经验,网络信息的损失和丢失主要有以下三个方面的原因。
(1)来自自然界的破坏,其程度将是灾难性的。
(2)来自计算机和网络系统的硬件和软件本身的故障。
(3)来自人为的因素,如“黑客”的攻击、病毒的发作、商业机密的盗取、内部人员的蓄意破坏以及人为的操作失误等等,这些往往是数据和系统破坏的最主要原因,而且对于企业来说更是防不胜防,所造成的损失和影响也将无法预料和估计。
数据备份将达到以下目的:
(1)企业内部重要业务资料的自动化存储管理。
(2)简化备份复杂性,节省人力资源,提高工作效率。
(3)确保数据存放安全,并有效集中管理。
(4)避免人为错误及自然灾害的破坏,提高数据资料的正确性。
(5)快速、准确进行数据恢复,提高服务品质并提升形象。
2 采油厂Oracle数据库服务器现状
目前采油厂服务器包括数据库服务器、Web服务器等,主要存储油田开发数据,形成采油厂数据中心。数据库采用目前比较先进的Oracle数据库。
采油厂开发数据库包括开发动、静态、井下作业、采油工程等数据库,数据主要以Oracle数据库形式存储,数据库服务器每天24小时运转。大量的油田开发数据每天从采油小队、作业小队、联合站等上传到矿服务器,经加工处理后,采油矿上传至厂级及油田公司级Oracle服务器,数据在油田内共享。
基于Oracle数据库开发的专业软件已应用在各个专业领域中,比较典型的有油田生产管理、作业生产管理、采油工程生产管理等分析系统。
3 数据库服务器备份恢复解决方案探讨
Oracle本身提供的备份和恢复方式,在数据量不大,操作系统种类单一,服务器数量有限的情况下,不失为一种既经济又简明的备份手段。但随着企业计算机规模的扩大,数据量几何级的增长及分布式网络环境的普遍应用。企业将业务信息分布在不同的机器及操作平台上,用于数据存储和提供数据服务的服务器逐渐增多,因此要建立一套高效的数据库备份和恢复方案,自动地、实时地在线备份和恢复,以便能在服务器发生故障后,快速恢复,减少停机时间,不影响生产,保证数据的高可用性。
根据采油厂数据库应用情况,根据数据库用户级别不同,将采用不同的备份方案,实现Oracle数据库系统的自动备份和自动恢复。因此硬件与自动备份软件集成的方案将适用于厂级Oracle数据库服务器和各专业级Oracle数据库服务器自动备份和恢复。
常用的备份软件有多种,目前采油厂使用最多的,如Veritas公司的NetBackup、Legato NetWorker、CA ARCserve、HP OpenView OmnibackII、IBM ADSM等。它们都具有自动定时备份管理、备份介质自动管理,数据库在线备份管理等功能。
经过充分的分析论证,备份软件首选Veritas公司的备份软件,它比较适合采油厂数据库的系统环境和具体需求。
对于Oracle的备份与恢复,VERITAS提供了一套在增加可用性的同时简化数据库备份与恢复的解决方案(NetBackup Exec)。备份系统能根据用户的实际需求,对备份的数据进行自定义,并以图形界面方式根据需要设置备份时间表,备份系统将自动启动备份作业,无需人工干预。自动备份作业可自定,包括一次备份作业、每周的某几日、每月的第几天等项目。计划设定好后,备份作业就按计划自动进行。
在网络环境中选择一台应用服务器作为网络数据备份服务器,并安装网络数据存储管理服务器端软件NetBackup Exec,并在备份服务器上连接一台大容量存储设备(磁带库、光盘库),网络环境中需要进行数据备份管理的服务器上安装NetBackup Exec客户端软件,在备份服务器上利用NetBackup Exec 的管理控制台设置自动运行的作业,如,在晚上10:00自动备份所有的Oracle数据库,备份服务器在那一时刻就会自动的进行备份作业。通过设置不同的备份作业,可以实现各种不同的备份策略,如增量备份和系统全备份,实现自动的无人职守备份的功能。通过局域网将数据集中备份到与备份服务器连接的存储设备上,实现对网络的数据备份进行集中管理,实现自动化的备份、文件归档、数据分级存储。
备份软件也提供完善的灾难恢复手段,能将备份硬件的优良特性完全发挥出来,使备份和灾难恢复时间极大地缩短,实现网络数据备份的全自动智能化管理。针对灾难恢复,小到磁盘阵列出错,大到整个机房受损,NetBackup不但能根据主备份异地进行完全恢复或部分恢复,而且能够在远端(或库外)恢复应用或整个计算机服务器。它能够自动创建主要备份的拷贝,这个拷贝磁带既可以在异地磁带库,也可以是作为库外管理的本地磁带。库外管理体现在,可以记录介质的有效存放地点,无须人工记录。
借助这样的备份系统,可以实现:跨平台数据的集中管理、应用数据的全自动备份、对介质的有效管理、数据的自动恢复、历史数据归档、数据库联机备份、备份数据流程等等。
针对基金行业的发展趋势及各基金公司的信息化现状,广州安正软件科技有限公司(简称广州安正,英文名称BusinessMatrix)经过对基金行业业务的提炼,融合数据仓库、商业智能等技术,开发了基金行业数据中心解决方案,将基金公司累积的大量离散数据资产,整合形成统一的数据中心,再基于可信、灵活的数据中心,实现数据知识化,完成数据价值链建设,从而辅助日常运作,支撑管理决策。BusinessMatrix基金行业数据中心解决方案包括以下内容:
整合数据,搭建基础数据中心
数据中心的首要任务是整合TA、直销、呼叫中心、估值、投资交易等系统数据,通过数据建模,经历一系列的数据清洗、转换过程,整合形成企业统一数据中心。
数据中心通过对企业层面数据的统一和规范,利用ETL工具对“脏数据”进行处理,确保数据的准确性、完整性和一致性;同时,通过数据仓库的数据建模技术和数据分层技术,支持业务的各种数据和信息需要,以应对未来需求的变更与扩展,保证数据的灵活性与高扩展性。
搭建信息应用体系
数据中心利用BI工具开发、生成一系列业务报表、OLAP分析、仪表盘等信息资源,为用户日常业务提供支持。生成的各种报表通过信息门户集中,实现了便利的信息分类浏览功能。
通过BI前端工具对数据的展现加工,融合管理思维、模型与方法,面向业务实现数据知识化,便捷企业管理者对业务的洞察、分析与预测,可信的数据支撑可靠的分析与决策。
各种类型的信息资源最终被信息服务门户分类管理,并实现向业务用户的快捷传递,包括系统查阅、邮件、短信、移动应用等多种方式,还可与OA等业务系统整合,实现信息在OA等系统上的,方便业务用户的使用。
建立信息资源管理平台
基金行业数据中心需从多个业务系统数据源整合数据,经过一系列的清洗、转换过程,并通过多种前端应用工具将数据转换为报表、分析等应用。整个过程中,涉及的业务系统众多,数据结构复杂,如何确保数据中心的稳健运行,并在问题发生时及时地解决问题,以满足业务对信息的需要,成为数据中心不可回避的一个重要问题;同时,数据中心涉及源系统、数据仓库、数据集市、报表、分析、仪表盘等方方面面的数据相关资产,如何管理这些资产,确保这些数据资产更好地为业务起到支撑作用,是数据中心面临的又一个重要课题。
广州安正在解决方案中整合了自主开发的信息资源管理系统,整体地管理企业所有数据相关的资产,并管理数据流动的过程,全面管理了技术元数据、业务元数据以及过程元数据。同时,信息资源管理系统全面管理与监控数据中心的运行,确保数据价值链的高可用性。
>> BPEL系统开发中异构数据处理的解决方案 一种海量数据处理平台的解决方案 基于SOA的异构数据集成解决方案 异构系统中的三维CAD的解决方案 CAN总线系统开发关键问题及解决方案 电子商务系统中的大数据处理 电力自动化系统中的数据处理 富士通与莱卡合作开发图像处理系统解决方案 多元企业标准数据处理分析编写系统的开发设计 企业数据处理在软件系统的研究和开发应用 就业通平台异构数据集成与解决方案 音频系统中的噪声和解决方案 大型警务数据处理系统中的数据分流平台设计 水处理系统在冬季运行过程中遇到的问题及解决方案 遥感图像处理系统ENVI及其在MODIS数据处理中的应用 IT系统数据信息安全解决方案解析 数据库双机热备份系统解决方案 基于ExcelVBA的数据处理软件开发 基带SoC的系统解决方案 基于智能移动终端的数据监控系统的解决方案 常见问题解答 当前所在位置:.
[3] Geminiuc K.面向服务的方法在业务规则开发中的运用[EB/OL]..
[4] Business Process Execution Language for Web Services Version 1.1[EB/OL].(2003-05). /developerworks/library/specification/ws-bpel/.
[5] Rosenberg F,Dustdar S.Business Rules Integration in BPEL-A Service-Oriented Approach[C].Proceedings of the Seventh IEEE International Conference on E-Commerce Technology (CEC’05),2005:476-479.
[6] Ali S,Soh B,Torabi T.A Novel Approach Toward Integration of Rules Into Business Processes Using An Agent-Oriented Framework[C].IEEE Transactions on Industrial InforMatics,2006,2:145-154.
P键词: 实体动态属性;数据库设计;关系数据库;非关系数据库
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2017)05-0009-02
1 问题的提出
随着大数据时代的来临,结构化数据、半结构化数据与非结构化数据已广泛存在于各个软件应用中。任何移动应用和系统都离不开数据库进行存储数据,而数据的复杂性给它们的开发带来了困难和挑战。
在现实生活中,社会现实中的万事成物都是一个动态系统。随着时间的推移和事情的发展,各种实体都会发展变化,具体体现在实体属性的变化上,因此,我们称之为实体的动态属性[1]。例如,在一款银行绩效考核系统中的客户经理实体,随着业务的发展,客户经理的其考核内容也会发生变化,会有存款业绩、贷款业务、基金业绩、是否投诉等不断增加,也会产生相对应的业绩数值,这些不断业绩都称为该客户经理实体的动态性,详情如表1客户经理实体2017年1月份业务需求表所示。
在实际的项目开发中,固定数量的、明确的实体属性,有利于软件设计与开发人员进行项目开发。但是,动态属性的实体,由于实体属性的个数未知,属性名称未知,在系统运行过程中,根据业务的需要,随时增添新的属性,因此,给项目开发人员带来了困难和挑战。笔者在数据库设计方面经过长期的实践,探索出了针对该问题的实体的动态属性在数据库设计中的解决方法,希望对有相同需要的数据库设计人员或软件开发人提供一点参考价值。
2 定义相关数据结构
数据库中的数据结构与数据对象的数据类型、内容、性质有关的,是对数据对象的一个静态描述。为了便于说明,还以上述绩效考核系统中的客户经理实体为例进行描述。该客户经理实体包括存款业绩、贷款业务、基金业绩、是否投诉等属性,其在关系数据库中可以定义成相关字段,具体详细结构描述如下:
Create Table ClientManager(
CName nvarchar(50), //姓名字段
CDeposit decimal(18, 2), //存款业绩字段
CLoan decimal(18, 2), //贷款业绩字段
CFund decimal(18, 2), //基金业绩字段
CIsComplain nvarchar(2), //是否投诉字段
... //未知属性字段
)
很显然,由于实体未知属性的存在,上述结构中的字段不明确,这样的设计在目前的数据库技术中不能得以实现。
3 关系数据库中实体的设计方法
目前,市场要流行的关系型数据库门类众多,有甲骨文公司的Oracle、MySQL,有微软公司的SQL Server,还有针对移动应用的SQLite。下面针对上述实体的动态属性问题,给出两种关系型数据库的解决方法。
3.1 采用改行为列
为了改变上述字段不明确的问题,从表1中可以看出是二维表中的字段不明确,采用以行来代替列的形式,就可以把未知的列的值作为一条记录存储于表中,这样,就可以根据需求动态满足字段的增加或减少,解决该问题。但是,这样需要解决两个问题,一个是属性名的问题和另一个属性值的问题。因此,行转为列的形式中,二维表中需要属性名和属性值两列。具体的在客户经理实体中,定义为经理姓名、业绩名称和业绩额,具体详细结构描述如下:
Create Table ClientManager(
CName nvarchar(50), //经理姓名
CAchieveName nvarchar(50), //业绩名称字段
CAchieveValue nvarchar(50) //业绩额字段
)
在关系数据库中,客户经理的实体二维表中的业绩和业绩额从以行的形式转为以列的形式,但是,表中的记录数据增加,其具体形式如表2客户经理实体行转成列后的样式表所示。
3.2 采用两个关系实体
采用行转为列的方式能够适应简单属性值全都一个数据类型的动态属性的问题,比如,例子中的业绩额全为数值类型,开发人员在进行开发实现功能时可以进行统一计算。但是,如果属性不是一个统一的类型,比如例子中的业绩额有数值类型的,还有字符类型的。这种情况下,程序开发人员,在进行数据取值时,要有目的的进行运算,而在例子中属性值的数据类型不明确,给开发人员带来了麻烦。解决这种复杂的情况,可以增加一个实体表对属性值的取值详细信息进行描述,而将在该实体中将上一个实体的属性名作为外键,这样,就能够保证数据的一致性。在例子中,在客户经理实体的基础上,增加一个业绩设置实体,其字段有业绩名称、业绩额的取值类型、业绩额的取值长度、业绩额的取值精度,具体表述所下:
Create Table AchieveSet(
AchieveName nvarchar(50), //业绩名称字段
AValueDataType nvarchar(50), //业绩额的取值类型
AValueLength int, //业绩额的取值长度
AValuePrecision int //业绩额的取值精度
)
综上所述,通过行转列的方式,解决属性值同一类型的动态属性问题;通过两个实体来解决属性值非同一类型的复杂的动态属性问题。程序开发人员可以根据不同的需求,采用不同的方法对系统进行开发。
4 非关系数据库实体的设计方法
随着技术的发展,对半结构化、非结构化的数据进行处理,出现了NoSQL数据管理技术的发展。下面结合非关系数据技术,给出两种解决动态属性问题的解决方法。
4.1 采用HBase模型
HBase是一个分布式的,面向列族进行存储的数据库[4]。在HBase数据库中,动态属性可以采用它的数据模型来进行实现。定义一个属性列族,而在该列族中根据需要可以任意动态放入子列即可。具体操作是定义一个客户经理实体,在该实体中创建一个业绩列族,通过行键来存储客户经理实体记录中的经理名称,具体描述如下:
create ‘ClientManager’,'CAchieve'
其中,ClientManager’是客户经理实体,'CAchieve'是客户经理的业绩。
实体表创建完成后,可以进行操作,进行存储记录数据,其操作如下:
put 'ClientManager','张三','CAchieve:存款业绩','10000'
put 'ClientManager','张三','CAchieve:是否投诉','是'
put 'ClientManager','李四','CAchieve:基金业绩','10500'
...
其中,张三、李四列使用的是HBase行键,'CAchieve'冒号后面是动态属性。
4.2 采用MongoDB模型
MongoDB稻菘馐遣捎梦牡怠⒓合和数据库三部分来对数据进行组织[5]。在MongoDB数据库中,动态属性可以采用它的数据模型来实现,根据其文档的机制来进行实现。在例子中,采用定义一个客户经理实体的集合,在集合中插入定义好的记录文档,具体操作如下:
db.createCollection("'ClientManager'"); //定义客户经理集合
db.ClientManager.insert({"name":"李四","存款业绩":10000",是否投诉":是})
db.ClientManager.insert({"name":"李四","基金业绩":11000,"是否投诉":是})
其中,大括号{}内的数据是文档信息,存储客户经理信息,而每一键值对记录该客户经理实体的绩效信息,比如,"存款业绩":10000"等。每个文档内中的键值对中的键可以不相同,这样,就达到了实现动态属性的要求。
5 总结
截止到目前为止,关系型数据库理论和非关系型数据库理论并存,而且他们都已经发展得很成熟,在市场上广泛应用。作者从实际开发一款绩效考核系统中,考核指标不断变化的实际需求出发,调研和总结当前市场上几种处理实体属性不断变化的解决方案。根据不同的方案可选择不同的数据库技术,在开发实施过程中需要相应的技术条件和设备条件。总之,希望给后来者的学习和工作提供一些建议和帮助。
参考文献:
[1] 唐小刚,谭石强.一种实体属性非确定的关系数据库设计方法[J]. 湘南学院学报,2006(4).
[2] 李华娟.关系型数据库设计之实践技巧[J].电子技术与软件工程,2016(1).
[3] 李长春.动态字段在VFP中的设计与实现[J].计算机时代,1999(7).
关键词: 大数据;精准营销
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2015)29-0007-03
大数据作为一种新兴的数据处理技术,最早可追溯到20世纪80年代的美国。如今,商业银行在信息化的迅速发展中,产生了大量的业务数据、中间数据和非结构化数据等。大数据需要做的就是从这些海量数据中提取出有价值的信息,为商业银行的各类决策提供参考和服务。汇丰、花旗和瑞士银行是数据挖掘技术应用的先行者。在国内的商业银行中,大数据的思想和技术也已逐步开始在业务中获得实践和尝试。
基于大数据的精准营销方案是利用大数据平台的模型分析结果,挖掘潜出在客户,实现可持续的营销计划。
1 应用基础
1)物理基础。利用Hadoop平台作为大数据架构的物理基础,首先需要对商业银行整体的数据量作出评估,计算出需要设置的节点个数。在此基础上确定Hadoop中的每一块组件是否适合并能满足目前及未来的业务处理需求。Hadoop的物理架构如图1所示。
2)数据基础。商业银行需要在对内外部数据梳理、清洗、整合和建立映射的基础上,将各类不同数据关联成为一个有机整体,并构建统一的数据划分维度体系,以此作为大数据平台的数据基础。
数据基础基础主要由四大部分组成:数据采集模块、数据冗余模块、维度定义模块、并行分析模块,如图2所示。
2 应用需求分析
为获得更好的精准营销效果,并实现全流程的精准营销解决方案。整体的应用目标是希望依托大数据平台的分析结果在线获取客户的各类信息,再通过模型分析、客户个性化需求、不同产品的特点等,在客户与产品之间建立精准的对应关系。在业务操作上,还应当能帮助客户经理对客户做出准入判断、提供营销方案、实现限额管理、定价指导等智能决策信息。这些应用目标可以拆分成如下应用需求:
1)客户挖掘功能。精准营销的首要目的就是寻找目标客户,只有寻找到精准的营销对象才可能实现最终的精准营销结果。客户挖掘功能应当从不同角度、不同渠道进行挖掘,最大程度发掘潜在客户群。
2)智能决策引擎。在获得客户挖掘结果后,精准营销应用的下一步功能应当是针对具体客户,提供一整套智能决策方案,包括客户准入判断、产品推荐、定价指导等。对于集团客户、上下游客户或关联方客户等,还应当能够提出整体的营销计划。
3)业务统一工作平台。精准营销系统除了可以提供精准营销的方案、计划等决策结果,还应配备完整的业务操作平成业务实现。业务统一工作平台可以实现整个精准营销从客户挖掘直至业务完成的各工作环节,最大化程度缩短业务操作流程、减少贷前调查复杂程度,实现精准营销的“一站式”操作。
4)全生命周期的营销计划。精准营销的应用不应只以单次营销为目标,而是应当从纵向和横向两个方向提供持久的精准营销计划。纵向的可持续是指跟随客户的成长过程,在客户不同时期提供适时提供客户需要的产品和服务;横向的可持续是指通过集团客户、上下游客户和其他关联方客户不断挖掘目标客户,扩大精准营销范围。
3 系统功能详述
下面针对应用需求分析,从系统实现上把应用需求分解到系统功能点上进行详细描述。
1)客户类型初分。对于不同类型的目标客户,精准营销模型应当给出具有针对性的营销方案。因此需要对大数据平台里的所有客户进行类型的区分。建立合理的客户类型初分体系是精准营销的基础。客户类型初分可以按照图3给出的体系进行划分。
值得指出的是,在精准营销应用中,对公客户和零售客户并非完彼此独立。完备的精准营销应用应当具备从对公客户中挖掘零售客户或从零售客户中挖掘对公客户的功能。
2)准入客户筛选。客户准入筛选是对客户质量进行把关的工具,良好的客户准入筛选标准是确保客户质量、引导客户结构的保障。实践中考虑根据大数据平台的黑白灰名单对客户的准入进行判定:原则上白名单客户属于精准营销判定的推荐客户;黑名单客户则是禁止准入的客户;灰名单客户可设为风险提示类客户。
3)客户信息整合及验证。利用大数据平台打通内外部数据、不同业务数据、不同结构数据之间的壁垒,形成以客户为中心的“一户一条”数据记录。
为确保精准营销结果的准确性,还应建立严密的客户信息验证机制。客户信息校验包含两方面:一是错误信息的验证,如同一企业在不同系统中的行业分类存在差异,大数据平台将设置校验规则判定哪一来源数据正确,并自动用正确数据覆盖错误数据;二是数据时效的验证,如大数据平台有多个来源提供某个企业的营业执照有效期,系统将自动获取最新的日期作为改企业的营业执照有效期。
4)客户及场景标签设定。根据精准营销的不同角度设定不同类别的标签,标签应当具有灵活性,可以随着业务发展和精准营销场景的变换随时增减或改变。标签的设定主要包含以下几类:
客户标签: 主要区分客户的属性特征,如职业信息可设定诸如企业高管、普通白领、职场新人、全职妈妈、小企业主等。
事件标签:主要根据客户生活场景或者银行业务场景设定标签,如对于客户生活场景可能出现的标签包括买房、买车、装修、出国等。