前言:想要写出一篇引人入胜的文章?我们特意为您整理了探析铁路运输支持系统关键技术范文,希望能给你带来灵感和参考,敬请阅读。
传统数据库在进行决策支持时具有以下几个方面的不足:(1)缺乏组织性,首先是获得的数据格式杂乱不稳定,无统一标准;其次,由于各部门在分析时对数据的片面抽取,对同一问题的分析,可能导致不同的结果;(2)数据的利用率低,难以转化为有用的信息;(3)数据存储不完整,难以满足决策支持的需要;(4)模型库分析能力有限;(5)人机接口开发不理想。数据仓库和联机分析处理(OLAP)技术及数据挖掘技术的日渐成熟,为克服传统数据库存在的问题提供了技术上的支持,为决策支持系统开辟了一条新的途径。铁路运输决策支持系统是以数据仓库技术为基础,以OLAP技术和数据挖掘工具为手段,从而进行设计实施的一整套解决方案。
1.1铁路运输决策支持系统的架构
铁路运输决策支持系统由数据抽取、数据仓库管理系统、模型库/知识库管理系统、数据挖掘、用户界面等模块组成。如铁路运输决策支持系统具有如下特点。(1)从异构的多种数据源中抽取数据,实现数据库系统无关性。(2)以数据仓库和OLAP相结合建立辅助决策系统,相互结合、相互补充。(3)利用数据挖掘工具发现过去未被认识的数据关系,帮助决策者做出更好的决策。(4)将数据仓库、OLAP、数据挖掘、方法库/模型库以及用户交互结合起来形成的综合决策支持系统能以此进行定量分析和定性分析,进一步提高了辅助决策能力。铁路运输决策支持系统采用数据仓库技术,遵循数据仓库的结构体系,包括以下几个方面:环境、数据仓库、主题、主题表、汇总表组、信息集市和数据集市。
1.2数据仓库的数据源
数据仓库的数据源基于铁路系统现在的业务系统及其综合应用,包括:(1)十八点统计分析系统;(2)车号自动识别系统;(3)货车追踪系统;(4)确报系统;(5)TMIS货票系统;(6)集装箱系统;(7)货运营销与生产管理系统(8)客票发售与预定系统;(9)精密统计系统;(10)调度系统;(11)编组站现在车管理系统。
1.3铁路运输决策支持系统的原型系统
对于铁路运输决策支持的核心组成部分———数据仓库,选取综合运输指标数据集市和客运数据集市,作为该项目的原型。选取“综合运输指标数据集市”作为本项目的原型,是出于以下几个方面的考虑。
(1)目前能够综合反映运输生产组织和经营状况的十八点运输统计报告系统和精密统计系统,其基本信息通过手工作业进行采集,再逐级上报。系统的稳定性好,也已经积累了丰富的数据;在此基础上建立数据集市,见效快,效果明显。
(2)综合运输指标体系所涉及的内容,是指导运输生产和经营的重要信息,为各级运输部门服务,如:运输分析部门、运输统计部门、调度部门。其中,某些综合效益指标(货运收入、客运收入、货物发送量、旅客发送量等)更是部领导们重点关心的信息。
(3)十八点统计分析系统和精密统计系统所设计的指标虽有交叉,但时间范畴不一致,十八点统计分析系统是日报系统,每日十八点上报;精密统计系统是月报系统,是经过层层校验、核实过的月信息,准确度高,每月的中旬上报上个月的精密统计数据;所以,两者相结合,既能掌握每日的运输情况,又能得到准确的数据用于指导今后的运输生产和经营。而目前的情况是由于十八点统计分析系统、客运精密统计和货运精密统计均是数据库系统,各个运输部门所关心的内容又各不相同,往往不能及时得到想要的信息。铁路客运业务系统经过近十多年的发展,绝大部分的客运业务都实现了计算机管理。主要包括客票联网系统、客票非联网站系统、小站系统、车务段系统、移动补票系统、客运管理信息系统,手工完成的业务主要包括代用票、偏远小站的手工售票。客票系统全称为“铁路客票发售和预定系统”,是国家“九五”科技攻关计划重中之重项目,项目自1996年启动以来,经过1.0、2.0、3.0、4.0版的研制和中央、地区、车站三级系统的建设,建成了包括铁道部客票中心、23个地区客票中心、1800多个计算机售票车站在内的计算机售票系统,其中800多个车站已实现了联网售票。客票系统实现了车站售票业务处理和地区中心的客运业务应用管理,这些业务操作产生的数据是信息综合利用决策支持系统重要数据源。而且客票系统联网站的增多,使得经客票系统发售的客票销售量占全路总售票量的85%以上,客票收入占全路总客票收入的90%以上。因此,客票系统已经积累了丰富的历史数据,具备了建立数据集市的各种优越条件,应该是铁路运输决策支持系统的不可或缺的一部分。
2综合运输指标数据集市的设计
综合运输指标数据集市的数据来源于十八点统计分析系统和精密统计系统(包括货运精密统计和客运精密统计)。前者所涉及的维度少,指标多,大多数指标值仅与时间维度相关;后者所设计的指标少,但相关的维度较多。因此,可采用不同的逻辑模型。
2.1综合运输指标数据集市的模型设计
十八点统计分析系统的数据关系简单,采用传统的E_R模型。精密统计系统的数据采用星型模型。精密统计系统的维度包括:时间维度、地理维度1(层次为铁道部、路局、分局、分界口)、地理维度2(层次为全国、省、市)、品类维度、运输距离维度、席别维(硬座、软席、卧铺)、统计分类维(站售、车补、退票)、运输类别维(管内直通、管内接入、管内到达)、干线维、车次维、发到站维。十八点统计分析系统和精密统计系统的数据在数据集市中采用不同的物理存储模型。前者采用关系数据库组织形式(由关系型事实表和维表组成);后者多采用多维数据库组织形式(MDDB)。
2.2综合运输指标的ETL方案设计
综合运输指标的数据清洗任务主要是:(1)十八点统计分析系统和精密统计系统中编码的统一;(2)为了方便OLAP分析,需要将数据源的数据整合以后,加载到数据集市的主题表中,而不是将数据源直接复制到数据集市中。十八点统计分析系统的ETL方案,包括:综合指标主题表,现在车类,装卸车类,分界口货车出入,客运综合指标,重点、快速旅客列车指标和主要客运站上车人数指标。货运精密统计的ETL方案,包括货物发到量统计,货物运输量及吨公里统计,分界站货物接入交出及通过统计,省间货物交流统计,货物运输距离统计,主要干线货运统计表,铁路分局货物交流统计。客运精密统计的ETL方案,包括旅客发送量及票价统计,旅客运输量及周转量,距离别旅客人数及周转量,车次别旅客人数、周转量及票价,行李、包裹发送、中转及到达量统计,局别/窄轨行包运输量、周转量及平均行程等。
2.3建立数据仓库更新的时间机制
数据仓库的数据并不要求与联机事务处理系统保持实时的同步,因此数据抽取可以定时进行,但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。十八点信息系统是每天18点这一时刻的统计信息,更新数据仓库的时间是24h;精密统计信息系统每个月更新1次。
3综合运输指标数据集市的决策支持应用
3.1报表应用
报表一直是表现数据的最为简便的方式,这种方式在铁路业务部门间是必不可少的数据传递方式。所以报表应用也是铁路运输决策支持系统的主要应用之一。系统采用BusinessObjects软件实现报表应用,BusinessObjects能够灵活、随意地制作出各种不同形式的报表以进行数据分析。基于铁路运输决策支持系统,首先制作部门日常经常使用的报表,然后在已有报表上衍生其他各式各样的报表,报表的个数是不限的,报表的形式是可多变的。报表主要包括货运静态报表和客运静态报表。
3.2多维分析
在决策支持系统中可进行各种多维分析,包括货物运量变化趋势分析、旅客运量变化趋势分析等。在货物运量变化趋势分析中可以生成总运量变化趋势图,各局(省、市)运量变化趋势图,按品类运量变化趋势图,各局(省、市)按品类运量变化趋势图,省间货物交流变化趋势图,以及各运输距离的货物发送量变化趋势图;在旅客运量变化趋势分析中可以生成旅客发送量及收入变化趋势图,局别、省别、线别、窄轨别旅客发送量及周转量变化趋势图,局别行包发送量及周转量变化趋势图,各运输距离的旅客发送量变化趋势图,车次别旅客人数、周转量、收入变化趋势图等。多维分析的展现方式包括多维报表和三维柱图、饼图。
3.3即席查询
即席查询,是数据库应用最普遍的一种查询;利用数据仓库技术,可以让用户随时可以面对数据库,获取所希望的来自各业务系统的数据。在综合运输指标数据集市里,包含了所有的运输指标。通过提供给终端用户友好、易用的图形界面,提供选择和模糊查找指标的功能,即用户键入他希望查询的指标名称(部分名称)和其他如时间、局名、品类、运输类别、席别等,就能得到相应的信息,并能根据需要导入文本文件或存为HTML格式的文件。
3.4数据挖掘应用
基于十八点统计分析系统和精密统计系统的数据,可以利用数据挖掘工具对运输综合指标作时间序列预测分析。具体方法包括:使用广泛的预测方法,包括指数平滑模型,Winter方法以及ARIMA(Box-Jenkins)模型,也可以通过组合模型产生新的预测模型或方法;在预测模型中使用预测因子变量,预测模型包括时间趋势曲线,回归因子,干扰影响;浏览时间序列图,预测-真实值、预测误差图,带置信区间的预测图;逐个比较任意两个预测模型的拟合优度值或按一特定拟合统计排序的所有模型;浏览每个模型的预测和误差值或任意选择两个模型比较预测结果;检验每个预测模型的拟合参数及其统计显著性。
4结语
本文介绍了铁路运输决策支持系统的基本架构,该系统依托数据仓库,运用数据挖掘技术,力图实现信息的综合利用,并为铁路系统的各级各部门提供决策支持。其中重点研究了铁路运输决策支持系统中一个子系统,即综合运输指标数据集市的设计,包括基于数据源特点的数据集市模型设计和ETL方案设计;并针对综合运输指标数据集市,研究了其在决策支持中的应用,包括报表应用、多维分析、即席查询和数据挖掘应用等。本文首次将数据仓库、数据挖掘和决策支持技术系统性地应用于构建我国的铁路运输决策支持系统,具体研究了系统基本架构的建立,包括系统建立中的数据源抽取、数据集市模型设计、数据清洗技术,以及系统在决策支持中的若干具体应用。从而为这一系统的建立提供了坚实的理论基础和富有现实意义的实践指导,并且为先进的数据处理技术在其他第三方物流企业决策支持系统中的应用提供了宝贵的借鉴。
作者:李敏 黄远新 单位:铁道部信息技术中心 西南交通大学交通运输与物流学院