谈管线运营下的大数据分析平台

前言：想要写出一篇引人入胜的文章？我们特意为您整理了谈管线运营下的大数据分析平台范文，希望能给你带来灵感和参考，敬请阅读。

［摘要］针对管线运营中产生的海量信息未被有效利用的问题，文章总结分析了国内外管线运营数据分析研究的现状及存在的问题。为达到管线运营数据合理分析应用目的，总结了管线运营数据分析的主要研究内容，并提出了一套管线运营大数据平台建设的总体方案，以达到对管线运营数据的挖掘分析，提升管线运营的安全监控和预警预测能力。

［关键词］大数据;管线数据分析;城市地下管网信息化管理

1引言

随着信息技术的快速发展和管线运营安全的迫切需要，以数据为驱动、以IT技术为手段的智慧管线建设成为监控管线安全、降低维修维护成本以及知识共享与传承的有效途径。城市地下管线隐蔽性强、种类繁多，包括供水、排水、燃气、热力、电力、通信、广播电视、工业8大类20余种管线，［1］在运营过程中产生海量的结构化、半结构化和非结构化数据，迫切需要采用机器学习算法和大数据计算框架，建立相关大数据模型，打破业务界限，可多维度分析、挖掘以往常规手段无法发现的价值，［2］充分发挥数据在管线运营过程中的价值。运用大数据技术实现管线运营中海量数据的集中存储、统一管理、高效计算、深度挖掘以及可视化应用。

2国内外研究现状

在国外发达国家，城市地下管网信息化管理已经成为城市发展建设的一项重要基础工程，许多城市已经建立了不同规模、不同利用目的的管网信息化管理系统，并且已经进入了专业化应用和商品化生产阶段，积累了丰富的研究与实施经验。［3］中国的城市地下管线信息化自2000年后就已大规模展开，北京、上海、广州、厦门、杭州、南京等多个城市已经建立了地下管网信息化管理系统，［4］但大都在各行业内部分散建立专业管理系统，缺少统一规划、协调，信息管理系统是各自为政，系统之间信息不能交换、共享。［5］结合国内外各领域数字化建设的发展情况，管线数字化发展和应用存在以下不足:①管线基础数据积累和共享不够:传统的给水、排水、燃气、热力、电力、通信六大管线分属不同的管理部门，［6］各部门的信息系统建设时间比较晚，而且相互之间比较离散孤立，这些互不兼容的数据格式难以互联，从而无法在设计、施工、运营、检测部门之间有效地实现信息共享与传递。②对管线运营数据的分析与挖掘不够:缺少有效的数据整合和数据分析与挖掘技术及方法，限制了各专业领域的技术应用和发展，制约了对管线运营风险和综合检测的分析。③数据采集频率较低:管线运营管理过程中，大部分数据采用人工检测的方式，没有依靠物联设备对管线状态信息、人员轨迹信息进行实时的采集。

3研究目标和内容

3.1管线大数据平台研究目标

管线数据分析旨在通过对互联网、移动应用等外部数据抓取和物联传感器实时检测数据集成，加强管线运营数据与抓取数据、检测数据的融合，构建以管线运营数据为核心的数据资源池。在此基础上，重点解决多源异构数据融合、数据存储、数据处理及数据计算等方面的技术问题，提高管线运营数据存储与管理的集成度。通过对管线运营大数据挖掘分析模型的研究，提供多维度的管线运营数据分析，从而为管线运营过程中的决策提供辅助支持。

3.2管线大数据平台研究内容

探索分析与管线运营相关的互联网管线相关数据、物联接入数据等外部数据，形成与管线运营相关的外部数据指标体系表，并对各指标的参考取值及对管线运营的影响进行分析。建立大数据中心，通过数据交换平台及相应的主题数据库实现管线运营数据的抓取，针对外部数据，重点研究数据采集、处理和分析，实现结构化数据、非结构化数据及半结构化数据的应用。

3.2.1管线大数据采集与预处理技术研究数据采集通过网络爬虫工具、Kafka、Sqoop、Flume等大数据采集工具，实现对互联网管线舆情数据、物联传感器接入数据、管线运营业务管理数据、应急指挥数据、安全监管数据等结构化、半结构化和非结构化数据的获取。

3.2.2管线大数据存储技术研究通过对并行存储技术与数据仓库的研究，提高存储系统的性能、扩展性和可用性，为建立集中、统一的数据存储中心提供支撑，解决了数据提取速度慢、查询效率低等问题。

3.2.3管线大数据计算框架研究由于需要对互联网管线相关数据、物联接入数据、管线运营业务管理数据、应急指挥数据、安全监管数据等数据的综合分析，需要提供很高的计算能力，通过对大数据Ma-pReduce、Spark等并行计算模型和内存计算框架中离线批量计算、内存迭代计算、流式处理计算等大数据计算技术的研究，实现资源虚拟化与动态调度，解决单机计算能力以及数据处理量有限的问题。

3.2.4管线数据挖掘模型研究管线数据指标体系自动识别:传统的管线数据分析包括人工分析和简单的程序分析，但随着海量管线数据的采集和积累，传统的分析方式都难以实现对管线大数据指标识别。基于大数据技术的管线数据对互联网、物联接入、管线运营、应急指挥、安全监管等数据进行分析，可以实现对管线指标体系自动识别的效果，提升管线画像的分析能力。管线数据高维分析:［7］管线数据指标体系中的指标数量众多，指标数据之间可能存在多种相关关系，指标分析维度呈现多样化分析。通过高维分析技术，可以将指标维度进行汇集、合并，自动对维度与指标关系进行判断，从而尽可能减少边缘维度对关键维度可能出现安全隐患的管线提前预警，提高管线运营整体的工作效率，降低管线维修维护成本。管线安全状态预测预警:通过对温度、湿度、流速、压力等管线物联检测数据与管线运行时间、材质等管线业务数据进行综合分析和挖掘，可实现对管线运行安全状态实时监控、趋势走向进行预测分析，提升管线指标数据分析的准确性和完整性。

4管线大数据平台

管线大数据平台主要解决面向大数据的采集、存储、管理、计算和分析应用等应用。平台总体架构包括管线数据采集与处理平台、管线数据存储与管理平台、管线分布式计算与挖掘平台、管线大数据分析平台模块，以及用于管理软件组件以及集群硬件的大数据平台管理模块。(1)基础设施管理:包括服务器计算资源、存储设备资源、网络资源，为业务应用系统和大数据分析提供基础环境。(2)管线数据采集与处理平台:针对互联网、物联接入、管线运营、应急指挥、安全监管等数据的采集要求，平台通过集成和开发等方式，设计了多种应用场景下的数据采集工具，根据不同数据院特点对数据进行采集、清洗、转换和加载。(3)管线存储与管理平台:提供对结构化和非结构化数据通过综合应用关系型数据库、列式数据库、内存数据库运算、并行数据库等数据库技术，支持海量异构数据统一可靠的存储管理，对外提供统一的分布式调用接口。(4)管线分布式计算与挖掘平台:优化了分布式计算框架MapReduce和分布式内存计算框架Spark。并在此基础上构建面向管线运营管理业务的文本处理引擎、流处理引擎、数据挖掘引擎、搜索引擎等，进一步加强了管线数据分析能力的支撑。(5)管线大数据分析平台:利用强大的分析能力，从互联网、物联接入、管线运营、应急指挥、安全监管等数据大量基础数据中分析、获得规律，并利用规律对未知数据进行预测，实现对管线数据进行高维分析、安全隐患分析、应急指挥分析、管线预警预测分析等。(6)大数据平台管理模块:可以实现大数据平台的快速部署，包括平台的安装、部署、配置、运维、监控、数据操作等，以图形化的方式可以将大数据平台中各类服务、组建的使用情况进行可视化展现。(7)主数据管理模块:支撑大数据平台中主数据的管理，包括元数据管理、主数据模型管理、主数据检索、数据质量管理、数据字典管理、数据接口管理和安全管理。

5管线运营数据分析应用

(1)管线运营时空分析:运用GIS手段对地下排水管线、给水管线、供热管线、供气管线等市政基础设施管线不同时间点不同地理位置的运行状态进行监控，通过对同一时间段不同地理位置的流量流速分析，适当调配不同区域供水、供气的水压和气压，保障区域内人民对水、气、暖的正常使用。(2)管线老化预警分析:由于管线材质、施工时间、表面防腐层的不同，直接影响了各类管线的老化程度各异，通过对各类管线基础数据进行分析，评价管线的老化情况，定量给出管线的老化级别，对于老化级别较高的管线进行定期预警，形成管线预警分析报告，预防管线事故的发生。(3)管线事故影响分析:根据水、气、暖等事故影响模型，在出现应急事件时，通过获取应急事件的事件类型、发生时间、事故地点等参数信息，从而计算得出事故的影响范围需要调配的物资、人员、车辆等资源信息，有力支撑应急决策和执行。

6结论

管线安全关乎社会民生和经济发展，管线运营数据分析意义重大。文章总结分析了国内管线数据分析现状，提出了管线数据分析的研究目的、研究内容，并规划了管线大数据平台的总体方案。管线大数据分析平台的搭建、数据驱动集成管控模式的研究以及应用方面的需求亦具有广泛性，对提高管线运营管理能力具有广泛的参考和借鉴意义。

参考文献:

［1］杨瑛，刘涛.城市地下管线全寿命周期安全分析［J］．中国勘察设计，2015(4):83－87.

［2］徐建辉，聂中文，蔡珂.基于物联网和大数据的全生命周期智慧管道实施构想［J］．油气田地面工程，2018，37(12):6－13.

［3］吴思，陈勇，张云，等．城市地下管线共享平台建设模式探讨［J］．测绘通报，2015(12):77－80.

［4］郑丰收，陶为翔，潘良波，等.城市地下管线智慧化管理平台建设研究［J］．地下空间与工程学报，2015(11):378－382.

［5］王超，孙晓洪，李伟，等.基于顶层设计的地下管线信息管理新模式［J］．地下空间与工程学报，2010(6):1118－1124.

［6］朱能发，孙士辉，徐建江.建立城市地下管线动态更新管理体系的探讨［J］．测绘通报，2016(S1):127－129.

［7］贺玲，蔡益朝，杨征.高维数据聚类方法综述［J］．计算机应用研究，2010，27(1):23－31.

作者：吴艳林 朱玉明 侯风巍 贾菲菲 单位：北京京航计算通讯研究所