大数据技术在石油企业经营管理的应用

前言：想要写出一篇引人入胜的文章？我们特意为您整理了大数据技术在石油企业经营管理的应用范文，希望能给你带来灵感和参考，敬请阅读。

0引言

随着石油石化企业自动化与信息化建设的不断发展，以SCADA（SupervisoryControlAndDataAcquisition，数据采集与监控系统）系统为代表的自控系统和以ERP（EnterpriseResourcePlanning，企业资源计划）系统为代表的信息系统得到广泛应用。这些系统的建立和应用将企业从上游勘探、开发到下游炼化、销售所产生的大量生产数据和管理数据积累起来，但是，这些海量数据独立存在于各信息系统和数据库之中，并没有得到很好的共享和衔接，数据分析和利用也存在不足，而且一些具有潜在价值的外部信息尚未被充分采集和综合利用，越来越不适应石油石化企业上下游统筹协调发展、快速有效应对市场变化的业务需要。大数据技术是让花费巨大人力、物力和财力获得的数据充分燃烧，让数据发音，让数据说话［1］。将大数据技术应用到石油石化企业的生产经营环节，充分利用自控系统和信息系统获取到的数据，对现有未开发或未利用的数据资产重新认识，从大数据资源中不断挖掘更多的规律和趋势，协助企业进行生产经营决策分析，指导生产经营策略适时调整，对提高企业的核心竞争力和提升效益具有重要作用。

1典型项目效果分析

1.1生产经营数据类别

综合数据类型和数据来源，石油石化企业的生产经营数据主要分为宏观经济数据、市场数据、价格数据、财务数据、生产数据和成果数据6大类。

1.2生产经营数据特点

生产经营数据具有数据量大、数据来源多、数据结构复杂的特点，与大数据概念相符。

1）数据量大

石油石化企业长期从事勘探开发、炼油化工、油气储运和销售等业务，属于数据密集型行业，历史上已经累积了海量的生产数据，并随着时间的推移继续呈指数级增长。同时，随着实时监测系统的大量应用，数据生成的颗粒度和维度不断精细化；而随着一些计划信息系统和优化系统的应用，又将不断产生着大量的管理类数据，加之移动互联网络、智能终端的广泛普及，生产经营数据的体量在不断扩展。

2）数据来源多

石油石化企业规模体量大、业务链条长，这决定了其生产经营数据来源较多：既有来源于企业内部众多信息系统的海量经营和财务等数据，又有来源于外部网站或系统的行业相关数据，还有企业众多管理部门在日常业务过程中形成的各类数据。如何打破这些数据源在行政和管理上的壁垒，实现高效集成，是大数据技术在石油石化企业生产经营管理中有效应用的关键。

3）数据结构复杂

生产经营数据涉及的数据结构复杂：既有来源于企业已建信息系统的标准结构化数据，又有来源于日常业务过程的电子表格、报告、成果文档等半结构化数据，以及来源于企业内外部和互联网的一些非结构化数据。

1.3数据管理现状

1）对生产经营数据的管理手段有待提升

随着时间推移，生产经营数据呈现数据量庞大、数据结构复杂、数据来源多的特点，石油石化企业传统的数据库存储能力和计算能力已难以应对体量庞大、结构复杂、来源众多的生产经营数据，尤其是难以适应当前大数据带来的变化。

2）生产经营各类数据之间共享和衔接不足

目前，生产经营数据来源渠道较多，生产数据、内部价格数据、财务数据等分散于企业内部各独立信息系统之中，各层次的数据共享程度有限；宏观经济数据、市场数据、外部价格数据等来源于互联网的有价值数据，大部分石油石化企业尚未实现自动化与常态化的数据获取，生产经营分析和决策需要的各类数据之间共享和衔接不足。

3）对生产经营数据深入挖掘和利用不充分

虽然石油石化企业传统的信息系统已经能够实现对系统内生产数据，经营数据的分类、汇总、统计和综合分析利用，但是利用大数据技术挖掘数据规律和趋势的比较少见，尚未对半结构化和非结构化等复杂类型的数据进行采集和深度分析，尚未提供一个方便快捷的数据分析平台对企业生产经营全链条数据进行快速有效的分析与应用。同时，企业生产经营数据向信息、知识转化方面仍存在较大不足。

2大数据技术在石油石化企业生产经营管理中的应用

2.1大数据技术应用必要性

2.1.1业务发展需求

“十三五”及未来一段时间，石油石化企业发展面临的外部环境具有较大不确定性，随着国际油价的持续低迷，如何利用大数据技术，准确捕捉市场信息，及时根据市场变化调整企业生产经营方案，是企业掌握生产经营主动权、提升市场竞争力的关键性问题。同时在“互联网+能源行业”发展模式的持续发酵下，数据已被视为石油石化企业的核心资产，数据管理与分析已成为企业创新发展的重要手段，数据分析能力正在成为石油行业的核心竞争力。利用大数据技术来提升企业市场快速响应能力、提高生产经营管理和运作水平的必要性和紧迫性日益凸显。

2.1.2应用大数据技术的意义

1）发现和解决企业生产经营实际问题

企业应用大数据技术，有利于揭示隐藏在数据中的经营规律与特点，有利于生产经营管理人员和决策支持研究人员及时发现生产经营中存在的问题、瓶颈和矛盾，通过分析问题、解决问题，适时调整生产经营方案，提出相应的策略建议，从而实现企业上下游协调发展和整体效益的最大化。

2）为企业生产经营决策提供依据

企业内部生产经营数据、外部宏观经济数据、市场数据、价格数据，均是企业进行生产经营分析和生产经营策略制定的重要基础。利用大数据技术，实现对结构化、半结构化、非结构化数据等复杂类型数据的收集和分析利用，提升各类数据的资产化价值，从而为生产经营决策提供更加全面和准确的依据。

3）提升企业数据管理能力和信息化水平

利用大数据技术，可以满足石油石化企业对于计算能力和数据处理能力的高需求，实现计算能力的灵活可伸缩性，实现对计算能力和资源更好的管理，从而提升企业数据管理和利用的效能，提高企业信息化建设水平。

2.2大数据技术应用场景

就生产经营管理来说，大数据技术在石油石化企业的应用场景可以分为两个层次：一是总部层面业务链整体优化的应用，二是在企业上中下游各项业务领域的专业应用。

2.2.1总部层面的应用

对于国有大型石油石化企业而言，大数据技术在总部层面的应用更能体现大数据技术本身的优越性和必要性。主要应用场景包括：业务链上中下游一体化优化、国内国外市场统筹优化、不同油价情景的资源配置优化、不同工况情景的生产方案优化等。

2.2.2主要业务领域的应用

1）在勘探开发领域

大数据技术在勘探开发领域可用于产量预测分析、勘探开发分析、地震数据分析、钻井分析、提高采收率分析、油气完整性分析等［2］。

2）在炼油化工领域

大数据技术在炼油化工领域可用于生产运行分析与优化、能效预测分析与优化、炼化装置运行分析等。

3）在销售领域

大数据技术在销售领域可用于市场需求预测、油价预测、物流优化、销售分析、营销活动分析、客户分析、关联商品分析等。

2.3大数据技术应用路径

大数据技术在石油石化企业生产经营管理中的应用路径，主要包括以下三方面：大数据存储技术、大数据并行处理技术、面向业务的数据分析技术。

1）大数据存储技术

随着企业生产经营数据量的日益庞大，常常存在对数据库高并发读写的需求、海量数据高效率存储和访问的需求、数据库高可扩展性和高可用性的需求、海量异源异构数据的存储需求，而石油石化企业现有的数据存储方式已无法满足以上需要。将海量的数据低成本、低能耗、高可靠性的进行存储是大数据面临的严峻挑战。基于工业大数据云平台的分布式数据集群存储技术，能够灵活扩展数据节点，便捷地设置数据副本配置策略，为集群环境提供高扩展和高可用的容量存储能力，大幅降低海量数据应用的软硬件成本。该技术支持海量结构化数据的快速检索和非结构化数据的存储应用，能够保障查询应用的快速响应，提升各类数据的访问和处理速度，保障业务数据和优化成果的快速访问。HDFS（HadoopDistributedFileSystem，分布式文件系统）是适合在大规模集群中存储海量数据文件的Hadoop分布式文件系统，通过HDFS能够有效满足大数据存储要求，实现海量数据的存储。

2）大数据并行处理技术

企业生产经营数据规模大且分布在多个信息系统的多台服务器上，传统的数据处理方法效率低，需要合适的算法和高性能计算能力才能为大数据分析带来有意义的结果，所以需要一种能在多台服务器上并行计算的框架。MapReduce（映射规约）是一个高效的对海量数据进行分布式计算的模型框架，它可以并行处理超大规模数据量，很容易将计算扩展到多台机器上并行进行，提高计算效率。利用MapReduce计算框架，可以实现海量数据的并行处理和复杂计算。

3）面向业务的数据分析

通过集成统计分析工具和数据挖掘工具，可实现对生产经营领域的海量数据的深入挖掘和分析。常用的统计分析工具有Hive，常用的数据挖掘工具有Mahout。

2.4企业大数据应用架构设计

石油石化企业构建大数据应用架构可以包括三个层次：大数据集成与管理、大数据分析、大数据应用与展示。

2.4.1建立统一的生产经营数据管理平台

充分利用企业已建的各类信息系统数据集成成果，进一步扩展集成宏观经济、市场、价格及产业政策等外部数据，搭建覆盖全面、高效可靠、集成共享的生产经营数据管理平台，为生产经营决策提供常态化、稳定的数据基础。数据管理平台一般包括数据集成模块和数据存储管理模块。

1）数据集成模块

数据集成模块应当包括8大功能：数据源接口管理、数据映射管理、数据监控管理、数据编码转换管理、任务调度管理、数据调整管理、数据供给管理和平台管理。数据集成模块能够提供内外部多类数据实时抽取、采集调度、清洗管理等功能，为数据实时采集和入库提供保障。根据数据来源和数据形式的不同，可采取多种采集方式，主要包括集成接口方式、网络抓取方式和手工填报录入三种。

2）数据存储管理模块

采用工业大数据云平台的分布式数据集群存储技术，集成各类结构化数据和非结构化数据，提供海量存储环境和实时应用能力。同时建立6大类数据库，即宏观经济数据库、市场数据库、价格数据库、生产数据库、财务数据库和成果数据库，实现对海量数据的分类管理。

2.4.2建立统一的数据分析平台

采用工业大数据云化技术，构建满足企业生产经营海量数据大规模并行计算的软件系统，利用MapReduce计算框架实现对各类数据的并行处理；对生产经营相关应用软件和分析工具进行整合，利用Hive、Mahout等工具实现对各类数据的多维相关性分析；生产经营人员可依据需求选取相对应的专业应用软件和工具进行数据分析，从而搭建大数据分析环境，便捷地实现数据加载、软件及工具应用、数据的深入挖掘。

2.4.3建立统一的应用展示平台

数据只有通过动态展示，才能更好地发挥他的价值。应用多媒体交互技术，通过大屏幕、桌面、移动设备等媒介，实现各类生产经营数据，分析成果的在线查询、可视化呈现与，辅助生产经营管理人员快速决策，为生产经营管理人员提供统一的生产经营应用展示平台。

3结束语

运用大数据技术，实现对石油石化企业海量结构化、半结构化、非结构化生产经营数据的统一采集、处理、存储、分析、应用和共享，并建立统一的生产经营数据管理平台、大数据分析平台和应用展示平台，是将大数据技术应用到石油石化企业生产经营管理中的一种实践，对石油石化企业不断探索实现大数据技术的应用具有借鉴意义。

参考文献：

[1]邓如燕.“大数据”在石油企业信息化建设的相关思考[J].计算机光盘软件与应用,2014(2):153-154.

[2]徐鹏,吴冬,魏骞.大数据技术在石油石化行业的应用[J].信息系统工程,2016(10):75-76.

作者：刘倩 阎君 杜国敏 徐舜华 王进 单位：中国石油天然气股份有限公司规划总院 中国石油国际事业有限公司