大数据平台自动化运维及监控技术分析

前言：想要写出一篇引人入胜的文章？我们特意为您整理了大数据平台自动化运维及监控技术分析范文，希望能给你带来灵感和参考，敬请阅读。

近年来，我国信息技术不断发展，已经进入了智能化时代，大数据是一种新型的数据处理技术，能够对大量的数据进行整合、分析，并且挖掘出其中有价值的信息。目前，大数据平台在各个领域中都得到了广泛的应用，其中在自动化运维和监控技术领域取得了良好的效果，本文对基于大数据平台的自动化运维及监控技术进行了讨论。大数据技术是基于信息技术的基础上诞生出一种新型数据技术，在信息爆炸性增长的今天，具有很大应用空间。对于企业经营和人们生活中产生的海量数据，如果进行有效整合与分析，可以创造更多的商业价值，更好为企业和人们所服务。应用大数据技术，各企业的自动化运维及监控水平将会有巨大的提升，对此进行深入讨论与研究具有重要意义。

1自动化运维技术概述及大数据平台的应用优势

一个企业经营与发展离不开对系统的运营维护，运维工作对企业发展战略的制定、经营管理重心的选择有着重要作用，是管理层做出重大抉择的重要依据，也是系统稳定运行的重要保障。运维工作较为复杂，工作量巨大，尤其是互联网企业，系统24h运转，数据规模庞大，涉及各个领域，且相互之前存在影响，需要投入大量的人力、物力。自动化运维可以将IT运维工作中日常性的、重复性的、程序性的工作自动化，将人工执行转化为系统自动化执行，并对各项数据进行整合和逻辑分析，总结出发展趋势，为企业提供更好的帮助。基于大数据平台的自动化运维，结合了大数据技术的整合、分析能力，使IT运维工作得到了升华。自动化运维应用大数据技术能够提高运维流程的可控性，满足企业的个性化需求，让企业决策层能够更加清晰、直观的看到公司的业务流程，加强他们对公司的把握能力。同时，大数据平台下的自动化运维也能提高运维工作的透明度，有助于系统版本的叠加，更能清晰的分辨出其中的问题，为优化提供方便。自动化运维与大数据平台相结合，还能减少人为因素造成的失误，加强信息传递、处理的速度，提高运维工作的整体效率。另外结合监控技术，充分发挥大数据技术的优点，还能对数据和工作记录进行实时记录和跟踪，做到及时预警、及时应对，让运维工作更加轻松、灵活。

2大数据平台的自动化运维技术分析

2.1自动化运维功能设计

自动化运维技术要为企业服务，要为企业提供便利，切实提高企业的管理效率和管理水平。自动化运维功能要对企业运营管理中的各项数据进行检测，并整合到一起，要将运维对象具体化，以多种形式直观的展示出来。自动化运维系统要将不同的功能设置好后，根据运维目标的特点和形式，利用细化技术，将自动化运维系统分成不同的功能区域。常规的功能区一般包括寻常管理区、运维监控区、设备管理区、知识库管理区、第三方平台接入区和信息管理中心。巡察管理区要采用填写表格的模式，值班人员在工作期间要将数据监控结果和系统维护记录填写在表格中，并进行存档，方便下一波次工作人员的交接。运维监控区要采用可视化技术，将数据以表格、图像的形式呈现出来，并且要通过大数据技术进行整合和分析，将数据的变化趋势和变化规律体现出来。设备管理区要能查询整个服务器和分支系统的数据信息，要实现平台集中化，流程细分化。知识库管理区是针对运维对象，将可能用到的各类技术知识、操作流程、注意事项进行归档，以方便工作人员随时调阅，迅速掌握工作情况，缩短熟悉时间。第三方平台接入区要根据运维对象的发展和管理状态，在平台上建设简单的配置，可以通过通用接口接入到大数据平台。信息管理中心要以企业的自制条款、规定为依托，将运维对象的各项信息整合在一起，从而实现全局信息处理。

2.2数据质量管理体系

自动化运维需要管理不同系统、多层链路关系中的数据，非常复杂，且要保证数据信息的完整性、唯一性、真实性、准确性、合法性、及时性，需要与大数据平台相结合，建立数据质量监控管理平台。数据质量管理平台要以系统定义为标准，对系统采集的数据进行重新整合和管理，统一校对、统一处理，保证数据信息的一致性。数据质量管理体系要实现数据集中化管理，要满足多系统的数据处理需求，提供标准的数据接口，供各个分支系统调用，实现数据共享，提高数据传递的速度和完整性，实现基础数据的统一管理。数据质量管理体系与大数据平台相结合，能建立智能算法程序，实现自动化处理。通过智能算法程序，可以科学设定基础指标阀值和预警规则，对自动化运维平台采集到的数据信息，进行多个维度的比对和分析，条件处理一系列自动化计算操作，根据运维对象的特性和状态，生成多种形式的图表。并且要根据程序设定的数据链路状态条件，获取数据链路性能状态值，实时监控系统运行情况，并及时发出异常状态警告。

2.3数据优化，深度挖掘

基于大数据平台，自动化运维技术能实现数据优化，提升数据价值。自动化运维平台在采集、储存系统运行过程中产生的各项数据后，能对这些数据进行深度整合，去除掉其中的无用数据，深入挖掘其中有价值的规律和趋势，来提高企业营销、运营工作的效率，加强监管水平，从而节省企业运营成本。基于大数据平台的自动化运维技术能分析事故发生时间与用户反映时间的关系，提高企业的应急处理能力。也能分析各类故障类型与监控测量指标间的关系，和数据异常与系统运行时间的关系，帮助企业有效预防系统风险，更好的对系统进行维护。基于大数据的自动化运维技术还能通过对各种使用场景的分析，提高系统的适用范围。

3大数据平台的自动化监控技术分析

自动化监控技术是保证系统数据完整性、真实性、及时性的重要条件。企业的运营管理数据存在巨大的商业价值，在信息技术和网络技术格外发达的今天，经常会有不法分子通过各种信息化手段窃取企业或个人的数据信息，甚至破坏整个系统。因此在重要数据的传输过程中，不仅要采取必要的加密保护措施，还要对整个传递过程实时监控，保证能第一时间发现数据传递过程中的异常，并对异常数据进行追踪和定位，保证数据安全。大数据平台能够实现监控数据的可视化，将数据传递情况直观的表达出来，还能够扩大监控的覆盖范围，分析数据的实时状态，从而对整个传递过程进行监控。大数据平台还能解决数据监控系统的冗余问题，传统的监控技术信息处理过程复杂，信息传递效率慢，消耗时间长，存在大量的无效数据，会造成数据失真等问题。大数据平台的深度整合能力，可以有效去除无效数据，提高监控数据处理的准确性。对于视频数据，大数据平台能通过技术处理，提高视频的分辨率。另外，大数据平台能有效提高监控系统的数据处理能力，可以将不同类型的数据分流到各个子系统中，缩减数据处理步骤，提高处理效率。除此之外，基于大数据平台的监控系统能降低投入成本，可以发挥每个监控设备的最大作用，提高监控设备的利用率，并且有助于监控设备的维护和管理，提高使用寿命。

结论：

随着我国信息技术不断发展，人们的生活和工作模式发生了巨大的变化，其中大数据技术就被广泛用在企业的运维管理之中。基于大数据技术的自动化运维及监控技术，能有效提高企业的运营管理水平，提高运维工作的灵活度、可视度，加强信息流通的速度与准确性，减少人为因素造成的失误，最大程度保护数据安全，具有广阔的应用前景。

作者：曹铁男 李昊 喇元 单位：南方电网科学研究院有限责任公司中国南方电网有限责任公司