地震资料处理集群多节点监控平台程序介绍
时间：2021-04-06 08:02:45 来源：达达文档网 本文已影响 人 
摘要：本文介绍一种地震资料处理集群多节点监控程序，用于解决现有开源软件及商业软件在地震资料处理集群监控上占用资源过多，数据结构不合理，无法监控和分析地震资料处理应用相关参数，集中显示能力不足，等方面存在的问题。
关键词：集群;地震资料处理;监控程序
引言
目前业界内有一些针对集群的开源监控软件。这些软件主要可分为两大类，一类是主要对流量及主机在线状态进行监控的软件，如MRTG，PRGT，CACTI， Hobbit，另一类是能对服务器的关键服务及进程进行监控的软件，如 Nagios， Big brother等。
这些监控软件都需要在服务器上安装SNMP相关协议。需要一台或多台的监控中心控管机。还有一部分监控系统的监控进程在服务端实时运行着。当用户进程繁忙时，就会对服务器的性能产生很大的负面影响。
目前的监控系统设计目标有以下局限性
1.设计思想以监控服务器的个体要素为主，对要素之间的联系和系统的整体性 监测不足。
2. 被监控的服务器上需要安装SNMP协议的支持。部分监测进程需要在被监测的服务器 上以守护进程的方式实时运行。
3.鉴于地震资料处理软件的复杂性，目前还没有针对地震资料处理软件的应用级监控系统，不能提供故障分析图表，不能提供生产中工区资源占用数据。
一、地震数据处理与集群的现状
近几年野外采集数据呈几何倍数增加。随着这几年高密度宽方位采集技术的不断应用，每年处理的原始数据量从几TB左右骤升几百TB左右。数据增加要求计算能力增加，条件限制下的集群规模增长无法紧跟数据增长的脚步，于是集群的长时间稳定运行提出更高要求，而故障的快速排查依赖于高效的运行监控平台。数据中心的集群多、配置差异大带来运维工作量加大、难度增加，迫切需要运维手段升级。
二、新的集群监控程序研究内容介绍
本文介绍一种全新的地震资料处理集群多节点监控程序。采用Nginx+uWSGI+Django架构，在不占用集群资源的情况下，获取系统级相关数据，利用关系型数据库架构，通过uwsgi协议和通用网关接口，安全均衡的实现多集群节点的单一web页面统一显示。相比其他开源及商用监控软件，具有不占用系统资源，数据传输稳定均衡，数据结构合理，信息显示统一详尽，多元化的特点，软件设计思想具有业界领先水平。
通过设备运行信息采集研究、对能够反应系统运行现状的主要指标，如CPU利用率、内存使用情况、磁盘空间使用情况、网络传输速率、GPU状态等指标数据进行采集。
监控平台采用golang、python、mysql、redis、html5、jquery、awk、sed、rrdtool技术开发。通过分析CGG处理系统结构和相关文件，研究获取、加工和存储地震作业运行状态、模块许可使用情况、作业资源占用等信息方法，为监控地震资料处理系统及时提供数据。采用关系数据库（mysql、sqlite等）、时序数据库（rrdtool、opentsdb、influxdb等），进行数据模式设计，建立数据管理系统。
三、监控程序具体实现方法
1、这套集群的多节点监控管理程序，涵盖了数据采集，数据处理，数据结构设计，传输协议定制，动态展示，集中管理，阙值報警等功能。软件的整体结构及实现包括以下内容：
（1）软件安装部署在一台web服务器上，通过局域网络链接并监控机房的多套地震处理集群，在监控管理室的显示设备进行实时显示，其中软件共分为五个主要模块;
（2）采集模块采用多点探测式采集。采集服务器节点的基础运行数据，包括CPU、内存、网络、IO等，并按照显示需要对要采集的数据进行一定频次的采集，例如：每5秒钟采集一次CPU的占用数据，每十秒钟采集一次内存占用数据，采集地震处理应用数据如进程存活状态、进程资源消耗等，采集地震处理工区相关信息，包括工区处理进度，资源占用比例等;
（3）传输模块将数据信息通过传输协议，以文本形式传至web监控服务器;
（4）数据结构模块将采集数据建立数据模型，监控数据为时间序列数据，数据包括几部分：包括数据名称、标签、时间戳、值，将数据进行排序以及运算整理，按照编制好的数据结构存入关系型数据库;
（5）显示模块通过定义显示坐标系统，按照百分比的方式显示资源占用率，定义每行显示的宽度和高度，定义图形显示的背景颜色以及采集到的监控参数指标显示的颜色（即表示的意义），选择图像显示的内容，在web服务器通过直方图的形式在同一个web页面显示所有被监控服务器的运行状态;
（6）报警模块对采集的所有监控项进行监控，当监控到监控对象发生异常时，对监控对象本次发生的异常进行记录，并记入数据库，警报模块将根据每个采集数据进行智能判断，将汇总警报信息进行AI筛选，然后报至前端显示，通过短信息等形式将警报信息发送至管理员终端设备;
2、所述的采集数据类型不仅包括，服务器节点的基础运行数据，例如：CPU占用比例、内存占用比例、网络数据量、存储IO等数据，还包括地震资料处理软件的作业进程对计算机资源的占用数据，地震资料工区的各种数据对磁盘空间的占用，工区工作流程进度的数据等。
3、无须在所监控服务器节点安装部署相关客户端软件，而采用探测式采集的方式获取监控数据，减少了监控软件本身对服务器节点的资源占用。
4、采用直方图的形式，通过自定义系统坐标，自定义色彩显示参数，自定义页面的刷新时间，采用WEB页面的方式在同一页面显示几百个服务器节点的运行状况，有别于一般监控软件的横向持续的服务器节点的数据显示方式。
5、与现有的监控软件不论是开源软件，还是商用监控软件相比，这套监控程序有益效果是：1）、本发明不占用监控的地震资料处理服务器节点的资源。2）、本发明可监控地震处理作业和地震处理工区的情况，具有专业的针对性。3）本发明的显示模块可在单一WEB页面，用直方图的形式同时展示多套集群节点的情况，这在集群监控软件尚属首创。
对多集群节点统一监控管理程序的使用，可大大提高运维效率，对地震数据处理进程，统一管理监控，可极大改善石油地震数据处理中心的工作现状。
参考文献
[1]《G/S 分布式集群监控技术初探》.
作者简介：吴志国（1978-），硕士研究生，现就职中国石化中原油田分公司物探研究院。
