python实现采集yarn队列资源使用百分比，暴露为prometheus的exporter格式，进行yarn队列资源监控

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python实现采集yarn队列资源使用百分比，暴露为prometheus的exporter格式，进行yarn队列资源监控，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2620字，纯文字阅读大概需要4分钟。

内容图文

python脚本实现，访问官方提供的地址，获取队列资源使用指标，并将指标进行json解析，之后再转换为prometheus认识的数据格式，暴露于端口下

#coding=utf-8
'''
通过访问官方提供的yarn restful api界面,获取yarn资源指标
分析json取的所需指标
以pormetheus的数据格式将指标暴露在指定端口下

入参：yarn的ip:port yarn队列数量 export暴露的机器IP(建议为本机IP) export暴露的端口号
'''

import prometheus_client
from prometheus_client import Gauge
from prometheus_client.core import CollectorRegistry
from flask import Response, Flask

import json
import urllib.request
import sys


hjson = json.loads('{}')

app = Flask(__name__)

REGISTRY = CollectorRegistry(auto_describe=False)

def getMetric(ipport,queue_num):

    html = urllib.request.urlopen(r'http://'+ipport+'/ws/v1/cluster/scheduler')

    data = html.read().decode("utf-8")

    global hjson
    hjson = json.loads(data)
    for i in range(0,queue_num):
     queuename = hjson['scheduler']['schedulerInfo']['rootQueue']['childQueues']['queue'][i]['queueName']
     usevCores = hjson['scheduler']['schedulerInfo']['rootQueue']['childQueues']['queue'][i]['usedResources']['vCores']
     usermemory = hjson['scheduler']['schedulerInfo']['rootQueue']['childQueues']['queue'][i]['usedResources']['memory']
     maxvCores = hjson['scheduler']['schedulerInfo']['rootQueue']['childQueues']['queue'][i]['maxResources']['vCores']
     maxmemory = hjson['scheduler']['schedulerInfo']['rootQueue']['childQueues']['queue'][i]['maxResources']['memory']
     usermemory_percentage = 0.0000
     usevCores_percentage = 0.0000
     if(maxvCores != 0):
      usevCores_percentage = round(usevCores/maxvCores,4)
     if(maxmemory != 0):
      usermemory_percentage = round(usermemory/maxmemory,4)
     queuename = str(queuename).replace(".","_")
     registerMetric(queuename,usermemory_percentage,usevCores_percentage)



def registerMetric(queueName,usermemory_percentage,usevCores_percentage):
    usememory_percentage_temp = Gauge(
        queueName+'_vcores_percentage',
        queueName+'_vcores_percentage',
        registry=REGISTRY)
    usevCores_percentage_temp = Gauge(
        queueName+'_memory_percentage',
        queueName+'_memory_percentage',
        registry=REGISTRY)
    usememory_percentage_temp.set(usermemory_percentage)
    usevCores_percentage_temp.set(usevCores_percentage)



@app.route('/metrics')
def r_value():
    return Response(prometheus_client.generate_latest(REGISTRY),
                    mimetype="text/plain")


@app.route('/')
def index():
    return "namenode jmx metric address: ip:port/metrics"



if __name__ == "__main__":
    yarn_ipport = str(sys.argv[1])
    queue_num = int(sys.argv[2])
    showIp = str(sys.argv[3])
    showPort = int(sys.argv[4])

    # yarn_ipport = "127.0.0.1:8001"
    # showIp = "localhost"
    # showPort = 8000
    # queue_num = 38
    getMetric(yarn_ipport,queue_num)
    app.run(host=showIp,port=showPort,debug=True)

内容总结

以上是互联网集市为您收集整理的python实现采集yarn队列资源使用百分比，暴露为prometheus的exporter格式，进行yarn队列资源监控全部内容，希望文章能够帮你解决python实现采集yarn队列资源使用百分比，暴露为prometheus的exporter格式，进行yarn队列资源监控所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端