第133讲：Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了第133讲：Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2438字，纯文字阅读大概需要4分钟。
内容图文
第133讲：Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记
可监控和显示集群中节点的各种状态信息，如CPU/内存、磁盘利用率，IO负载，网络流量等。
ganglia可将历史数据以曲线形式非常友好地以php页面形式展现，本身有很好的扩展性，允许用户加入自己想监控的信息。要监控特殊信息时方便。
下图是ganglia架构图:
ganglia包含几个部分，这几个部分间通信是通过xdl或xml格式传递监控数据。
集群中的节点会运行gmond收集节点状态信息，通过gmetad周期性轮询gmond， poll。交给rrd数据库，通过对数据库查询来展示信息。
gmetad周期性地到各个cluster中收集数据并更新到rrd，gmetad可理解为服务端。gmond收集本机信息并发送到其他机器。gmond间通过udp方式通信，格式是xdl，收集的数据提供给gmond读取，默认端口8649。
监听到gmond请求会发送xml格式文件。
web前端通常会与gmond安装在同一节点（可配置在不同节点）
从gmetad读取数据并读取rrd生成曲线图。
gmetad会周期性地到gmond节点或gmetad节点poll数据。
一个gmetad可设置多个datasource，每个datasource可有多个备份，一个失败可到其他节点读取数据。
传递数据有多种模式：multicast模式时gmond间会通过多播的方式来想到传递数据，gmond发送和接收都有通道还会有tcp receive通道，当接收到tcp通道向其他节点发送接收数据，tcp用来导出xml文件主要来自gmetad的请求，gmetad只有tcp通道，一方面向datasource发送请求，另一方面使用tcp商品发送自己的xml文件，使用8651端口。
所以gmetad可从gmond也可从gmetad获取xml数据。
下图是gmond内部模块：
由3个部分组成：
Collect and publish thread。周期性地调用指令获得metrics data，然后通过udp发布给其他gmond节点。Listening Threads会监听其他gmond发出的udp数据，放到内存。xml export threads负责把数据以xml格式发布出去，如交给gmetad。
下图是unicast模式下的ganglia系统内部数据流。
有很多gmond通过udp向单播目标host的gmond发送数据，gmetad向该目标host请求xml，存入rrd。在unicast模式，rrd组件（php script)一般在同一节点（master节点）。收集存储显示各节点状态信息。要想让ganglia加入自定义metrics，一种是通过命令行的方式运行gmetrics，另一种方式是通过c/Python扩展块。
下图是整体的状况。
很多节点都有gmond（gmond.conf)，gmetad获得xml存入rrd，php脚本访问数据库，在apache服务器上通过运行webserver浏览器显示出通过php访问的集群的状态。
备注：
百度百科：
组播（Multicast）传输：在发送者和每一接收者之间实现点对多点网络连接。如果一台发送者同时给多个的接收者传输相同的数据，也只需复制一份的相同数据包。它提高了数据传送效率。减少了骨干网络出现拥塞的可能性。
Unicast(单播):在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机，这种传送方式称为单播。指网络中从源向目的地转发单播流量的过程。单播流量地址唯一。
以上内容是王家林老师DT大数据梦工厂《Hadoop深入浅出实战经典》第133讲的学习笔记。
王家林：Spark、Flink、Docker、Android技术中国区布道师。Spark亚太研究院院长和首席专家，DT大数据梦工厂创始人，Android软硬整合源码级专家，英语发音魔术师，健身狂热爱好者。
微信公众账号：DT_Spark
电话：18610086859
QQ:1740415547
微信号：18610086859
新浪微博：ilovepains
王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！
可以通过王家林老师的微信号18610086859发红包捐助，目前已经发布的王家林免费视频全集如下：
1，《大数据不眠夜：Spark内核天机解密（共100讲）》：http://pan.baidu.com/s/1eQsHZAq
2，《Hadoop深入浅出实战经典》 http://pan.baidu.com/s/1mgpfRPu
3，《Spark纯实战公益大讲坛》 http://pan.baidu.com/s/1jGpNGwu
4，《Scala深入浅出实战经典》 http://pan.baidu.com/s/1sjDWG25
5，《Docker公益大讲坛》 http://pan.baidu.com/s/1kTpL8UF
6，《Spark亚太研究院Spark公益大讲堂》 http://pan.baidu.com/s/1i30Ewsd
7，Spark实战高手之路全部六阶段视频：http://edu.51cto.com/pack/view/id-144.html
8，《大数据Spark企业级实战》购买http://item.jd.com/11622851.html
第133讲视频网站地址：
|
51CTO |
http://edu.51cto.com/lesson/id-78879.html |
原文：http://www.cnblogs.com/richard1023/p/4967687.html
内容总结
以上是互联网集市为您收集整理的第133讲：Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记全部内容，希望文章能够帮你解决第133讲：Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。