使用Ganglia监控Hadoop

zhangsh00 2011-09-27

Hadoop本身提供了很多监控工具的接口，如JMX、Nagios、Ganglia等。使用Ganglia监控hadoop，配置起来非常简单，只需要修改$HADOOP_HOME/conf/hadoop-metrics.properties文件，把相关的配置段修改为下面的示例：
# Configuration of the "dfs" context for ganglia 


# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter) 


# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext 


dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31 


dfs.period=10 


dfs.servers=192.168.9.45:8649   /*该地址为Ganglia监控服务器的地址


 


# Configuration of the "mapred" context for ganglia 


# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter) 


# mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext 


mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31 


mapred.period=10 



mapred.servers=192.168.9.45:8649  



 


# Configuration of the "jvm" context for ganglia 


jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext 


jvm.period=10 


jvm.servers=192.168.9.45:8649 
   配置文件的其它部分保持默认。
   把配置文件分发到各个datanode节点上，然后重启hadoop集群，就可以在Ganglia的监控页面中看到Hadoop各个节点的运行情况。
   注意：我的Hadoop版本为cloudera版，版本为hadoop-0.20.2-CDH3B4；不同的Hadoop版本，要修改的东西可能会不一样。
zhangsh00

zhangsh00

相关推荐

flume安装及ganglia使用

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、

wanfuchun / 0评论 2020-05-14

Ganglia的安装

Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲

wangjunyi / 0评论 2016-08-19

Ganglia是一款非常优秀的开源的监控框架

每台计算机都运行一个收集和发送度量数据的名为 gmond 的守护进程。所有这些数据多次收集会影响节点性能。网络中的 “抖动”发生在大量小消息同时出现时，可以通过将节点时钟保持一致，来避免这个问题。Gmetad 这个程序负责收集各个cluster的数据，并更

Ephemeroptera / 0评论 2016-08-19

CentOS 5.5 Final下Ganglia安装详解

一般CentOS有两张盘，一张系统盘，另一张是软件盘。将软件盘中CentOS文件夹及以下内容拷贝到/root/下，以备使用。验证是否安装成功。pkg-config找不到lib包，不用纠结于pkg-config，一定是某些lib没装好。

tryhl / 0评论 2011-05-12

使用容器方式部署Ganglia

然后看了下部署方式，实在看得头大，安装过程非常繁琐，并且依赖问题也是比较烦人，于是有了这文章。废话不多说，直接开干！此处注意将80端口映射出来，便于从外部访问web页面，看下效果：已经成功运行了！

wanfuchun / 0评论 2019-10-24

Ganglia：分布式监控系统（开源）

Ganglia是伯克利开发的一个集群监控软件。可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以曲线方式通过php页面呈现。而ganglia又依赖于一个web服务器用来显示集群

Beryl / 0评论 2014-06-28

ganglia 安装

dfs.servers=239.2.11.71:8649/*该地址为必须为广播地址，否则采集不到数据！！首先，也是最最最重要的，配置好yum，配置好之后，就非常非常简单了。注意，如果配置完成后，无法登录ganglia的web页面，而是返回403forbid

chumeng / 0评论 2012-02-21

编写ganglia python插件

ganglia支持python插件，熟悉了架构后编写起来还是比较简单的.具体安装过程就不说了，各种系统配置不一样，推荐的安装方法也各有不同，这里只记下基本定制插件的写法.ganglia的体系结构=gmetad+gmond,gmetad作为整个系统的调度和展

jacktangj / 0评论 2011-11-13

ubuntu ganglia 配置.

修改而成,多用apt,能不编译源码就直接下载包.gmetad信赖rrdtool,这个要显式的安装.data_source是最重要的参量，在GMOND的Clusername配置必须与data_source的相同，这个参量被设置为群的名字，被监测以便能监测集群

wuxiaobingandbob / 0评论 2011-06-24

记录下Ganglia本地测试环境的搭建

Hadoop和HBase本身对于Ganglia的支持非常好。通过简单的配置，我们可以将Hadoop和HBase的一些关键参数以图表的形式展现在Ganglia的WebConsole上。这些对于我们洞悉Hadoop和HBase的内部系统状态有很大的帮助，我本地

风韵雪ForCSDN / 0评论 2013-10-12

Ganglia单播模式配置

为了监控Hadoop集群，为集群装了ganglia，一直用的好好的。但是过年回来以后，发现有一台机器的gmond进程死活起不来，检查系统日志，错误如下：。这样就可以从Hadoop1中获取到信息了~~还发现一个问题，hadoop1的gmond需要在其他机器起

朝花amp夕拾 / 0评论 2011-03-04

开源服务内部监控系统（二） ganglia简介

在上文开源服务内部监控系统（一），简单介绍了一下开源监控系统Graphite。本篇将简单介绍一下颇有名气的Ganglia与个人的使用体验。从功能上讲，Ganglia远比Graphite强大。除了监控服务内部状态之外，Ganglia本身就能做到对服务器节点状

wanfuchun / 0评论 2015-08-28

转：ganglia监控mysql

3该脚本54行机器不同需要进行修改，可以在$[ ]和$(())间替换。# Get statistics from MySQL and feed them into Ganglia for monitoring.# To use, simply adjust

vitasfly / 0评论 2014-12-20

linux下ganglia监控系统搭建

Ganglia监控软件主要是用来监控系统性能的软件，如：cpu、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。RRDtool是系统存放和显示time-serie

manquyuan00 / 0评论 2010-11-09

云计算平台管理的三大利器Nagios、Ganglia和Splunk

综合利用Nagios、Ganglia和Splunk搭建起的云计算平台监控体系，具备错误报警、性能调优、问题追踪和自动生成运维报表的功能。有了这套系统，就可轻松管理Hadoop/HBase云计算平台。云计算早已不是停留在概念阶段了，各大公司都购买了大量的机器

linkcloud / 0评论 2013-01-10

Ubuntu10.04 Ganglia安装配置

Ganglia是一个集群监控软件，底层使用RRDTool获得数据。Ganglia分为ganglia-monitor和gmetad两部分，前 者运行在集群每个节点上，收集RRDTool产生的数据，后者运行在监控服务器上，收集每个ganglia-monitor

youyou / 0评论 2010-11-01

集群监控软件Ganglia在Ubuntu Server上的部署

又要安装Ganglia，这次是Ubuntu。从网上搜了一些Ubuntu安装Ganglia的帖子发现有很多不适用的地方，尤其是针对最新版的Ganglia3.1.7。下面介绍下安装过程，用的是最新版的rrdtool和ganglia。首先去下载rrdtool和g

Beryl / 0评论 2010-07-22

云计算平台管理的三大利器Nagios、Ganglia和Splunk

综合利用Nagios、Ganglia和Splunk搭建起的云计算平台监控体系，具备错误报警、性能调优、问题追踪和自动生成运维报表的功能。有了这套系统，就可轻松管理Hadoop/HBase云计算平台。云计算早已不是停留在概念阶段了，各大公司都购买了大量的机器

朝花amp夕拾 / 0评论 2012-08-30

centos5.2上ganglia安装步骤

yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-dev

wuxiaobingandbob / 0评论 2010-03-22

Ganglia的安装

Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲

Ephemeroptera / 0评论 2016-08-19

Ganglia是一款非常优秀的开源的监控框架

每台计算机都运行一个收集和发送度量数据的名为 gmond 的守护进程。所有这些数据多次收集会影响节点性能。网络中的 “抖动”发生在大量小消息同时出现时，可以通过将节点时钟保持一致，来避免这个问题。Gmetad 这个程序负责收集各个cluster的数据，并更

duyue0 / 0评论 2016-08-19

Hadoop Ganglia Metric Item

dfs.namen

wangjunyi / 0评论 2012-06-27

Ganglia安装

#要先yum安装以上那一坨坨的依赖，如果yum没有安装成功，手动安装缺失的依赖组件并且指定./configure目录。./configure--enable-gexec--sysconfdir=/etc/ganglia--prefix=/usr/local

liongxiong / 0评论 2012-05-25

什么是Ganglia

Ganglia是UCBerkeley发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据的名为gmond的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递

duyue0 / 0评论 2012-05-22

Ganglia+nagios 安装和配置

4 ./configure --with-gmetad 参数--with-gmetad 用来安装ganglia服务器。/* Feel free to specify as many udp_send_channels as you like. Gmond

朝花amp夕拾 / 0评论 2011-02-11

Ganglia 和 Nagios，用 Ganglia 监视企业集群

在第 1 部分中，查看如何安装和配置 Ganglia，它是基于层次结构设计的高性能集群的可扩展、分布式监视系统。此外，通过编写 Ganglia 插件并启用外部欺骗，了解如何添加更多监视功能。发布日期：2009 年 4 月 13 日。Ganglia 更多地与

AndyViky / 0评论 2011-02-10

docker image 实践之容器化 ganglia

使用centos:6作为基础镜像,因为centos:7没有使用systemd作为系统服务管理工具.这在后面启动ganglia进程的时候会带来很多麻烦,但是有解决方案:. RUN yum install -y rrdtool rrdtool-devel ga

duanyajun / 0评论 2019-06-20

ganglia 安装

yum源安装。rpm -Uvh epel-release-6-8.noarch.rpm. yum -y install ganglia ganglia-gmond.x86_64 ganglia-gmetad.x86_6. /etc/init.d/gmond

刀刀鱼 / 0评论 2014-02-24

ganglia集群版搭建（支持hadoop和spark）

spark源码解读系列环境：spark-1.5.2、hadoop-2.6.0、scala-2.10.4，ganglia-3.6.1. Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gm

renzeGIS / 0评论 2018-11-27

CentOS 5.5 下Ganglia的安装配置心得

Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲

梁鹏 / 0评论 2014-10-01

Ganglia Python插件编写过程笔记

查找本地gmond是否安装# netstat -ano | grep 8649或者# talnet localhost 8649. collection_group { collect_every = 60 time_threshold = 60 m

jswawa / 0评论 2014-04-05

Ganglia 3.1.x下扩展Python模块（翻译自官方wiki)

Gmond扩展Python度量模块在最新的Ganglia3.1.x版本中，我们可以创造出C/Python的度量收集模块，这些模块能被直接插入到gmond中以用来监视用户自定义的度量。在早期的版本中,添加用户自定义的度量只有通过命令行调用gmetric这么一

朝花amp夕拾 / 0评论 2014-04-05

安装Ganglia

gmond在每台主机上完成实际意义上的指标数据收集工作，并通过侦听/通告协议和集群内其他节点共享数据。使用gmond，你可以很容易收集很多系统指标数据，如CPU、内存、磁盘、网络和活跃进程的数据等。gmetad为从主机组收集的特定指标信息提供了简单的查询机

duyue0 / 0评论 2014-04-05

在VMware Workstation的Ubuntu下安装和配置Hadoop与Ganglia

相信大部分朋友对Hadoop肯定不陌生，它是一个开源的分布式计算框架，主要由MapReduce、HDFS、Hbase这几个核心部分组成。Hadoop集群环境运行起来之后，实时的获取集群的运行情况是比较重要的，因此需要一款监控工具来进行监控。Ganglia是

xqhadoop / 0评论 2013-06-12

CentOS 6.2下安装ganglia-web-3.5.4-1.src.rpm

首先.src.rpm的包是包含了源代码的rpm包, 在安装时需要进行编译. 这类软件包在CentOS 6.2下有两种安装方法一、-rw-r--r-- vuksan/vuksan 2094 2012-10-26 03:01 ganglia-web-3.5.4

AndyViky / 0评论 2012-12-13

Ubuntu 12.04上安装Ganglia

Ganglia是UC Berkeley发起的一个开源实时监视项目，用于测量数以千计的节点，为云计算系统提供系统静态数据以及重要的性能度量数据。Ganglia系统基本包含以下三大部分。Ganglia Web前端：Web前端用于显示Ganglia的Metric

Beryl / 0评论 2012-10-28

部署Ganglia监控Hadoop与HBase

在运维Hadoop的时候，经常会遇到一些性能问题。而性能问题，是无法简单通过web页面和log分析出来的。需要很多方面的指标。而Ganglia就是比较实用个监控工具之一。部署Ganglia，百度一下，很多人已经分享很多。结合众人的经验。并加入自己安装过程中

chenzhikaida / 0评论 2018-03-21

Ganglia监控MySQL

我的修改成DELTA_VALUE=$[ NEW_VALUE-PREVIOUS_VALUE ]、DELTA_TIMESTAMP=$[ NEW_TIMESTAMP-PREVIOUS_TIMESTAMP ]就好了。# Sanity checksif test -

lay / 0评论 2014-04-25

使用Ganglia构建集群监控（单播与组播双实例）

Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。es-

youyou / 0评论 2017-03-24

Ganglia环境搭建并监控Hadoop分布式集群

Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。关闭防火墙和Selinux是因为这两者会对Ganglia和Hadoop环境搭建造

freezl / 0评论 2017-03-10

Ganglia 调试技巧

Gmond # 检查Gmond服务是否正在运行，发出如下命令：ps aux | grep gmond 输出： root 8046 0.0 0.0 103244 844 pts/0 S+ 09:38 0:00 grep gmond

朝花amp夕拾 / 0评论 2016-08-28

开源监控软件Ganglia 安装使用

Ganglia 是一款为 HPC集群而设计的可扩展的分布式监控系统，它可以监视和显示集群中的节点的各种状态信息，它由运行在各个节点上的 gmond 守护进程来采集 CPU 、内存、硬盘利用率、 I/O 负载、网络流量情况等方面的数据，然后汇总到 gmeta

wangjunyi / 0评论 2016-08-27

使用Ganglia对Linux网格和集群服务器进行实时监控

从系统管理员接手服务器和主机管理以来，像应用监控这样的工具就成了他们的好帮手。其中比较有名的有 Nagios、 Zabbix、 Icinga 和 Centreon。以上这些是重量级的监控工具，让一个新手管理员来设置，并使用其中的高级特性是有些困难的。本文

Linux / 0评论 2017-02-05

如何监控你的Hadoop+Hbase集群？

　Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展。gmond 带来的系统负载非常少，这使得它成为在集群中各台计算机上运行的一段代码，而不会

youyou / 0评论 2016-03-27

Install ganglia in RedHat 5.4

操作系统是RedHat5.4 ，要在本机上安装Ganglia的三部分：gmetad、gmond和web前端。整个安装过程都使用root权限。为了安全起见，一定要设定一个访问密码.

wanfuchun / 0评论 2010-07-19

RHEL 7.1 编译安装Ganglia 3.7.1

yum groupinstall -y "Development tools" "Basic Web Server". yum install pcre pcre-devel apr-devel apr-util-d

AndyViky / 0评论 2015-12-13

使用Ganglia来监控你的集群

鉴于Ganglia官方没有提供很好的入门文档，所以，本文给出一个基于CentOS 6.6快速搭建Ganglia监控系统的入门指南，如果需要进一步深入Ganglia，可看Ganglia专著《Monitoring with Ganglia》以及Ganglia官

zhangsh00 / 0评论 2015-09-13

Ganglia的Python扩展模块开发

Ganglia 项目是由加州大学发起的，现在已经成为一个应用非常广泛集群监控软件。可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以曲线方式通过php页面呈现。同时具有很好的扩

youyou / 0评论 2015-08-08

CentOS 6.5 yum安装Ganglia

在CentOS 6.5下yum安装Ganglia的过程记录。server端：yum install rrdtool rrdtool-devel ganglia-web ganglia-gmetad ganglia-gmond ganglia-gmond-p

zhengyshan / 0评论 2015-08-08

Ganglia：分布式监控系统

Ganglia是伯克利开发的一个集群监控软件。可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以曲线方式通过php页面呈现。而ganglia又依赖于一个web服务器用来显示集群

AndyViky / 0评论 2015-08-08