<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    tangtb

    Hadoop,SpringMVC,ExtJs,Struts2,Spring,SpringSecurity,Hibernate,Struts
    posts - 25, comments - 88, trackbacks - 0, articles - 0
      BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理

    Ganglia整合Nagios監控Hadoop集群

    Posted on 2015-02-25 14:48 tangtb 閱讀(6816) 評論(0)  編輯  收藏 所屬分類: Hadoop

        Ganglia是UC Berkeley發起的一個開源集群監視項目,設計用于測量數以千計的節點。Ganglia的核心包含gmond、gmetad以及一個Web前端。主要 是用來監控系統性能,如:cpu 、mem、硬盤利用率, I/O負載、網絡流量情況等,通過曲線很容易見到每個節點的工作狀態,對合理調整、分配系統資源,提高系統整體性能起到重要作用。

        gmetad可以部署在集群內任一臺節點或者通過網絡連接到集群的獨立主機,它通過單播路由的方式與gmond通信,收集區域內節點的狀態信息,并以XML數據的形式,保存在數據庫中由RRDTool工具處理數據,并生成相應的的圖形顯示,以Web方式直觀的提供給客戶端

        Ganglia包括如下幾個程序,他們之間通過XDR(xml的壓縮格式)或者XML格式傳遞監控數據,達到監控效果。集群內的節點,通過運行gmond收集發布節點狀態信息,然后gmetad周期性的輪詢gmond收集到的信息,然后存入rrd數據庫,通過web服務器可以對其進行查詢展示。

     

     

    檢查安裝ganglia依賴包

     

    rpmbuild命令生成rpm包 

    [root@hadoop228 ~]# rpmbuild -tb ganglia-3.6.1.tar.gz

     

    命令執行成功,如上圖所示,執行以下命令查看生成的rpm文件;我再執行過程中出現“錯誤:發現已安裝(但未打包)文件:”(Installed (but unpackaged) file(s) found),如圖所示:

     

    解決方法:

    找到 /usr/lib/rpm/macros 中
    %__check_files         %{_rpmconfigdir}/check-files %{buildroot} 注釋掉該行

     

    [root@hadoop228 ~]# cd /root/rpmbuild/RPMS/x86_64/

     

    [root@hadoop228 x86_64]# rpm -ivh *,執行命令安裝ganglia相關軟件包

    配置ganglia

    本例只在一臺機器上安裝配置ganglia,如果是集群環境

    在主節點配置gmetad.conf

     

     

    data_source "hadoop_cluster" 10 10.120.20.228:8649 10.120.20.229:8649 ...

     

    data_source屬性是gmetad配置的核心。每一行data_source描述一個gmetad收集信息的gmond集群或gmetad網格

    data_source由3個字段組成。第一個字段為唯一標識data_source的字符串;第二個字段為指定輪詢間隔(單位:秒)的數字;第三個字段 為以空格分開的所要輪詢數據的主機列表,這些地址以IP地址或DNS主機名的形式指定,并可能添加“:端口號”形式的后綴,該端口號指明gmond的 tcp_accept_channel所在位置。如果未指明端口號,gmetad將嘗試連接tcp/8649。

     

    在主節點及其它節點配置gmond.conf

    cluster {

      name = "hadoop_cluster"

      owner = "nobody"

      latlong = "unspecified"

      url = "unspecified"

    }

    udp_send_channel {

      #mcast_join = 239.2.11.71 

      host = 10.120.20.228 #gmetad主節點

      port = 8649

      ttl = 1

    }

    udp_recv_channel {

      #mcast_join = 239.2.11.71

      port = 8649

      #bind = 239.2.11.71

      #retry_bind = true

      # Size of the UDP buffer. If you are handling lots of metrics you really

      # should bump it up to e.g. 10MB or even higher.

      # buffer = 10485760

    }

    tcp_accept_channel {

      port = 8649

      # If you want to gzip XML output

      gzip_output = no

    }

    cluster中的name屬性值與主節點gmetad.conf文件中data_source配置的hadoop_cluster一致

    安裝ganglia-web

    首先安裝httpd PHP

    [root@hadoop228 ~]# yum install httpd php

    下載并解壓縮ganglia-web-3.6.2.tar.gz

    [root@hadoop228 ~]# tar -zxf ganglia-web-3.6.2.tar.gz 

     

    進入ganglia-web-3.6.2目錄修改ganglia-web安裝參數

    [root@hadoop228 ganglia-web-3.6.2]# vim Makefile

     

    修改默認配置:

    GDESTDIR=/var/www/html/ganglia
     APACHE_USER = apache

    GDESTDIR 和 APACHE_USER 屬性值與/etc/httpd/conf/httpd.confAPACHE配置文件中的DocumentRootUser對應

    執行make install安裝

    [root@hadoop228 ganglia-web-3.6.2]# make install

    修改ganglia-web訪問權限[根據具體情況可選]

    [root@hadoop228 ~]# chown -R apache:apache /var/www/html/ganglia

    [root@hadoop228 ~]# chown -R 755 /var/www/html/ganglia

    [root@hadoop228 ~]# chown -R nobody:nobody /var/lib/ganglia/rrds

    新建/etc/httpd/conf.d/ganglia.conf配置文件,并添加如圖配置:

     

    啟動httpd、gmetad、gmond服務

     

    訪問ganglia-web監控頁面http://localhost/ganglia

     

     

    Ganglia 監控 Hadoop集群

    HADOOP_PATH/etc/hadoop/目錄下有兩個配置文件:hadoop-metrics.properties和hadoop-metrics2.properties

    hadoop-metrics.properties 用于hadoop與3.1版本以前的ganglia集成做監控的配置文件

    hadoop-metrics2.properties 用于hadoop與3.1版本以后的ganglia集成做監控的配置文件本文使用hadoop2.5.1,因此使用hadoop-metrics2.properties配置文件

    [hadoop@hadoop228 ~]$ vim hadoop-2.5.1-single/etc/hadoop/hadoop-metrics2.properties

    加入以下配置信息,如圖所示:

    *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

    *.sink.ganglia.period=10

     

    *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both

    *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40

     

    namenode.sink.ganglia.servers=10.120.20.228:8649  

    resourcemanager.sink.ganglia.servers=10.120.20.228:8649  

     

    datanode.sink.ganglia.servers=10.120.20.228:8649    

    nodemanager.sink.ganglia.servers=10.120.20.228:8649    

     

    maptask.sink.ganglia.servers=10.120.20.228:8649    

    reducetask.sink.ganglia.servers=10.120.20.228:8649

     

    啟動hadoop

     

     

     

     

     

     

     

     

     

     

     

     

    在ganglia-web監控頁面選擇某個hadoop節點,進入節點監控頁面,如果能看到如下圖所示的監控內容表示配置成功

     

     

     

     

     

     

     

     

     

    Nagios與Ganglia整合

    本文使用的Nagios版本:

    nagios-4.0.8.tar.gz

    nagios-plugins-2.0.3.tar.gz

    安裝方法參考官網安裝文檔Installing_Nagios_Core_From_Source.pdf

     

     

    配置方式可參考:

    http://www.ibm.com/developerworks/cn/linux/l-ganglia-nagios-2/

    http://quenlang.blog.51cto.com/4813803/1571635

    按照上述文檔和文章的步驟可以正確配置,這里就不再累述了;整合成功,訪問http://localhost/nagios如下圖所示:

     



    主站蜘蛛池模板: 在线视频免费观看爽爽爽| 十八禁视频在线观看免费无码无遮挡骂过| 久热免费在线视频| 亚洲日韩精品无码专区网址| 老妇激情毛片免费| 亚洲va中文字幕无码| 国产综合成人亚洲区| 免费人妻av无码专区| 激情吃奶吻胸免费视频xxxx| 国产一级大片免费看| 真人无码作爱免费视频| 全亚洲最新黄色特级网站| 一级毛片免费一级直接观看| 亚洲一区二区三区AV无码| 日本免费中文视频| 亚洲中文字幕久在线| 女人18毛片水真多免费播放| 激情无码亚洲一区二区三区 | 国产一区视频在线免费观看 | 一级毛片大全免费播放| 怡红院亚洲怡红院首页| 久草视频在线免费看| 亚洲乱码在线视频| 四虎永久在线精品免费影视| 男女猛烈激情xx00免费视频| 国产亚洲综合久久系列| 免费福利在线播放| 337p日本欧洲亚洲大胆人人| 在线观看亚洲精品福利片| 久久国产乱子伦免费精品| 最新国产成人亚洲精品影院| 亚洲国产V高清在线观看| 日本亚洲欧洲免费天堂午夜看片女人员 | 中文字幕亚洲精品资源网| 欧美三级在线电影免费| 风间由美在线亚洲一区| 亚洲日韩涩涩成人午夜私人影院| 四虎国产精品永久免费网址 | 亚洲第一精品福利| 成人毛片免费观看视频| 久久免费观看视频|