<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    經驗不在于年限,在于積累---專注互聯網軟件開發

    把工作當事業做,把項目當作品做!

      BlogJava :: 首頁 :: 聯系 :: 聚合  :: 管理
      55 Posts :: 0 Stories :: 66 Comments :: 0 Trackbacks

      利用Hadoop分析BHO上報日志時,發現很多日志文件會出現下面的錯誤:

    clip_image002

      即在map結束的時候拋出Java堆棧溢出異常!

    (友情提示:本博文章歡迎轉載,但請注明出處:hankchen,http://www.tkk7.com/hankchen

      首先設置下面的參數:

    clip_image004

    發現還是解決不了問題。開始懷疑代碼問題,于是進行了一系列的優化:

    clip_image006

    主要的優化是,在map和reduce程序中,重用key和value對象。但是發現還是解決不了問題。并且mapred.child.java.opts設置3G也無濟于事。

    沒有辦法,只好繼續找原因。最后發現一個規律:報這個異常出錯的日志不一定是最大的日志。

    只好使用最后一招了,直接分析報錯時的Java堆內存情況!

    再次出現異常的時候,把集群里面所有的機器的Hadoop進程的堆內存導出來分析!

    主要是下面的幾類進程:

    clip_image008

    同時,關注每臺機器的top命令輸出,可以從內存的使用情況中發現主要是哪臺機器出問題!然后重點導出這臺機器的Java堆參數!

    jmap -dump:live,format=b,file=heapt0923.bin pid

    clip_image010

    剩下來的就是把/data/bhopid_output/heapt0923.bin這個文件復制到本地,利用Eclipse Memory Analyzer Tool 進行分析!

    下面是分析的結果:

    clip_image012

    發現有兩個內存泄漏的情況:

    1、

    clip_image014

    2、

    clip_image016

    找到根本原因:說明日志文件有這樣很大的空記錄導致的!在代碼中把這些記錄忽略掉即可!

    clip_image002[11]

     

    (友情提示:本博文章歡迎轉載,但請注明出處:hankchen,http://www.tkk7.com/hankchen

    posted on 2012-03-21 17:52 hankchen 閱讀(8800) 評論(0)  編輯  收藏 所屬分類: 工作感悟
    主站蜘蛛池模板: 和老外3p爽粗大免费视频| 亚洲精品免费在线观看| 国产大片线上免费看| 成人免费无码大片A毛片抽搐色欲 成人免费无码大片a毛片 | 19禁啪啪无遮挡免费网站| 久久青草国产免费观看| 小日子的在线观看免费| 无码免费一区二区三区免费播放| 一级毛片在线免费观看| 亚洲w码欧洲s码免费| 免费看片在线观看| 四虎永久在线精品免费网址| 四色在线精品免费观看| 四只虎免费永久观看| 亚洲精品国产精品乱码不卞| 伊人久久大香线蕉亚洲| 国产亚洲一区二区精品| 亚洲午夜久久久精品影院| 亚洲国产综合在线| 亚洲一区二区三区成人网站| 日韩欧美亚洲国产精品字幕久久久| 亚洲AV无码片一区二区三区 | 亚洲一卡2卡三卡4卡有限公司| 911精品国产亚洲日本美国韩国| 亚洲精品欧洲精品| 亚洲精品无码中文久久字幕| 成人亚洲国产精品久久| 久久九九免费高清视频| 伊人久久免费视频| 成年女性特黄午夜视频免费看| 国产精品另类激情久久久免费| 亚洲人成色77777在线观看大| 亚洲精品亚洲人成在线观看| 亚洲综合激情另类小说区| 亚洲av无一区二区三区| 日韩少妇内射免费播放| 桃子视频在线观看高清免费视频| 亚洲高清中文字幕免费| 亚洲精品乱码久久久久久蜜桃| 亚洲精品国产精品乱码在线观看 | 中文字幕中韩乱码亚洲大片 |