<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    HBASE的MAPREDUCE任務運行異常解決辦法,無需CYGWIN,純WINDOWS環境

    如果是在WINDOWS的ECLIPSE中,運行HBASE的MAPREDUCE,會出現異常,這是由于默認運行MAPREDUCE任務是在本地運行,而由于會建立文件賦權限是按照UNIX的方式進行,因此會報錯:

    java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "ls": CreateProcess error=2,


    解決辦法是將任務發到運程主機,通常是LINUX上運行,在hbase-site.xml中加入:

    <property>
       
    <name>mapred.job.tracker</name>
       
    <value>master:9001</value>
    </property>

    同時需把HDFS的權限機制關掉:

    <property>
       
    <name>dfs.permissions</name>
       
    <value>false</value>
    </property>


    另外由于是在遠程上執行任務,自定義的類文件,如Maper/Reducer等需打包成jar文件上傳,具體見方案:
    Hadoop作業提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html


    研究了好幾天,終于搞清楚,CONFIGUARATION就是JOB的配置信息,遠程JOBTRACKER就是以此為參數構建JOB去執行,由于遠程主機并沒有自定義的MAPREDUCE類,需打成JAR包后,上傳到主機處,但無需每次都手動傳,可以代碼設置:

    conf.set("tmpjars", "d:/aaa.jar");


    另注意,如果在WINDOWS系統中,文件分隔號是“;”,生成的JAR包信息是以“;”間隔的,在遠程主機的LINUX上是無法辨別,需改為:

    System.setProperty("path.separator", ":");


    參考文章:
    http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html


    使用hadoop eclipse plugin提交Job并添加多個第三方jar(完美版)
    http://heipark.iteye.com/blog/1171923 

    posted on 2012-10-03 02:18 paulwong 閱讀(2414) 評論(0)  編輯  收藏 所屬分類: HADOOP云計算HBASE

    主站蜘蛛池模板: 亚洲黄色网址在线观看| 亚洲AV无码成人精品区日韩| 人成午夜免费视频在线观看| 久久亚洲中文无码咪咪爱| 国产a v无码专区亚洲av| 国产精品成人观看视频免费| 国产大陆亚洲精品国产| 91亚洲精品视频| 亚洲国产精品激情在线观看| 最近免费中文字幕mv在线电影| 国产精品亚洲一区二区无码| 亚洲人成在线电影| 亚洲成a人片在线观看国产| 37pao成人国产永久免费视频 | 亚洲第一永久在线观看| 免费一级毛片正在播放| 美女内射毛片在线看免费人动物| 黄页网站在线视频免费| 亚洲人6666成人观看| 亚洲中久无码永久在线观看同| 亚洲第一极品精品无码久久| 天天摸夜夜摸成人免费视频| 国色精品va在线观看免费视频| 亚洲国产成人精品激情| 成年私人影院免费视频网站| 色欲aⅴ亚洲情无码AV蜜桃| 亚洲综合日韩中文字幕v在线| 亚洲免费日韩无码系列| 最近中文字幕无吗免费高清| 污污网站免费观看| 久久久久久国产a免费观看不卡| 亚洲欧洲无卡二区视頻| 亚洲熟妇无码爱v在线观看| 亚洲国产精品成人精品无码区| 亚洲AⅤ永久无码精品AA| 国内自产少妇自拍区免费| 免费人成在线观看69式小视频| 中国一级特黄高清免费的大片中国一级黄色片 | 亚洲高清偷拍一区二区三区| 好吊妞视频免费视频| 麻豆视频免费播放|