<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    HBASE的MAPREDUCE任務運行異常解決辦法,無需CYGWIN,純WINDOWS環境

    如果是在WINDOWS的ECLIPSE中,運行HBASE的MAPREDUCE,會出現異常,這是由于默認運行MAPREDUCE任務是在本地運行,而由于會建立文件賦權限是按照UNIX的方式進行,因此會報錯:

    java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "ls": CreateProcess error=2,


    解決辦法是將任務發到運程主機,通常是LINUX上運行,在hbase-site.xml中加入:

    <property>
       
    <name>mapred.job.tracker</name>
       
    <value>master:9001</value>
    </property>

    同時需把HDFS的權限機制關掉:

    <property>
       
    <name>dfs.permissions</name>
       
    <value>false</value>
    </property>


    另外由于是在遠程上執行任務,自定義的類文件,如Maper/Reducer等需打包成jar文件上傳,具體見方案:
    Hadoop作業提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html


    研究了好幾天,終于搞清楚,CONFIGUARATION就是JOB的配置信息,遠程JOBTRACKER就是以此為參數構建JOB去執行,由于遠程主機并沒有自定義的MAPREDUCE類,需打成JAR包后,上傳到主機處,但無需每次都手動傳,可以代碼設置:

    conf.set("tmpjars", "d:/aaa.jar");


    另注意,如果在WINDOWS系統中,文件分隔號是“;”,生成的JAR包信息是以“;”間隔的,在遠程主機的LINUX上是無法辨別,需改為:

    System.setProperty("path.separator", ":");


    參考文章:
    http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html


    使用hadoop eclipse plugin提交Job并添加多個第三方jar(完美版)
    http://heipark.iteye.com/blog/1171923 

    posted on 2012-10-03 02:18 paulwong 閱讀(2420) 評論(0)  編輯  收藏 所屬分類: HADOOP云計算HBASE

    主站蜘蛛池模板: 无码av免费毛片一区二区| 亚洲欧洲精品一区二区三区| 日本高清不卡aⅴ免费网站| 国产成人免费a在线视频app| 日本免费一区二区三区最新| 久久久亚洲精品蜜桃臀| 亚洲成a人片77777老司机| 久99久无码精品视频免费播放| 免费一区二区三区四区五区| 亚洲va无码手机在线电影| 亚洲高清有码中文字| 蜜桃精品免费久久久久影院| 亚洲日韩AV一区二区三区中文| 中国一级毛片视频免费看| 成人黄页网站免费观看大全| 亚洲一区二区三区成人网站 | 亚洲日韩AV一区二区三区四区| 99国产精品永久免费视频| 亚洲精品伊人久久久久 | 国产成人精品无码免费看| 在线看片免费不卡人成视频| 国产午夜亚洲精品国产成人小说| 一个人看的www在线免费视频 | 亚洲日韩国产精品第一页一区 | 噼里啪啦电影在线观看免费高清| 亚洲中文字幕无码久久| 国产在线ts人妖免费视频| 51午夜精品免费视频| 五月天网站亚洲小说| 国语成本人片免费av无码 | a视频在线观看免费| 四虎永久免费地址在线观看| 一级一级一片免费高清| 337p日本欧洲亚洲大胆艺术| 午夜成年女人毛片免费观看| 久久久久久国产a免费观看不卡| 久久精品国产亚洲AV无码偷窥| a级毛片在线视频免费观看| 亚洲美女一区二区三区| 全黄a免费一级毛片人人爱| 午夜精品一区二区三区免费视频|