<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    筆記

    way

    2015年6月2日

    最近在網(wǎng)上看到的相關材料都比較陳舊,也太簡略,參看了一下其他人的內(nèi)容,針對Hive2.1.1做點分享:
    1)下載apache-hive-2.1.1-bin.tar.gz

    2)解壓縮,下面的命令行如啟動報錯,請自行查略Hive啟動配置

    3)啟動hiveserver2 (非必須,使用jdbc訪問的時候才使用)
    bin目錄下
    hive --service hiveserver2 -p10001來啟動hiveserver2 服務(默認為10000端口)
    nohup hive --service hiverserver2 -p10001可以在后臺跑
    4)hive腳本運行流程
    bin目錄下,使用命令方法為:
    ./hive <parameters> --service serviceName <service parameters>
    舉例:hive --debug :
       查看bin/hive文件
    流程中會判斷$1=‘--debug’則$DEBUG=‘--debug’
     
    if [ "$DEBUG" ]; then
      if [ "$HELP" ]; then //如還有--help,就會執(zhí)行debug_help方法。
        debug_help
        exit 0
      else
        get_debug_params "$DEBUG"
        export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS $HIVE_MAIN_CLIENT_DEBUG_OPTS"http://設置HIVE_MAIN_CLIENT_DEBUG_OPTS的參數(shù)中加入debug相應參數(shù)
      fi
    fi
    if [ "$SERVICE" = "" ] ; then
      if [ "$HELP" = "_help" ] ; then
        SERVICE="help"
      else
        SERVICE="cli"     //默認賦值cli
      fi
    fi
    這個shell腳本很多變量應該是在其他sh文件中定義,其中$SERVICE_LIST就是其他很多sh文件的最開始形成的:export SERVICE_LIST="${SERVICE_LIST}${THISSERVICE} "
    hive腳本最后的$TORUN "$@" ,默認情況下TORUN其實就是cli,即執(zhí)行/ext/cli.sh腳本,該腳本中主要是調(diào)用/ext/util/execHiveCmd.sh 來執(zhí)行最后的CliDriver。
     【shell腳本中的$*,$@和$#
    舉例說:
    腳本名稱叫test.sh 入?yún)⑷齻€: 1 2 3
    運行test.sh 1 2 3后
    $*為"1 2 3"(一起被引號包住)
    $@為"1" "2" "3"(分別被包住)
    $#為3(參數(shù)數(shù)量)
    即exec $HADOOP jar ${HIVE_LIB}/$JAR $CLASS $HIVE_OPTS "$@" //1
    其中:
    $HADOOP=$HADOOP_HOME/bin/hadoop 【hive腳本中定義HADOOP=$HADOOP_HOME/bin/hadoop】
    $CLASS=org.apache.hadoop.hive.cli.CliDriver【傳入的第一個參數(shù),在cli.sh中有定義】
    hadoop腳本(2.7.3為例)中最終會執(zhí)行:
    # Always respect HADOOP_OPTS and HADOOP_CLIENT_OPTS
        HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
        #make sure security appender is turned off
        HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,NullAppender}"
     
        export CLASSPATH=$CLASSPATH
        exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@" //2
    hive的debug參數(shù)就是在啟動hive腳本時放到HADOOP_OPTS中的
    1和2處結合可得到最終的運行命令,查看一下運行結果:ps -ef|grep CliDriver

      /usr/java/jdk1.8.0_101/bin/java -Xmx256m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=.. -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=.. -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,console -Djava.library.path=.. -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx512m -Dproc_hivecli -XX:+UseParallelGC -agentlib:jdwp=transport=dt_socket,server=y,address=8000,suspend=-Dlog4j.configurationFile=hive-log4j2.properties -Djava.util.logging.config.file=..
      
    -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /yuxh/app/apache-hive-2.*/lib/hive-cli-2.*.jar org.apache.hadoop.hive.cli.CliDriver
    posted @ 2017-03-29 16:01 yuxh 閱讀(1583) | 評論 (0)編輯 收藏
         摘要:   閱讀全文
    posted @ 2015-09-23 21:14 yuxh 閱讀(4416) | 評論 (0)編輯 收藏
    appfuse3.5使用Hibernate4.3.6, 而Hibernate日志框架使用了jboss-logging,想在后臺打出sql的參數(shù)一直無法生效。
    檢查配置文件,框架里面的兩個配置文件,src/test/resources/log4j2.xml(單元測試時配置),src/main/resources/log4j2.xml(運行時配置)
    搞清log4j2的配置后,各種修改(主要是
      <Logger name="org.hibernate.SQL" level="trace"/>
      <Logger name="org.hibernate.type" level="trace"/>)
    用junit測試任然無法打印出真實參數(shù)。根據(jù)這些實踐,確定log4j2是使用無誤生效的,只是org.hibernate這部分的logger一直未起效
    參考國內(nèi)外網(wǎng)站,一直無人回答hibernate4的這個問題,有人指出這部分Hibernate官方文檔只是提了一句,一直未更新相關內(nèi)容。最后有人提到應該是 jboss-logging 的LoggerProviders這個類的問題,看實現(xiàn)對log4j2已經(jīng)做支持。最后發(fā)現(xiàn) jboss-logging使用的是3.2.0.beta,對比相關類的源代碼,更改為3.2.0.Final,生效!

    P.S 把這個問題提交給Appfuse官網(wǎng),issue APF-1478,作者標志為4.0版本修復。
    posted @ 2015-07-22 14:11 yuxh 閱讀(296) | 評論 (0)編輯 收藏
    新電腦裝上eclipse4.4.2,導入maven項目之后,依賴庫總是有很多錯誤。最后搜索到可能是eclipse的bug(據(jù)說是JAVA_HOME沒有正確傳遞),查看到eclipse默認的是安裝的jre目錄,修改到jdk目錄下,依賴問題解決。
    不過目前版本仍然沒有解決pom文件的“Plugin execution not covered by lifecycle configuration”錯誤,暫時忽略不管吧。
    posted @ 2015-06-02 10:27 yuxh 閱讀(331) | 評論 (0)編輯 收藏

    導航

    <2015年6月>
    31123456
    78910111213
    14151617181920
    21222324252627
    2829301234
    567891011

    統(tǒng)計

    常用鏈接

    留言簿

    隨筆分類

    隨筆檔案

    收藏夾

    博客

    搜索

    最新評論

    閱讀排行榜

    評論排行榜

    主站蜘蛛池模板: 久久最新免费视频| 免费人成网站在线观看不卡| 亚洲av无码专区亚洲av不卡| 国产成人高清精品免费观看| 免费成人福利视频| 四虎免费永久在线播放| 久久精品亚洲中文字幕无码网站| 亚洲夂夂婷婷色拍WW47| 精品国产免费一区二区三区香蕉| 亚洲精品无码专区久久久 | 久久精品国产影库免费看| 亚洲一区二区三区AV无码| 中中文字幕亚洲无线码| 一级做a爰片久久毛片免费看| 91在线老王精品免费播放| 亚洲精品国产成人影院| 中文字幕在线日亚洲9| 曰批全过程免费视频网址 | 无码欧精品亚洲日韩一区夜夜嗨| 亚洲精品视频观看| 精选影视免费在线 | 久久精品亚洲中文字幕无码网站| 台湾一级毛片永久免费 | 白白国产永久免费视频| 亚洲国产精品lv| 日韩一区二区三区免费播放| 性感美女视频免费网站午夜| 亚洲最大在线视频| 每天更新的免费av片在线观看| 亚洲综合激情五月丁香六月| vvvv99日韩精品亚洲| 无码精品国产一区二区三区免费| 久久久久一级精品亚洲国产成人综合AV区 | 亚洲免费视频一区二区三区| 久久免费精品一区二区| 国产精品亚洲午夜一区二区三区| mm1313亚洲精品无码又大又粗| 一级特黄aa毛片免费观看| 亚洲AV无码一区二区三区性色| 亚洲欧洲日产国码无码网站| 免费电视剧在线观看|