<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    隨筆-314  評論-209  文章-0  trackbacks-0

    Hive:

    利用squirrel-sql 連接hive

    add driver -> name&example url(jdbc:hive2://xxx:10000)->extra class path ->Add

    {hive/lib/hive-common-*.jar

    hive/lib/hive-contrib-*.jar

    hive/lib/hive-jdbc-*.jar

    hive/lib/libthrift-*.jar

    hive/lib/hive-service-*.jar

    hive/lib/httpclient-*.jar

    hive/lib/httpcore-*.jar

    hadoop/share/hadoop/common/hadoop-common--*.jar

    hadoop/share/hadoop/common/lib/common-configuration-*.jar

    hadoop/share/hadoop/common/lib/log4j-*.jar

    hadoop/share/hadoop/common/lib/slf4j-api-*.jar

    hadoop/share/hadoop/common/lib/slf4j-log4j-*.jar}

    ->List Drivers(wait ..then class name will auto set org.apache.hive.jdbc/HiveDriver)->OK->Add aliases ->chose the hive driver->done

     

    Hive數據遷移

    1.導出表

    EXPORT TABLE <table_name> TO 'path/to/hdfs';

    2.復制數據到另一個hdfs

    hadoop distcp hdfs://:8020/path/to/hdfs hdfs:///path/to/hdfs

    3.導入表

    IMPORT TABLE <table_name> FROM 'path/to/another/hdfs';

    Hive 輸出查詢結果到文件

    輸出到本地文件:

    insert overwrite local directory './test-04'
    row format delimited
    FIELDS TERMINATED BY '\t'
    COLLECTION ITEMS TERMINATED BY ','
    MAP KEYS TERMINATED BY ':'
    select * from src;

    輸出到hdfs:

    輸出到hdfs好像不支持 row format,只能另辟蹊徑了

    INSERT OVERWRITE DIRECTORY '/outputable.txt'
    select concat(col1, ',', col2, ',', col3) from myoutputtable;

    當然默認的分隔符是\001

    若要直接對文件進行操作課直接用stdin的形式

    eg. hadoop fs -cat ../000000_0 |python doSomeThing.py

    #!/usr/bin/env python

    import sys

    for line in sys.stdin:

        (a,b,c)=line.strip().split('\001')

     

    Hive 語法:

    hive好像不支持select dicstinct col1 as col1 from table group by col1

    需要用grouping sets

    select col1 as col1 from table group by col1 grouping sets((col1))

    Beeline:

    文檔:https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients

    利用jdbc連接hive:

    hive2='JAVA_HOME=/opt/java7 HADOOP_HOME=/opt/hadoop /opt/hive/bin/beeline -u jdbc:hive2://n1.hd2.host.dxy:10000 -n hadoop -p fake -d org.apache.hive.jdbc.HiveDriver --color=true --silent=false --fastConnect=false --verbose=true'

    beeline利用jdbc連接hive若需要執行多條命令使用

    hive2 -e "xxx" -e "yyy"  -e...

    posted on 2015-06-13 16:48 xzc 閱讀(3447) 評論(0)  編輯  收藏 所屬分類: hadoop
    主站蜘蛛池模板: 欧美大尺寸SUV免费| 免费成人在线视频观看| 国产精品久久久久久久久久免费 | 亚洲人成网站在线播放2019 | 亚洲1区2区3区精华液| 美女视频黄是免费的网址| 亚洲电影免费观看| 青青青国产在线观看免费网站 | 免费大香伊蕉在人线国产| 亚洲国产成人精品无码区二本| 老司机在线免费视频| 亚洲videos| 国产精品深夜福利免费观看 | 久久精品无码专区免费| 最新国产AV无码专区亚洲| 久久免费香蕉视频| 亚洲成a人片在线观看无码| 热re99久久6国产精品免费| 亚洲手机中文字幕| 最新仑乱免费视频| 黄色免费网址在线观看| 久久亚洲色一区二区三区| 亚洲免费人成在线视频观看| 老汉色老汉首页a亚洲| 一二三四影视在线看片免费 | 久久无码av亚洲精品色午夜| 免费又黄又爽又猛的毛片 | 蜜桃传媒一区二区亚洲AV| 国产免费小视频在线观看| 久久久久久av无码免费看大片| 亚洲av激情无码专区在线播放| h视频在线观看免费完整版| 亚洲国产精品无码久久98| 2048亚洲精品国产| 日韩电影免费在线观看| 亚洲中文字幕久久精品无码VA| 亚洲国产成人久久笫一页| 三年片在线观看免费大全电影| 亚洲中文字幕乱码熟女在线| 伊人久久精品亚洲午夜| 中文字幕无码免费久久99|