<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    隨筆-314  評論-209  文章-0  trackbacks-0

    SparkSQL相關語句總結

    1.in 不支持子查詢 eg. select * from src where key in(select key from test);
    支持查詢個數 eg. select * from src where key in(1,2,3,4,5);
    in 40000個 耗時25.766秒
    in 80000個 耗時78.827秒

    2.union all/union
    不支持頂層的union all eg. select key from src UNION ALL select key from test;
    支持select * from (select key from src union all select key from test)aa;
    不支持 union
    支持select distinct key from (select key from src union all select key from test)aa;

    3.intersect 不支持

    4.minus 不支持

    5.except 不支持

    6.inner join/join/left outer join/right outer join/full outer join/left semi join 都支持
    left outer join/right outer join/full outer join 中間必須有outer
    join是最簡單的關聯操作,兩邊關聯只取交集;
    left outer join是以左表驅動,右表不存在的key均賦值為null;
    right outer join是以右表驅動,左表不存在的key均賦值為null;
    full outer join全表關聯,將兩表完整的進行笛卡爾積操作,左右表均可賦值為null;
    left semi join最主要的使用場景就是解決exist in;
    Hive不支持where子句中的子查詢,SQL常用的exist in子句在Hive中是不支持的
    不支持子查詢 eg. select * from src aa where aa.key in(select bb.key from test bb);
    可用以下兩種方式替換:
    select * from src aa left outer join test bb on aa.key=bb.key where bb.key <> null;
    select * from src aa left semi join test bb on aa.key=bb.key;
    大多數情況下 JOIN ON 和 left semi on 是對等的
    A,B兩表連接,如果B表存在重復數據
    當使用JOIN ON的時候,A,B表會關聯出兩條記錄,應為ON上的條件符合; 
    而是用LEFT SEMI JOIN 當A表中的記錄,在B表上產生符合條件之后就返回,不會再繼續查找B表記錄了,
    所以如果B表有重復,也不會產生重復的多條記錄。 
    left outer join 支持子查詢 eg. select aa.* from src aa left outer join (select * from test111)bb on aa.key=bb.a;

    7. hive四中數據導入方式
    1)從本地文件系統中導入數據到Hive表
    create table wyp(id int,name string) ROW FORMAT delimited fields terminated by '\t' STORED AS TEXTFILE;
    load data local inpath 'wyp.txt' into table wyp;
    2)從HDFS上導入數據到Hive表
    [wyp@master /home/q/hadoop-2.2.0]$ bin/hadoop fs -cat /home/wyp/add.txt
    hive> load data inpath '/home/wyp/add.txt' into table wyp;
    3)從別的表中查詢出相應的數據并導入到Hive表中
    hive> create table test(
    > id int, name string
    > ,tel string)
    > partitioned by
    > (age int)
    > ROW FORMAT DELIMITED
    > FIELDS TERMINATED BY '\t'
    > STORED AS TEXTFILE;

    注:test表里面用age作為了分區字段,分區:在Hive中,表的每一個分區對應表下的相應目錄,所有分區的數據都是存儲在對應的目錄中。
    比如wyp表有dt和city兩個分區,則對應dt=20131218city=BJ對應表的目錄為/user/hive/warehouse/dt=20131218/city=BJ,
    所有屬于這個分區的數據都存放在這個目錄中。

    hive> insert into table test
    > partition (age='25')
    > select id, name, tel
    > from wyp;

    也可以在select語句里面通過使用分區值來動態指明分區:
    hive> set hive.exec.dynamic.partition.mode=nonstrict;
    hive> insert into table test
    > partition (age)
    > select id, name,
    > tel, age
    > from wyp;

    Hive也支持insert overwrite方式來插入數據
    hive> insert overwrite table test
    > PARTITION (age)
    > select id, name, tel, age
    > from wyp;

    Hive還支持多表插入
    hive> from wyp
    > insert into table test
    > partition(age)
    > select id, name, tel, age
    > insert into table test3
    > select id, name
    > where age>25;
    4)在創建表的時候通過從別的表中查詢出相應的記錄并插入到所創建的表中
    hive> create table test4
    > as
    > select id, name, tel
    > from wyp;

    8.查看建表語句
    hive> show create table test3;

    9.表重命名
    hive> ALTER TABLE events RENAME TO 3koobecaf; 

    10.表增加列
    hive> ALTER TABLE pokes ADD COLUMNS (new_col INT); 

    11.添加一列并增加列字段注釋 
    hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment'); 

    12.刪除表
    hive> DROP TABLE pokes; 

    13.top n
    hive> select * from test order by key limit 10;
    14.創建數據庫
    Create Database baseball;

    14.alter table tablename  change oldColumn newColumn column_type 修改列的名稱和類型

    alter table yangsy CHANGE product_no phone_no string

     

    15.導入.sql文件中的sql

     spark-sql --driver-class-path /home/hadoop/hive/lib/mysql-connector-java-5.1.30-bin.jar -f testsql.sql 


    insert into table CI_CUSER_20141117154351522 select mainResult.PRODUCT_NO,dw_coclbl_m02_3848.L1_01_02_01,dw_coclbl_d01_3845.L2_01_01_04 from (select PRODUCT_NO from CI_CUSER_20141114203632267) mainResult left join DW_COCLBL_M02_201407 dw_coclbl_m02_3848 on mainResult.PRODUCT_NO = dw_coclbl_m02_3848.PRODUCT_NO left join DW_COCLBL_D01_20140515 dw_coclbl_d01_3845 on dw_coclbl_m02_3848.PRODUCT_NO = dw_coclbl_d01_3845.PRODUCT_NO

    insert into CI_CUSER_20141117142123638 ( PRODUCT_NO,ATTR_COL_0000,ATTR_COL_0001) select mainResult.PRODUCT_NO,dw_coclbl_m02_3848.L1_01_02_01,dw_coclbl_m02_3848.L1_01_03_01 from (select PRODUCT_NO from CI_CUSER_20141114203632267) mainResult left join DW_COCLBL_M02_201407 dw_coclbl_m02_3848 on mainResult.PRODUCT_NO = dw_coclbl_m02_3848.PRODUCT_NO 


    CREATE TABLE ci_cuser_yymmddhhmisstttttt_tmp(product_no string) row format serde 'com.bizo.hive.serde.csv.CSVSerde' ; 
    LOAD DATA LOCAL INPATH '/home/ocdc/coc/yuli/test123.csv' OVERWRITE INTO TABLE test_yuli2;

    創建支持CSV格式的testfile文件
    CREATE TABLE test_yuli7 row format serde 'com.bizo.hive.serde.csv.CSVSerde' as select * from CI_CUSER_20150310162729786;

    不依賴CSVSerde的jar包創建逗號分隔的表
    "create table " +listName+ " ROW FORMAT DELIMITED FIELDS TERMINATED BY ','" +
    " as select * from " + listName1;

    create table aaaa ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' STORED AS TEXTFILE as select * from

    ThriftServer 開啟FAIR模式
    SparkSQL Thrift Server 開啟FAIR調度方式:
    1. 修改$SPARK_HOME/conf/spark-defaults.conf,新增
    2. spark.scheduler.mode FAIR
    3. spark.scheduler.allocation.file /Users/tianyi/github/community/apache-spark/conf/fair-scheduler.xml
    4. 修改$SPARK_HOME/conf/fair-scheduler.xml(或新增該文件), 編輯如下格式內容
    5. <?xml version="1.0"?>
    6. <allocations>
    7. <pool name="production">
    8. <schedulingMode>FAIR</schedulingMode>
    9. <!-- weight表示兩個隊列在minShare相同的情況下,可以使用資源的比例 -->
    10. <weight>1</weight>
    11. <!-- minShare表示優先保證的資源數 -->
    12. <minShare>2</minShare>
    13. </pool>
    14. <pool name="test">
    15. <schedulingMode>FIFO</schedulingMode>
    16. <weight>2</weight>
    17. <minShare>3</minShare>
    18. </pool>
    19. </allocations>
    20. 重啟Thrift Server
    21. 執行SQL前,執行 
    22. set spark.sql.thriftserver.scheduler.pool=指定的隊列名

    等操作完了 create table yangsy555 like CI_CUSER_YYMMDDHHMISSTTTTTT 然后insert into yangsy555 select * from yangsy555

     

    創建一個自增序列表,使用row_number() over()為表增加序列號 以供分頁查詢

    create table yagnsytest2 as SELECT ROW_NUMBER() OVER() as id,* from yangsytest;

     

     

    Sparksql的解析與Hiveql的解析的執行流程:

    posted on 2017-10-23 21:03 xzc 閱讀(738) 評論(0)  編輯  收藏 所屬分類: hadoop
    主站蜘蛛池模板: 国产精品无码免费专区午夜| 无人视频在线观看免费播放影院| 野花香高清在线观看视频播放免费 | 免免费国产AAAAA片| 亚洲第一网站免费视频| 亚洲免费二区三区| 亚洲午夜一区二区电影院| 91免费国产自产地址入| 亚洲国产成人综合| 麻豆最新国产剧情AV原创免费 | 中文字幕av免费专区| 国产成人精品久久亚洲高清不卡 国产成人精品久久亚洲 | 国外成人免费高清激情视频| 日韩国产精品亚洲а∨天堂免| 国产91在线免费| 成人无码精品1区2区3区免费看| 亚洲va无码va在线va天堂| 91福利免费视频| 国产亚洲精品成人AA片| 国产传媒在线观看视频免费观看 | 久久久无码精品亚洲日韩蜜臀浪潮| 182tv免费视视频线路一二三| 亚洲另类小说图片| 国产成人青青热久免费精品| 日韩少妇内射免费播放| 亚洲爆乳精品无码一区二区三区 | 日本阿v免费费视频完整版| jzzijzzij在线观看亚洲熟妇| 亚洲国产精品国产自在在线 | 久久亚洲成a人片| 国内精品乱码卡1卡2卡3免费| 精品亚洲av无码一区二区柚蜜| 免费一级毛片在线观看| 国产在线观看免费视频软件| 亚洲人成电影在线观看网| 四虎影视精品永久免费网站| 日韩精品免费视频| 亚洲AV性色在线观看| 亚洲国产精久久久久久久| 性感美女视频免费网站午夜| EEUSS影院WWW在线观看免费|