<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    tangtb

    Hadoop,SpringMVC,ExtJs,Struts2,Spring,SpringSecurity,Hibernate,Struts
    posts - 25, comments - 88, trackbacks - 0, articles - 0
      BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理

    Sqoop安裝配置及數據導入導出

    Posted on 2014-05-31 14:41 tangtb 閱讀(20284) 評論(3)  編輯  收藏 所屬分類: Hadoop

    前置條件

    已經成功安裝配置HadoopMysql數據庫服務器,如果將數據導入或從Hbase導出,還應該已經成功安裝配置Hbase。

    下載sqoopMysqlJDBC驅動

    sqoop-1.2.0-CDH3B4.tar.gz http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

    mysql-connector-java-5.1.28

    安裝sqoop

    [hadoop@appserver ~]$ tar -zxvf sqoop-1.2.0-CDH3B4.tar.gz

    配置環境變量

    拷貝Hadoop核心包和MYSQL驅動包到sqooplib目錄

    [hadoop@appserver ~]$ cp hadoop-1.1.2/hadoop-core-1.1.2.jar sqoop-1.2.0-CDH3B4/lib/

    [hadoop@appserver ~]$ cp  mysql-connector-java-5.1.28-bin.jar sqoop-1.2.0-CDH3B4/lib/

     

    配置sqoop-1.2.0-CDH3B4/bin/configure-sqoop文件

    注釋掉hbase和zookeeper檢查(除非準備使用HABASE等HADOOP組件)

    啟動hadoop集群

    啟動mysql

    創建sqoop用戶

     

    建立sqoop庫,test表,并構造測試數據

    測試sqoop連接

    [hadoop@appserver ~]$ sqoop list-databases --connect jdbc:mysql://10.120.10.11:3306/ --username sqoop --password sqoop

    列出mysql中所有數據庫的名稱

    mysql導入到hdfs

    sqoop ##sqoop命令

    import ##表示導入

    --connect jdbc:mysql://ip:3306/sqoop ##告訴jdbc,連接mysql的url

    --username sqoop ##連接mysql的用戶名

    --password sqoop ##連接mysql的密碼

    --table test ##從mysql導出的表名稱

    --fields-terminated-by '\t' ##指定輸出文件中的行的字段分隔符

    -m 1 ##復制過程使用1個map作業

     

    [hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --fields-terminated-by ':' -m 1

    Hadoop中查看導入結果

    hdfs導出到mysql

    sqoop

    export ##表示數據從hive復制到mysql中

    --connect jdbc:mysql://ip:3306/sqoop

    --username sqoop

    --password sqoop

    --table test ##mysql中的表,即將被導入的表名稱

    --export-dir '/user/root/aa/part-m-00000' ##hive中被導出的文件

    --fields-terminated-by '\t' ##hive中被導出的文件字段的分隔符

    [hadoop@appserver ~]$ sqoop export --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --export-dir '/user/hadoop/test/part-m-00000' --fields-terminated-by ':' -m 1

    Mysql中查看導出結果

    Mysql導入到Hbase

    參數說明:

    Ø hbase_tablename指定要導成hbase的表名

    Ø key_col_name指定mysql數據庫表中哪一列作為hbase新表的rowkey

    Ø col_fam_name是除rowkey之外的所有列的列族名

    [hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --hbase-create-table --hbase-table mysql_sqoop_test --column-family info --hbase-row-key id -m 1

    Hbase中查看結果


    評論

    # re: Sqoop安裝配置及數據導入導出  回復  更多評論   

    2014-06-04 17:02 by 艾青
    不錯的東東,謝謝樓主分享!

    # re: Sqoop安裝配置及數據導入導出[未登錄]  回復  更多評論   

    2014-07-07 09:50 by 小豪
    記得以前在http://www.lq580.com/有相關的介紹,不過現在怎么變成了一個叫綠求網的東東呢,不明白?

    # re: Sqoop安裝配置及數據導入導出  回復  更多評論   

    2016-06-22 20:54 by Hadoop
    不錯 就是有點淺
    主站蜘蛛池模板: 乱爱性全过程免费视频| 激情吃奶吻胸免费视频xxxx| 91在线视频免费观看| 亚洲国产综合无码一区二区二三区| 亚洲日本在线电影| 免费看大美女大黄大色| 亚洲七久久之综合七久久| 国产国产人免费人成免费视频| 亚洲成AV人片高潮喷水| 亚洲av无码专区在线观看素人| 永久免费精品影视网站| 337p日本欧洲亚洲大胆裸体艺术| 中文字幕免费播放| 亚洲欧洲一区二区| 2021国产精品成人免费视频| 亚洲an日韩专区在线| 四虎www成人影院免费观看| 美景之屋4在线未删减免费| 亚洲伊人久久综合影院| 男人都懂www深夜免费网站| 亚洲精品无码久久毛片波多野吉衣 | 中国china体内裑精亚洲日本| 在线免费观看色片| 无码精品人妻一区二区三区免费 | 成人一级免费视频| 亚洲午夜久久久影院| 5555在线播放免费播放| 亚洲kkk4444在线观看| 亚洲福利在线播放| 久久久国产精品福利免费| 91亚洲性爱在线视频| 美女黄网站人色视频免费国产| 一级成人a做片免费| 亚洲天堂中文字幕| 免费看大黄高清网站视频在线| 国产精品永久免费视频| 亚洲福利一区二区| 亚洲高清成人一区二区三区| 无码少妇精品一区二区免费动态 | 精品亚洲成A人无码成A在线观看| 免费一级成人毛片|