<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    tangtb

    Hadoop,SpringMVC,ExtJs,Struts2,Spring,SpringSecurity,Hibernate,Struts
    posts - 25, comments - 88, trackbacks - 0, articles - 0
      BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理

    Sqoop安裝配置及數據導入導出

    Posted on 2014-05-31 14:41 tangtb 閱讀(20286) 評論(3)  編輯  收藏 所屬分類: Hadoop

    前置條件

    已經成功安裝配置HadoopMysql數據庫服務器,如果將數據導入或從Hbase導出,還應該已經成功安裝配置Hbase。

    下載sqoopMysqlJDBC驅動

    sqoop-1.2.0-CDH3B4.tar.gz http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

    mysql-connector-java-5.1.28

    安裝sqoop

    [hadoop@appserver ~]$ tar -zxvf sqoop-1.2.0-CDH3B4.tar.gz

    配置環境變量

    拷貝Hadoop核心包和MYSQL驅動包到sqooplib目錄

    [hadoop@appserver ~]$ cp hadoop-1.1.2/hadoop-core-1.1.2.jar sqoop-1.2.0-CDH3B4/lib/

    [hadoop@appserver ~]$ cp  mysql-connector-java-5.1.28-bin.jar sqoop-1.2.0-CDH3B4/lib/

     

    配置sqoop-1.2.0-CDH3B4/bin/configure-sqoop文件

    注釋掉hbase和zookeeper檢查(除非準備使用HABASE等HADOOP組件)

    啟動hadoop集群

    啟動mysql

    創建sqoop用戶

     

    建立sqoop庫,test表,并構造測試數據

    測試sqoop連接

    [hadoop@appserver ~]$ sqoop list-databases --connect jdbc:mysql://10.120.10.11:3306/ --username sqoop --password sqoop

    列出mysql中所有數據庫的名稱

    mysql導入到hdfs

    sqoop ##sqoop命令

    import ##表示導入

    --connect jdbc:mysql://ip:3306/sqoop ##告訴jdbc,連接mysql的url

    --username sqoop ##連接mysql的用戶名

    --password sqoop ##連接mysql的密碼

    --table test ##從mysql導出的表名稱

    --fields-terminated-by '\t' ##指定輸出文件中的行的字段分隔符

    -m 1 ##復制過程使用1個map作業

     

    [hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --fields-terminated-by ':' -m 1

    Hadoop中查看導入結果

    hdfs導出到mysql

    sqoop

    export ##表示數據從hive復制到mysql中

    --connect jdbc:mysql://ip:3306/sqoop

    --username sqoop

    --password sqoop

    --table test ##mysql中的表,即將被導入的表名稱

    --export-dir '/user/root/aa/part-m-00000' ##hive中被導出的文件

    --fields-terminated-by '\t' ##hive中被導出的文件字段的分隔符

    [hadoop@appserver ~]$ sqoop export --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --export-dir '/user/hadoop/test/part-m-00000' --fields-terminated-by ':' -m 1

    Mysql中查看導出結果

    Mysql導入到Hbase

    參數說明:

    Ø hbase_tablename指定要導成hbase的表名

    Ø key_col_name指定mysql數據庫表中哪一列作為hbase新表的rowkey

    Ø col_fam_name是除rowkey之外的所有列的列族名

    [hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --hbase-create-table --hbase-table mysql_sqoop_test --column-family info --hbase-row-key id -m 1

    Hbase中查看結果


    評論

    # re: Sqoop安裝配置及數據導入導出  回復  更多評論   

    2014-06-04 17:02 by 艾青
    不錯的東東,謝謝樓主分享!

    # re: Sqoop安裝配置及數據導入導出[未登錄]  回復  更多評論   

    2014-07-07 09:50 by 小豪
    記得以前在http://www.lq580.com/有相關的介紹,不過現在怎么變成了一個叫綠求網的東東呢,不明白?

    # re: Sqoop安裝配置及數據導入導出  回復  更多評論   

    2016-06-22 20:54 by Hadoop
    不錯 就是有點淺
    主站蜘蛛池模板: 亚洲欧洲无码AV不卡在线| 亚洲国产免费综合| 久久久久亚洲精品日久生情| 中文日本免费高清| 亚洲日本乱码在线观看| 中文毛片无遮挡高清免费| 久久亚洲精品中文字幕三区| 搡女人免费免费视频观看| 国产亚洲综合色就色| 国产精品免费高清在线观看| 久久久亚洲AV波多野结衣| 免费精品人在线二线三线区别| 亚洲国产激情在线一区| 成人黄软件网18免费下载成人黄18免费视频 | 久久久无码精品亚洲日韩蜜桃 | 国产大片免费网站不卡美女| 亚洲一区二区三区深夜天堂| 成年女人毛片免费视频| WWW国产亚洲精品久久麻豆| 亚洲精品视频在线观看你懂的| 国产一级高青免费| 亚洲欧洲久久精品| 免费看少妇作爱视频| 成人福利在线观看免费视频| 亚洲国产a∨无码中文777 | 成人毛片18女人毛片免费| 黄色免费网站在线看| 亚洲av福利无码无一区二区| 色播精品免费小视频| 国产精品观看在线亚洲人成网| 国产午夜亚洲不卡| 亚欧免费视频一区二区三区| 美女黄色免费网站| 久久精品亚洲视频| 日韩视频在线免费观看| 成人网站免费大全日韩国产| youjizz亚洲| 亚洲热线99精品视频| 成人黄软件网18免费下载成人黄18免费视频| 高潮内射免费看片| 99亚洲精品高清一二区|