<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    Hadoop集群配置

    step1:安裝JDK
          1.1 sudo sh jdk-6u10-linux-i586.bin
          1.2 sudo gedit /etc/environment
              export JAVA_HOME=/home/linkin/Java/jdk1.6.0_23
              export JRE_Home=/home/linkin/Java/jdk1.6.0_23/jre
              export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
          1.3 sudo gedit /etc/profile
              在umask 022之前添加以下語句:
              export JAVA_HOME=/home/linkin/Java/jdk1.6.0_23
              export JRE_HOME=/home/linkin/Java/jdk1.6.0_23/jre
              export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
              export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

    更改時區:
    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
    安裝NTP:
            yum install ntp
            安裝后執行
            ntpdate cn.pool.ntp.org
            即可同步國際時間..
            開機后自動同步時間:
            vi /etc/rc.d/rc.local中,最下面添加
            ntpdate cn.pool.ntp.org

    關閉IPV6
    在/etc/sysctl.conf結尾添加
    net.ipv6.conf.all.disable_ipv6 = 1
    net.ipv6.conf.default.disable_ipv6 = 1
    重啟服務器

    刪除IPV6的DNS服務器

    step2:SSH免密碼登陸
          2.1 首先在master主機上,linkin@master :~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
          2.2 linkin@master :~$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 將id_dsa.pub寫入authorized_keys
          2.3 linkin@master :~/.ssh$ scp id_dsa.pub linkin@192.168.149.2:/home/linkin
          2.4 登陸到linkin主機 $cat id_dsa.pub >> .ssh/authorized_keys
                authorized_keys的權限要是600chmod 600 .ssh/authorized_keys
          2.5 在Datenode上執行同樣的操作就能實現彼此無密碼登陸

    step3:安裝hadoop
          3.1 設置hadoop-env.sh
              export JAVA_HOME=/home/linkin/jdk1.6.0_10
          3.2 配置core-site.xml
       
    <property>
          
    <name>hadoop.tmp.dir</name>
          
    <value>/home/linkin/hadoop-0.20.2/tmp</value>
          
    <description>A base for other temporary directories.</description>
    </property>

     
    <property>
        
    <name>fs.default.name</name>
        
    <value>hdfs://master:9000</value>//要寫主機名
     
    </property>
       
     
        
          3.3 配置hdfs-site.xml
    <property>
      
    <name>dfs.replication</name>
      
    <value>1</value>
    </property>
         

          3.4 配置mapred-site.xml
         
    <property>
      
    <name>mapred.job.tracker</name>
      
    <value>master:9001</value>//要寫主機名
    </property>
         
          3.5 配置master和slaves
              master:master(主機名)slaves:linkin(主機名)這2個配置文件可以不拷貝到其它機器上,只在master上保存即可。
          3.6 配置hosts文件
         127.0.0.1 localhost (注意這里不能放其他的如機器名,否則會使hbase的master名稱變成localhost)
         192.168.149.7 master
         192.168.149.2 linkin
          3.7 配置profile,在末尾追加以下內容,并輸入source/etc/profile使之生效
        export JAVA_HOME=/home/linkin/jdk1.6.0_10
        export JRE_HOME=/home/linkin/jdk1.6.0_10/jre
        export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
        export PATH=$JAVA_HOME/bin:$PATH
        HADOOP設置
        export HADOOP_HOME=/home/linkin/hadoop-0.20.2
        export PATH=$HADOOP_HOME/bin:$PATH
        //export PATH=$PATH:$HIVE_HOME/bin
         3.8 將hadoop-0.20.2拷貝到其它主機對應的目錄下。將/ect/profile和/etc/hosts也拷貝到其它機器上。profile需要做生效操作。
    step4 格式化HDFS
          bin/hadoop namenode -format
          bin/hadoop dfs -ls
    step5 啟動hadoop
          bin/start-all.sh
          查看HDFS http://192.168.149.7:50070
          查看JOB狀態 http://192.168.149.7:50030/jobtracker.jsp

    參考資源:
    http://wiki.ubuntu.org.cn/%E5%88%A9%E7%94%A8Cloudera%E5%AE%9E%E7%8E%B0Hadoop

    posted on 2012-09-21 22:45 paulwong 閱讀(408) 評論(0)  編輯  收藏 所屬分類: HADOOPHBASE

    主站蜘蛛池模板: 一级毛片免费播放| 看成年女人免费午夜视频| 久久久久高潮毛片免费全部播放| 在线亚洲精品福利网址导航| 一级日本高清视频免费观看| 亚洲人成在线播放网站| 30岁的女人韩剧免费观看| 久久精品国产亚洲av麻豆图片| www.999精品视频观看免费| 亚洲av永久无码一区二区三区 | 国产综合亚洲专区在线| 四虎成人免费影院网址| 免费在线人人电影网| 亚洲A∨无码无在线观看| 久久天天躁狠狠躁夜夜免费观看| 色欲色香天天天综合网站免费| 韩国免费A级毛片久久| 内射干少妇亚洲69XXX| 免费激情视频网站| 成人性做爰aaa片免费看| 亚洲最大福利视频| 亚洲综合精品香蕉久久网| 亚洲男女内射在线播放| 84pao国产成视频免费播放| 国产婷婷成人久久Av免费高清| 亚洲真人无码永久在线观看| 亚洲无人区午夜福利码高清完整版| 免费女人18毛片a级毛片视频| 无码国产精品一区二区免费16| 国产在线精品一区免费香蕉| 亚洲国产欧美日韩精品一区二区三区| 亚洲一卡二卡三卡四卡无卡麻豆| 亚洲婷婷综合色高清在线| 亚洲中文字幕无码中文字在线| 区久久AAA片69亚洲| 久久精品视频亚洲| 亚洲 综合 国产 欧洲 丝袜| 波多野结衣在线免费视频| 久久久受www免费人成| 国产精品亚洲一区二区在线观看| 亚洲成人一级电影|