<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    敏捷、分布式、ALM過程自動化、企業應用架構
    posts - 14, comments - 0, trackbacks - 0, articles - 1
      BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理

    硬件資源:

    三臺CentOS5.6虛擬機(Vmware

    本機 windows7 64x

     

    基本資源配置:

    三臺虛擬機均是克隆自同一個鏡像

    已經安裝了Java環境(jdk1.6.0_25

    Hadoop路徑在/usr/hadoop/hadoop-0.20.205.0

     

    操作步驟:

    1、機器名稱規范

    ip分別為128129、130,將128設置為master,其他設置為slave

    修改

    /etc/sysconfig/network

    /etc/hosts

    兩處配置,名稱分別為hadoop-master\hadoop-slave01\hadoop-slave02

    注意:此處名稱最好不用使用下劃線,有可能引發namenode的啟動異常。

     

    2、修改Hadoop配置 

    master節點的conf中修改masterslave文件,分別為機器的ip地址

     

    修改master節點的conf中:

    core-site.xml

    <property>

    <name>fs.default.name</name>

    <value>hdfs://ip-master:9000</value>

    </property>

     

    mapred-site.xml

    <property>

    <name>mapred.job.tracker</name>                                   

    <value>master:9001</value>                                

    </property>

     

    hdfs-site.xm

    <property>

    <name>dfs.replication</name>

    <value>2</value>

    </property>

    注意此處的端口號均為默認。

     

     

    3、建立m-s之間的ssh連接

    首先masterslave機器都需要進行ssh信任文件生成,執行如下命令:

    $ ssh-keygen -t rsa

    中間需要輸入的地方直接回車,接受缺省值即可

     

    由于使用root用戶登錄,所以密鑰文件生成在 /root/.ssh/文件夾下,存有一對密鑰id_dsaid_dsa.pub。

    此處id_dsa(私鑰)必須為其他用戶不可讀,所以文件屬性應當是600

     

    master機器執行:

    id_dsa.pub(公鑰)復制為 authorized_keys

    $ cp id_dsa.pub authorized_keys

    如果是多臺機器需要,無密碼登陸,則各自機器產生公鑰追加到authorized_keys即可.

     

    使用scp協議覆蓋slave端的密鑰文件夾,使得slave機器信任來自master的連接:

    $ scp /root/.ssh/* ip-slave:/root/.ssh

     

     

    4、啟動服務 

    建議將$HADOOP_HOME/bin下的所有文件給與執行權限:

    $ chmod 777 bin

     

    master作為namenod需要執行如下腳本:

    $HADOOP_HOME/bin/hadoop namenode –format

     

    完成后執行 $HADOOP_HOME/bin/start-all.sh

     

    5、問題檢查

    Hadoop根目錄下的logs文件中,檢查各個服務日志的啟動情況

     

     

    6、其他情況說明:

    Q: $HADOOP_HOME is deprecated

    A: 基本不會產生任何影響。由于腳本啟動時設置了該環境變量,就會提示用戶原有環境變量失效??梢匀∠h境變量設置,或者直接去bin/hadoop中找到這句話,去掉即可

     

    Q: 無效的選項 -jvm / Unrecognized option: -jvm

    A: 在使用root用戶登錄時 bin/hadoop 腳本就會進行判斷,加上-jvm參數。此處是為了進入jsvchttp://commons.apache.org/daemon/jsvc.html),此處并不確定是否bug,也不再進行詳細的追溯,解決方法就是進入 bin/hadoop 腳本中 找到 jvm 參數并去掉。

     

     

     

     

     

     

     

    主站蜘蛛池模板: 亚洲中文字幕丝袜制服一区| 日日夜夜精品免费视频| 亚洲中文字幕无码久久2017| www亚洲精品久久久乳| 拍拍拍又黄又爽无挡视频免费| 337p日本欧洲亚洲大胆精品555588 | 成人黄网站片免费视频| 亚洲伊人久久综合影院| 亚洲国产一区二区三区在线观看| 成年人视频在线观看免费| 亚洲精品国产第一综合99久久| 成人免费视频88| 无码色偷偷亚洲国内自拍| 国产在线不卡免费播放| 美女黄频a美女大全免费皮| yy6080亚洲一级理论| 中文字幕无线码免费人妻| 国产亚洲美女精品久久久2020| 久久免费观看视频| 亚洲va久久久噜噜噜久久狠狠| 亚洲精品免费在线观看| 亚洲av无码久久忘忧草| 日本一道一区二区免费看 | 污网站免费在线观看| 亚洲精品无码久久毛片| 国产在线播放线91免费| 久久久久亚洲AV无码专区首JN| 2021久久精品免费观看| 相泽南亚洲一区二区在线播放| ZZIJZZIJ亚洲日本少妇JIZJIZ | 亚洲自偷自偷图片| 91成人免费观看| 亚洲国产精品无码中文lv| 亚洲国产精品日韩专区AV| 伊人免费在线观看高清版| 亚洲精品自拍视频| 日本高清免费网站| 免费无码av片在线观看| 亚洲久悠悠色悠在线播放| 亚洲精品国产福利一二区| 最好看最新的中文字幕免费|