轉(zhuǎn)載請(qǐng)注明：
Hadoop 實(shí)踐入門(mén)
1 實(shí)驗(yàn)環(huán)境搭建
1.1 準(zhǔn)備工作
ubuntu/redhat
JDK/openjdk
Hadoop
Eclipse
vmvare/virtureBox
1.1.1 ubuntu 安裝
下載最新版本ubuntu 11.10。
安裝注意事項(xiàng)：
1、關(guān)閉防火墻：shell命令 sudo ufw disable。不關(guān)閉有可能造成master slave 通信失敗。出現(xiàn)連接超時(shí)，重連錯(cuò)誤。可以通過(guò)指定iptables 實(shí)現(xiàn)端口過(guò)濾。
2、安裝ssh（用于master和slave遠(yuǎn)程登錄）：sudo apt-get install ssh
1.1.2 安裝jdk
1）解壓sun jdk壓縮包到指定的文件夾。
sudo vi /etc/profile 或者 etc nano /etc/profile
export JAVA_HOME=/usr/java/jdk1.6.0_22
export JRE_HOME=/usr/java/jdk1.6.0_22/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
2）可以使用openjdk sudo apt-get insall open-jdk-6 或者通過(guò)軟件中心。
驗(yàn)證 shell命令 ：java -version 看是否與你的版本號(hào)一致
1.1.3 安裝hadoop
在每臺(tái)機(jī)器上相同用戶的home根目錄下解壓，hadoop-0.20.2.tar.gz 配置conf/hadoop-env.sh文件。 增加 export JAVA_HOME =/usr/lib/jvm/java-6-openjdk 這里修改為你的jdk的安裝位置。
1.2 偽分布式搭建
Hadoop可以在單電商以為分布分布式模式運(yùn)行，用不同的java進(jìn)程模擬分布式中的中的各類(lèi)節(jié)點(diǎn)namenode，datanode，jobtracker，tasktracker，secondary namenode
1.2.1 hadoop配置
hadoop 0.2.0.2之后需要修改core-site.xml\hdfs-site.xml 以及 mapred-site.xml
配置文件如下：
core-site.xml 配置核心內(nèi)容，其中fs.default.name 為hdfs地址；tmp為hadoop.tnp.dir為臨時(shí)文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:49000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadooper/hadooptmp</value>
</property>
</configuration>
注意事項(xiàng)：一定要指定，相同的用戶名，并且tmp一定要設(shè)置，否則會(huì)出現(xiàn)權(quán)限問(wèn)題。導(dǎo)致hadoop啟動(dòng)失敗。也可以通過(guò)chmod 命令來(lái)改變默認(rèn)tmp的權(quán)限。默認(rèn)tmp路徑為：/usr/tmp。推薦第一種方式。
hdfs-site.xml 設(shè)置 hdfs 參數(shù)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
這里dfs.replication指塊的副本數(shù)。副本數(shù)具體策略可參加見(jiàn)hadoop官方指南。
mapred-site.xml 文件的修改
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:49001</value>
</property>
</configuration>
這個(gè)設(shè)置了jobtracker的端口。
注意端口的選擇一定要恰當(dāng)，尤其是集群的配置。默認(rèn)的9000和9001很容易被ubuntu中其他進(jìn)程占用，導(dǎo)致datanode失效，因此選擇沒(méi)有占用的49000 和49001。筆者，曾經(jīng)就曾困擾與此。集群配置中將再次強(qiáng)調(diào)。
1.2.2 ssh設(shè)置
因?yàn)?/span>master需要訪問(wèn)datanode因此需要免密碼ssh
設(shè)置方法：
ssh-keygen -t rsa然后一直按回車(chē)
完成后，在home跟目錄下會(huì)產(chǎn)生隱藏文件夾.ssh
cd .ssh
之后ls 查看文件
cp id_rsa.pub authorized_keys
測(cè)試：
ssh localhost發(fā)現(xiàn)鏈接成功，并且無(wú)需密碼。
1.2.3 hadoop運(yùn)行
在hadoop安裝目錄下：
首先 bin/hadoop namenode -format格式化文件系統(tǒng)
然后 bin/start-all.sh 來(lái)啟動(dòng)守護(hù)進(jìn)程。
利用java 命令 jps 查看進(jìn)程。或者通過(guò) 網(wǎng)址：localhost:50070 localhost:50030來(lái)查看是否成功。
1.3 集群搭建
如上所述安裝ubuntu 并且擁有相同用戶。安裝jdk ，安裝hadoop。配置jdk路徑等。
1.3.1 主機(jī)信息：
|
機(jī)器名 |
IP地址 |
作用 |
|
Node1 |
192.168.234.128 |
NameNode、JobTracker |
|
Node2 |
192.168.234.129 |
DataNode、TaskTracker |
|
Node3 |
192.168.234.130 |
DataNode、TaskTracker |
修改每臺(tái)機(jī)器上的hosts
sudo vi /etc/hosts
192.168.1.31 node1
192.168.1.32 node2
192.168.1.33 node3
1.3.2 ssh 設(shè)置
把NameNode 上的id_dsa.pub 文件追加到DataNode 的authorized_keys 內(nèi)：
a. 拷貝NameNode 的id_dsa.pub 文件：
$ scp id_dsa.pub hadooper@node2:/home/hadoop/
b. 登錄node2，執(zhí)行
$ cat id_dsa.pub >> .ssh/authorized_keys
在所有datanode上執(zhí)行相同的操作。
驗(yàn)證：從node1
ssh node2
exit
ssh node3
exit
如果全部免密碼登錄則成功
1.3.3 配置hadoop
配置conf/masters 和conf/slaves 文件
Masters
node1
Slaves
node2
node3
core-site mapred-site 和hdfs-site 和偽分布配置基本相同.只是對(duì)應(yīng)地址，localhost換成了namenode的名稱(chēng)，node1。
q 配置conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://node1:49000</value>
</property>
</configuration>
仍然注意端口，在運(yùn)行時(shí)如果datanode連接不上namenode，有可能是由于端口問(wèn)題。換一個(gè)端口
1.3.4 運(yùn)行hadoop
首先格式化文件系統(tǒng)：$ bin/hadoop namenode –format
啟動(dòng)Hadoop集群：
$ bin/start-all.sh
停止Hadoop集群：
$ bin/stop-all.sh
查看集群狀態(tài)：$ bin/hadoop dfsadmin -report
Hadoop 的web 方式查看
JobTracker：http://node1:50030
NameNode：http://node1:50070
1.4 eclipse 插件安裝
安裝eclipse 只需要把hadoop/contrib/eclipse-plus 下的包考到eclipse的plus里即可。(該方法有問(wèn)題，因?yàn)樵摬寮荒懿糠种С?/span>eclipse3.6，如果需要全部支持安裝eclipse3.4以下版本，或修改該插件較復(fù)雜)。如果有誰(shuí)修改了適合3.6以上的插件roymoro@gmail.com.幫我發(fā)一份。
Java 枚舉類(lèi)型 解析
簡(jiǎn)介：java中枚舉是一個(gè)類(lèi)
用之前我覺(jué)得還是要知道應(yīng)該何時(shí)使用：
一條普遍的規(guī)律是，任何使用常量的地方，例如目前使用的switch 代碼切換的地方。 如果只是單獨(dú)一個(gè)值（例如， max 和min）這類(lèi)只要把任務(wù)留給常量就行。但是如果定義了一組值，而這些值中的任何一個(gè)都可以用于特定的數(shù)據(jù)類(lèi)型，那么將枚舉用在這個(gè)地方最適合不過(guò)。
Java 代碼
- public enum Color{
- RED,BLUE,BLACK,YELLOW,GREEN
- }
從這里看到Enum 是一個(gè)類(lèi)。 而這些類(lèi)都是類(lèi)庫(kù)中enum的子類(lèi)。
Java中已有的enum 是Color 枚舉類(lèi)。Color c=Color.RED;這些都是public static final 的
既然枚舉類(lèi)是class，當(dāng)然在枚舉類(lèi)中有構(gòu)造器，方法和數(shù)據(jù)域。但是它是特殊的構(gòu)造函數(shù)。（不深入研究，只應(yīng)用）
枚舉中常見(jiàn)的方法：
Ordinal（）；返回枚舉值在枚舉類(lèi)種的順序。這個(gè)順序根據(jù)枚舉值聲明的順序而定。
Color.RED.ordinal(); //返回結(jié)果：0
Color.BLUE.ordinal(); //返回結(jié)果：1
compareTo()方法: Enum實(shí)現(xiàn)了java.lang.Comparable接口，因此可以比較象與指定對(duì)象的順序。Enum中的compareTo返回的是兩個(gè)枚舉值的順序之差。當(dāng)然，前提是兩個(gè)枚舉值必須屬于同一個(gè)枚舉類(lèi)，否則會(huì)拋出ClassCastException()異常。(具體可見(jiàn)源代碼)
Color.RED.compareTo(Color.BLUE); //返回結(jié)果 -1
values()方法： 靜態(tài)方法，返回一個(gè)包含全部枚舉值的數(shù)組。
Color[] colors=Color.values();
for(Color c:colors){
System.out.print(c+",");
}//返回結(jié)果：RED,BLUE,BLACK YELLOW,GREEN,
toString()方法： 返回枚舉常量的名稱(chēng)。
Color c=Color.RED;
System.out.println(c);//返回結(jié)果: RED
valueOf()方法： 這個(gè)方法和toString方法是相對(duì)應(yīng)的，返回帶指定名稱(chēng)的指定枚舉類(lèi)型的枚舉常量。
Color.valueOf("BLUE"); //返回結(jié)果: Color.BLUE
equals()方法： 比較兩個(gè)枚舉類(lèi)對(duì)象的引用。
枚舉類(lèi)的具體應(yīng)用
枚舉類(lèi)可以在switch語(yǔ)句中使用
- Color color=Color.RED;
- switch(color){
- case RED: System.out.println("it's red");break;
- case BLUE: System.out.println("it's blue");break;
- case BLACK: System.out.println("it's blue");break;
- }
-----------------------java枚舉學(xué)習(xí)心得從小程序出發(fā) ---------------------------
基本的enum特性
publicclass Test {
/**
* @param args
*/
enum Shrubbery {
GROUND, GRAWLING, HANGING
}
/**
* 枚舉類(lèi)的基礎(chǔ)知識(shí)
*/
publicstatic void bKOfEmun(){
for (Shrubbery s : Shrubbery.values()) {
// ordinal() 返回枚舉中的位置如GROUND 在0 位置
System.out.println(s + "ordinal" + s.ordinal());// 名稱(chēng)+位置信息
// compareto比較枚舉類(lèi)型按照 ordinal的值比較-1 0 1
System.out.print(s.compareTo(Shrubbery.GRAWLING) + " ");
// equals 和== 看枚舉值是否相同
System.out.print(s.equals(Shrubbery.GRAWLING) + " ");
System.out.println(s == Shrubbery.GRAWLING);
// 返回枚舉所在的類(lèi)的名稱(chēng)。
System.out.println(s.getDeclaringClass());
// name()相當(dāng)于tostring()返回枚舉的值
System.out.println(s.name());
System.out.println("-----------------------");
}
for (String s : "HANGING GRAWLING GROUND".split(" ")) {
// valueof 返回枚舉類(lèi)中名稱(chēng)為 s的枚舉對(duì)象
Shrubbery shrub = Enum.valueOf(Shrubbery.class, s);
System.out.println(shrub);
}
for (Shrubbery s : Shrubbery.values()) {
// ordinal() 返回枚舉中的位置如GROUND 在0 位置
System.out.println(s + "ordinal" + s.ordinal());// 名稱(chēng)+位置信息
// compareto比較枚舉類(lèi)型按照 ordinal的值比較-1 0 1
System.out.print(s.compareTo(Shrubbery.GRAWLING) + " ");
// equals 和== 看枚舉值是否相同
System.out.print(s.equals(Shrubbery.GRAWLING) + " ");
System.out.println(s == Shrubbery.GRAWLING);
// 返回枚舉所在的類(lèi)的名稱(chēng)。
System.out.println(s.getDeclaringClass());
// name()相當(dāng)于tostring()返回枚舉的值
System.out.println(s.name());
System.out.println("-----------------------");
}
for (String s : "HANGING GRAWLING GROUND".split(" ")) {
// valueof 返回枚舉類(lèi)中名稱(chēng)為 s的枚舉對(duì)象
Shrubbery shrub = Enum.valueOf(Shrubbery.class, s);
System.out.println(shrub);
}
}
publicstaticvoid main(String[] args) {
// TODO Auto-generated method stub
bKOfEmun();//枚舉類(lèi)的基礎(chǔ)知識(shí)
}
}
枚舉中填入方法
一般說(shuō)來(lái)我們希望每個(gè)枚舉實(shí)例能夠返回對(duì)自身的描述，而不僅僅是默認(rèn)toString()實(shí)現(xiàn)，這只能返回枚舉實(shí)例的名字。為此我們可以提供一個(gè)構(gòu)造器，專(zhuān)門(mén)負(fù)責(zé)處理這個(gè)額外的信息，然后添加一個(gè)方法，返回這個(gè)描述信息。
構(gòu)造過(guò)程如下 ：
首先 建立枚舉
publicenum OzWitch {
WEST,NORTH,EAST,SOUTH
}
然后創(chuàng)建描述信息
publicenum OzWitch {
WEST,NORTH,EAST,SOUTH;//注意分號(hào)
private String description;//描述信息
public String getDescription() {
returndescription;
}
publicstaticvoid main(String[] args) {
}
}
創(chuàng)建構(gòu)造器
publicenum OzWitch {
WEST("1111"),NORTH("2222"),EAST("3333"),SOUTH("4444");//注意分號(hào)
private String description;//描述信息
OzWitch(String description) {//注意只能為 private 這里與正常類(lèi)的構(gòu)造函數(shù)有區(qū)別
this.description=description;
}
public String getDescription() {
returndescription;
}
publicstaticvoid main(String[] args) {
for(OzWitch o:OzWitch.values()){
System.out.println(o.name()+":"+o.getDescription());
}
}
}
覆蓋enum方法：此程序目的在于把枚舉對(duì)象的首字母保留大寫(xiě)，其余小寫(xiě)
publicenum SpaceShip {
SCOUT,CARGO,TRANSPORT,CRUISER,BATTLESHIP,MOTHERSHIP;
@Override
public String toString() {
// TODO Auto-generated method stub
String id=name();
String lower=name().substring(1).toLowerCase();
return id.charAt(0)+lower;
}
publicstaticvoid main(String[] args) {
for(SpaceShip s:SpaceShip.values()){
System.out.println(s);
}
}
}