日本亚洲欧洲免费天堂午夜看片女人员,日韩亚洲一区二区三区,亚洲天堂男人天堂

scorpio��蝎 — Sun, 12 Aug 2012 10:34:00 GMT

摘要: ssh �q�接工具实现�Q?ganymed-ssh2 ��d�� 阅读全文

scorpio��蝎 2012-08-12 18:34 发表评论

Hadoop 集群配置�q�程及问题�ȝ��

scorpio��蝎 — Mon, 02 Jan 2012 09:41:00 GMT

转蝲��h��明：

http://www.tkk7.com/roymoro/archive/2012/01/02/367731.html

Hadoop 实践入门

1 实验环境搭徏

1.1 准备工作

ubuntu/redhat

JDK/openjdk

Hadoop

Eclipse

vmvare/virtureBox

1.1.1 ubuntu 安装

下蝲最新版�?/span>ubuntu 11.10�?/span>

安装注意事项�Q?/span>

1、关闭防火墙�Q?/span>shell命��o sudo ufw disable。不关闭有可能造成master slave 通信��p�|。出现连接超�Ӟ��重连错误。可以通过指定iptables 实现端口�q��o�?/span>

2、安�?/span>ssh�Q�用�?/span>master�?/span>slave�q�程��d��Q�：sudo apt-get install ssh

1.1.2 安装jdk

1�Q�解�?/span>sun jdk压羃包到指定的文件夹�?/span>

sudo vi /etc/profile 或�?/span> etc nano /etc/profile

配置/etc/profile�Q�加入：

export JAVA_HOME=/usr/java/jdk1.6.0_22

export JRE_HOME=/usr/java/jdk1.6.0_22/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

2�Q�可以��?/span>openjdk sudo apt-get insall open-jdk-6 或者通过软�g中心�?/span>

验证 shell命��o �Q?/span>java -version 看是否与你的版本号一�?/span>

1.1.3 安装hadoop

在每台机器上相同用户�?/span>home根目录下解压�Q?/span>hadoop-0.20.2.tar.gz 配置conf/hadoop-env.sh文�g�?/span> 增加 export JAVA_HOME =/usr/lib/jvm/java-6-openjdk �q�里修改��Z��?/span>jdk的安装位�|��?/span>

1.2 伪分布式搭徏

Hadoop可以在单电商以�ؓ分布分布式模式运行，用不同的java�q�程模拟分布式中的中的各�c�节�?/span>namenode�Q?/span>datanode�Q?/span>jobtracker�Q?/span>tasktracker�Q?/span>secondary namenode

1.2.1 hadoop配置

hadoop 0.2.0.2之后需要修�?/span>core-site.xml\hdfs-site.xml 以及 mapred-site.xml

配置文�g如下�Q?/span>

core-site.xml 配置核心内容�Q�其�?/span>fs.default.name �?/span>hdfs地址�Q?/span>tmp�?/span>hadoop.tnp.dir��Z��时文�?/span>

fs.default.name

hdfs://localhost:49000

hadoop.tmp.dir

/home/hadooper/hadooptmp

注意事项�Q�一定要指定�Q�相同的用户名，�q�且tmp一定要讄��Q�否则会出现权限问题。导�?/span>hadoop启动��p�|。也可以通过chmod 命��o来改变默�?/span>tmp的权限。默�?/span>tmp路径为：/usr/tmp。推荐第一�U�方式�?/span>

hdfs-site.xml 讄�� hdfs 参数

dfs.replication

�q�里dfs.replication指块的副本数。副本数具体�{�略可参加见hadoop官方指南�?/span>

mapred-site.xml 文�g的修�?/span>

mapred.job.tracker

localhost:49001

�q�个讄��?/span>jobtracker的端口�?/span>

注意端口的选择一定要恰当�Q�尤其是集群的配�|�。默认的9000�?/span>9001很容易被ubuntu中其他进�E�占用，��D��datanode失效�Q�因此选择没有占用�?/span>49000 �?/span>49001。笔者，曄��曾困扰与此。集��配�|�中��再�ơ强调�?/span>

1.2.2 ssh讄��

因�ؓmaster需要访�?/span>datanode因此需要免密码ssh

讄��Ҏ��Q?/span>

ssh-keygen -t rsa然后一直按回�R

完成后，�?/span>home跟目录下会��生隐藏文件夹.ssh

cd .ssh

之后ls 查看文�g

cp id_rsa.pub authorized_keys

��试�Q?/span>

ssh localhost发现链接成功�Q��ƈ且无需密码�?/span>

1.2.3 hadoop�q�行

�?/span>hadoop安装目录下：

首先 bin/hadoop namenode -format格式化文件系�l?/span>

然后 bin/start-all.sh 来启动守护进�E��?/span>

利用java 命��o jps 查看�q�程。或者通过 �|�址�Q?/span>localhost:50070 localhost:50030来查看是否成功�?/span>

1.3 集群搭徏

如上所�q�安�?/span>ubuntu �q�且拥有相同用户。安�?/span>jdk �Q�安�?/span>hadoop。配�|?/span>jdk路径�{��?/span>

1.3.1 ��L��信息�Q?/span>

机器�?/span>	IP地址	作用
Node1	192.168.234.128	NameNode�?/span>JobTracker
Node2	192.168.234.129	DataNode�?/span>TaskTracker
Node3	192.168.234.130	DataNode�?/span>TaskTracker

修改每台机器上的hosts

sudo vi /etc/hosts

192.168.1.31 node1

192.168.1.32 node2

192.168.1.33 node3

1.3.2 ssh 讄��

�?/span>NameNode 上的id_dsa.pub 文�g�q�加�?/span>DataNode �?/span>authorized_keys 内：

a. 拯��NameNode �?/span>id_dsa.pub 文�g�Q?/span>

$ scp id_dsa.pub hadooper@node2:/home/hadoop/

b. ��d��node2�Q�执�?/span>

$ cat id_dsa.pub >> .ssh/authorized_keys

在所�?/span>datanode上执行相同的操作�?/span>

验证�Q�从node1

ssh node2

exit

ssh node3

exit

如果全部免密码登录则成功

1.3.3 配置hadoop

配置conf/masters �?/span>conf/slaves 文�g

Masters

node1

Slaves

node2

node3

core-site mapred-site �?/span>hdfs-site 和伪分布配置基本相同.只是对应地址�Q?/span>localhost换成�?/span>namenode的名�U�ͼ�node1�?/span>

q 配置conf/core-site.xml

fs.default.name

hdfs://node1:49000

仍然注意端口�Q�在�q�行时如�?/span>datanode�q�接不上namenode�Q�有可能是由于端口问题。换一个端�?/span>

1.3.4 �q�行hadoop

首先格式化文件系�l�：$ bin/hadoop namenode –format

启动Hadoop集群�Q?/span>

$ bin/start-all.sh

停止Hadoop集群�Q?/span>

$ bin/stop-all.sh

查看集群状态：$ bin/hadoop dfsadmin -report

Hadoop �?/span>web 方式查看

JobTracker�Q?/span>http://node1:50030

NameNode�Q?/span>http://node1:50070

1.4 eclipse 插�g安装

安装eclipse 只需要把hadoop/contrib/eclipse-plus 下的包考到eclipse�?/span>plus里即可�?/span>(该方法有问题�Q�因��插�g只能部分支持eclipse3.6�Q�如果需要全部支持安�?/span>eclipse3.4以下版本�Q�或修改该插件较复杂)。如果有谁修改了适合3.6以上的插�?/span>roymoro@gmail.com.帮我发一份�?/span>

scorpio��蝎 2012-01-02 17:41 发表评论

Java 实现�E�序�q�行状态监�?之我的思�\�Q�守护进�E�）

scorpio��蝎 — Mon, 09 May 2011 05:42:00 GMT

摘要: Java 实现�E�序�q�行监控状态之我的思�\�Q�守护进�E�）问题�Q�写��个工��L��意义在于我运行一个需要长旉��执行的程序，如单�U�程爬虫。在�|�络出现中断的或�|�站丢包情况下，�E�序会抛出socketexception 和sockettimeoutexception。程序会中断。（再此只是提出一�U�假设）解决�Ҏ��Q?Java �q�不能像C#一样对windows的进�E�进行监控（资料说这是跨�q�_��?.. 阅读全文

scorpio��蝎 2011-05-09 13:42 发表评论

JAVA 正则表达式的溢出问题及不完全解决�Ҏ��?�Q�感谢Lancelot 在评��Z��l�出的方法）

scorpio��蝎 — Thu, 28 Apr 2011 02:55:00 GMT

Exception in thread "main" java.lang.StackOverflowError
at java.lang.Character.codePointAt(Character.java:2335)
at java.util.regex.Pattern$CharProperty.match(Pattern.java:3344)
at java.util.regex.Pattern$Branch.match(Pattern.java:4114)
at java.util.regex.Pattern$GroupHead.match(Pattern.java:4168)
at java.util.regex.Pattern$LazyLoop.match(Pattern.java:4357)
at java.util.regex.Pattern$GroupTail.match(Pattern.java:4227)
at java.util.regex.Pattern$BranchConn.match(Pattern.java:4078)
�c�M��于以上异常，源自于正则匹配需要不断地递归字符丌Ӏ�当字符串递归��过800+�Q�具体数字忘��C��Q�就会出现堆栈溢出�?br /> 我在实际应用的场景是�Q�匹配一个网��寻求《div》�?div�?之间的内宏V��当div 之间字符辑ֈ��?50的时候这时候��生了 �c�M��以上的错误�?br /> �l�过分析�Q�和�|�友遇到的类似问题脓http://topic.csdn.net/u/20110303/10/6a7dce52-481b-430a-b442-98099e9a01c9.html
得出以下不完全正��的解析�Ҏ��

在正则表辑ּ�匚w��时对字符个数�q�行限制如："

(.*?|\n*|\r*)*

变成�?

(.*?|\n*|\r*){0,700}

�q�样辑ֈ�了限制字�W�的作用�?br /> 但是当解析到此条目时速度仍然非常慢�?br />
如果您有更好的解��x��案请您联�p�L��?br />
�Ƣ迎转帖。�{帖请标注出处�Q�以更好的和大家探讨解决问题�?/font>
—————————————————————————————————————�?br /> Lancelot 提出的正�?lt;div[^>]*>([\s\S]*?) �?lt;div>([\s\S]*?)
�׃��没有分支条�g�Q�因此大大减��了正则匚w��q�程的回溯深度。因此成功解决了�q�一问题�?br /> 目前能和大家分��n的是�Q�如果遇到类似问题还需��化正则，减少分支条�g�{��?br /> 如果您有更好的方案欢�q�您提出宝贵的徏议�?

scorpio��蝎 2011-04-28 10:55 发表评论

scorpio��蝎 — Wed, 02 Mar 2011 12:32:00 GMT

Java 枚�D�c�d�� 解析

��介：java中枚举是一个类

用之前我觉得�q�是要知道应该何时��用：

一条普遍的规律是，��M��使用帔R��的地方，例如目前使用�?/span>switch 代码切换的地斏V�?/span> 如果只是单独一个��|��例如�Q?/span> max �?/span>min�Q�这�c�d��要把��d��留给帔R��p��。但是如果定义了一�l��|��而这些��g��的�Q何一个都可以用于特定的数据类型，那么��枚丄��在这个地�Ҏ��适合不过�?/span>

Java 代码

public enum Color{
RED,BLUE,BLACK,YELLOW,GREEN
}

从这里看�?/span>Enum 是一个类�?/span> 而这些类都是�c�d��?/span>enum的子�c�R�?/span>

Java中已有的enum �?/span>Color 枚�D�c�R�?/span>Color c=Color.RED;�q�些都是public static final �?/span>

既然枚�D�c�L��class�Q�当然在枚�D�c�M��有构造器�Q�方法和数据域。但是它是特�D�的构造函数。（不深入研�IӞ��只应用）

枚�D中常见的�Ҏ��Q?/span>

Ordinal�Q�）�Q?/span>�q�回枚�D值在枚�D�cȝ��的顺序。这个顺序根据枚丑ր�声明的��序而定�?br />                  Color.RED.ordinal(); //�q�回�l�果�Q?
                 Color.BLUE.ordinal(); //�q�回�l�果�Q?
compareTo()�Ҏ��: Enum实现了java.lang.Comparable接口�Q�因此可以比较象与指定对象的��序。Enum中的compareTo�q�回的是两个枚�D值的��序之差。当�Ӟ��前提是两个枚丑ր�必��d��于同一个枚丄��Q�否则会抛出ClassCastException()异常�?具体可见源代�?
                 Color.RED.compareTo(Color.BLUE); //�q�回�l�果 -1
values()�Ҏ��Q?静态方法，�q�回一个包含全部枚丑ր�的数组�?br />                  Color[] colors=Color.values();
                 for(Color c:colors){
                        System.out.print(c+",");
           }//�q�回�l�果�Q�RED,BLUE,BLACK YELLOW,GREEN,
toString()�Ҏ��Q?�q�回枚�D帔R��的名�U��?br />                  Color c=Color.RED;
                 System.out.println(c);//�q�回�l�果: RED
valueOf()�Ҏ��Q?�q�个�Ҏ��和toString�Ҏ��是相对应的，�q�回带指定名�U�的指定枚�D�c�d��的枚丑ָ�量�?br />                  Color.valueOf("BLUE");   //�q�回�l�果: Color.BLUE
equals()�Ҏ��Q?比较两个枚�D�c�d��象的引用�?/span>

枚�D�cȝ��具体应用

枚�D�c�d��以在switch语句中��?/span>

Color color=Color.RED;
switch(color){
case RED: System.out.println("it's red");break;
case BLUE: System.out.println("it's blue");break;
case BLACK: System.out.println("it's blue");break;
}

-----------------------java枚�D学习心得从小�E�序出发 ---------------------------

基本�?/span>enum�Ҏ�?/span>

publicclass Test {

/**

* @param args

enum Shrubbery {

GROUND, GRAWLING, HANGING

}

/**

* 枚�D�cȝ��基础知识

publicstatic void bKOfEmun(){

for (Shrubbery s : Shrubbery.values()) {

// ordinal() �q�回枚�D中的位置�?/span>GROUND �?/span>0 位置

System.out.println(s + "ordinal" + s.ordinal());// 名称+位置信息

// compareto比较枚�D�c�d��按照 ordinal的值比�?/span>-1 0 1

System.out.print(s.compareTo(Shrubbery.GRAWLING) + " ");

// equals �?/span>== 看枚丑ր�是否相�?/span>

System.out.print(s.equals(Shrubbery.GRAWLING) + " ");

System.out.println(s == Shrubbery.GRAWLING);

// �q�回枚�D所在的�cȝ��名称�?/span>

System.out.println(s.getDeclaringClass());

// name()相当�?/span>tostring()�q�回枚�D的�?/span>

System.out.println(s.name());

System.out.println("-----------------------");

}

for (String s : "HANGING GRAWLING GROUND".split(" ")) {

// valueof �q�回枚�D�c�M��名称�?/span> s�?/span>枚�D对象

Shrubbery shrub = Enum.valueOf(Shrubbery.class, s);

System.out.println(shrub);

}

for (Shrubbery s : Shrubbery.values()) {

// ordinal() �q�回枚�D中的位置�?/span>GROUND �?/span>0 位置

System.out.println(s + "ordinal" + s.ordinal());// 名称+位置信息

// compareto比较枚�D�c�d��按照 ordinal的值比�?/span>-1 0 1

System.out.print(s.compareTo(Shrubbery.GRAWLING) + " ");

// equals �?/span>== 看枚丑ր�是否相�?/span>

System.out.print(s.equals(Shrubbery.GRAWLING) + " ");

System.out.println(s == Shrubbery.GRAWLING);

// �q�回枚�D所在的�cȝ��名称�?/span>

System.out.println(s.getDeclaringClass());

// name()相当�?/span>tostring()�q�回枚�D的�?/span>

System.out.println(s.name());

System.out.println("-----------------------");

}

for (String s : "HANGING GRAWLING GROUND".split(" ")) {

// valueof �q�回枚�D�c�M��名称�?/span> s�?/span>枚�D对象

Shrubbery shrub = Enum.valueOf(Shrubbery.class, s);

System.out.println(shrub);

}

publicstaticvoid main(String[] args) {

// TODO Auto-generated method stub

bKOfEmun();//枚�D�cȝ��基础知识

}

枚�D中填入方�?/span>

一般说来我们希望每个枚丑֮�例能够返回对自��n的描�q�ͼ�而不仅仅是默�?/span>toString()实现�Q�这只能�q�回枚�D实例的名字。�ؓ此我们可以提供一个构造器�Q�专门负责处理这个额外的信息�Q�然后添加一个方法，�q�回�q�个描述信息�?/span>

构造过�E�如�?/span> �Q?/span>

首先建立枚�D

publicenum OzWitch {

WEST,NORTH,EAST,SOUTH

}

然后创徏描述信息

publicenum OzWitch {

WEST,NORTH,EAST,SOUTH;//注意分号

private String description;//描述信息

public String getDescription() {

returndescription;

}

publicstaticvoid main(String[] args) {

}

创徏构造器

publicenum OzWitch {

WEST("1111"),NORTH("2222"),EAST("3333"),SOUTH("4444");//注意分号

private String description;//描述信息

OzWitch(String description) {//注意只能�?/span> private �q�里与正常类的构造函数有区别

this.description=description;

}

public String getDescription() {

returndescription;

}

publicstaticvoid main(String[] args) {

for(OzWitch o:OzWitch.values()){

System.out.println(o.name()+":"+o.getDescription());

}

覆盖enum�Ҏ��Q�此�E�序目的在于把枚丑֯�象的首字母保留大写，其余��写

publicenum SpaceShip {

SCOUT,CARGO,TRANSPORT,CRUISER,BATTLESHIP,MOTHERSHIP;

@Override

public String toString() {

// TODO Auto-generated method stub

String id=name();

String lower=name().substring(1).toLowerCase();

return id.charAt(0)+lower;

}

publicstaticvoid main(String[] args) {

for(SpaceShip s:SpaceShip.values()){

System.out.println(s);

}

scorpio��蝎 2011-03-02 20:32 发表评论

正则表达式三十分钟入门（本文转自http://deerchao.net/tutorials/regex/regex.htm�Q�感谢作�?deerchao

scorpio��蝎 — Thu, 24 Feb 2011 06:49:00 GMT

摘要: 正则表达式学习笔�?首先推荐一��入门文章：http://deerchao.net/tutorials/regex/regex.htm#mission 感谢作�?下面先对本文章做一下笔讎ͼ� 1�?nbsp;正则表达式是什么：处理字符串的有效工具�?2�?nbsp;从例子开始学习正则： ... 阅读全文

scorpio��蝎 2011-02-24 14:49 发表评论

日本亚洲欧洲免费天堂午夜看片女人员,日韩亚洲一区二区三区,亚洲天堂男人天堂

Hadoop 集群配置�q�程及问题�ȝ��

Java 实现�E�序�q�行状态监�?之我的思�\�Q�守护进�E�）

JAVA 正则表达式的溢出问题 及不完全解决�Ҏ���?�Q�感谢Lancelot 在评��Z���l�出的方法）

正则表达式三十分钟入门（本文转自http://deerchao.net/tutorials/regex/regex.htm�Q�感谢作�?deerchao

JAVA 正则表达式的溢出问题及不完全解决�Ҏ��?�Q�感谢Lancelot 在评��Z��l�出的方法）