亚洲大尺度无码无码专线一区,好看的亚洲黄色经典,亚洲AV无码专区在线观看成人

SPARK环境搭徏-WINDOWS版本

Chan Chen — Fri, 14 Feb 2014 08:21:00 GMT

转蝲: Spark环境搭徏-WIndows版本

�q�段旉��在看Scala语言斚w��的资料，接触��C��Spark�Q�于是昨天下午在公司�Q�把Spark的环境搭��v来了。安装的时候陪��C��一个问题，在网上没有找到解��x��案，于是自己查了一下原因。现在做一下笔记�?br />
1. spark的下载文件可以在官方扑ֈ��Q�地址�Q�http://spark.incubator.apache.org/downloads.html �Q�这�ơ装的是截至目前为止�Q�最新的版本�Q?.9

2. 下蝲完以后，直接解压到指定的路径�Q�例如，d�Q?programs

3. 安装scala�Q��ƈ制定Scala_Home路径�Q�scala安装��h��看官�|?br />
4. 按照Spark官方的安装指南，在解压的目录下，�q�行

sbt/sbt package

命��o��可以�?br />
但是�q�是针对linux和OS X�pȝ��的，在windows下运行这条命令，会报错：

not a valid command

�q�个问题是因为，spark知道的sbt脚本无法在windows下运行，只要在网上下载一个windows版本的sbt�Q�然后将里面的文件拷贝到Spark目录下的sbt �Q�http://www.scala-sbt.org/�Q�，然后在运行命令，安装��׃��成功�?br />

试试spark-shell

1 scala> val textFile = sc.textFile("README.md")
2 14/02/14 16:38:12 INFO MemoryStore: ensureFreeSpace(35480) called with curMem=177376, maxMem=308713881
3 14/02/14 16:38:12 INFO MemoryStore: Block broadcast_5 stored as values to memory (estimated size 34.6 KB, free 294.2 MB)
4
5 textFile: org.apache.spark.rdd.RDD[String] = MappedRDD[16] at textFile at :12
6
7 scala> textFile.count
8 14/02/14 16:38:14 INFO FileInputFormat: Total input paths to process : 1
9 14/02/14 16:38:14 INFO SparkContext: Starting job: count at :15
10 14/02/14 16:38:14 INFO DAGScheduler: Got job 7 (count at :15) with 1 output partitions (allowLocal=false)
11 14/02/14 16:38:14 INFO DAGScheduler: Final stage: Stage 7 (count at :15)
12 14/02/14 16:38:14 INFO DAGScheduler: Parents of final stage: List()
13 14/02/14 16:38:14 INFO DAGScheduler: Missing parents: List()
14 14/02/14 16:38:14 INFO DAGScheduler: Submitting Stage 7 (MappedRDD[16] at textFile at :12), which has no missin
15 g parents
16 14/02/14 16:38:14 INFO DAGScheduler: Submitting 1 missing tasks from Stage 7 (MappedRDD[16] at textFile at :12)
17
18 14/02/14 16:38:14 INFO TaskSchedulerImpl: Adding task set 7.0 with 1 tasks
19 14/02/14 16:38:14 INFO TaskSetManager: Starting task 7.0:0 as TID 5 on executor localhost: localhost (PROCESS_LOCAL)
20 14/02/14 16:38:14 INFO TaskSetManager: Serialized task 7.0:0 as 1560 bytes in 1 ms
21 14/02/14 16:38:14 INFO Executor: Running task ID 5
22 14/02/14 16:38:14 INFO BlockManager: Found block broadcast_5 locally
23 14/02/14 16:38:14 INFO HadoopRDD: Input split: file:/D:/program/spark-0.9.0-incubating/README.md:0+4491
24 14/02/14 16:38:14 INFO Executor: Serialized size of result for 5 is 563
25 14/02/14 16:38:14 INFO Executor: Sending result for 5 directly to driver
26 14/02/14 16:38:14 INFO Executor: Finished task ID 5
27 14/02/14 16:38:14 INFO TaskSetManager: Finished TID 5 in 6 ms on localhost (progress: 0/1)
28 14/02/14 16:38:14 INFO DAGScheduler: Completed ResultTask(7, 0)
29 14/02/14 16:38:14 INFO TaskSchedulerImpl: Remove TaskSet 7.0 from pool
30 14/02/14 16:38:14 INFO DAGScheduler: Stage 7 (count at :15) finished in 0.009 s
31 14/02/14 16:38:14 INFO SparkContext: Job finished: count at :15, took 0.012329265 s
32 res10: Long = 119
33
34 scala> textFile.first
35 14/02/14 16:38:24 INFO SparkContext: Starting job: first at :15
36 14/02/14 16:38:24 INFO DAGScheduler: Got job 8 (first at :15) with 1 output partitions (allowLocal=true)
37 14/02/14 16:38:24 INFO DAGScheduler: Final stage: Stage 8 (first at :15)
38 14/02/14 16:38:24 INFO DAGScheduler: Parents of final stage: List()
39 14/02/14 16:38:24 INFO DAGScheduler: Missing parents: List()
40 14/02/14 16:38:24 INFO DAGScheduler: Computing the requested partition locally
41 14/02/14 16:38:24 INFO HadoopRDD: Input split: file:/D:/program/spark-0.9.0-incubating/README.md:0+4491
42 14/02/14 16:38:24 INFO SparkContext: Job finished: first at :15, took 0.002671379 s
43 res11: String = # Apache Spark
44
45 scala> val linesWithSpark = textFile.filter(line => line.contains("Spark"))
46 linesWithSpark: org.apache.spark.rdd.RDD[String] = FilteredRDD[17] at filter at :14
47
48 scala> textFile.filter(line=> line.contains("spark")).count
49 14/02/14 16:38:37 INFO SparkContext: Starting job: count at :15
50 14/02/14 16:38:37 INFO DAGScheduler: Got job 9 (count at :15) with 1 output partitions (allowLocal=false)
51 14/02/14 16:38:37 INFO DAGScheduler: Final stage: Stage 9 (count at :15)
52 14/02/14 16:38:37 INFO DAGScheduler: Parents of final stage: List()
53 14/02/14 16:38:37 INFO DAGScheduler: Missing parents: List()
54 14/02/14 16:38:37 INFO DAGScheduler: Submitting Stage 9 (FilteredRDD[18] at filter at :15), which has no missin
55 g parents
56 14/02/14 16:38:37 INFO DAGScheduler: Submitting 1 missing tasks from Stage 9 (FilteredRDD[18] at filter at :15)
57
58 14/02/14 16:38:37 INFO TaskSchedulerImpl: Adding task set 9.0 with 1 tasks
59 14/02/14 16:38:37 INFO TaskSetManager: Starting task 9.0:0 as TID 6 on executor localhost: localhost (PROCESS_LOCAL)
60 14/02/14 16:38:37 INFO TaskSetManager: Serialized task 9.0:0 as 1642 bytes in 0 ms
61 14/02/14 16:38:37 INFO Executor: Running task ID 6
62 14/02/14 16:38:37 INFO BlockManager: Found block broadcast_5 locally
63 14/02/14 16:38:37 INFO HadoopRDD: Input split: file:/D:/program/spark-0.9.0-incubating/README.md:0+4491
64 14/02/14 16:38:37 INFO Executor: Serialized size of result for 6 is 563
65 14/02/14 16:38:37 INFO Executor: Sending result for 6 directly to driver
66 14/02/14 16:38:37 INFO Executor: Finished task ID 6
67 14/02/14 16:38:37 INFO TaskSetManager: Finished TID 6 in 10 ms on localhost (progress: 0/1)
68 14/02/14 16:38:37 INFO DAGScheduler: Completed ResultTask(9, 0)
69 14/02/14 16:38:37 INFO TaskSchedulerImpl: Remove TaskSet 9.0 from pool
70 14/02/14 16:38:37 INFO DAGScheduler: Stage 9 (count at :15) finished in 0.010 s
71 14/02/14 16:38:37 INFO SparkContext: Job finished: count at :15, took 0.020335125 s
72 res12: Long = 7

另外Spark官网提供了入门的四段视频�Q�但是国内被墙了�Q�无法观看youtube�Q�我把这四段视频攑ֈ�了土豆网�Q�大家可以看看�?br />
Spark Screencast 1 – 搭徏Spark环境

Spark Screencast 2 – Spark文��总览

Spark Screencast 3 – 转换和缓�?/a>

Spark Screencast 4 – Scala独立��d��

Chan Chen 2014-02-14 16:21 发表评论

Chan Chen — Thu, 23 May 2013 09:47:00 GMT

$ uptime
11:12:26 up 3:44, 4 users, load average: 0.38, 0.31, 0.19

�pȝ��q�_��负蝲被定义�ؓ在特定时间间隔内�q�行队列中的�q�_��q�程树。如果一个进�E�满��以下条件则其就会位于运行队列中�Q?/p>

它没有在�{�待I/O操作的结�?/li>
它没有主动进入等待状�?也就是没有调�?wait')
没有被停�?例如�Q�等待终�?

上面的输出，load average后面分别�?分钟�?分钟�?5分钟的负载情��c��数据是每隔5�U�钟��查一�ơ活跃的�q�程敎ͼ�然后�Ҏ��q�个数值算出来的。如果这个数除以CPU 的数目，�l�果高于5的时候就表明�pȝ��在超负荷�q��{了�?/p>

Linux�pȝ��Load average负蝲详细解释　我们知道判断一个系�l�的负蝲可以使用top�Q�uptime�{�命令去查看�Q�它分别记录了一分钟、五分钟、以及十五分钟的�pȝ��q�_��负蝲

　　例如我的某台服务器：

　　$ uptime

　　09:50:21 up 200 days, 15:07, 1 user, load average: 0.27, 0.33, 0.37

　　大部分的人都认�ؓ�q�个数字��小��好�Q�其实有很多兌��的提�C�Z��息，今天看到�q�个好文�Q�应该可以给大家说清楚很多问题，转一下：

　　原文链接�Q?nbsp;http://blog.scoutapp.com/articles/2009/07/31/understanding-load-averages

　　你可能对�?Linux 的负载均��|��load averages�Q�已有了充分的了解。负载均值在 uptime 或�?top 命��o中可以看刎ͼ�它们可能会显�C�成�q�个样子�Q?/div>

　　load average: 0.09, 0.05, 0.01

　　很多��Z��q�样理解负蝲均��|��三个数分别代表不同时间段的系�l��^均负载（一分钟、五分钟、以及十五分钟）�Q�它们的数字当然是越��越好。数字越高，说明服务器的负蝲��?大，�q�也可能是服务器出现某种问题的信受��?/div>

　　而事实不完全如此�Q�是什么因素构成了负蝲均值的大小�Q�以及如何区分它们目前的状况�?“�?#8221;�q�是“�p�糕”�Q�什么时候应该注意哪些不正常的数��|��

　　回答�q�些问题之前�Q�首先需要了解下�q�些数��D��后的些知识。我们先用最��单的例子说明�Q?一台只配备一块单核处理器的服务器�?/div>

　　行�R�q�桥

　　一只单核的处理器可以�Ş象得比喻成一条单车道。设想下�Q�你现在需要收取这条道路的�q�桥 �?— 忙于处理那些��要�q�桥的�R辆。你首先当然需要了解些信息�Q�例如�R辆的载重、以�?�q�有多少车辆正在�{�待�q�桥。如果前面没有�R辆在�{�待�Q�那么你可以告诉后面的司机通过�?如果车辆众多�Q�那么需要告知他们可能需要稍�{�一会�?/div>

　　因此�Q�需要些特定的代可��C�目前的车流情况�Q�例如：

　　0.00 表示目前桥面上没有�Q何的车流�?实际上这�U�情况与 0.00 �?1.00 之间是相同的�Q�总而言之很通畅�Q�过往的�R辆可以丝毫不用等待的通过�?/div>

　　1.00 表示刚好是在�q��桥的承受范围内�?�q�种情况不算�p�糕�Q�只是�R��会有些堵，不过�q�种情况可能会造成交通越来越慢�?/div>

　　��过 1.00�Q�那么说明这座桥已经��出负荷�Q�交通严重的拥堵�?那么情况有多�p�糕�Q?例如 2.00 的情况说明�R��已�l�超��Z��桥所能承受的一倍，那么��有多余�q�桥一倍的车辆正在焦急的�{�待�?.00 的话情况��更不妙了，说明�q��桥基本上已经快承受不了，�q�有��出桥负载两倍多的�R辆正在等待�?/div>

　　上面的情况和处理器的负蝲情况非常�怼�。一辆汽车的�q�桥旉��好比是处理器处理某�U�程的实际时间。Unix �pȝ��定义的进�E�运行时长�ؓ所有处理器内核的处理时间加上线�E?在队列中�{�待的时间�?/div>

　　和收�q�桥费的��理员一��P��你当然希望你的汽车（操作�Q�不会被焦急的�{�待。所以，理想状�?下，都希望负载��^均值小�?1.00 。当然不排除部分峰��g��过 1.00�Q�但长此以往保持�q?个状态，��p��明会有问题，�q�时候你应该会很焦急�?/div>

　　“所以你说的理想负荷�?1.00 �Q?#8221;

　　嗯，�q�种情况其实�q�不完全正确。负�?1.00 说明�pȝ��已经没有剩余的资源了。在实际情况�?�Q�有�l�验的系�l�管理员都会��这条线划在 0.70�Q?/div>

　　“需要进行调查法�?#8221;�Q?如果长期你的�pȝ��负蝲�?0.70 上下�Q�那么你需要在事情变得更糟�p�之前，�׃��旉��了解其原因�?/div>

　　“现在��p��修复法则”�Q?.00 �?如果你的服务器系�l�负载长期徘徊于 1.00�Q�那么就应该马上解决�q�个问题。否则，你将半夜接到你上司的电话�Q�这可不是�g令�h愉快的事情�?/div>

　　“凌晨三点半锻��D�n体法�?#8221;�Q?.00�?如果你的服务器负载超�q�了 5.00 �q�个数字�Q�那么你��失��M��的睡眠，�q�得在会议中说明�q�情况发生的原因�Q��M��千万不要让它发生�?/div>

Chan Chen 2013-05-23 17:47 发表评论

Java CyclicBarrier介绍

Chan Chen — Wed, 22 May 2013 01:57:00 GMT

Refer to: http://my.oschina.net/redhouse/blog/60739

CyclicBarrier (周期障碍)�c�d��以帮助同步，它允�怸��l�线�E�等待整个线�E�组到达公共屏障炏V��CyclicBarrier 是��用整型变量构造的�Q�其��定�l�中的线�E�数。当一个线�E�到辑ֱ�障时�Q�通过调用 CyclicBarrier.await()�Q�，它会被阻塞，直到所有线�E�都到达屏障�Q�然后在该点允许所有线�E��l�执行。与CountDownLatch不同的是�Q�CyclicBarrier 所有公��q��E�都到达后，可以�l�箋执行下一个目标点�Q�而CountDownLatch�W�一�ơ到达指定点后，也就是记数器减制�Ӟ��无法再�ơ执行下一目标工作。下面主要演义CyclicBarrier 的用法：

package com.test;

import java.text.SimpleDateFormat;

import java.util.Date;

import java.util.concurrent.BrokenBarrierException;

import java.util.concurrent.CyclicBarrier;

import java.util.concurrent.ExecutorService;

import java.util.concurrent.Executors;

public class TestCyclicBarrier {

private static int[] timeWalk = { 5, 8, 15, 15, 10 }; // 徒步需要的旉��

private static int[] timeSelf = { 1, 3, 4, 4, 5 }; // 自驾�?/span>

private static int[] timeBus = { 2, 4, 6, 6, 7 }; // 旅游大巴

static String now() {

SimpleDateFormat sdf = new SimpleDateFormat("HH:mm:ss");

return sdf.format(new Date()) + ": ";

}

static class Tour implements Runnable {

private int[] times;

private CyclicBarrier barrier;

private String tourName;

public Tour(CyclicBarrier barrier, String tourName, int[] times) {

this.times = times;

this.tourName = tourName;

this.barrier = barrier;

}

public void run() {

try {

Thread.sleep(times[0] * 1000);

System.out.println(now() + tourName + " 合肥");

barrier.await();

Thread.sleep(times[1] * 1000);

System.out.println(now() + tourName + " 南京");

barrier.await();

Thread.sleep(times[4] * 1000);

System.out.println(now() + tourName + " 上�v");

barrier.await();

System.out.println(tourName + "飞机合肥");

} catch (InterruptedException e) {

e.printStackTrace();

} catch (BrokenBarrierException e) {

e.printStackTrace();

}

public static void main(String[] args) {

CyclicBarrier barrier = new CyclicBarrier(3);

ExecutorService exec = Executors.newFixedThreadPool(3);

exec.submit(new Tour(barrier, "徒步", timeWalk));

exec.submit(new Tour(barrier, "自驾", timeSelf));

exec.submit(new Tour(barrier, "大巴", timeBus));

exec.shutdown();

}

最后执行结果如下：

16:24:35: 自驾合肥

16:24:36: 大巴合肥

16:24:39: 徒步合肥

16:24:42: 自驾南京

16:24:43: 大巴南京

16:24:47: 徒步南京

16:24:52: 自驾上�v

16:24:54: 大巴上�v

16:24:57: 徒步上�v

徒步飞机合肥

自驾飞机合肥

大巴飞机合肥

Chan Chen 2013-05-22 09:57 发表评论

IE6的连接数限制问题

Chan Chen — Tue, 21 May 2013 07:19:00 GMT

先描�q�C��下问题：
有一个管理Job的UI�Q�选中一些Job可以Run�Q�每�ơ只能启动一个。还有一个UI通过Timer定时发Ajax��h��服务端，查询�q�显�C�Job的运行状况（�q�度�Q��?nbsp;

奇怪的问题出现了：
1�Q�在FireFox和IE8�q�行正常�Q�貌似正常，�E�后再解释）。其他浏览器未测试�?nbsp;
2�Q�IE6,7及更早版本，Timer无法��到多于1个的Job�q�行�?nbsp;

先检查了一遍代码，Timer的控制没有问题。不行就使用Fiddler吧。刚好是IE的问题�?nbsp;

观察HTTP发现一个现象，�q�行Job的HTTP��g��没有成功�Q�因为Body�?1�Q�之后是每隔一�U�的Timer发�v的HTTP。如果再启动一个Job�Q�发现Timer停止了！�Q?nbsp;

�{�待�W�一个Job�q�行成功之后�Q�Timer又恢复了�Q�重新发送Ajax��h��Q�！�Q?nbsp;

��g��是运行Job的请求阻塞了�Q�实际上该请求长旉��没有�q�回�Q�因��行Job需要几分钟甚至更多旉��Q��?nbsp;

为啥不��用DWR3.0的Push技术？后来跟同事讨论明白，�q�不�q�是把Timer从客��L��转移��C��服务端�?nbsp;

记�v来了�Q�俺好像读DWR源代码的时候（当时对如何实现推非常感兴��）�Q�见�q�一�D�代码分析Browser的类型和�q�接敎ͼ�有的情况�q�抛��Z��异常�?nbsp;

明白了，肯定是IE6有连接数限制问题�Q�后来得知，默认情况下，它不支持同时��过2个连接。哈哈。这��对了�?nbsp;

RunJob占用了一个（几分钟不�{�）�Q?nbsp;
Timer占用了一个（很短暂）�?nbsp;

刚好2个�?nbsp;

Java代码  
public class BrowserDetect  
{  
    /** 
     * How many connections can this browser open simultaneously? 
     * @param request The request so we can get at the user-agent header 
     * @return The number of connections that we think this browser can take 
     */  
    public static int getConnectionLimit(HttpServletRequest request)  
    {  
        if (atLeast(request, UserAgent.IE, 8))  
        {  
            return 6;  
        }  
        if (atLeast(request, UserAgent.Firefox, 3))  
        {  
            return 6;  
        }  
        else if (atLeast(request, UserAgent.AppleWebKit, 8))  
        {  
            return 4;  
        }  
        else if (atLeast(request, UserAgent.Opera, 9))  
        {  
            return 4;  
        }  
        else  
        {  
            return 2;  
        }  
    }  
//....  
}  

接下来就是查资料做试验，验证该问题是否正��。通过在注册表讄��Internet Settings参数�Q�实��C��更多�q�接。例�?0个�?nbsp;

但是Job可能很多�Q�不可能无限制增加连接数�Q�所以RunJob不应长期占用�q�接�Q�它应该把Job插入队列�q�立卌��回�?nbsp;

��x��问题的源头终于找��C��Q�Fiddler又帮了大忙�?nbsp;

��L��代码是了解技术运作细节的最好方法，此外�q�能学到好的�~�程习惯�?/span>

Chan Chen 2013-05-21 15:19 发表评论

Chan Chen — Wed, 15 May 2013 11:57:00 GMT

DK1.5引入了新的类�?#8212;—枚�D。在 Java 中它虽然��个“��?#8221;功能�Q�却�l�我的开发带来了“�?#8221;方便�?/p>

用法一�Q�常�?/h2>
�?span style="font-family: 'Times New Roman';">JDK1.5 之前�Q�我们定义常量都是： public static fianl.... 。现在好了，有了枚�D�Q�可以把相关的常量分�l�到一个枚丄��型里�Q�而且枚�D提供了比帔R��更多的方法�?/p>

Java代码
public enum Color {
  RED, GREEN, BLANK, YELLOW
}

用法二：switch

JDK1.6之前的switch语句只支持int,char,enum�c�d��Q��用枚举，能让我们的代码可��L��更强�?/p>

Java代码  
enum Signal {  
    GREEN, YELLOW, RED  
}  
public class TrafficLight {  
    Signal color = Signal.RED;  
    public void change() {  
        switch (color) {  
        case RED:  
            color = Signal.GREEN;  
            break;  
        case YELLOW:  
            color = Signal.RED;  
            break;  
        case GREEN:  
            color = Signal.YELLOW;  
            break;  
        }  
    }  
}  

用法三：向枚举中��d��新方�?/h2>
如果打算自定义自��q��Ҏ��Q�那么必��d��enum实例序列的最后添加一个分受��而且 Java 要求必须先定�?nbsp;enum实例�?/p>

Java代码
public enum Color {
    RED("�U�色", 1), GREEN("�l�色", 2), BLANK("白色", 3), YELLO("黄色", 4);
    // 成员变量
    private String name;
    private int index;
    // 构造方�?/span>
    private Color(String name, int index) {
        this.name = name;
        this.index = index;
    }
    // 普通方�?/span>
    public static String getName(int index) {
        for (Color c : Color.values()) {
            if (c.getIndex() == index) {
                return c.name;
            }
        }
        return null;
    }
    // get set �Ҏ��
    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    public int getIndex() {
        return index;
    }
    public void setIndex(int index) {
        this.index = index;
    }
}

用法四：覆盖枚�D的方�?/h2>
下面�l�出一个toString()�Ҏ��覆盖的例子�?/p>

Java代码
public enum Color {
    RED("�U�色", 1), GREEN("�l�色", 2), BLANK("白色", 3), YELLO("黄色", 4);
    // 成员变量
    private String name;
    private int index;
    // 构造方�?/span>
    private Color(String name, int index) {
        this.name = name;
        this.index = index;
    }
    //覆盖�Ҏ��
    @Override
    public String toString() {
        return this.index+"_"+this.name;
    }
}

用法五：实现接口

所有的枚�D都��承自java.lang.Enum�c�R��由�?span style="font-family: 'Courier New';">Java 不支持多�l�承�Q�所以枚丑֯�象不能再�l�承其他�c�R�?/p>

Java代码  
public interface Behaviour {  
    void print();  
    String getInfo();  
}  
public enum Color implements Behaviour{  
    RED("�U�色", 1), GREEN("�l�色", 2), BLANK("白色", 3), YELLO("黄色", 4);  
    // 成员变量  
    private String name;  
    private int index;  
    // 构造方�?/span>  
    private Color(String name, int index) {  
        this.name = name;  
        this.index = index;  
    }  
//接口�Ҏ��  
    @Override  
    public String getInfo() {  
        return this.name;  
    }  
    //接口�Ҏ��  
    @Override  
    public void print() {  
        System.out.println(this.index+":"+this.name);  
    }  
}  

用法六：使用接口�l�织枚�D

Java代码  
public interface Food {  
    enum Coffee implements Food{  
        BLACK_COFFEE,DECAF_COFFEE,LATTE,CAPPUCCINO  
    }  
    enum Dessert implements Food{  
        FRUIT, CAKE, GELATO  
    }  
}  

用法七：关于枚�D集合的��?/h2>
java.util.EnumSet和java.util.EnumMap是两个枚��N��合。EnumSet保证集合中的元素不重复；EnumMap中的key是enum�c�d��Q�而value则可以是��L��c�d��。关于这个两个集合的使用��׃��在这里赘�q�ͼ�可以参考JDK文��?/p>
关于枚�D的实现细节和原理请参考：

Chan Chen 2013-05-15 19:57 发表评论

Curl命��o使用整理

Chan Chen — Thu, 09 May 2013 03:52:00 GMT

Refer to: http://www.cnblogs.com/wangkangluo1/archive/2012/04/17/2453975.html

可以看作命��o行浏览器

1、开启gzip��h��
curl -I http://www.sina.com.cn/ -H Accept-Encoding:gzip,defalte

2、监控网��늚�响应旉��
curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" "http://www.kklinux.com"

3. 监控站点可用�?/strong>
curl -o /dev/null -s -w %{http_code} "http://www.kklinux.com"

4、以http1.0协议��h��Q�默认�ؓhttp1.1�Q?/strong>
curl -0 ..............
      1�Q�读取网��?nbsp;
　　$ curl linuxidc.com">http://www.linuxidc.com
　　2�Q�保存网��?nbsp;
　　$ curl http://www.linuxidc.com > page.html $ curl -o page.html http://www.linuxidc.com
　　3�Q��用的proxy服务器及其端口：-x
　　$ curl -x 123.45.67.89�Q?080 -o page.html http://www.linuxidc.com
　　4�Q��用cookie来记录session信息
　　$ curl -x 123.45.67.89�Q?080 -o page.html -D cookie0001.txt http://www.linuxidc.com
option�Q?-D 是把http的response里面的cookie信息存到一个特别的文�g中去�Q�这��P��当页面被存到page.html的同�Ӟ��cookie信息也被存到了cookie0001.txt里面�?nbsp;
    5�Q�那么，下一�ơ访问的时候，如何�l�箋使用上次留下的cookie信息呢？
　　使用option来把上次的cookie信息�q�加到http request里面去：-b
　　$ curl -x 123.45.67.89�Q?080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.linuxidc.com

6�Q�浏览器信息~~~~
随意指定自己�q�次讉K��所宣称的自��q��览器信息： -A
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.yahoo.com
�q�样�Q�服务器端接到访问的要求�Q�会认�ؓ你是一个运行在Windows 2000上的IE6.0�Q�嘿嘿嘿�Q�其实也�怽�用的是苹果机呢！
�?Mozilla/4.73 [en] (X11; U; Linux 2.2; 15 i686"则可以告诉对方你是一台PC上跑着的Linux�Q�用的是Netscape 4.73�Q�呵呵呵

7�Q?br style="margin: 0px; padding: 0px;" />另外一个服务器端常用的限制�Ҏ��Q�就是检查http讉K��的referer。比如你先访问首��，再访问里面所指定的下载页�Q�这�W�二�ơ访问的referer地址��是�W�一�ơ访问成功后的页面地
址。这��P��服务器端只要发现对下载页面某�ơ访问的referer地址�?是首��늚�地址�Q�就可以断定那是个盗�q�了~~~~~
讨厌讨厌~~~我就是要盗连~~~~~�Q�！
�q�好curl�l�我们提供了讑֮�referer的option�Q?-e
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.yahoo.com" -o page.html -D cookie0001.txt http://www.yahoo.com
�q�样�Q�就可以骗对方的服务器，你是从mail.yahoo.com点击某个链接�q�来的了�Q�呵呵呵

8�Q�curl 下蝲文�g
刚才讲过了，下蝲��面��C��个文仉��Q�可以��?-o �Q�下载文件也是一栗��?/span>
比如�Q?nbsp;curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG
�q�里教大家一个新的option�Q?-O
大写的O�Q�这么用�Q?nbsp;curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG
�q�样�Q�就可以按照服务器上的文件名�Q�自动存在本��C��Q?nbsp;
再来一个更好用的�?/span>
如果screen1.JPG以外�q�有screen2.JPG、screen3.JPG�?...、screen10.JPG需要下载，难不成还要让我们写一个script来完成这些操作？
不干�Q?/span>
在curl里面�Q�这么写��可以了�Q?/span>
curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG
呵呵呵，厉害吧？�Q�~~~
9�Q?/span>
再来�Q�我们��l�讲解下载！
curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG
�q�样产生的下载，��是
~zzh/001.JPG
~zzh/002.JPG
...
~zzh/201.JPG
~nick/001.JPG
~nick/002.JPG
...
~nick/201.JPG
够方便的了吧�Q�哈哈哈
咦？高兴得太早了�?/span>
�׃��zzh/nick下的文�g名都�?01�Q?02...�Q?01�Q�下载下来的文�g重名�Q�后面的把前面的文�g都给覆盖掉了~~~
没关�p�，我们�q�有更狠的！
curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG
--�q�是.....自定义文件名的下载？
--对头�Q�呵呵！
#1是变量，指的是{zzh,nick}�q�部分，�W�一�ơ取值zzh�Q�第二次取值nick
#2代表的变量，则是�W�二�D�可变部�?--[001-201]�Q�取��g��001逐一加到201
�q�样�Q�自定义出来下蝲下来的文件名�Q�就变成了这��P��
原来�Q?~zzh/001.JPG ---> 下蝲后： 001-zzh.JPG
原来�Q?~nick/001.JPG ---> 下蝲后： 001-nick.JPG
�q�样一来，��׃��怕文仉��名啦�Q�呵�?nbsp;

9�Q?/span>
�l�箋讲下�?/span>
我们�q�x��在windows�q�_��上，flashget�q�样的工具可以帮我们分块�q�行下蝲�Q�还可以断线�l�传�?/span>
curl在这些方面也不输�l�谁�Q�嘿�?nbsp;
比如我们下蝲screen1.JPG中，�H�然掉线了，我们��可以这样开始箋�?/span>
curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG
当然�Q�你不要拿个flashget下蝲了一半的文�g来糊弄我~~~~别的下蝲软�g的半截文件可不一定能用哦~~~
分块下蝲�Q�我们��用这个option��可以了�Q?-r
举例说明
比如我们有一个http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 要下载（赵老师的电话朗�?:D �Q?/span>
我们��可以用�q�样的命令：
curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3
�q�样��可以分块下载啦�?/span>
不过你需要自己把�q�些破碎的文件合�q��v�?/span>
如果你用UNIX或苹果，�?cat zhao.part* > zhao.mp3��可�?/span>
如果用的是Windows�Q�用copy /b 来解军_��Q�呵�?nbsp;
上面讲的都是http协议的下载，其实ftp也一样可以用�?/span>
用法嘛，
curl -u name:passwd ftp://ip:port/path/file
或者大家熟悉的
curl ftp://name:passwd@ip:port/path/file

10)上传的option�?-T
比如我们向ftp传一个文�Ӟ�� curl -T localfile -u name:passwd ftp://upload_site:port/path/
当然�Q�向http服务器上传文件也可以
比如 curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi
注意�Q�这时候，使用的协议是HTTP的PUT method
刚才说到PUT�Q�嘿嘿，自然让老服惌��v来了其他几种methos�q�没讲呢�Q?/span>
GET和POST都不能忘哦�?nbsp;
http提交一个表单，比较常用的是POST模式和GET模式
GET模式什么option都不用，只需要把变量写在url里面��可以了
比如�Q?br style="margin: 0px; padding: 0px;" />curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345
而POST模式的option则是 -d
比如�Q?span style="margin: 0px; padding: 0px; line-height: 1.5; color: #ff6600;">curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi
��q��当于向这个站点发��Z��ơ登陆申请~~~~~
到底该用GET模式�q�是POST模式�Q�要看对面服务器的程序设定�?nbsp;
一炚w��要注意的是，POST模式下的文�g上的文�g上传�Q�比�?/span>

�q�样一个HTTP表单�Q�我们要用curl�q�行模拟�Q�就该是�q�样的语法：
curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi
�|�罗嗦嗦讲了�q�么多，其实curl�q�有很多很多技巧和用法
比如 https的时候��用本地证书，��可以这�?/span>
curl -E localcert.pem https://remote_server
再比如，你还可以用curl通过dict协议��L��字典~~~~~
curl dict://dict.org/d:computer

今天��Z��查所有刺猬主��Z��所有域名是否有备案�Q�在使用wget不爽的情况下�Q�找��C��curl�q�个命��o行流量器命��o�Q�发现其对post的调用还是蛮好的�Q�特别有利于�Ҏ��交信息及�?nbsp;
更参数进行较验．对于我想��几十万域名到miibeian.gov.cn�q�行验证是否有备案信息非常有用．发现�q�篇文章很不错，特�ؓ转脓�Q?nbsp;
我的目标�Q?/span>
curl -d "cxfs=1&ym=xieyy.cn" http://www.miibeian.gov.cn/baxx_cx_servlet
在出来的信息中进行过滤，提取备案号信息，�q�设�|�一个标识位�Q�将域名�Q�备案号及标识位入库

用curl命��o�Q�post提交带空格的数据
今天偶然遇到一个情况，我想用curl��d��一个网��，无意间发现要post的数据里带空根{��比如用户名�?abcdef"�Q�密码�ؓ"abc def"�Q�其中有一个空��|��按照我以前的方式提交�Q?nbsp;
curl -D cookie -d "username=abcdef&password=abc def" http://login.xxx.com/提示��d��p�|�?nbsp;

于是查看curl手册man curl。找刎ͼ�
d/--data (HTTP) Sends the speci?ed data in a POST request to the HTTP server, in a way that can emulate as if a user has ?lled in a HTML form and pressed the
submit button. Note that the data is sent exactly as speci?ed with no extra processing (with all newlines cut off). The data is expected to be "url-encoded".
This will cause curl to pass the data to the server using the content-type application/x-www-form-urlencoded. Compare to -F/--form. If this option is used
more than once on the same command line, the data pieces speci?ed will be merged together with a separating &-letter. Thus, using ’-d name=daniel -d
skill=lousy’ would generate a post chunk that looks like ’name=daniel&skill=lousy’.
于是改用�Q?nbsp;
curl -D cookie -d "username=abcdef" -d "password=abc efg" http://login.xxx.com/�q�样��p��成功��d��了�?nbsp;
(责�Q�~�辑�Q�飘飞的�?

Curl是Linux下一个很强大的http命��o行工��P��其功能十分强大�?/span>

1) 二话不说�Q�先从这里开始吧�Q?/p>

$ curl http://www.linuxidc.com

回�R之后�Q�www.linuxidc.com 的html��q��里哗啦地昄��在屏�q�上�?nbsp; ~

2) 嗯，要想把读�q�来��面存下来，是不是要�q�样呢？

$ curl http://www.linuxidc.com > page.html

当然可以�Q�但不用�q�么�ȝ��的！

用curl的内�|�option��好�Q�存下http的结果，用这个option: -o

$ curl -o page.html http://www.linuxidc.com

�q�样�Q�你��可以看到屏�q�上出现一个下载页面进度指�C�。等�q�展�?00%�Q�自然就 OK�?/p>

3) 什么什么？�Q�访问不刎ͼ�肯定是你的proxy没有讑֮�了�?/p>

使用curl的时候，用这个option可以指定http讉K��所使用的proxy服务器及其端口： -x

$ curl -x 123.45.67.89:1080 -o page.html http://www.linuxidc.com

4) 讉K��有些�|�站的时候比较讨厌，他��用cookie来记录session信息�?/p>

像IE/NN�q�样的浏览器�Q�当然可以轻易处理cookie信息�Q�但我们的curl呢？.....

我们来学习这个option: -D <— �q�个是把http的response里面的cookie信息存到一个特别的文�g中去

$ curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com

�q�样�Q�当��面被存到page.html的同�Ӟ��cookie信息也被存到了cookie0001.txt里面�?/p>

5�Q�那么，下一�ơ访问的时候，如何�l�箋使用上次留下的cookie信息呢？要知道，很多�|�站都是靠监视你的cookie信息�Q�来判断你是不是不按规矩讉K��他们的网站的�?/p>

�q�次我们使用�q�个option来把上次的cookie信息�q�加到http request里面去： -b

$ curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.linuxidc.com

�q�样�Q�我们就可以几乎模拟所有的IE操作�Q�去讉K��|�页了！

6�Q�稍微等�{?nbsp; ~我好像忘��C��么了 ~

对了�Q�是��览器信�?/p>

有些讨厌的网站总要我们使用某些特定的浏览器去访问他们，有时候更�q�分的是�Q�还要��用某些特定的版本 NND�Q�哪里有旉��Z��它去找这些怪异的浏览器呢！�Q?/p>

好在curl�l�我们提供了一个有用的option�Q�可以让我们随意指定自己�q�次讉K��所宣称的自��q��览器信息： -A

$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com

�q�样�Q�服务器端接到访问的要求�Q�会认�ؓ你是一个运行在Windows 2000上的 IE6.0�Q�嘿嘿嘿�Q�其实也�怽�用的是苹果机呢！

�?Mozilla/4.73 [en] (X11; U; Linux 2.2; 15 i686"则可以告诉对方你是一�?PC上跑着的Linux�Q�用的是Netscape 4.73�Q�呵呵呵

7�Q�另外一个服务器端常用的限制�Ҏ��Q�就是检查http讉K��的referer。比如你先访问首��，再访问里面所指定的下载页�Q�这�W�二�ơ访问的 referer地址��是�W�一�ơ访问成功后的页面地址。这��P��服务器端只要发现对下载页面某�ơ访问的referer地址不是首页的地址�Q�就可以断定那是个盗 �q�了 ~

讨厌讨厌 ~我就是要盗连 ~�Q�！

�q�好curl�l�我们提供了讑֮�referer的option�Q?-e

$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.linuxidc.com" -o page.html -D cookie0001.txt http://www.linuxidc.com

�q�样�Q�就可以骗对方的服务器，你是从mail.linuxidc.com点击某个链接�q�来的了�Q�呵呵呵

8�Q�写着写着发现漏掉什么重要的东西了！——- 利用curl 下蝲文�g

刚才讲过了，下蝲��面��C��个文仉��Q�可以��?-o �Q�下载文件也是一栗��比如，

$ curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG

�q�里教大家一个新的option�Q?-O 大写的O�Q�这么用�Q?/p>

$ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG

�q�样�Q�就可以按照服务器上的文件名�Q�自动存在本��C��Q?/p>

再来一个更好用的�?/p>

如果screen1.JPG以外�q�有screen2.JPG、screen3.JPG�?...、screen10.JPG需要下载，难不成还要让我们写一个script来完成这些操作？

不干�Q?/p>

在curl里面�Q�这么写��可以了�Q?/p>

$ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG

呵呵呵，厉害吧？�Q?~

9�Q�再来，我们�l�箋讲解下蝲�Q?/p>

$ curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG

�q�样产生的下载，��是

~zzh/001.JPG

~zzh/002.JPG

...

~zzh/201.JPG

~nick/001.JPG

~nick/002.JPG

...

~nick/201.JPG

够方便的了吧�Q�哈哈哈

咦？高兴得太早了�?/p>

�׃��zzh/nick下的文�g名都�?01�Q?02...�Q?01�Q�下载下来的文�g重名�Q�后面的把前面的文�g都给覆盖掉了 ~

没关�p�，我们�q�有更狠的！

$ curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG

—�q�是.....自定义文件名的下载？ —对头�Q�呵呵！

�q�样�Q�自定义出来下蝲下来的文件名�Q�就变成了这��P��原来�Q?~zzh/001.JPG —-> 下蝲后： 001-zzh.JPG 原来�Q?~nick/001.JPG —-> 下蝲后： 001-nick.JPG

�q�样一来，��׃��怕文仉��名啦�Q�呵�?/p>

�?/p>

Chan Chen 2013-05-09 11:52 发表评论

Java Web Application �q�程调试

Chan Chen — Sun, 05 May 2013 08:49:00 GMT

最�q�在开发java web application的时候，因�ؓ很多原因�Q�无法对自己开发的��目在本地进行调试，常常需要进行远�E�调试，之前一直通过打logger的方式进行，每次都要重新部��v�Q�相当的痛苦�Q�今天下午研�I�了以下�Q�如果进行远�E�调试�?br />
开发的web application是部�|�在tomcat上面的，那么问题��p�{化�ؓ如何调试tomcat。其实调试tomcat�Q�本质上��是调试JVM。JVM的强大，从J2SE1.4.2开始，��实��C��JPDA �Q�Java Platform Debug Architecture�Q��?br />
tomcat默认情况下，是没有启用jpda的，如果要启用，需要传入参�?br />-Xdebug -Xrunjdwp:transport=dt_socket, address=8000,server=y,suspend=y

那么问题是这些参数如何在tomcat启动的��用传入呢�Q�这是时候，需要了解tomcat的启动脚本，在TOMCAT_HOME/bin
目录下，有三个脚本catalina.sh, startup.sh, �?shutdown.sh。如果查看startup.sh和shutdown.sh�Q�都是通过catalina.sh来启动的。脚本如下：
EXECUTABLE=catalina.sh

exec "$PRGDIR"/"$EXECUTABLE" start "$@"
于是�Q�我们可以查看下catalina.sh的脚本是如何实现的�?br />
# JPDA_TRANSPORT (Optional) JPDA transport used when the "jpda start"
# command is executed. The default is "dt_socket".
#
# JPDA_ADDRESS (Optional) Java runtime options used when the "jpda start"
# command is executed. The default is 8000.
#
# JPDA_SUSPEND (Optional) Java runtime options used when the "jpda start"
# command is executed. Specifies whether JVM should suspend
# execution immediately after startup. Default is "n".
#
# JPDA_OPTS (Optional) Java runtime options used when the "jpda start"
# command is executed. If used, JPDA_TRANSPORT, JPDA_ADDRESS,
# and JPDA_SUSPEND are ignored. Thus, all required jpda
# options MUST be specified. The default is:
#
# -agentlib:jdwp=transport=$JPDA_TRANSPORT,
# address=$JPDA_ADDRESS,server=y,suspend=$JPDA_SUSPEND

if [ "$1" = "jpda" ] ; then
if [ -z "$JPDA_TRANSPORT" ]; then
JPDA_TRANSPORT="dt_socket"
fi
if [ -z "$JPDA_ADDRESS" ]; then
JPDA_ADDRESS="8000"
fi
if [ -z "$JPDA_SUSPEND" ]; then
JPDA_SUSPEND="n"
fi
if [ -z "$JPDA_OPTS" ]; then
JPDA_OPTS="-agentlib:jdwp=transport=$JPDA_TRANSPORT,address=$JPDA_ADDRESS,server=y,suspend=$JPDA_SUSPEND"
fi
CATALINA_OPTS="$CATALINA_OPTS $JPDA_OPTS"
shift
fi

通过�q�个代码�Q�我们可以看出，其实要启动jpda, 最主要的是要对JPDA_SUSPEND的��D��行设�|�，由N改�ؓY�?br />
借鉴start.sh的启动，在linux下，我们可以自己创徏一个jpda.sh的脚本，用来启动开启debug模式的tomcat�Q�具体脚本如下，黑体��Z��攚w��分�?br />
os400=false
darwin=false
case "`uname`" in
CYGWIN*) cygwin=true;;
OS400*) os400=true;;
Darwin*) darwin=true;;
esac

# resolve links - $0 may be a softlink
PRG="$0"

while [ -h "$PRG" ] ; do
  ls=`ls -ld "$PRG"`
  link=`expr "$ls" : '.*-> $.*$$'`
  if expr "$link" : '/.*' > /dev/null; then
    PRG="$link"
  else
    PRG=`dirname "$PRG"`/"$link"
  fi
done

PRGDIR=`dirname "$PRG"`
EXECUTABLE=catalina.sh

# Check that target executable exists
if $os400; then
  # -x will Only work on the os400 if the files are:
  # 1. owned by the user
  # 2. owned by the PRIMARY group of the user
  # this will not work if the user belongs in secondary groups
  eval
else
  if [ ! -x "$PRGDIR"/"$EXECUTABLE" ]; then
    echo "Cannot find $PRGDIR/$EXECUTABLE"
    echo "The file is absent or does not have execute permission"
    echo "This file is needed to run this program"
    exit 1
  fi
fi

export JPDA_SUSPEND=y

exec "$PRGDIR"/"$EXECUTABLE" jpda start "$@"

在Eclipse中远�E�调试Tomcat
首先��Tomcat 5.5.26的源代码分�ؓcontainer connectors jasper servletapi build五个��目�Q�导入到Eclipse中。启动相关的代码主要在container中，��׃��它�ؓ当前��目�Q�打开”Debug Configurations“对话框�?/p>
然后创徏一�?#8221;Remote Java Application“�Q�Connection Type选择”Standard (Socket Attach)“�Q�Host填写localhost�Q�Tomcat所在的��L��地址�Q�，Port填写8000。最后点�?#8221;Apply“保存�?/p>

首先��保已经执行了jpda.bat�Q�Tomcat正在�{�待调试器连接；然后执行上述的Debug Configuration�Q�Eclipse��可以连上Tomcat�?/p>

Tomcat的启动是从Bootstrap的main�Ҏ��开始，我在�W�一行代码处讄��了断点，Tomcat的启动就停在了这一行：

接着�Q�让Tomcat�l�箋执行�Q�我们可以看刎ͼ�控制台输��Z��启动信息�?/p>

Chan Chen 2013-05-05 16:49 发表评论

Chan Chen — Sun, 05 May 2013 05:49:00 GMT
用了Spring MVC有一个多月了�Q�之前虽然有接触�q�一些，但是一直没有在实际工作中��用。今天和同事聊�v�Q�谈到Spring MVC中的Controller是单例实现的�Q�于是就写了一�D�代码验证一些�?br />
1. 如果是单例的�Q�那么在Controller�c�M��的实例变量应该是�׃�n的，如果不共享，则说明不是单例�?br />直接代码�Q?br />
@Controller
public class DemoAction {

    private int  i = 0;

    @RequestMapping(value = "/singleton")
    @ResponseBody
    public String singleton(HttpServletRequest request, HttpServletResponse response) throws InterruptedException {
        int addInt = Integer.parseInt(request.getParameter("int"));
        i = i + addInt;
        return String.valueOf(i);
    }
}

分别三次��h��Q?localhost�Q?080/projectname/singleton�Q�int=5
得到的返回结果如下�?br />�W�一�ơ： i=5
�W�二�ơ： i=10
�W�三�ơ： i=15

重结果可以得知，i的状态是�׃�n的，因此Controller是单例的�?br />
-------------------------------------------------------------------------------------------------------------------------
2. 如果是单例，那么多个�U�程��h��同一个Controller�c�M��的同一个方法，�U�程是否会堵塞？
验证代码如下�Q?br />
@RequestMapping(value = "/switcher")
    @ResponseBody
    public String switcher(HttpServletRequest request, HttpServletResponse response)
            throws InterruptedException {
        String switcher = request.getParameter("switcher");
        if (switcher.equals("on")) {
            Thread.currentThread().sleep(10000);
            return "switch on";
        } else {
            return switcher;
        }
    }

验证�Ҏ��Q?br />分别发送两个请求，
�W�一个请求：localhost�Q?080/projectname/singleton�Q�switcher=on
�W�二个请求：localhost�Q?080/projectname/singleton�Q�switcher=everything

验证�l�果�Q?br />�W�一个请求发出去以后�Q�本地服务器�{�待10s�Q�然后返回结�?#8220;switch on”,
在本地服务器�{�待的�?0s当中�Q�第二期的请求，直接�q�回�l�果“everything”。说明之间的�U�程是不互相影响的�?br />-------------------------------------------------------------------------------------------------------------------------
3.既然Controller是单例的�Q�那么Service是单例的吗？验证�Ҏ��和Controller的单例是一��L��?br />验证代码�Q?br />Controller:
@Controller
public class DemoAction {

    @Resource
    private DemoService demoService;

    @RequestMapping(value = "/service")
    @ResponseBody
    public String service(HttpServletRequest request, HttpServletResponse response)
            throws InterruptedException {
        int result = demoService.addService(5);
        return String.valueOf(result);
    }
}

Service:
@Service
public class DemoService {
    private int i = 0;
    public int addService(int num){
        i = i + num;
        return i;
    }
}

分别三次��h��Q?localhost�Q?080/projectname/service
得到的返回结果如下�?br />�W�一�ơ： i=5
�W�二�ơ： i=10
�W�三�ơ： i=15

重结果可以得知，i的状态是�׃�n的，因此Service默认是单例的�?br />-------------------------------------------------------------------------------------------------------------------------
相同的验证方法，可以得出@Repository的DAO也是默认单例�?br />

Chan Chen 2013-05-05 13:49 发表评论

Java MVC 比较

Chan Chen — Sat, 04 May 2013 08:21:00 GMT
     摘要: Spring MVC PK Struts2 我们用struts2旉��用的传统的配�|�文件的方式�Q��ƈ没有使用传说中的0配置。spring3 mvc可以认�ؓ已经100%雉��|�了�Q�除了配�|�spring mvc-servlet.xml外）�?Spring MVC和Struts2的区别： 1. 机制�Q�spring mvc的入口是servlet�Q�而struts2是filter�Q?..  阅读全文

Chan Chen 2013-05-04 16:21 发表评论

Chan Chen — Sat, 04 May 2013 08:00:00 GMT

Refer to: http://elf8848.iteye.com/blog/967049
你想��一个能承受500万PV/每天的网站吗�Q?500万PV是什么概念？服务器每�U�要处理多少个请求才能应对？如果计算呢？

PV是什么：
PV是page view的简写。PV是指��面的访问次敎ͼ��?/span>打开或刷�?/span>一�ơ页面，��q��做一个pv�?nbsp;

计算模型�Q?nbsp;
每台服务器每�U�处理请求的数量=((80%*总PV�?/(24��时*60�?60�U?40%)) / 服务器数�?�?br />其中关键的参数是80%�?0%。表�C�Z��天中�?0%的请求发生在一天的40%的时间内�?4��时�?0%�?.6��时�Q�有80%的请求发生一天的9.6个小时当中（很适合互联�|�的应用�Q�白天请求多�Q�晚上请求少�Q��?nbsp;

��单计��的�l�果�Q?/strong>
((80%*500�?/(24��时*60�?60�U?40%))/1 = 115.7个请�?�U?nbsp;
((80%*100�?/(24��时*60�?60�U?40%))/1 = 23.1个请�?�U?nbsp;

初步�l�论�Q?/strong>
现在我们在做压力��试�Ӟ��有了标准，如果你的服务器一�U�能处理115.7个请求，��可以承�?00万PV/每天。如果你的服务器一�U�能处理23.1个请求，��可以承�?00万PV/每天�?/span>

留��余量�Q?/strong>
以上��h��数量�?/span>均匀的分布在白天�?.6个小时中�Q�但实际情况�q�不会这么均匀的分布，会有高峰有低谗��ؓ了应寚w��峰时�D�，应该留一些余圎ͼ�最��也要x2倍，x3倍也不�ؓ�q��?/span>
115.7个请�?�U?nbsp;*2�?231.4个请�?�U?/span>
115.7个请�?�U?nbsp;*3�?/span>=347.1个请�?�U?/span>
23.1个请�?�U?nbsp;*2�?/span>=46.2个请�?�U?/span>
23.1个请�?�U?nbsp;*3�?/span>=69.3个请�?�U?/span>

最�l�结论：
如果你的服务器一�U�能处理231.4--347.1个请�?�U?/span>�Q�就可以应对�q�_��500万PV/每天�?/span>
如果你的服务器一�U�能处理46.2--69.3个请求，��可�?/span>应对�q�_��100万PV/每天�?/span>

说明�Q?/strong>
�q�里说明每秒N个请求，��是QPS。因为我兛_��的是应用�E�序处理业务的能力�?nbsp;

实际�l�验�Q?/strong>
1、根据实际经验，采用两台常规配置的机架式服务器，配置是很常见的配�|�，例如一�?核CPU+4G内存+服务器SAS��盘�?/span>
2、个人武断的认�ؓ在服务器CPU领域Intel的CPU要优于AMD的CPU�Q�有反对的就反对吧，我都说我武断了（��L��CPU性能比较�Q�，不要太相信AMD的广告，比较CPU性能��单办法就是比��h��Q�不要比频率与核心数�Q��h格相差不多的性能也相差不多�?/span>
3、硬盘的性能很重要，由其是数据库服务器。一般的服务器都�?/span>1.5万�{的SAS��盘�Q�高�U�一点的可以配SSD固态硬盘，性能会更好。最最最最重要的指标是“随机��d��性能”而不�?#8220;��序��d��性能”。（本例�q�是配置最常见�?/span>1.5万�{的SAS��盘�?/span>�Q?/span>
4、一台服务器跑Tomcat�q�行j2ee�E�序,一台服务器跑MySql数据�?�E�序写的中等水��^(�q�个真的不好量化)�Q�是论坛�c�d��的应�?��L��回帖,不太�Ҏ��做缓�?也无法静态化)�?/span>
5、以上��Y��g情况下，是可以承�?00万PV/每天的�?已留有余量应对突然的讉K��高峰)

注意机房的网�l�带宽：
有�h说以上条件我都满��了�Q�但实际性能�q�是达不到目标。这时请注意你对外的�|�络的带宽，在国内服务器便宜但带宽很贵，很可能你在机房是与大家共享一�?00M的光�U�，实际每个人可分到2M左右带宽。再好一�?M,再好一点双�U�机�?0M独��n�Q�这已经很贵了（北京��h��Q��?/span>
一天��L��量：每个��面20k字节*100万个��面/1024=19531M字节=19G字节�Q?/span>
19531M/9.6��时=2034M/��时=578K字节/s 如果��h��是均匀分布的，需�?M�Q?/span>640K字节�Q?/span>带宽�Q?Mb=640KB 注意大小写，b是位�Q�B是字节，差了8倍）�Q�但所有请求不可能是均匀分布的，当有高峰�?M带宽一定不够，X2倍就�?0M带宽�?/span>10M带宽基本可以满��要求�?/span>
以上是假设每个页�?0k字节�Q�基本不包含囄��Q�要�?/span>包含囄��更大了�Q?0M带宽也不能满��求了。你自已计算吧�?/span>
�Q�全文完�Q?/span>

附：性能��试基本概念
---------------------------------------------------------------------------------------
基本概念�Q?/strong>
Throughput�Q�吞吐量�Q�：按照常规理解�|�络吞吐量表�C�在单位旉��内通过�|�卡数据量之和，其中卛_��括本机网卡发送出�ȝ��数据量也包括本机�|�卡接收到的数据量�?一�?00Mb(�?的双工网卡，最大发送数据的速度�?2.5M字节/s �Q?/span> 最大接收数据的速度�?2.5M字节/s�Q?/span> 可以 同时收发 数据�?nbsp;
�q�发用户敎ͼ�是同时执行操作的用户(�U�程�?�?nbsp;
响应旉��Q�从��h��发出到收到响应花费的旉�� ?/span>

QPS - Queries Per Second  每秒处理的查询数�Q�如果是数据库，��q��当于��d��Q?br />TPS - Transactions Per Second  每秒处理的事务数(如果是数据库�Q�就相当于写入、修�?
IOPS�Q�每�U�磁盘进行的I/O操作�ơ数

例如�Ҏ��个数据库��试�Q�分开两次��QPS与TPS�?br />QPS�Q�读取）值��L��高于TPS(写、改)�Q��ƈ且有倍率关系�Q�因为：
1、数据库�Ҏ��询可能有�~�存�?br />2、机械硬盘或SSD��盘的读��是比写快�?/span>
---------------------------------------------------------------------------------------
JMeter��试参数说明�Q?/strong>

Label�Q�每一个测试单元的名字�?nbsp;

#Samples�Q�表�C�Z��个测试单元一共发��Z��多少个请求�?nbsp;

Average�Q��^均响应时�?#8212;—默认情况下是单个 Request 的��^均响应时��_��当��用了 Transaction Controller �Ӟ��也可以以Transaction 为单位显�C��^均响应时间。，不重要�?nbsp;

Median�Q�中位数�Q�也��是 50�Q?用户的响应时��_��如果把响应时间从��到大顺序排序，那么50�Q�的��h��的响应时间在�q�个范围之内。重要�?nbsp;

90% Line�Q?0�Q?用户的响应时��_��如果把响应时间从��到大顺序排序，那么90�Q�的��h��的响应时间在�q�个范围之内�?span style="color: #ff0000;">重要 �?nbsp;

Min�Q�最��响应时��_��不重要�?nbsp;

Max�Q�最大响应时��_��出现几率只不�q�是千分之一甚至万分之一�Q�不重要�?nbsp;

Error%�Q�本�ơ测试中出现错误的请求的数量

Throughput�Q�吞吐量——默认情况下表�C�每�U�完成的��h��敎ͼ�Request per Second�Q�，当��用了 Transaction Controller �Ӟ��也可以表�C�类�?LoadRunner �?Transaction per Second �?nbsp;

KB/Sec�Q�每�U�从服务器端接收到的数据�?只是接收)�Q�相当于LoadRunner中的Throughput/Sec
---------------------------------------------------------------------------------------
loadrunner��试参数说明�Q?/strong>

响应旉��Q?/strong> �?0%��|��如果把响应时间从��到大顺序排序，那么90�Q�的��h��的响应时间在�q�个范围之内。重要�?nbsp;

每秒点击�?/strong> �Q�hits per Second,每秒钟向服务器提交请求的数量�?nbsp;

TPS�Q?/strong> Transaction per Second �Q�每�U�事务数�Q�一个事务是指一个客��h��向服务器发送请求然后服务器做出反应的过�E?nbsp;

Throughput�Q�吞吐量�Q�： Loadrunner记录的Throughput是接收到服务器返回的所有字节数之和�Q�与本地发出的字节数无关�?nbsp;

Throughput/Sec�Q?/strong> 每秒的吞吐量�?nbsp;

对于BS架构的一般分�?响应旉��、点�ȝ��、吞吐量、TPS�Q�每�U�事务数�Q��?nbsp;
对于CS架构的一般分�?TPS�Q�每�U�事务数�Q?nbsp;

Chan Chen 2013-05-04 16:00 发表评论