亚洲国产成人综合,老司机亚洲精品影院无码,亚洲日本中文字幕一区二区三区

Netty长连接的事�g处理��序问题

hankchen — Sun, 08 Apr 2012 04:32:00 GMT

最�q�的一个线上项目（认证服务器）老是出现服务延迟的情��c��具体的问题描述�Q?/p>

�Q?�Q�客��L��发送一个请求A�Q�长�q�接�Q�，在服务器端的业务层需�?0�U�以上才能接收到�?/p>

�Q?�Q�客��L��发送一个请求B�Q�端�q�接�Q�，在服务器端的业务层可以迅速接收到�?/p>

从现象大致知道问题出在服务器端的�|�络接收层，大量通过长连接发送过来的��h��都堵塞在�|�络层得不到处理�Q�在�|�络层排队，�q�没到应用层�Q��?/p>

�Q�友情提�C�：本博文章�Ƣ迎转蝲�Q�但��h��明出处：hankchen�Q?a href="http://www.tkk7.com/hankchen">http://www.tkk7.com/hankchen�Q?/strong>

后来�l�过排查�Q�发现是Netty中的OrderedMemoryAwareThreadPoolExecutor原因。相关代码如下：

MemoryAwareThreadPoolExecutor executor = new OrderedMemoryAwareThreadPoolExecutor(threadNums, maxChannelMemorySize,
                                                                                                        maxTotalMemorySize, keepAliveTime,
                                                                                                        TimeUnit.SECONDS);
ExecutionHandler executionHandler = new ExecutionHandler(executor);
public ChannelPipeline getPipeline() throws Exception
{
        ChannelPipeline pipeline = pipeline();
        pipeline.addLast("decoder", new AuthDecoder());
        pipeline.addLast("encoder", new AuthEncoder());
        pipeline.addLast("executor", executionHandler);
        pipeline.addLast("handler", new AuthServerHandler(commandFactory));
        return pipeline;
}

先介�l�下背景知识�Q�再来分析问题�?/p>
大家都知道，Netty是一个基于事件的NIO框架。在Netty中，一切网�l�动作都是通过事�g来传播�ƈ处理的，例如�Q�Channel诅R��Channel写等�{�。回忆下Netty的流处理模型�Q?/p>
Boss�U�程�Q�一个服务器端口对于一个）---接收到客��L��q�接---生成Channel---交给Work�U�程池（多个Work�U�程�Q�来处理�?/strong>

具体的Work�U�程---��d��已接收的数据到ChannelBuffer---触发ChannelPipeline中的ChannelHandler链来处理业务逻辑�?/strong>

注意�Q�执行ChannelHandler铄��整个�q�程是同步的�Q�如果业务逻辑的耗时较长�Q�会��导致Work�U�程长时间被占用得不到释放，从而媄响了整个服务器的�q�发处理能力�?/p>
所以，��Z��提高�q�发敎ͼ�一般通过ExecutionHandler�U�程池来异步处理ChannelHandler链（worker�U�程在经�q�ExecutionHandler后就�l�束了，它会被ChannelFactory的worker�U�程池所回收�Q�。在Netty中，只需要增加一行代码：
public ChannelPipeline getPipeline() { return Channels.pipeline( new DatabaseGatewayProtocolEncoder(), new DatabaseGatewayProtocolDecoder(), executionHandler, // Must be shared new DatabaseQueryingHandler());
}
例如�Q?/pre>
ExecutionHandler executionHandler = new ExecutionHandler( new OrderedMemoryAwareThreadPoolExecutor(16, 1048576, 1048576))

对于ExecutionHandler需要的�U�程池模型，Netty提供了两�U�可选：
1�Q?MemoryAwareThreadPoolExecutor 通过对线�E�池内存的��用控�Ӟ��可控制Executor中待处理��d��的上限（��过上限�Ӟ��后箋�q�来的�Q务将被阻塞）�Q��ƈ可控制单个Channel待处理�Q务的上限�Q�防止内存溢出错误；
2�Q?OrderedMemoryAwareThreadPoolExecutor �?MemoryAwareThreadPoolExecutor 的子�c�R��除了MemoryAwareThreadPoolExecutor 的功能之外，它还可以保证同一Channel中处理的事�g��的��序性，�q�主要是控制事�g在异步处理模式下可能出现的错误的事�g��序�Q�但它�ƈ不保证同一Channel中的事�g都在一个线�E�中执行�Q�通常也没必要�Q��?
例如�Q?pre>Thread X: --- Channel A (Event A1) --. .-- Channel B (Event B2) --- Channel B (Event B3) ---> \ / X / \ Thread Y: --- Channel B (Event B1) --' '-- Channel A (Event A2) --- Channel A (Event A3) --->

上图表达的意思有几个�Q?
�Q?�Q�对整个�U�程池而言�Q�处理同一个Channel的事�Ӟ��必须是按照顺序来处理的。例如，必须先处理完Channel A (Event A1) �Q�再处理Channel A (Event A2)、Channel A (Event A3)
�Q?�Q�同一个Channel的多个事�Ӟ��会分布到�U�程池的多个�U�程中去处理�?
�Q?�Q�不同Channel的事件可以同时处理（分担到多个线�E�）�Q�互不媄响�?nbsp;
OrderedMemoryAwareThreadPoolExecutor 的这�U�事件处理有序性是有意义的�Q�因为通常情况下，��h��发送端希望服务器能够按照顺序处理自��q��h��Q�特别是需要多�ơ握手的应用层协议。例如：XMPP协议�?

现在回到具体业务上来�Q�我们这里的认证服务也��用了OrderedMemoryAwareThreadPoolExecutor。认证服务的其中一个环节是使用长连接，不断处理来自另外一个服务器的认证请求。通信的数据包都很��，一般都�?00个字节以内。一般情况下�Q�处理这个过�E�很快，所以没有什么问题。但是，�׃��认证服务需要调用第三方的接口，如果�W�三�Ҏ��口出现�g�q�，��导致这个过�E�变慢。一旦一个事件处理不完，�׃��要保持事件处理的有序性，其他事�g��全部堵塞了�Q�而短�q�接之所以没有问题，是因为短�q�接一个Channel��׃��个请求数据包�Q�处理完Channel��关闭了�Q�根本不存在��序的问题，所以在业务层可以迅速收到请求，只是�׃��同样的原因（�W�三�Ҏ��口）�Q�处理时间会比较�ѝ�?
其实�Q�认证过�E�都是独立的��h��数据包（单个帐号�Q�，每个��h��数据包之间是没有��M��关系的，保持�q�样的顺序没有意义！

最后的改进措施�Q?
1、去掉OrderedMemoryAwareThreadPoolExecutor�Q�改用MemoryAwareThreadPoolExecutor�?
2、减��调用第三方接口的超时时��_��让处理线�E�尽早回归线�E�池�?
�Q�友情提�C�：本博文章�Ƣ迎转蝲�Q�但��h��明出处：hankchen�Q?a href="http://www.tkk7.com/hankchen">http://www.tkk7.com/hankchen�Q?/strong>

hankchen 2012-04-08 12:32 发表评论

使用Netty实现通用二进制协议的高效数据传输

hankchen — Sat, 04 Feb 2012 08:33:00 GMT
     摘要: Netty是一个高性能的NIO通信框架�Q�提供异步的、事仉��动的�|�络�~�程模型。��用Netty可以方便用户开发各�U�常用协议的�|�络�E�序。例如：TCP、UDP、HTTP�{�等�?Netty的最新版本是3.2.7�Q�官�|�地址是：http://www.jboss.org/netty 本文的主要目的是��Z��Netty实现一个通用二进制协议的高效数据传输。协议是通用的二�q�制协议�Q�高效�ƈ且扩展性很好�?一个好的协议有两个...  阅读全文

hankchen 2012-02-04 16:33 发表评论

hankchen — Thu, 17 Sep 2009 00:42:00 GMT
     摘要:    本文采用 HttpClient 来模拟站点的��d��发帖回复�Q�介�l?HttpClient 的用法和常见问题的解��x��案�? HttpClient �?Apache Jakarta Common 下的子项目，可以用来提供支持 HTTP 协议的客��L��~�程工具包，模拟��览器的行�ؓ。它提供了很多的�Ҏ��来简化网�l�的讉K��Q�虽然大部分的功能可以��用较底层�?java.net.HttpURLC...  阅读全文

hankchen 2009-09-17 08:42 发表评论

hankchen — Tue, 15 Sep 2009 04:36:00 GMT
    本文实现了一�?font style="background-color: #cce8cf">��单的多线�E�HTTP服务�?/font>。接收HTTP GET��h��Q�然后返回简单的文本信息�?br />     后期会丰富这个服务器�Q�实现更多的功能�Q�例如：
1. 支持POST方式提交
2. 支持二进制的��传�?br /> 3. 支持�U�程池处�?br /> 4. 采用NIO非阻塞�Ş式实�?br />
1package thread;
2
3import java.io.BufferedReader;
4import java.io.IOException;
5import java.io.InputStream;
6import java.io.InputStreamReader;
7import java.io.OutputStream;
8import java.io.PrintWriter;
9import java.net.ServerSocket;
10import java.net.Socket;
11
12/** *//**
13 *  Copyright (C): 2009
14 *  @author 陈新�?br /> 15 *  Jun 27, 2009 2:39:39 PM
16 */
17
18/** *//**
19 * Threaded Network Server
20 * �q�是一个简单的多线�E�HTTP服务�?br /> 21 * 采用多线�E�来处理高�ƈ发的用户��h��
22 */
23public class HttpServer {
24    public static void main(String [] args){
25        HttpServer hs=new HttpServer();
26        int i=1, port=8888;
27        Socket received=null;
28        try{
29            ServerSocket server=new ServerSocket(port);
30            while(true){
31                received=server.accept();
32                if(received!=null){
33                    hs.new ProcessThread(i++,received).start();
34                }
35            }
36        }catch(IOException e){
37            e.printStackTrace();
38        }
39    }
40
41    class ProcessThread extends Thread
42    {
43        private int thread_number=0;
44        private Socket received=null;
45
46        public ProcessThread(int thread_number, Socket received) {
47            super();
48            this.thread_number = thread_number;
49            this.received = received;
50        }
51
52        public void run() {
53            System.out.println("�W?/span>"+thread_number+"个处理线�E�启动了……");
54            if(received!=null){
55                try{
56                    System.out.println("�q�接用户的地址�Q?/span>"+received.getInetAddress().getHostAddress());
57                    InputStream in=received.getInputStream();
58                    BufferedReader d= new BufferedReader(new InputStreamReader(in));
59                    String result=d.readLine();
60                    while(result!=null && !result.equals("")){
61                        System.out.println(result);
62                        result=d.readLine();
63                    }
64                    OutputStream out=received.getOutputStream();
65                    PrintWriter outstream=new PrintWriter(out,true);
66                    String msg1="
收到�Q?lt;/h1>";
67                    outstream.println("HTTP/1.0 200 OK");//�q�回应答消息,�q�结束应�{?/span>
68                    outstream.println("Content-Type:text/html;charset=GBK");
69                    outstream.println();// �Ҏ�� HTTP 协议, �I��结束头信息
70                    outstream.println(msg1);
71                    outstream.flush();
72                    outstream.close();
73                }catch(IOException e){
74                    e.printStackTrace();
75                }finally{
76                    try{
77                        received.close();
78                    }catch(IOException e){
79                        e.printStackTrace();
80                    }
81                }
82            }
83        }
84    }
85}
86

    �q�行�q�个�E�序启动服务器，然后在浏览器地址栏输入：http://localhost:8888/�Q�即可看到返回结果�?br />
    友情提醒�Q�本博文章欢�q��{载，但请注明出处�Q?a href="http://www.tkk7.com/hankchen">陈新�?/a>

hankchen 2009-09-15 12:36 发表评论