可用Jamon来监��你的Spring应用,sql执行效率(�?

Wed, 28 Jul 2010 08:06:00 GMT

/**
*作者：张荣�?ahuaxuan)
*2007-8-15
*转蝲��h��明出处及作�?
*/

前两天在看Spring内置的拦截器的时候，发现了一个之前没有注意的�c�：org.springframework.aop.interceptor.JamonPerformanceMonitorInterceptor�Q�好奇心促��我上�|�查了一下这个jamon。大概看了一下之后发现这个玩意还真挺好用的而且挺重要的�Q�而且现在国内对它的介�l�也很少�Q�所以写了一��文章和大家分��n�?

一�Q�Jamon��介：
Jamon的全名是�Q�Java Application Monitor。它是一个小巧的�Q�免费的�Q�高性能的，�U�程安全的性能监测工具。它可以用来��定�pȝ��的性能瓉��Q�也可以用来监视用户和应用程序之间的交互情况�?Jamon主要是用来检��jee的应用程序。它最新的版本�?.1�Q�可以用�?.4以上的jdk上�?

二，��jamon导入��C��的应用程序中�?
首先下蝲jamon的开发包�Q�见我的附�g�Q�同时你也可以去Sourceforge上自�׃��载。Sourceforge的下载地址为http://jamonapi.sourceforge.net。解压之后可以得��C��个jar包和一个war包。jar包是自己会用到的�Q�而war包是一个例子（不要��看�q�个例子�Q�待会也要把它导入到��目中）。把war包之间丢到服务器上，讉K��Q�localhost:8080/jamon��可以看到这个例子了�Q�这个例子是一个简单的性能监控�pȝ��?

接着把例子中的所有的包都导入到项目中�Q��ƈ把war包中的jsp和images�q�有css都考到��目中，比如新徏一个目录叫monitor�Q�它和WEB-INF是同�U�目录）�?

三，正确配置自己的应�?
我们在性能监测的时候最监测的就是页面的讉K��率和�c�M��Ҏ��的访问率。所以在�q�一部分主要讲解一下如何监��自��q��面和类中方法的讉K��?

1�Q?��自��q��面讉K��?
首先我们需要在web.xml中添加一个filter�Q�这个filter��是用来判断哪些��面需要被监视的，如下所�C�：

Java代码

JAMonFilter
class>com.easywebwork.filter.EasyPageMonFilterclass>
JAMonFilter
/*


JAMonFilter
com.easywebwork.filter.EasyPageMonFilter


JAMonFilter
/*

接下来我们看看这个filter的写法：

Java代码

/**
* @author 张荣华（ahuaxuan�Q?
*
* @since 2007-8-13
*/
public class PageMonFilter extends JAMonFilter{
private static final long serialVersionUID = 5746197114960908454L;
public void doFilter(ServletRequest request, ServletResponse response, FilterChain filterChain) throws IOException, ServletException {
Monitor allPages = MonitorFactory.start(new MonKeyImp("org.easywebwork.allPages",getURI(request),"ms."));
//�q�里��是我们要监视的所有的��面的配�|?
Monitor monitor = MonitorFactory.start(getURI(request));
//�q�里��是我们要监视的某个��面的配�|?
try {
filterChain.doFilter(request, response);
} finally {
monitor.stop();
allPages.stop();
}
}
protected String getURI(ServletRequest request) {
if (request instanceof HttpServletRequest) {
return ((HttpServletRequest) request).getRequestURI();
} else {
return "Not an HttpServletRequest";
}
}
private FilterConfig filterConfig = null;
}}

/**
* @author 张荣华（ahuaxuan�Q?
*
* @since 2007-8-13
*/
public class PageMonFilter extends JAMonFilter{
private static final long serialVersionUID = 5746197114960908454L;
public void doFilter(ServletRequest request, ServletResponse response, FilterChain filterChain) throws IOException, ServletException {
Monitor allPages = MonitorFactory.start(new MonKeyImp("org.easywebwork.allPages",getURI(request),"ms."));
//�q�里���是我们要监视的所有的��面的配�|?
Monitor monitor = MonitorFactory.start(getURI(request));
//�q�里���是我们要监视的某个��面的配�|?
try {
filterChain.doFilter(request, response);
} finally {
monitor.stop();
allPages.stop();
}
}
protected String getURI(ServletRequest request) {
if (request instanceof HttpServletRequest) {
return ((HttpServletRequest) request).getRequestURI();
} 	else {
return "Not an HttpServletRequest";
}
}
private FilterConfig filterConfig = null;
}}

�q�个�cȝ��上去很简单，其实也挺��单的�Q�就是得到uri�Q�然后把它注册到MonitorFactory�c�M��。这样只要我们去讉K��刚才创徏的monitor目录下的jsp��可以看到性能监测��面了�?

2�Q?�Q�接下来我们看看在��用spring的情况下如何监测一个bean的方法调用。Spring也提供了对Jamon的支�?spring支持的东西还真多�?�Q�也��是文章开头提出的那个拦截器，��Z��l�我们的bean加上拦截器，我们在spring的applicationcontext配置文�g中加入如下语句：

Java代码

class="org.springframework.aop.framework.autoproxy.BeanNameAutoProxyCreator">
"beanNames">
userService
"interceptorNames">
jamonInterceptor
"jamonInterceptor" class="org.springframework.aop.interceptor.JamonPerformanceMonitorInterceptor">




userService




jamonInterceptor

上面�q�个是典型的spring的aop的配�|�，如果对spring的aop配置不了解的可以�ȝ��一下spring中文文档�Q�当然如果不想了解的话即使直接把�q�段配置拷到自己的项目中也是可以直接使用的�?

�q�有一个步骤就是在你的log4j.properties中加入这句代码：

Java代码

log4j.logger.org.springframework.aop.interceptor.JamonPerformanceMonitorInterceptor = TRACE

log4j.logger.org.springframework.aop.interceptor.JamonPerformanceMonitorInterceptor = TRACE

如果没有�q�一行，那么�q�个拦截器是不会把方法调用的信息向MonitorFactory注册的�?

只需要这些步骤，userservice中的�Ҏ��在调用的时候就可以被拦截，然后��其注册到MonitorFactory中去了�?

所有的配置完成之后我们来看一下效果吧:
http://www.javaeye.com/topics/download/b2bac96e-6c18-4340-b7e0-f84c7bb6adca从这个图上我们可以看刎ͼ�所有页面被讉K��的次敎ͼ�UserService中的getAllUsers被调用的�ơ数�Q�最双��的是讉K��旉��。这只是整个囄��一部分�Q�当然这个页面中也包括每一个页面被讉K��的次数和�W�一�ơ访问的旉��{�等。下载附件运行，��可以看到所有的��面了�?

三，�ȝ��
�Ҏ��以上的步骤，我们��可以监��我们的�E�序了，应用�E�序中哪些页面被讉K��的多�Q�哪些页面被讉K��的少�Q�哪些方法被讉K��的多�Q�哪些方法被讉K��的少�Q�以及访问高峰期集中在什么时间等�{�，有了�q�些参数�Q�我们更可以有针�Ҏ��的对应用程序进行优化了�Q�比如说某个��面讉K��比较频繁�Q�我��可以用ehcache或oscache�l�这个页面做一个缓存。如果某个方法的讉K��比较频繁那就看看�q�个�Ҏ��能否�q�一步优化，是需要异步，�q�是需要缓存，�q�是需要其他等�{�，��M��有了jamon可以�l�我们带来更多的便捷�Q�既可以让我们知道我们的客户的行为，也可以让我们知道我们开发的�E�序�?#8220;能力”�?

其实本文提供的只是对��面和方法调用的监控�Q�但是jamon可以提供更多功能�Q�比如说sql语句的监控等�{�，�q�就需要我们共同去发掘了�?

附�g中包括了一个easywebwork的例子，我把jamon导入到这个例子工�E�中去，大家可以直接下蝲�q�行观看效果。Easywebwork是一个旨在减��webwork2.2.x�p�d��的xml配置文�g的项目，
如果对这个主题感兴趣请到
http://www.javaeye.com/topic/91614
http://www.javaeye.com/topic/93814
参加讨论�?

之前有一��文章讲到如何��用jamon来监控请求以及方法得调用(原文地址见：[url]http://www.javaeye.com/post/354575 [/url])�Q�本文属于其姊妹��，使用jamon监控�pȝ��的sql调用及其调用效率�?

需求：
1我们知道在��用hibernate得时候，我们可以打开show sql选项�Q�可以直接查看sql语句调用的情况，那么当我们��用其他持久技术的时候我们也需要这个功能怎么办呢�Q�没有关�p�，jamon能够帮我们做到�?

2 很多时候，不同的程序员会写��Z��同的性能的sql�Q�有时候可能会不小心或者因��Z��知道而写出性能很差的sql�Q�我自己曄��发生过�q�种事情�Q�在500w条数据的表里使用了一个limit来分��，到后面，执行一条sql都需要几分钟�Q�诸如此�cȝ��时候可能大安��有碰到过�Q�如果能有监控sql性能的工具嵌在应用里该多好，当然有jamon��可以帮我们做到�?

对于jamon来说�Q�每一个query的执行之后的�l�计�l�果都会被保存下来，�q�些概要�l�计都以MonProxy-SQL开头。这些统计中包括查询执行的时��_��有比如��^均时��_��执行��L��_��最��执行时��_��最大执行时��_��q�些东西��N��不是我们正想要的吗�?

那么让我们开始吧�Q�我们知道，�q�些query执行的统计应该是在connection中被�l�计的，也就是说我们要代理一般的connection�Q�而connection又是由datasource产生的，所以我们可以代理datasource�Q�说�q�就�q�Ӏ?

一个datasource接口中关于connection的方法只有两个：

Java代码

/**
*
Attempts to establish a connection with the data source that
* this DataSource object represents.
*
* @return a connection to the data source
* @exception SQLException if a database access error occurs
*/
Connection getConnection() throws SQLException;
/**
*
Attempts to establish a connection with the data source that
* this DataSource object represents.
*
* @param username the database user on whose behalf the connection is
* being made
* @param password the user's password
* @return a connection to the data source
* @exception SQLException if a database access error occurs
* @since 1.4
*/
Connection getConnection(String username, String password)
throws SQLException;

/**
* Attempts to establish a connection with the data source that
* this DataSource object represents.
*
* @return  a connection to the data source
* @exception SQLException if a database access error occurs
*/
Connection getConnection() throws SQLException;
/**
* 
Attempts to establish a connection with the data source that
* this DataSource object represents.
*
* @param username the database user on whose behalf the connection is
*  being made
* @param password the user's password
* @return  a connection to the data source
* @exception SQLException if a database access error occurs
* @since 1.4
*/
Connection getConnection(String username, String password)
throws SQLException;

也就是说我们只要override�q�两个方法即可�?
�Ҏ��q�个思�\我写了以下代码：

Java代码

/**
* @author ahuaxuan(aaron zhang)
* @since 2008-2-25
* @version $Id$
*/
public class MonitorDataSource implements DataSource {
public DataSource realDataSource;
public void setRealDataSource(DataSource realDataSource) {
this.realDataSource = realDataSource;
}
public DataSource getRealDataSource() {
return realDataSource;
}
public Connection getConnection() throws SQLException {
//表示由jamon来代理realDataSource�q�回的Connection
return MonProxyFactory.monitor(realDataSource.getConnection());
}
public Connection getConnection(String username, String password)
throws SQLException {
//表示由jamon来代理realDataSource�q�回的Connection
return MonProxyFactory.monitor(realDataSource.getConnection(username,
password));
}
}

/**
* @author ahuaxuan(aaron zhang)
* @since 2008-2-25
* @version $Id$
*/
public class MonitorDataSource implements DataSource {
public DataSource realDataSource;
public void setRealDataSource(DataSource realDataSource) {
this.realDataSource = realDataSource;
}
public DataSource getRealDataSource() {
return realDataSource;
}
public Connection getConnection() throws SQLException {
//表示由jamon来代理realDataSource�q�回的Connection
return MonProxyFactory.monitor(realDataSource.getConnection());
}
public Connection getConnection(String username, String password)
throws SQLException {
//表示由jamon来代理realDataSource�q�回的Connection
return MonProxyFactory.monitor(realDataSource.getConnection(username,
password));
}
}

昄��q�个一个代理模式。接下来��是生成�q�个代理�c?我是在spring中注册了�q�么一个类�Q?

Java代码

"writeMonitorDataSource" class="org.ahuaxuan.MonitorDataSource" destroy-method="close">
"realDataSource" ref="writeDataSource"/>

writeMonitorDataSource 所依赖的writeDataSource��是我们真正配置的datasource�Q�比如：

Java代码

"writeDataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
"driverClassName">
${jdbc.driverClassName}
"url">
${jdbc.url}
"username">
${jdbc.username}
"password">
${jdbc.password}
"maxActive">
${jdbc.maxActive}
"maxIdle">
${jdbc.maxIdle}
"maxWait">
${jdbc.maxWait}



${jdbc.driverClassName}


${jdbc.url}


${jdbc.username}


${jdbc.password}


${jdbc.maxActive}


${jdbc.maxIdle}


${jdbc.maxWait}

好了�Q�那么在使用datasource的时候，我们应该用哪个呢�Q�当然是writeMonitorDataSource�q�个里，我们可以把它注入�l�jdbcTemplate�Q�或者sessionfactory�Q�或者其他需要用到datasource的地斏V�?

到这里，��׃��切准备完毕了�Q�我们可以看看我们sql语句的执行效率了(�q�个��面的地址为sql.jsp)�Q?
见图1
当然要我们的应用能够昄��q�个��面�Q�我们需要把jamon的一�l�页面拷到我们的应用中，�q�一�l�页面包含在我提供下载的包中�Q�最新的jamon版本�?.7�?

我们可以看到id�?53的那条sql语句执行�?8ms�Q�我要去看看�q�条sql语句是不是有点什么问题或者是否有优化的可能性�?

当然�Q�刚才说到每一条sql语句都是有统计��^均时��_��最大最��执行时间等�{�，没错�Q�在另外一个页面jamonadmin.jsp上就包含�q�些内容
见图2

上面的图片代表hits表示执行�ơ数�Q�avg表示sql执行的��^均时��_��后面的min和max表示sql执行的最��耗时和最大耗时。从�q�里我们能够更直观的看到我们每条sql语句执行的情��c��很有用的一个功能�?

而且在上面那两个��面上，我们�q�可以选择把sql执行的结果导出来�Q�可以导成xml或excel格式�?

�ȝ��Q��用jamon来监控我们的sql语句我觉得很有��用意义，而且使用jamon�Ҏ��们的应用来说完全是松耦合的，�Ҏ��不需要更�Ҏ��们的业务逻辑代码�Q�完全是可插拔的�Q�我们也可以开发时使用jamon�Q�部�|�时拔掉jamon。有了它能够使一些程序员能够更多一点的��x��自己所写的sql的效率，当然如果之前开发的时候没有��用jamon也没有关�p�，即��上线后也可以查看一下sql语句是否有问题，比如哪些sql语句执行得比较频�J�，是否存在�l�其做缓存得可能性等�{�。��M��使用jamon在应用程序中来监控我们得sql语句��h��很强得实用意义，

再次�ȝ��Q�jamon�Q�很好，很强大�?

不高�?/a> 2010-07-28 16:06 发表评论

Tue, 11 Aug 2009 09:47:00 GMT

<c3p0-config>

3

30

1000

false

Test

false

100

null

60

3

60

15

100

3

root

password

select id from test where id=1

300

false

true

root

false

    con_test
    30000
    30
    10
    30
    25
    10
    0

200

300

c3p0-config>

不高�?/a> 2009-08-11 17:47 发表评论

Communications link failure due to underlying exception

Tue, 11 Aug 2009 09:27:00 GMT

最�q�的一个项目在Hibernate使用C3P0的连接池�Q�数据库为Mysql。开发测试没有问题，在运行中每个一�D�长的空闲时间就出现异常:

org.hibernate.exception.JDBCConnectionException: could not execute query
at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:74)
at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:43)
.......
Caused by: com.mysql.jdbc.exceptions.MySQLNonTransientConnectionException: No operations allowed after connection closed.Connection was implicitly closed due to underlying exception/error:
** BEGIN NESTED EXCEPTION **
com.mysql.jdbc.CommunicationsException
MESSAGE: Communications link failure due to underlying exception:
** BEGIN NESTED EXCEPTION **
java.net.SocketException
MESSAGE: Broken pipe
STACKTRACE:
java.net.SocketException: Broken pipe
at java.net.SocketOutputStream.socketWrite0(Native Method)
......
** END NESTED EXCEPTION **

查看了Mysql的文档，以及Connector/J的文档以及在�U�说明发玎ͼ�出现�q�种异常的原因是�Q?/p>

Mysql服务器默认的“wait_timeout”�?��时�Q�也��是说一个connection�I�闲��过8个小�Ӟ��Mysql��自动断开该connection。这��是问题的所在，在C3P0 pools中的connections如果�I�闲��过8��时�Q�Mysql��其断开�Q�而C3P0�q�不知道该connection已经失效�Q�如果这时有Client��h��connection�Q�C3P0��该失效的Connection提供�l�Client�Q�将会造成上面的异常�?/p>

解决的方法有3�U�：

增加wait_timeout的时间�?
减少Connection pools中connection的lifetime�?
��试Connection pools中connection的有效性�?

当然最好的办法是同时综合��用上�q?�U�方法，下面��DBCP和C3P0分别做一说明�Q�假设wait_timeout为默认的8��时

DBCP增加以下配置信息:

//set to 'SELECT 1'

validationQuery = "SELECT 1"

//set to 'true'

testWhileIdle = "true"

//some positive integer

timeBetweenEvictionRunsMillis = 3600000

//set to something smaller than 'wait_timeout'

minEvictableIdleTimeMillis = 18000000

//if you don't mind a hit for every getConnection(), set to "true"

testOnBorrow = "true"

C3P0增加以下配置信息:

//获取connnection时测试是否有�?/span>

testConnectionOnCheckin = true

//自动��试的table名称

automaticTestTable=C3P0TestTable

//set to something much less than wait_timeout, prevents connections from going stale

idleConnectionTestPeriod = 18000

//set to something slightly less than wait_timeout, preventing 'stale' connections from being handed out

maxIdleTime = 25000

//if you can take the performance 'hit', set to "true"

testConnectionOnCheckout = true

在配�|�文件中要写�?nbsp; 1 格式

不能写成 �q�样

1

c3p0不能完全识别!!

不高�?/a> 2009-08-11 17:27 发表评论

亚洲毛片基地4455ww,亚洲日韩一页精品发布,亚洲六月丁香六月婷婷色伊人

可用Jamon来监���你的Spring应用,sql执行效率(�?

Communications link failure due to underlying exception

可用Jamon来监��你的Spring应用,sql执行效率(�?