<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    posts - 110, comments - 101, trackbacks - 0, articles - 7
      BlogJava :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理

    2012年12月13日

    轉(zhuǎn)自:http://blog.csdn.net/jeffreynicole/article/details/46953059 


    一個性能較好的web服務(wù)器jvm參數(shù)配置:


    1. -server //服務(wù)器模式  
    2. -Xmx2g //JVM最大允許分配的堆內(nèi)存,按需分配  
    3. -Xms2g //JVM初始分配的堆內(nèi)存,一般和Xmx配置成一樣以避免每次gc后JVM重新分配內(nèi)存。  
    4. -Xmn256m //年輕代內(nèi)存大小,整個JVM內(nèi)存=年輕代 + 年老代 + 持久代  
    5. -XX:PermSize=128m //持久代內(nèi)存大小  
    6. -Xss256k //設(shè)置每個線程的堆棧大小  
    7. -XX:+DisableExplicitGC //忽略手動調(diào)用GC, System.gc()的調(diào)用就會變成一個空調(diào)用,完全不觸發(fā)GC  
    8. -XX:+UseConcMarkSweepGC //并發(fā)標(biāo)記清除(CMS)收集器  
    9. -XX:+CMSParallelRemarkEnabled //降低標(biāo)記停頓  
    10. -XX:+UseCMSCompactAtFullCollection //在FULL GC的時候?qū)δ昀洗膲嚎s  
    11. -XX:LargePageSizeInBytes=128m //內(nèi)存頁的大小  
    12. -XX:+UseFastAccessorMethods //原始類型的快速優(yōu)化  
    13. -XX:+UseCMSInitiatingOccupancyOnly //使用手動定義初始化定義開始CMS收集  
    14. -XX:CMSInitiatingOccupancyFraction=70 //使用cms作為垃圾回收使用70%后開始CMS收集  


    說明:

    -Xmn和-Xmx之比大概是1:9,如果把新生代內(nèi)存設(shè)置得太大會導(dǎo)致young gc時間較長

    一個好的Web系統(tǒng)應(yīng)該是每次http請求申請內(nèi)存都能在young gc回收掉,full gc永不發(fā)生,當(dāng)然這是最理想的情況

    xmn的值應(yīng)該是保證夠用(夠http并發(fā)請求之用)的前提下設(shè)置得盡量小

    web服務(wù)器和游戲服務(wù)器的配置思路不太一樣,最重要的區(qū)別是對游戲服務(wù)器的xmn即年輕代設(shè)置比較大,和Xmx大概1:3的關(guān)系,因?yàn)橛螒蚍?wù)器一般是長連接,在保持一定的并發(fā)量后需要較大的年輕代堆內(nèi)存,如果設(shè)置得大小了會經(jīng)常引發(fā)young gc


    • 對JVM的簡介


    由上圖可以看出jvm堆內(nèi)存的分類情況,JVM內(nèi)存被分成多個獨(dú)立的部分。
    廣泛地說,JVM堆內(nèi)存被分為兩部分——年輕代(Young Generation)和老年代(Old Generation)。


    • 年輕代
    年輕代是所有新對象產(chǎn)生的地方。當(dāng)年輕代內(nèi)存空間被用完時,就會觸發(fā)垃圾回收。這個垃圾回收叫做Minor GC。年輕代被分為3個部分——Enden區(qū)和兩個Survivor區(qū)。


    年輕代空間的要點(diǎn):
    大多數(shù)新建的對象都位于Eden區(qū)。
    當(dāng)Eden區(qū)被對象填滿時,就會執(zhí)行Minor GC。并把所有存活下來的對象轉(zhuǎn)移到其中一個survivor區(qū)。
    Minor GC同樣會檢查存活下來的對象,并把它們轉(zhuǎn)移到另一個survivor區(qū)。這樣在一段時間內(nèi),總會有一個空的survivor區(qū)。
    經(jīng)過多次GC周期后,仍然存活下來的對象會被轉(zhuǎn)移到年老代內(nèi)存空間。通常這是在年輕代有資格提升到年老代前通過設(shè)定年齡閾值來完成的。

    • 年老代
    年老代內(nèi)存里包含了長期存活的對象和經(jīng)過多次Minor GC后依然存活下來的對象。通常會在老年代內(nèi)存被占滿時進(jìn)行垃圾回收。老年代的垃圾收集叫做Major GC。Major GC會花費(fèi)更多的時間。


    Stop the World事件
    所有的垃圾收集都是“Stop the World”事件,因?yàn)樗械膽?yīng)用線程都會停下來直到操作完成(所以叫“Stop the World”)。

    因?yàn)槟贻p代里的對象都是一些臨時(short-lived )對象,執(zhí)行Minor GC非常快,所以應(yīng)用不會受到(“Stop the World”)影響。

    由于Major GC會檢查所有存活的對象,因此會花費(fèi)更長的時間。應(yīng)該盡量減少M(fèi)ajor GC。因?yàn)镸ajor GC會在垃圾回收期間讓你的應(yīng)用反應(yīng)遲鈍,所以如果你有一個需要快速響應(yīng)的應(yīng)用發(fā)生多次Major GC,你會看到超時錯誤。

    垃圾回收時間取決于垃圾回收策略。這就是為什么有必要去監(jiān)控垃圾收集和對垃圾收集進(jìn)行調(diào)優(yōu)。從而避免要求快速響應(yīng)的應(yīng)用出現(xiàn)超時錯誤。


    • 永久代
    永久代或者“Perm Gen”包含了JVM需要的應(yīng)用元數(shù)據(jù),這些元數(shù)據(jù)描述了在應(yīng)用里使用的類和方法。注意,永久代不是Java堆內(nèi)存的一部分。
    永久代存放JVM運(yùn)行時使用的類。永久代同樣包含了Java SE庫的類和方法。永久代的對象在full GC時進(jìn)行垃圾收集。


    方法區(qū)
    方法區(qū)是永久代空間的一部分,并用來存儲類型信息(運(yùn)行時常量和靜態(tài)變量)和方法代碼和構(gòu)造函數(shù)代碼。


    內(nèi)存池
    如果JVM實(shí)現(xiàn)支持,JVM內(nèi)存管理會為創(chuàng)建內(nèi)存池,用來為不變對象創(chuàng)建對象池。字符串池就是內(nèi)存池類型的一個很好的例子。內(nèi)存池可以屬于堆或者永久代,這取決于JVM內(nèi)存管理的實(shí)現(xiàn)。


    運(yùn)行時常量池
    運(yùn)行時常量池是每個類常量池的運(yùn)行時代表。它包含了類的運(yùn)行時常量和靜態(tài)方法。運(yùn)行時常量池是方法區(qū)的一部分。


    Java棧內(nèi)存
    Java棧內(nèi)存用于運(yùn)行線程。它們包含了方法里的臨時數(shù)據(jù)、堆里其它對象引用的特定數(shù)據(jù)。

    Java垃圾回收
    Java垃圾回收會找出沒用的對象,把它從內(nèi)存中移除并釋放出內(nèi)存給以后創(chuàng)建的對象使用。Java程序語言中的一個最大優(yōu)點(diǎn)是自動垃圾回收,不像其他的程序語言那樣需要手動分配和釋放內(nèi)存,比如C語言。

    垃圾收集器是一個后臺運(yùn)行程序。它管理著內(nèi)存中的所有對象并找出沒被引用的對象。所有的這些未引用的對象都會被刪除,回收它們的空間并分配給其他對象。

    一個基本的垃圾回收過程涉及三個步驟:
    標(biāo)記:這是第一步。在這一步,垃圾收集器會找出哪些對象正在使用和哪些對象不在使用。
    正常清除:垃圾收集器清會除不在使用的對象,回收它們的空間分配給其他對象。
    壓縮清除:為了提升性能,壓縮清除會在刪除沒用的對象后,把所有存活的對象移到一起。這樣可以提高分配新對象的效率。


    簡單標(biāo)記和清除方法存在兩個問題:
    效率很低。因?yàn)榇蠖鄶?shù)新建對象都會成為“沒用對象”。
    經(jīng)過多次垃圾回收周期的對象很有可能在以后的周期也會存活下來。
    上面簡單清除方法的問題在于Java垃圾收集的分代回收的,而且在堆內(nèi)存里有年輕代和年老代兩個區(qū)域。


    • Java垃圾回收類型
    這里有五種可以在應(yīng)用里使用的垃圾回收類型。

    僅需要使用JVM開關(guān)就可以在我們的應(yīng)用里啟用垃圾回收策略。

    Serial GC(-XX:+UseSerialGC):Serial GC使用簡單的標(biāo)記、清除、壓縮方法對年輕代和年老代進(jìn)行垃圾回收,即Minor GC和Major GC。Serial GC在client模式(客戶端模式)很有用,比如在簡單的獨(dú)立應(yīng)用和CPU配置較低的機(jī)器。這個模式對占有內(nèi)存較少的應(yīng)用很管用。
    Parallel GC(-XX:+UseParallelGC):除了會產(chǎn)生N個線程來進(jìn)行年輕代的垃圾收集外,Parallel GC和Serial GC幾乎一樣。這里的N是系統(tǒng)CPU的核數(shù)。我們可以使用 -XX:ParallelGCThreads=n 這個JVM選項(xiàng)來控制線程數(shù)量。并行垃圾收集器也叫throughput收集器。因?yàn)樗褂昧硕郈PU加快垃圾回收性能。Parallel GC在進(jìn)行年老代垃圾收集時使用單線程。
    Parallel Old GC(-XX:+UseParallelOldGC):和Parallel GC一樣。不同之處,Parallel Old GC在年輕代垃圾收集和年老代垃圾回收時都使用多線程收集。
    并發(fā)標(biāo)記清除(CMS)收集器(-XX:+UseConcMarkSweepGC):CMS收集器也被稱為短暫停頓并發(fā)收集器。它是對年老代進(jìn)行垃圾收集的。CMS收集器通過多線程并發(fā)進(jìn)行垃圾回收,盡量減少垃圾收集造成的停頓。CMS收集器對年輕代進(jìn)行垃圾回收使用的算法和Parallel收集器一樣。這個垃圾收集器適用于不能忍受長時間停頓要求快速響應(yīng)的應(yīng)用。可使用 -XX:ParallelCMSThreads=n JVM選項(xiàng)來限制CMS收集器的線程數(shù)量。
    G1垃圾收集器(-XX:+UseG1GC) G1(Garbage First):垃圾收集器是在Java 7后才可以使用的特性,它的長遠(yuǎn)目標(biāo)時代替CMS收集器。G1收集器是一個并行的、并發(fā)的和增量式壓縮短暫停頓的垃圾收集器。G1收集器和其他的收集器運(yùn)行方式不一樣,不區(qū)分年輕代和年老代空間。它把堆空間劃分為多個大小相等的區(qū)域。當(dāng)進(jìn)行垃圾收集時,它會優(yōu)先收集存活對象較少的區(qū)域,因此叫“Garbage First”。

    posted @ 2015-07-19 22:57 云云 閱讀(1213) | 評論 (0)編輯 收藏

    posted @ 2014-09-28 23:45 云云| 編輯 收藏

         摘要: class文件簡介及加載     Java編譯器編譯好Java文件之后,產(chǎn)生.class 文件在磁盤中。這種class文件是二進(jìn)制文件,內(nèi)容是只有JVM虛擬機(jī)能夠識別的機(jī)器碼。JVM虛擬機(jī)讀取字節(jié)碼文件,取出二進(jìn)制數(shù)據(jù),加載到內(nèi)存中,解析.class 文件內(nèi)的信息,生成對應(yīng)的 Class對象:     &nb...  閱讀全文

    posted @ 2014-09-28 23:44 云云| 編輯 收藏

     
    package com.qiyi.appstore.util;
    import java.lang.reflect.Field;
    import java.lang.reflect.InvocationTargetException;
    import org.apache.commons.beanutils.BeanUtils;
    import org.apache.commons.lang.StringUtils;
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    import com.qiyi.appstore.exception.AppStoreException;
    import com.qiyi.cloud.user.ApiCode;
    public class XssUtils {
    private static final Logger logger=LoggerFactory.getLogger(XssUtils.class);
    public static String getSafeStringXSS(String s){
          if (StringUtils.isBlank(s)) {  
              return s;  
          }  
          StringBuilder sb = new StringBuilder(s.length() + 16);  
          for (int i = 0; i < s.length(); i++) {  
              char c = s.charAt(i);  
              switch (c) {  
              case '<':  
                  sb.append("&lt;");  
                  break; 
              case '>':  
                  sb.append("&gt;");  
                  break;  
              case '\'':  
                  sb.append("&prime;");// &acute;");  
                  break;  
              case '′':  
                  sb.append("&prime;");// &acute;");  
                  break;  
              case '\"':  
                  sb.append("&quot;");  
                  break;  
              case '"':  
                  sb.append("&quot;");  
                  break;  
              case '&':  
                  sb.append("&");  
                  break;  
              case '#':  
                  sb.append("#");  
                  break;  
              case '\\':  
                  sb.append('¥');  
                  break; 
              case '=':  
                  sb.append("=");  
                  break;
              default:  
                  sb.append(c);  
                  break;  
              }  
          }  
          return sb.toString(); 
      }
    public static <T> void getXssSaftBean(Class<?> clz,T bean) throws IllegalAccessException, InvocationTargetException, NoSuchMethodException{
    String classname = clz.getSimpleName();
    logger.info("map target class name is {} .",classname);
    Field[] fields = clz.getDeclaredFields();
    for(Field field : fields){
    Class<?> type = field.getType();
    if(type.equals(String.class)){
    String fieldname = field.getName();
    String value = BeanUtils.getProperty(bean, fieldname);
    if(StringUtils.isNotBlank(value)){
    BeanUtils.setProperty(bean, fieldname, getSafeStringXSS(value));
    }
    }
    }
    }
    }

    posted @ 2014-09-28 13:49 云云 閱讀(734) | 評論 (0)編輯 收藏

    提升tomcat 性能 apr擴(kuò)展lib
    使用apr類庫 可以讓tomcat的性能提升到3到4倍  
    目前項(xiàng)目中都使用這樣的配置
    <Connector port="8080" protocol="org.apache.coyote.http11.Http11AprProtocol" URIEncoding="UTF-8"
                   enableLookups="false"
                   acceptCount="300"
                   connectionTimeout="20000"
                   disableUploadTimeout="true" maxThreads="1000" maxSpareThreads="50" minSpareThreads="25"
                   redirectPort="8443" />


    catalia.sh 
    CATALINA_OPTS="$CATALINA_OPTS -Djava.library.path=/usr/local/apr/lib"

    posted @ 2014-01-16 14:50 云云 閱讀(921) | 評論 (0)編輯 收藏

         摘要: public static boolean acquireLock(String lock) {    // 1. 通過SETNX試圖獲取一個lock    boolean success = false;    Jedis jedis = pool.getResource();...  閱讀全文

    posted @ 2014-01-15 19:00 云云 閱讀(13411) | 評論 (1)編輯 收藏

    對eclipse的默認(rèn)配置很不爽,黑色字體白色底好刺眼,而且字體習(xí)慣用Courier New
    改變背景顏色:
    windows->Preferences->General->Editor->Text Editors
    右邊選擇Appearance color options 
    選Background color 選擇背景顏色
    個人比較舒服的豆沙綠色和黑色背景,但黑色背景還要把其他的字體顏色也改了才好看,而且豆沙綠色跟默認(rèn)的字體顏色搭配的很好。
    豆沙綠色(色調(diào):85   飽和度:123   亮度:205 )
    據(jù)說這個色調(diào)是眼科專家配的, 因其顏色比較柔和,據(jù)說閱讀的時候用這種顏色做背景有利于保護(hù)眼睛, word底色就許多人設(shè)置成豆沙綠色。
    xml的字體調(diào)整: 
    window--preferences--General--appearance--colors and fonts--Basic-- "Text font "  
    然后點(diǎn)change,可以設(shè)置字體,我喜歡Courier New
    Java的字體調(diào)整: 
    window--preferences--General--appearance--colors and fonts--java 

    posted @ 2014-01-09 16:41 云云 閱讀(1816) | 評論 (0)編輯 收藏

    有時候在項(xiàng)目中 會變化路徑 把原有路徑的文件拷到新的路徑下面
    再刪除原來不想的路徑再提交一次 這樣以來 原來的路徑確實(shí)不存在了
    但是拷過來的文件帶有原來路徑的svn信息 這樣以來 在提交的時候 就無法提交
    想要文件按照的路徑提交 但始終svn還是再往以前的路徑提交 并提示你路徑不存在
    在網(wǎng)上搜了下 如何刪除文件自帶的svn路徑信息
    按照下面的方式來操作即可

    Windows Registry Editor Version 5.00
    [HKEY_LOCAL_MACHINE\SOFTWARE\Classes\Folder\shell\DeleteSVN] 
    @="刪除該目錄下面.svn文件"
    [HKEY_LOCAL_MACHINE\SOFTWARE\Classes\Folder\shell\DeleteSVN\command] 
    @="cmd.exe /c \"TITLE Removing SVN Folders in %1 && COLOR 9A && FOR /r \"%1\" %%f IN (.svn) DO RD /s /q \"%%f\" \""


    把上面這段文字保存問一個Done.reg文件
    然后執(zhí)行,導(dǎo)入到注冊表
    就會在你右鍵一個文件夾的時候多出來一個菜單"刪除該目錄下面.svn文件"
    執(zhí)行該命令即可

     

    posted @ 2013-12-05 17:17 云云 閱讀(727) | 評論 (0)編輯 收藏

    在ibatis中不需要關(guān)注這些參數(shù) 而轉(zhuǎn)到mybatis后 如果字段值為空 必須設(shè)置jdbcType

    insert into testTable
       (ID,
       NAME,
       DESCRIPTION,
       IMAGEURL,
       LINKURL,
       ISALWAYS,
       ISDISPLAYINDEX,
       DISPLAYWEIGHT,
       STARTTIME,
       ENDTIME,
       CREATOR,
       CREATTIME,
       MODIFYTIME)
      values
       (SEQ_ACTIVITY_TABLE.NEXTVAL,
       #{name},
       #{desc,jdbcType=VARCHAR},
       #{imageUrl,jdbcType=VARCHAR},
       #{linkUrl,jdbcType=VARCHAR},
       #{isAlways,jdbcType=CHAR},
       #{isDisplayIndex,jdbcType=CHAR},
       #{displayWeight,jdbcType=VARCHAR},
       #{startTime,jdbcType=DATE},
       #{endTime,jdbcType=DATE},
       #{creator,jdbcType=VARCHAR},
       sysdate,
       sysdate
       )
     </insert>

    這些設(shè)置之多,太煩了,最讓人煩的是  jdbcType = DATE,類型還必須大寫,不能小寫。
    如下面的例子,將DATE 改成 Date 。結(jié)果讓人很抓狂啊!!!
    insert into testTable
       (ID,
       NAME,
       DESCRIPTION,
       IMAGEURL,
       LINKURL,
       ISALWAYS,
       ISDISPLAYINDEX,
       DISPLAYWEIGHT,
       STARTTIME,
       ENDTIME,
       CREATOR,
       CREATTIME,
       MODIFYTIME)
      values
       (SEQ_ACTIVITY_TABLE.NEXTVAL,
       #{name},
       #{desc,jdbcType=VARCHAR},
       #{imageUrl,jdbcType=VARCHAR},
       #{linkUrl,jdbcType=VARCHAR},
       #{isAlways,jdbcType=CHAR},
       #{isDisplayIndex,jdbcType=CHAR},
       #{displayWeight,jdbcType=VARCHAR},
       #{startTime,jdbcType=Date},
       #{endTime,jdbcType=DATE},
       #{creator,jdbcType=VARCHAR},
       sysdate,
       sysdate
       )
     </insert>
    org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.builder.BuilderException: Error resolving JdbcType. Cause: java.lang.IllegalArgumentException: No enum const class org.apache.ibatis.type.JdbcType.Date
    	org.mybatis.spring.MyBatisExceptionTranslator.translateExceptionIfPossible(MyBatisExceptionTranslator.java:75)
    	org.mybatis.spring.SqlSessionTemplate$SqlSessionInterceptor.invoke(SqlSessionTemplate.java:368)
    更坑爹的在后面,上面insert時的時候用#{endTime,jdbcType=DATE},可以將時間插入成功,且可以精確到時分秒
    但如果在update語句中也這樣使用,那你得到的只會有日期,這夠坑爹的了吧 ,尼瑪  比起ibatis方便之處差遠(yuǎn)了
    要想在update語句中 將時間格式化成時分秒 不得不再加一個類型 如下面:
    startTime = #{startTime,javaType=DATE, jdbcType=VARCHAR}













    posted @ 2013-11-26 21:02 云云 閱讀(21436) | 評論 (1)編輯 收藏

    CSRF 背景與介紹

    CSRF(Cross Site Request Forgery, 跨站域請求偽造)是一種網(wǎng)絡(luò)的攻擊方式,它在 2007 年曾被列為互聯(lián)網(wǎng) 20 大安全隱患之一。其他安全隱患,比如 SQL 腳本注入,跨站域腳本攻擊等在近年來已經(jīng)逐漸為眾人熟知,很多網(wǎng)站也都針對他們進(jìn)行了防御。然而,對于大多數(shù)人來說,CSRF 卻依然是一個陌生的概念。即便是大名鼎鼎的 Gmail, 在 2007 年底也存在著 CSRF 漏洞,從而被黑客攻擊而使 Gmail 的用戶造成巨大的損失。

    CSRF 攻擊實(shí)例

    CSRF 攻擊可以在受害者毫不知情的情況下以受害者名義偽造請求發(fā)送給受攻擊站點(diǎn),從而在并未授權(quán)的情況下執(zhí)行在權(quán)限保護(hù)之下的操作。比如說,受害者 Bob 在銀行有一筆存款,通過對銀行的網(wǎng)站發(fā)送請求 http://bank.example/withdraw?account=bob&amount=1000000&for=bob2 可以使 Bob 把 1000000 的存款轉(zhuǎn)到 bob2 的賬號下。通常情況下,該請求發(fā)送到網(wǎng)站后,服務(wù)器會先驗(yàn)證該請求是否來自一個合法的 session,并且該 session 的用戶 Bob 已經(jīng)成功登陸。黑客 Mallory 自己在該銀行也有賬戶,他知道上文中的 URL 可以把錢進(jìn)行轉(zhuǎn)帳操作。Mallory 可以自己發(fā)送一個請求給銀行:http://bank.example/withdraw?account=bob&amount=1000000&for=Mallory。但是這個請求來自 Mallory 而非 Bob,他不能通過安全認(rèn)證,因此該請求不會起作用。這時,Mallory 想到使用 CSRF 的攻擊方式,他先自己做一個網(wǎng)站,在網(wǎng)站中放入如下代碼: src=”http://bank.example/withdraw?account=bob&amount=1000000&for=Mallory ”,并且通過廣告等誘使 Bob 來訪問他的網(wǎng)站。當(dāng) Bob 訪問該網(wǎng)站時,上述 url 就會從 Bob 的瀏覽器發(fā)向銀行,而這個請求會附帶 Bob 瀏覽器中的 cookie 一起發(fā)向銀行服務(wù)器。大多數(shù)情況下,該請求會失敗,因?yàn)樗?Bob 的認(rèn)證信息。但是,如果 Bob 當(dāng)時恰巧剛訪問他的銀行后不久,他的瀏覽器與銀行網(wǎng)站之間的 session 尚未過期,瀏覽器的 cookie 之中含有 Bob 的認(rèn)證信息。這時,悲劇發(fā)生了,這個 url 請求就會得到響應(yīng),錢將從 Bob 的賬號轉(zhuǎn)移到 Mallory 的賬號,而 Bob 當(dāng)時毫不知情。等以后 Bob 發(fā)現(xiàn)賬戶錢少了,即使他去銀行查詢?nèi)罩荆仓荒馨l(fā)現(xiàn)確實(shí)有一個來自于他本人的合法請求轉(zhuǎn)移了資金,沒有任何被攻擊的痕跡。而 Mallory 則可以拿到錢后逍遙法外。

    CSRF 攻擊的對象

    在討論如何抵御 CSRF 之前,先要明確 CSRF 攻擊的對象,也就是要保護(hù)的對象。從以上的例子可知,CSRF 攻擊是黑客借助受害者的 cookie 騙取服務(wù)器的信任,但是黑客并不能拿到 cookie,也看不到 cookie 的內(nèi)容。另外,對于服務(wù)器返回的結(jié)果,由于瀏覽器同源策略的限制,黑客也無法進(jìn)行解析。因此,黑客無法從返回的結(jié)果中得到任何東西,他所能做的就是給服務(wù)器發(fā)送請求,以執(zhí)行請求中所描述的命令,在服務(wù)器端直接改變數(shù)據(jù)的值,而非竊取服務(wù)器中的數(shù)據(jù)。所以,我們要保護(hù)的對象是那些可以直接產(chǎn)生數(shù)據(jù)改變的服務(wù),而對于讀取數(shù)據(jù)的服務(wù),則不需要進(jìn)行 CSRF 的保護(hù)。比如銀行系統(tǒng)中轉(zhuǎn)賬的請求會直接改變賬戶的金額,會遭到 CSRF 攻擊,需要保護(hù)。而查詢余額是對金額的讀取操作,不會改變數(shù)據(jù),CSRF 攻擊無法解析服務(wù)器返回的結(jié)果,無需保護(hù)。

    當(dāng)前防御 CSRF 的幾種策略

    在業(yè)界目前防御 CSRF 攻擊主要有三種策略:驗(yàn)證 HTTP Referer 字段;在請求地址中添加 token 并驗(yàn)證;在 HTTP 頭中自定義屬性并驗(yàn)證。下面就分別對這三種策略進(jìn)行詳細(xì)介紹。

    驗(yàn)證 HTTP Referer 字段

    根據(jù) HTTP 協(xié)議,在 HTTP 頭中有一個字段叫 Referer,它記錄了該 HTTP 請求的來源地址。在通常情況下,訪問一個安全受限頁面的請求來自于同一個網(wǎng)站,比如需要訪問 http://bank.example/withdraw?account=bob&amount=1000000&for=Mallory,用戶必須先登陸 bank.example,然后通過點(diǎn)擊頁面上的按鈕來觸發(fā)轉(zhuǎn)賬事件。這時,該轉(zhuǎn)帳請求的 Referer 值就會是轉(zhuǎn)賬按鈕所在的頁面的 URL,通常是以 bank.example 域名開頭的地址。而如果黑客要對銀行網(wǎng)站實(shí)施 CSRF 攻擊,他只能在他自己的網(wǎng)站構(gòu)造請求,當(dāng)用戶通過黑客的網(wǎng)站發(fā)送請求到銀行時,該請求的 Referer 是指向黑客自己的網(wǎng)站。因此,要防御 CSRF 攻擊,銀行網(wǎng)站只需要對于每一個轉(zhuǎn)賬請求驗(yàn)證其 Referer 值,如果是以 bank.example 開頭的域名,則說明該請求是來自銀行網(wǎng)站自己的請求,是合法的。如果 Referer 是其他網(wǎng)站的話,則有可能是黑客的 CSRF 攻擊,拒絕該請求。

    這種方法的顯而易見的好處就是簡單易行,網(wǎng)站的普通開發(fā)人員不需要操心 CSRF 的漏洞,只需要在最后給所有安全敏感的請求統(tǒng)一增加一個攔截器來檢查 Referer 的值就可以。特別是對于當(dāng)前現(xiàn)有的系統(tǒng),不需要改變當(dāng)前系統(tǒng)的任何已有代碼和邏輯,沒有風(fēng)險,非常便捷。

    然而,這種方法并非萬無一失。Referer 的值是由瀏覽器提供的,雖然 HTTP 協(xié)議上有明確的要求,但是每個瀏覽器對于 Referer 的具體實(shí)現(xiàn)可能有差別,并不能保證瀏覽器自身沒有安全漏洞。使用驗(yàn)證 Referer 值的方法,就是把安全性都依賴于第三方(即瀏覽器)來保障,從理論上來講,這樣并不安全。事實(shí)上,對于某些瀏覽器,比如 IE6 或 FF2,目前已經(jīng)有一些方法可以篡改 Referer 值。如果 bank.example 網(wǎng)站支持 IE6 瀏覽器,黑客完全可以把用戶瀏覽器的 Referer 值設(shè)為以 bank.example 域名開頭的地址,這樣就可以通過驗(yàn)證,從而進(jìn)行 CSRF 攻擊。

    即便是使用最新的瀏覽器,黑客無法篡改 Referer 值,這種方法仍然有問題。因?yàn)?Referer 值會記錄下用戶的訪問來源,有些用戶認(rèn)為這樣會侵犯到他們自己的隱私權(quán),特別是有些組織擔(dān)心 Referer 值會把組織內(nèi)網(wǎng)中的某些信息泄露到外網(wǎng)中。因此,用戶自己可以設(shè)置瀏覽器使其在發(fā)送請求時不再提供 Referer。當(dāng)他們正常訪問銀行網(wǎng)站時,網(wǎng)站會因?yàn)檎埱鬀]有 Referer 值而認(rèn)為是 CSRF 攻擊,拒絕合法用戶的訪問。

    在請求地址中添加 token 并驗(yàn)證

    CSRF 攻擊之所以能夠成功,是因?yàn)楹诳涂梢酝耆珎卧煊脩舻恼埱螅撜埱笾兴械挠脩趄?yàn)證信息都是存在于 cookie 中,因此黑客可以在不知道這些驗(yàn)證信息的情況下直接利用用戶自己的 cookie 來通過安全驗(yàn)證。要抵御 CSRF,關(guān)鍵在于在請求中放入黑客所不能偽造的信息,并且該信息不存在于 cookie 之中。可以在 HTTP 請求中以參數(shù)的形式加入一個隨機(jī)產(chǎn)生的 token,并在服務(wù)器端建立一個攔截器來驗(yàn)證這個 token,如果請求中沒有 token 或者 token 內(nèi)容不正確,則認(rèn)為可能是 CSRF 攻擊而拒絕該請求。

    這種方法要比檢查 Referer 要安全一些,token 可以在用戶登陸后產(chǎn)生并放于 session 之中,然后在每次請求時把 token 從 session 中拿出,與請求中的 token 進(jìn)行比對,但這種方法的難點(diǎn)在于如何把 token 以參數(shù)的形式加入請求。對于 GET 請求,token 將附在請求地址之后,這樣 URL 就變成 http://url?csrftoken=tokenvalue。 而對于 POST 請求來說,要在 form 的最后加上 <input type=”hidden” name=”csrftoken” value=”tokenvalue”/>,這樣就把 token 以參數(shù)的形式加入請求了。但是,在一個網(wǎng)站中,可以接受請求的地方非常多,要對于每一個請求都加上 token 是很麻煩的,并且很容易漏掉,通常使用的方法就是在每次頁面加載時,使用 javascript 遍歷整個 dom 樹,對于 dom 中所有的 a 和 form 標(biāo)簽后加入 token。這樣可以解決大部分的請求,但是對于在頁面加載之后動態(tài)生成的 html 代碼,這種方法就沒有作用,還需要程序員在編碼時手動添加 token。

    該方法還有一個缺點(diǎn)是難以保證 token 本身的安全。特別是在一些論壇之類支持用戶自己發(fā)表內(nèi)容的網(wǎng)站,黑客可以在上面發(fā)布自己個人網(wǎng)站的地址。由于系統(tǒng)也會在這個地址后面加上 token,黑客可以在自己的網(wǎng)站上得到這個 token,并馬上就可以發(fā)動 CSRF 攻擊。為了避免這一點(diǎn),系統(tǒng)可以在添加 token 的時候增加一個判斷,如果這個鏈接是鏈到自己本站的,就在后面添加 token,如果是通向外網(wǎng)則不加。不過,即使這個 csrftoken 不以參數(shù)的形式附加在請求之中,黑客的網(wǎng)站也同樣可以通過 Referer 來得到這個 token 值以發(fā)動 CSRF 攻擊。這也是一些用戶喜歡手動關(guān)閉瀏覽器 Referer 功能的原因。

    在 HTTP 頭中自定義屬性并驗(yàn)證

    這種方法也是使用 token 并進(jìn)行驗(yàn)證,和上一種方法不同的是,這里并不是把 token 以參數(shù)的形式置于 HTTP 請求之中,而是把它放到 HTTP 頭中自定義的屬性里。通過 XMLHttpRequest 這個類,可以一次性給所有該類請求加上 csrftoken 這個 HTTP 頭屬性,并把 token 值放入其中。這樣解決了上種方法在請求中加入 token 的不便,同時,通過 XMLHttpRequest 請求的地址不會被記錄到瀏覽器的地址欄,也不用擔(dān)心 token 會透過 Referer 泄露到其他網(wǎng)站中去。

    然而這種方法的局限性非常大。XMLHttpRequest 請求通常用于 Ajax 方法中對于頁面局部的異步刷新,并非所有的請求都適合用這個類來發(fā)起,而且通過該類請求得到的頁面不能被瀏覽器所記錄下,從而進(jìn)行前進(jìn),后退,刷新,收藏等操作,給用戶帶來不便。另外,對于沒有進(jìn)行 CSRF 防護(hù)的遺留系統(tǒng)來說,要采用這種方法來進(jìn)行防護(hù),要把所有請求都改為 XMLHttpRequest 請求,這樣幾乎是要重寫整個網(wǎng)站,這代價無疑是不能接受的。

    Java 代碼示例

    下文將以 Java 為例,對上述三種方法分別用代碼進(jìn)行示例。無論使用何種方法,在服務(wù)器端的攔截器必不可少,它將負(fù)責(zé)檢查到來的請求是否符合要求,然后視結(jié)果而決定是否繼續(xù)請求或者丟棄。在 Java 中,攔截器是由 Filter 來實(shí)現(xiàn)的。我們可以編寫一個 Filter,并在 web.xml 中對其進(jìn)行配置,使其對于訪問所有需要 CSRF 保護(hù)的資源的請求進(jìn)行攔截。

    在 filter 中對請求的 Referer 驗(yàn)證代碼如下
    清單 1. 在 Filter 中驗(yàn)證 Referer

    1
    2
    3
    4
    5
    6
    7
    8
    // 從 HTTP 頭中取得 Referer 值
     String referer=request.getHeader("Referer"); 
     // 判斷 Referer 是否以 bank.example 開頭
     if((referer!=null) &&(referer.trim().startsWith(“bank.example”))){ 
        chain.doFilter(request, response); 
     }else
        request.getRequestDispatcher(“error.jsp”).forward(request,response); 
     }

    以上代碼先取得 Referer 值,然后進(jìn)行判斷,當(dāng)其非空并以 bank.example 開頭時,則繼續(xù)請求,否則的話可能是 CSRF 攻擊,轉(zhuǎn)到 error.jsp 頁面。

    如果要進(jìn)一步驗(yàn)證請求中的 token 值,代碼如下

    1
    <em><strong>清單 2. 在 filter 中驗(yàn)證請求中的</strong></em> token
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    HttpServletRequest req = (HttpServletRequest)request; 
     HttpSession s = req.getSession(); 
      
     // 從 session 中得到 csrftoken 屬性
     String sToken = (String)s.getAttribute(“csrftoken”); 
     if(sToken == null){ 
      
        // 產(chǎn)生新的 token 放入 session 中
        sToken = generateToken(); 
        s.setAttribute(“csrftoken”,sToken); 
        chain.doFilter(request, response); 
     } else
      
        // 從 HTTP 頭中取得 csrftoken 
        String xhrToken = req.getHeader(“csrftoken”); 
      
        // 從請求參數(shù)中取得 csrftoken 
        String pToken = req.getParameter(“csrftoken”); 
        if(sToken != null && xhrToken != null && sToken.equals(xhrToken)){ 
            chain.doFilter(request, response); 
        }else if(sToken != null && pToken != null && sToken.equals(pToken)){ 
            chain.doFilter(request, response); 
        }else
            request.getRequestDispatcher(“error.jsp”).forward(request,response); 
        
     }

    首先判斷 session 中有沒有 csrftoken,如果沒有,則認(rèn)為是第一次訪問,session 是新建立的,這時生成一個新的 token,放于 session 之中,并繼續(xù)執(zhí)行請求。如果 session 中已經(jīng)有 csrftoken,則說明用戶已經(jīng)與服務(wù)器之間建立了一個活躍的 session,這時要看這個請求中有沒有同時附帶這個 token,由于請求可能來自于常規(guī)的訪問或是 XMLHttpRequest 異步訪問,我們分別嘗試從請求中獲取 csrftoken 參數(shù)以及從 HTTP 頭中獲取 csrftoken 自定義屬性并與 session 中的值進(jìn)行比較,只要有一個地方帶有有效 token,就判定請求合法,可以繼續(xù)執(zhí)行,否則就轉(zhuǎn)到錯誤頁面。生成 token 有很多種方法,任何的隨機(jī)算法都可以使用,Java 的 UUID 類也是一個不錯的選擇。

    除了在服務(wù)器端利用 filter 來驗(yàn)證 token 的值以外,我們還需要在客戶端給每個請求附加上這個 token,這是利用 js 來給 html 中的鏈接和表單請求地址附加 csrftoken 代碼,其中已定義 token 為全局變量,其值可以從 session 中得到。

    1
    <em><strong>清單 3. 在客戶端對于請求附加</strong> </em>token
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    function appendToken(){ 
        updateForms(); 
        updateTags(); 
     
      
     function updateForms() { 
        // 得到頁面中所有的 form 元素
        var forms = document.getElementsByTagName('form'); 
        for(i=0; i<forms.length; i++) { 
            var url = forms[i].action; 
      
            // 如果這個 form 的 action 值為空,則不附加 csrftoken 
            if(url == null || url == "" ) continue
      
            // 動態(tài)生成 input 元素,加入到 form 之后
            var e = document.createElement("input"); 
            e.name = "csrftoken"
            e.value = token; 
            e.type="hidden"
            forms[i].appendChild(e); 
        
     
      
     function updateTags() { 
        var all = document.getElementsByTagName('a'); 
        var len = all.length; 
      
        // 遍歷所有 a 元素
        for(var i=0; i<len; i++) { 
            var e = all[i]; 
            updateTag(e, 'href', token); 
        
     
      
     function updateTag(element, attr, token) { 
        var location = element.getAttribute(attr); 
        if(location != null && location != '' '' ) { 
            var fragmentIndex = location.indexOf('#'); 
            var fragment = null
            if(fragmentIndex != -1){ 
      
                //url 中含有只相當(dāng)頁的錨標(biāo)記
                fragment = location.substring(fragmentIndex); 
                location = location.substring(0,fragmentIndex); 
            
      
            var index = location.indexOf('?'); 
      
            if(index != -1) { 
                //url 中已含有其他參數(shù)
                location = location + '&csrftoken=' + token; 
            } else
                //url 中沒有其他參數(shù)
                location = location + '?csrftoken=' + token; 
            
            if(fragment != null){ 
                location += fragment; 
            
      
            element.setAttribute(attr, location); 
        
     }

    在客戶端 html 中,主要是有兩個地方需要加上 token,一個是表單 form,另一個就是鏈接 a。這段代碼首先遍歷所有的 form,在 form 最后添加一隱藏字段,把 csrftoken 放入其中。然后,代碼遍歷所有的鏈接標(biāo)記 a,在其 href 屬性中加入 csrftoken 參數(shù)。注意對于 a.href 來說,可能該屬性已經(jīng)有參數(shù),或者有錨標(biāo)記。因此需要分情況討論,以不同的格式把 csrftoken 加入其中。

    如果你的網(wǎng)站使用 XMLHttpRequest,那么還需要在 HTTP 頭中自定義 csrftoken 屬性,利用 dojo.xhr 給 XMLHttpRequest 加上自定義屬性代碼如下:

    1
    <strong><em>清單 4. 在 HTTP 頭中自定義屬性</em></strong>
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
                     
    var plainXhr = dojo.xhr; 
     
    // 重寫 dojo.xhr 方法
    dojo.xhr = function(method,args,hasBody) { 
       // 確保 header 對象存在
       args.headers = args.header || {}; 
     
       tokenValue = '<%=request.getSession(false).getAttribute("csrftoken")%>'
       var token = dojo.getObject("tokenValue"); 
     
       // 把 csrftoken 屬性放到頭中
       args.headers["csrftoken"] = (token) ? token : "  "
       return plainXhr(method,args,hasBody); 
    };

    這里改寫了 dojo.xhr 的方法,首先確保 dojo.xhr 中存在 HTTP 頭,然后在 args.headers 中添加 csrftoken 字段,并把 token 值從 session 里拿出放入字段中。

    CSRF 防御方法選擇之道

    通過上文討論可知,目前業(yè)界應(yīng)對 CSRF 攻擊有一些克制方法,但是每種方法都有利弊,沒有一種方法是完美的。如何選擇合適的方法非常重要。如果網(wǎng)站是一個現(xiàn)有系統(tǒng),想要在最短時間內(nèi)獲得一定程度的 CSRF 的保護(hù),那么驗(yàn)證 Referer 的方法是最方便的,要想增加安全性的話,可以選擇不支持低版本瀏覽器,畢竟就目前來說,IE7+, FF3+ 這類高版本瀏覽器的 Referer 值還無法被篡改。

    如果系統(tǒng)必須支持 IE6,并且仍然需要高安全性。那么就要使用 token 來進(jìn)行驗(yàn)證,在大部分情況下,使用 XmlHttpRequest 并不合適,token 只能以參數(shù)的形式放于請求之中,若你的系統(tǒng)不支持用戶自己發(fā)布信息,那這種程度的防護(hù)已經(jīng)足夠,否則的話,你仍然難以防范 token 被黑客竊取并發(fā)動攻擊。在這種情況下,你需要小心規(guī)劃你網(wǎng)站提供的各種服務(wù),從中間找出那些允許用戶自己發(fā)布信息的部分,把它們與其他服務(wù)分開,使用不同的 token 進(jìn)行保護(hù),這樣可以有效抵御黑客對于你關(guān)鍵服務(wù)的攻擊,把危害降到最低。畢竟,刪除別人一個帖子比直接從別人賬號中轉(zhuǎn)走大筆存款嚴(yán)重程度要輕的多。

    如果是開發(fā)一個全新的系統(tǒng),則抵御 CSRF 的選擇要大得多。筆者建議對于重要的服務(wù),可以盡量使用 XMLHttpRequest 來訪問,這樣增加 token 要容易很多。另外盡量避免在 js 代碼中使用復(fù)雜邏輯來構(gòu)造常規(guī)的同步請求來訪問需要 CSRF 保護(hù)的資源,比如 window.location 和 document.createElement(“a”) 之類,這樣也可以減少在附加 token 時產(chǎn)生的不必要的麻煩。

    最后,要記住 CSRF 不是黑客唯一的攻擊手段,無論你 CSRF 防范有多么嚴(yán)密,如果你系統(tǒng)有其他安全漏洞,比如跨站域腳本攻擊 XSS,那么黑客就可以繞過你的安全防護(hù),展開包括 CSRF 在內(nèi)的各種攻擊,你的防線將如同虛設(shè)。

    總結(jié)與展望

    可見,CSRF 是一種危害非常大的攻擊,又很難以防范。目前幾種防御策略雖然可以很大程度上抵御 CSRF 的攻擊,但并沒有一種完美的解決方案。一些新的方案正在研究之中,比如對于每次請求都使用不同的動態(tài)口令,把 Referer 和 token 方案結(jié)合起來,甚至嘗試修改 HTTP 規(guī)范,但是這些新的方案尚不成熟,要正式投入使用并被業(yè)界廣為接受還需時日。在這之前,我們只有充分重視 CSRF,根據(jù)系統(tǒng)的實(shí)際情況選擇最合適的策略,這樣才能把 CSRF 的危害降到最低。

    posted @ 2013-11-05 20:53 云云 閱讀(756) | 評論 (0)編輯 收藏

    “為什么存儲密碼用字符數(shù)組比字符串更合適”這個問題是我的一個朋友在最近一次面試中提到的。那哥們是應(yīng)聘的是一個技術(shù)lead的職位,有超過六年的工作經(jīng)驗(yàn)。字符數(shù)組和字符串都可以用于存儲文本數(shù)據(jù),但是在選擇具體哪一種時,如果你沒有針對具體的情況是很難回答這個問題的。但是正如這哥們說的任何與字符串相關(guān)的問題一定有線索可以在字符串的屬性里面找到,比如不可變性。他就用這種方式去說服面試官。這里我們就來探討一些關(guān)于為什么你應(yīng)該使用char[] 來存儲密碼而不是字符串。

    1. 因?yàn)樽址遣豢勺儗ο螅绻鳛槠胀ㄎ谋敬鎯γ艽a,那么它會一直存在內(nèi)存中直至被垃圾收集器回收。因?yàn)樽址畯淖址刂腥〕龅模ㄈ绻刂杏性撟址椭苯訌某刂蝎@取,否則new 一個出來,然后把它放入池中),這樣有很大的機(jī)會長期保留在內(nèi)存中,這樣會引發(fā)安全問題。因?yàn)槿魏慰梢栽L問內(nèi)存的人能以明碼的方式把密碼dump出來。另外你還應(yīng)該始終以加密而不是普通的文本來表示密碼。因?yàn)樽址遣豢勺儯虼藳]有任何方法可以改變其內(nèi)容,任何改變都將產(chǎn)生一個新的字符串,而如果使用char[],你就可以設(shè)置所有的元素為空或者為零(這里作者的意思是說,讓認(rèn)證完后該數(shù)組不再使用了,就可以用零或者null覆蓋原來的密碼,防止別人從內(nèi)存中dump出來)。所以存儲密碼用字符數(shù)組可以明顯的減輕密碼被盜的危險。

    2. Java官方本身也推薦字符數(shù)組,JpasswordField的方法getPassword()就是返回一個字符數(shù)組,而由于安全原因getText()方法是被廢棄掉的,因?yàn)樗祷匾粋€純文本字符串。跟隨Java 團(tuán)隊(duì)的步伐吧,沒有錯。

    3. 字符串以普通文本打印在在log文件或控制臺中也易引起危險,但是如果使用數(shù)組你不能打印數(shù)組的內(nèi)容,而是它的內(nèi)存地址。盡管這不是它的真正原因,但仍值得注意。

    1
    2
    3
    4
    5
    6
    7
    String strPassword="Unknown";
    char[] charPassword= new char[]{'U','n','k','w','o','n'};
    System.out.println("String password: " + strPassword);
    System.out.println("Character password: " + charPassword);
      
    String password: Unknown
    Character password: [C@110b053
    1
     

    以上所有就是為什么字符數(shù)組比字符串保存密碼要好的原因,盡管使用char[]還不足以安全。我同樣建議你用hash或者密碼加密代替普通文本,而且一旦認(rèn)證完成盡可能快的把他清除掉。

    posted @ 2013-11-05 20:00 云云 閱讀(1014) | 評論 (0)編輯 收藏

    MyISAM:這個是默認(rèn)類型,它是基于傳統(tǒng)的ISAM類型,ISAM是Indexed Sequential Access Method (有索引的順序訪問方法) 的縮寫,它是存儲記錄和文件的標(biāo)準(zhǔn)方法.與其他存儲引擎比較,MyISAM具有檢查和修復(fù)表格的大多數(shù)工具. MyISAM表格可以被壓縮,而且它們支持全文搜索.它們不是事務(wù)安全的,而且也不支持外鍵。如果事物回滾將造成不完全回滾,不具有原子性。如果執(zhí)行大量的SELECT,MyISAM是更好的選擇。

      InnoDB:這種類型是事務(wù)安全的.它與BDB類型具有相同的特性,它們還支持外鍵.InnoDB表格速度很快.具有比BDB還豐富的特性, 因此如果需要一個事務(wù)安全的存儲引擎,建議使用它.如果你的數(shù)據(jù)執(zhí)行大量的INSERT或UPDATE,出于性能方面的考慮,應(yīng)該使用InnoDB表,

      對于支持事物的InnoDB類型的標(biāo),影響速度的主要原因是AUTOCOMMIT默認(rèn)設(shè)置是打開的,而且程序沒有顯式調(diào)用BEGIN 開始事務(wù),導(dǎo)致每插入一條都自動Commit,嚴(yán)重影響了速度。可以在執(zhí)行sql前調(diào)用begin,多條sql形成一個事物(即使autocommit打開也可以),將大大提高性能。

      ===============================================================

      InnoDB和MyISAM是在使用MySQL最常用的兩個表類型,各有優(yōu)缺點(diǎn),視具體應(yīng)用而定。下面是已知的兩者之間的差別,僅供參考。

      innodb

      InnoDB 給 MySQL 提供了具有事務(wù)(commit)、回滾(rollback)和崩潰修復(fù)能力(crash recovery capabilities)的事務(wù)安全(transaction-safe (ACID compliant))型表。InnoDB 提供了行鎖(locking on row level),提供與 Oracle 類型一致的不加鎖讀取(non-locking read in SELECTs)。這些特性均提高了多用戶并發(fā)操作的性能表現(xiàn)。在InnoDB表中不需要擴(kuò)大鎖定(lock escalation),因?yàn)?InnoDB 的列鎖定(row level locks)適宜非常小的空間。InnoDB 是 MySQL 上第一個提供外鍵約束(FOREIGN KEY constraints)的表引擎。

      InnoDB 的設(shè)計目標(biāo)是處理大容量數(shù)據(jù)庫系統(tǒng),它的 CPU 利用率是其它基于磁盤的關(guān)系數(shù)據(jù)庫引擎所不能比的。在技術(shù)上,InnoDB 是一套放在 MySQL 后臺的完整數(shù)據(jù)庫系統(tǒng),InnoDB 在主內(nèi)存中建立其專用的緩沖池用于高速緩沖數(shù)據(jù)和索引。 InnoDB 把數(shù)據(jù)和索引存放在表空間里,可能包含多個文件,這與其它的不一樣,舉例來說,在 MyISAM 中,表被存放在單獨(dú)的文件中。InnoDB 表的大小只受限于操作系統(tǒng)的文件大小,一般為 2 GB。

      InnoDB所有的表都保存在同一個數(shù)據(jù)文件 ibdata1 中(也可能是多個文件,或者是獨(dú)立的表空間文件),相對來說比較不好備份,免費(fèi)的方案可以是拷貝數(shù)據(jù)文件、備份 binlog,或者用 mysqldump。

      MyISAM

      MyISAM 是MySQL缺省存貯引擎 .

      每張MyISAM 表被存放在三個文件 。frm 文件存放表格定義。 數(shù)據(jù)文件是MYD (MYData) 。 索引文件是MYI (MYIndex) 引伸。

      因?yàn)镸yISAM相對簡單所以在效率上要優(yōu)于InnoDB..小型應(yīng)用使用MyISAM是不錯的選擇.

      MyISAM表是保存成文件的形式,在跨平臺的數(shù)據(jù)轉(zhuǎn)移中使用MyISAM存儲會省去不少的麻煩

      以下是一些細(xì)節(jié)和具體實(shí)現(xiàn)的差別:

      1.InnoDB不支持FULLTEXT類型的索引。

      2.InnoDB 中不保存表的具體行數(shù),也就是說,執(zhí)行select count(*) from table時,InnoDB要掃描一遍整個表來計算有多少行,但是MyISAM只要簡單的讀出保存好的行數(shù)即可。注意的是,當(dāng)count(*)語句包含 where條件時,兩種表的操作是一樣的。

      3.對于AUTO_INCREMENT類型的字段,InnoDB中必須包含只有該字段的索引,但是在MyISAM表中,可以和其他字段一起建立聯(lián)合索引。

      4.DELETE FROM table時,InnoDB不會重新建立表,而是一行一行的刪除。

      5.LOAD TABLE FROM MASTER操作對InnoDB是不起作用的,解決方法是首先把InnoDB表改成MyISAM表,導(dǎo)入數(shù)據(jù)后再改成InnoDB表,但是對于使用的額外的InnoDB特性(例如外鍵)的表不適用。

      另外,InnoDB表的行鎖也不是絕對的,如果在執(zhí)行一個SQL語句時MySQL不能確定要掃描的范圍,InnoDB表同樣會鎖全表,例如update table set num=1 where name like “%aaa%”

      任何一種表都不是萬能的,只用恰當(dāng)?shù)尼槍I(yè)務(wù)類型來選擇合適的表類型,才能最大的發(fā)揮MySQL的性能優(yōu)勢。

      ===============================================================

      以下是InnoDB和MyISAM的一些聯(lián)系和區(qū)別!

      1. 4.0以上mysqld都支持事務(wù),包括非max版本。3.23的需要max版本mysqld才能支持事務(wù)。

      2. 創(chuàng)建表時如果不指定type則默認(rèn)為myisam,不支持事務(wù)。

      可以用 show create table tablename 命令看表的類型。

      2.1 對不支持事務(wù)的表做start/commit操作沒有任何效果,在執(zhí)行commit前已經(jīng)提交,測試:

      執(zhí)行一個msyql:

      use test;

      drop table if exists tn;

      create table tn (a varchar(10)) type=myisam;

      drop table if exists ty;

      create table ty (a varchar(10)) type=innodb;

      begin;

      insert into tn values('a');

      insert into ty values('a');

      select * from tn;

      select * from ty;

      都能看到一條記錄

      執(zhí)行另一個mysql:

      use test;

      select * from tn;

      select * from ty;

      只有tn能看到一條記錄

      然后在另一邊

      commit;

      才都能看到記錄。

      3. 可以執(zhí)行以下命令來切換非事務(wù)表到事務(wù)(數(shù)據(jù)不會丟失),innodb表比myisam表更安全:

      alter table tablename type=innodb;

      3.1 innodb表不能用repair table命令和myisamchk -r table_name

      但可以用check table,以及mysqlcheck [OPTIONS] database [tables]

      4. 啟動mysql數(shù)據(jù)庫的命令行中添加了以下參數(shù)可以使新發(fā)布的mysql數(shù)據(jù)表都默認(rèn)為使用事務(wù)(

      只影響到create語句。)

      --default-table-type=InnoDB

      測試命令:

      use test;

      drop table if exists tn;

      create table tn (a varchar(10));

      show create table tn;

      5. 臨時改變默認(rèn)表類型可以用:

      set table_type=InnoDB;

      show variables like 'table_type';

      或:

      c:\mysql\bin\mysqld-max-nt --standalone --default-table-type=InnoDB

    posted @ 2013-11-05 14:27 云云 閱讀(324) | 評論 (0)編輯 收藏

    今天遇到這坑爹的事情, eclipse導(dǎo)入的工程運(yùn)行總是報java.lang.NoNoClassDefFoundError錯誤
    如果是自己創(chuàng)建的工程沒遇到這樣的錯誤
    eclipse沒有把工程編繹到classes目錄下,該目錄下為空


    查看工程目錄中bin路徑下沒有生成對應(yīng)的.class文檔

    網(wǎng)上查閱了很多資料,大部分都指示classpath設(shè)置不對。但是Eclipse本身并不需要配置classpath仍然可以正確運(yùn)行。

    最終,在網(wǎng)絡(luò)上找到一盞明燈,方法如下:
    把properties屬性里的java compiler-->building-->abort build when build path errors occur 前的勾去掉了
    這樣就ok 了

    posted @ 2013-10-23 15:32 云云 閱讀(398) | 評論 (0)編輯 收藏

    public synchronized void methodA(int a, int b);

    public synchronized void methodB(int a){
    methodA(a, 0);
    }

    這樣的代碼是成立的,一個線程對同一個對象的鎖可以反復(fù)獲取。這種同步鎖稱為可重入的鎖。
    加在非static方法上的synchronized方法是和synchronized(this)塊等價的,均為對象鎖,即對this加鎖。
    獲得當(dāng)前對象鎖的線程,可以繼續(xù)獲得當(dāng)前對象鎖,JVM負(fù)責(zé)跟蹤對象被加鎖的次數(shù)。線程運(yùn)行B方法,此時如果this鎖可以用,線程獲得該鎖,線程給對象加鎖,計數(shù)器變成1,然后B方法調(diào)用A方法,由于是對同一個對象同一個線程,線程可以繼續(xù)獲得鎖,計數(shù)器變?yōu)?,表示this被加鎖2次。A方法完畢后,線程釋放鎖,計數(shù)器變?yōu)?,此時對象鎖對其他線程依然是不可獲得的。B方法完畢后,線程繼續(xù)釋放鎖,此時計數(shù)器變?yōu)?,表示鎖被完全釋放,其他線程可以獲得對象鎖。

    public synchronized void methodA(int a, int b){

    }


    public synchronized void methodB(int a, int b){

    }

    以上兩方法在同一實(shí)例對象上是互斥的,synchronized 加在方法上 即對this加鎖,因此在同一實(shí)例對象上 兩方法是互斥的。


    posted @ 2013-10-13 23:17 云云 閱讀(467) | 評論 (0)編輯 收藏

         摘要: 當(dāng)一個類中有聲明為static final的變量,這樣的變量對類的加載器有一定的影響,首先看看下面的例子。package com.bird.classLoad;   class FinalTest{            public static&...  閱讀全文

    posted @ 2013-07-21 15:20 云云 閱讀(310) | 評論 (0)編輯 收藏

    Sequence是數(shù)據(jù)庫系統(tǒng)的特性,有的數(shù)據(jù)庫有Sequence,有的沒有。比如Oracle、DB2、PostgreSQL數(shù)據(jù)庫有Sequence,MySQL、SQL Server、Sybase等數(shù)據(jù)庫沒有Sequence。
    定義一個seq_test,最小值為10000,最大值為99999999999999999,從20000開始,增量的步長為1,緩存為20的循環(huán)排序Sequence。
    Oracle的定義方法:
    create sequence seq_test
    minvalue 10000
    maxvalue 99999999999999999
    start with 20000
    increment by 1
    cache 20
    cycle
    order;
    Sequence與indentity的基本作用都差不多。都可以生成自增數(shù)字序列。
    Sequence是數(shù)據(jù)庫系統(tǒng)中的一個對象,可以在整個數(shù)據(jù)庫中使用,和表沒有任何關(guān)系;indentity僅僅是指定在表中某一列上,作用范圍就是這個表。

    一個表中可以有多個字段使用sequence字段
    insert into temp(event_id,event_priority,event_status) values(sequence1.nextval, sequence1.nextval,sequence1.nextval);

    mysql 實(shí)現(xiàn)sequence

    由于mysql不帶sequence,所以要手寫的,創(chuàng)建一張儲存sequence的表(tb_sequence),然后手動插入一條數(shù)據(jù) ,最后自定義一個函數(shù)來處理要增長的值。

    1、創(chuàng)建表tb_sequence,用來存放sequence值:

     create table tb_sequence(name varchar(50) not null,current_value int not null,_increment int not null default 1, primary key(name));   
    2 手動插入數(shù)據(jù): 
      insert into tb_sequence values('userid',100,2);  
    3、定義函數(shù) _nextval:
    1. DELIMITER //  
    2. create function _nextval(n varchar(50)) returns integer   
    3. begin  
    4. declare _cur int;  
    5. set _cur=(select current_value from tb_sequence where name= n);  
    6. update tb_sequence  
    7.  set current_value = _cur + _increment  
    8.  where name=n ;  
    9. return _cur;  
    10. end;  
    檢驗(yàn)結(jié)果

     

    select _nextval('userid');  



    posted @ 2013-07-19 21:39 云云 閱讀(2896) | 評論 (1)編輯 收藏

         摘要: (1)BitSet類大小可動態(tài)改變, 取值為true或false的位集合。用于表示一組布爾標(biāo)志。 此類實(shí)現(xiàn)了一個按需增長的位向量。位 set 的每個組件都有一個 boolean 值。用非負(fù)的整數(shù)將 BitSet 的位編入索引。可以對每個編入索引的位進(jìn)行測試、設(shè)置或者清除。通過邏輯與、邏輯或和邏輯異或操作,可以使用一個 BitSet 修改另一個 BitSet 的內(nèi)容。 默認(rèn)情況下,set 中所有位...  閱讀全文

    posted @ 2013-06-14 11:24 云云 閱讀(5061) | 評論 (0)編輯 收藏

         摘要: 普通泛型 Java代碼 class Point<T>{ // 此處可以隨便寫標(biāo)識符號,T是type的簡稱 private T var ; // var的類型由T指定,即:由外部指定 public T getVar(){ // 返回值的類型由外部決定 return var ; } public void setVar(T var){ // 設(shè)置的類型也由外部決定 this....  閱讀全文

    posted @ 2013-06-04 21:03 云云 閱讀(307) | 評論 (0)編輯 收藏

    nbtstat -a IP
    nbtstat -anp 10.14x.1x.26x
    通過ip 反查 局域網(wǎng) 機(jī)器名
    注冊服務(wù)會經(jīng)常用到

    posted @ 2013-06-04 18:29 云云 閱讀(355) | 評論 (0)編輯 收藏

    1  depoly: 
        mvn clean source:jar deploy -Denforcer.skip=true -Dmaven.test.skip=true -U

    2  packet
        mvn clean install -Dmaven.test.skip=true -Denforcer.skip=true -U

    3 eclipse

      mvn eclipse:eclipse -Dwtpversion=2.0 -Denforcer.skip=true  -DdownloadJavadocs=true -o
    pause

    posted @ 2013-04-07 14:20 云云 閱讀(470) | 評論 (0)編輯 收藏

    前兩天休眠后機(jī)器非正常關(guān)機(jī),重新啟動后運(yùn)行eclipse。悲催的發(fā)現(xiàn)eclipse 無法啟動了。每次雙擊啟動后,確定完workspace后,顯示啟動畫面,沒過一會就進(jìn)入灰色無響應(yīng)狀態(tài)。啟動畫面始終停留在Loading workbench狀態(tài)。反復(fù)重啟,狀態(tài)依舊。嘗試解決。

    搜索了一下,應(yīng)該是非正常關(guān)機(jī)導(dǎo)致eclipse工作區(qū)的文件狀態(tài)錯誤導(dǎo)致。在工作區(qū)目錄中,有一個.metadata目錄,里面是工作區(qū)及各插件的信息,刪除此目錄可以解決問題。

    為保險起見,將.metadata改名移動到/tmp目錄,再重啟eclipse,果然可以正常啟動eclipse了,但原來工作區(qū)的配置和項(xiàng)目信息也都消失,直接顯示的是歡迎界面。

    如何恢復(fù)原來的project配置呢?嘗試對比了當(dāng)前的.metadata和之前備份的那個目錄,發(fā)現(xiàn)缺少了很多配置文件。試著一點(diǎn)點(diǎn)恢復(fù)一些目錄,但效果不理想。因?yàn)椴恢滥男┪募?目錄)可以恢復(fù),哪些恢復(fù)會帶來問題。將備份的整個目錄恢復(fù)試試?Eclipse又回到了無法啟動的狀態(tài)了。

    怎么辦?這時想到啟動停止時顯示的狀態(tài):"Loading workbench",看來和這個workbench插件有關(guān)。查看原來的.metadata/.plugins目錄,在眾多文件夾中
    com.collabnet.subversion.merge          org.eclipse.search
    org.eclipse.compare                           org.eclipse.team.core
    org.eclipse.core.resources                  org.eclipse.team.cvs.core
    org.eclipse.core.runtime               org.eclipse.team.ui
    org.eclipse.debug.core                 org.eclipse.ui.ide
    org.eclipse.debug.ui                   org.eclipse.ui.intro
    org.eclipse.dltk.core                    org.eclipse.ui.views.log
    org.eclipse.dltk.core.index.sql.h2     org.eclipse.ui.workbench
    org.eclipse.dltk.ui                           org.eclipse.ui.workbench.texteditor
    org.eclipse.epp.usagedata.recording    org.eclipse.wb.discovery.core
    org.eclipse.jdt.core                             org.eclipse.wst.internet.cache
    org.eclipse.jdt.ui                                 org.eclipse.wst.jsdt.core
    org.eclipse.ltk.core.refactoring          org.eclipse.wst.jsdt.ui
    org.eclipse.ltk.ui.refactoring            org.eclipse.wst.jsdt.web.core
    org.eclipse.m2e.core                    org.eclipse.wst.sse.ui
    org.eclipse.m2e.logback.configuration  org.eclipse.wst.validation
    org.eclipse.mylyn.bugzilla.core        org.eclipse.wst.xml.core
    org.eclipse.mylyn.tasks.ui             org.tigris.subversion.subclipse.core
    org.eclipse.php.core                   org.tigris.subversion.subclipse.graph
    org.eclipse.php.ui                     org.tigris.subversion.subclipse.ui

    發(fā)現(xiàn)了兩個: org.eclipse.ui.workbenchorg.eclipse.ui.workbench.texteditor

    不管三七二十一,刪了這兩個目錄,重新啟動eclipse。正常啟動且原項(xiàng)目信息正確加載。

    posted @ 2013-04-01 09:57 云云 閱讀(662) | 評論 (0)編輯 收藏

     原文:http://www.iteye.com/topic/1118660

    整個ThreadPoolExecutor的任務(wù)處理有4步操作:

     

    • 第一步,初始的poolSize < corePoolSize,提交的runnable任務(wù),會直接做為new一個Thread的參數(shù),立馬執(zhí)行
    • 第二步,當(dāng)提交的任務(wù)數(shù)超過了corePoolSize,就進(jìn)入了第二步操作。會將當(dāng)前的runable提交到一個block queue中
    • 第三步,如果block queue是個有界隊(duì)列,當(dāng)隊(duì)列滿了之后就進(jìn)入了第三步。如果poolSize < maximumPoolsize時,會嘗試new 一個Thread的進(jìn)行救急處理,立馬執(zhí)行對應(yīng)的runnable任務(wù)
    • 第四步,如果第三步救急方案也無法處理了,就會走到第四步執(zhí)行reject操作。
    幾點(diǎn)說明:(相信這些網(wǎng)上一搜一大把,我這里簡單介紹下,為后面做一下鋪墊)
    • block queue有以下幾種實(shí)現(xiàn):
      1. ArrayBlockingQueue :  有界的數(shù)組隊(duì)列
      2. LinkedBlockingQueue : 可支持有界/無界的隊(duì)列,使用鏈表實(shí)現(xiàn)
      3. PriorityBlockingQueue : 優(yōu)先隊(duì)列,可以針對任務(wù)排序
      4. SynchronousQueue : 隊(duì)列長度為1的隊(duì)列,和Array有點(diǎn)區(qū)別就是:client thread提交到block queue會是一個阻塞過程,直到有一個worker thread連接上來poll task。
    • RejectExecutionHandler是針對任務(wù)無法處理時的一些自保護(hù)處理:
      1. Reject 直接拋出Reject exception
      2. Discard 直接忽略該runnable,不可取
      3. DiscardOldest 丟棄最早入隊(duì)列的的任務(wù)
      4. CallsRun 直接讓原先的client thread做為worker線程,進(jìn)行執(zhí)行

    容易被人忽略的點(diǎn):
    1.  pool threads啟動后,以后的任務(wù)獲取都會通過block queue中,獲取堆積的runnable task.

    所以建議: block size >= corePoolSize ,不然線程池就沒任何意義
    2.  corePoolSize 和 maximumPoolSize的區(qū)別, 和大家正常理解的數(shù)據(jù)庫連接池不太一樣。
      *  據(jù)dbcp pool為例,會有minIdle , maxActive配置。minIdle代表是常駐內(nèi)存中的threads數(shù)量,maxActive代表是工作的最大線程數(shù)。
      *  這里的corePoolSize就是連接池的maxActive的概念,它沒有minIdle的概念(每個線程可以設(shè)置keepAliveTime,超過多少時間多有任務(wù)后銷毀線程,但不會固定保持一定數(shù)量的threads)。 
      * 這里的maximumPoolSize,是一種救急措施的第一層。當(dāng)threadPoolExecutor的工作threads存在滿負(fù)荷,并且block queue隊(duì)列也滿了,這時代表接近崩潰邊緣。這時允許臨時起一批threads,用來處理runnable,處理完后立馬退出。

    所以建議:  maximumPoolSize >= corePoolSize =期望的最大線程數(shù)。 (我曾經(jīng)配置了corePoolSize=1, maximumPoolSize=20, blockqueue為無界隊(duì)列,最后就成了單線程工作的pool。典型的配置錯誤)

    3. 善用blockqueue和reject組合. 這里要重點(diǎn)推薦下CallsRun的Rejected Handler,從字面意思就是讓調(diào)用者自己來運(yùn)行。
    我們經(jīng)常會在線上使用一些線程池做異步處理,比如我前面做的(業(yè)務(wù)層)異步并行加載技術(shù)分析和設(shè)計將原本串行的請求都變?yōu)榱瞬⑿胁僮鳎^多的并行會增加系統(tǒng)的負(fù)載(比如軟中斷,上下文切換)。所以肯定需要對線程池做一個size限制。但是為了引入異步操作后,避免因在block queue的等待時間過長,所以需要在隊(duì)列滿的時,執(zhí)行一個callsRun的策略,并行的操作又轉(zhuǎn)為一個串行處理,這樣就可以保證盡量少的延遲影響。

    所以建議:  RejectExecutionHandler = CallsRun ,  blockqueue size = 2 * poolSize (為啥是2倍poolSize,主要一個考慮就是瞬間高峰處理,允許一個thread等待一個runnable任務(wù))

    Btrace容量規(guī)劃

    再提供一個btrace腳本,分析線上的thread pool容量規(guī)劃是否合理,可以運(yùn)行時輸出poolSize等一些數(shù)據(jù)。

     

     

    Java代碼  
    1. import static com.sun.btrace.BTraceUtils.addToAggregation;   
    2. import static com.sun.btrace.BTraceUtils.field;   
    3. import static com.sun.btrace.BTraceUtils.get;   
    4. import static com.sun.btrace.BTraceUtils.newAggregation;   
    5. import static com.sun.btrace.BTraceUtils.newAggregationKey;   
    6. import static com.sun.btrace.BTraceUtils.printAggregation;   
    7. import static com.sun.btrace.BTraceUtils.println;   
    8. import static com.sun.btrace.BTraceUtils.str;   
    9. import static com.sun.btrace.BTraceUtils.strcat;   
    10.   
    11. import java.lang.reflect.Field;   
    12. import java.util.concurrent.atomic.AtomicInteger;   
    13.   
    14. import com.sun.btrace.BTraceUtils;   
    15. import com.sun.btrace.aggregation.Aggregation;   
    16. import com.sun.btrace.aggregation.AggregationFunction;   
    17. import com.sun.btrace.aggregation.AggregationKey;   
    18. import com.sun.btrace.annotations.BTrace;   
    19. import com.sun.btrace.annotations.Kind;   
    20. import com.sun.btrace.annotations.Location;   
    21. import com.sun.btrace.annotations.OnEvent;   
    22. import com.sun.btrace.annotations.OnMethod;   
    23. import com.sun.btrace.annotations.OnTimer;   
    24. import com.sun.btrace.annotations.Self;   
    25.   
    26. /**  
    27.  * 并行加載監(jiān)控  
    28.  *   
    29.  * @author jianghang 2011-4-7 下午10:59:53  
    30.  */  
    31. @BTrace  
    32. public class AsyncLoadTracer {   
    33.   
    34.     private static AtomicInteger rejecctCount = BTraceUtils.newAtomicInteger(0);   
    35.     private static Aggregation   histogram    = newAggregation(AggregationFunction.QUANTIZE);   
    36.     private static Aggregation   average      = newAggregation(AggregationFunction.AVERAGE);   
    37.     private static Aggregation   max          = newAggregation(AggregationFunction.MAXIMUM);   
    38.     private static Aggregation   min          = newAggregation(AggregationFunction.MINIMUM);   
    39.     private static Aggregation   sum          = newAggregation(AggregationFunction.SUM);   
    40.     private static Aggregation   count        = newAggregation(AggregationFunction.COUNT);   
    41.   
    42.     @OnMethod(clazz = "java.util.concurrent.ThreadPoolExecutor", method = "execute", location = @Location(value = Kind.ENTRY))   
    43.     public static void executeMonitor(@Self Object self) {   
    44.         Field poolSizeField = field("java.util.concurrent.ThreadPoolExecutor""poolSize");   
    45.         Field largestPoolSizeField = field("java.util.concurrent.ThreadPoolExecutor""largestPoolSize");   
    46.         Field workQueueField = field("java.util.concurrent.ThreadPoolExecutor""workQueue");   
    47.   
    48.         Field countField = field("java.util.concurrent.ArrayBlockingQueue""count");   
    49.         int poolSize = (Integer) get(poolSizeField, self);   
    50.         int largestPoolSize = (Integer) get(largestPoolSizeField, self);   
    51.         int queueSize = (Integer) get(countField, get(workQueueField, self));   
    52.   
    53.         println(strcat(strcat(strcat(strcat(strcat("poolSize : ", str(poolSize)), " largestPoolSize : "),   
    54.                                      str(largestPoolSize)), " queueSize : "), str(queueSize)));   
    55.     }   
    56.   
    57.     @OnMethod(clazz = "java.util.concurrent.ThreadPoolExecutor", method = "reject", location = @Location(value = Kind.ENTRY))   
    58.     public static void rejectMonitor(@Self Object self) {   
    59.         String name = str(self);   
    60.         if (BTraceUtils.startsWith(name, "com.alibaba.pivot.common.asyncload.impl.pool.AsyncLoadThreadPool")) {   
    61.             BTraceUtils.incrementAndGet(rejecctCount);   
    62.         }   
    63.     }   
    64.   
    65.     @OnTimer(1000)   
    66.     public static void rejectPrintln() {   
    67.         int reject = BTraceUtils.getAndSet(rejecctCount, 0);   
    68.         println(strcat("reject count in 1000 msec: ", str(reject)));   
    69.         AggregationKey key = newAggregationKey("rejectCount");   
    70.         addToAggregation(histogram, key, reject);   
    71.         addToAggregation(average, key, reject);   
    72.         addToAggregation(max, key, reject);   
    73.         addToAggregation(min, key, reject);   
    74.         addToAggregation(sum, key, reject);   
    75.         addToAggregation(count, key, reject);   
    76.     }   
    77.   
    78.     @OnEvent  
    79.     public static void onEvent() {   
    80.         BTraceUtils.truncateAggregation(histogram, 10);   
    81.         println("---------------------------------------------");   
    82.         printAggregation("Count", count);   
    83.         printAggregation("Min", min);   
    84.         printAggregation("Max", max);   
    85.         printAggregation("Average", average);   
    86.         printAggregation("Sum", sum);   
    87.         printAggregation("Histogram", histogram);   
    88.         println("---------------------------------------------");   
    89.     }   
    90. }  
     

    運(yùn)行結(jié)果:

     

    Java代碼  
    1. poolSize : 1 , largestPoolSize = 10 , queueSize = 10  
    2. reject count in 1000 msec: 0  

     

    說明:

    1. poolSize 代表為當(dāng)前的線程數(shù)

    2. largestPoolSize 代表為歷史最大的線程數(shù)

    3. queueSize 代表blockqueue的當(dāng)前堆積的size

    4. reject count 代表在1000ms內(nèi)的被reject的數(shù)量

     

     

    最后

      這是我對ThreadPoolExecutor使用過程中的一些經(jīng)驗(yàn)總結(jié),希望能對大家有所幫助,如有描述不對的地方歡迎拍磚。

    posted @ 2013-01-14 16:08 云云 閱讀(392) | 評論 (0)編輯 收藏

    1. 堆大小設(shè)置
      JVM 中最大堆大小有三方面限制:相關(guān)操作系統(tǒng)的數(shù)據(jù)模型(32-bt還是64-bit)限制;系統(tǒng)的可用虛擬內(nèi)存限制;系統(tǒng)的可用物理內(nèi)存限制。32位系統(tǒng)下,一般限制在1.5G~2G;64為操作系統(tǒng)對內(nèi)存無限制。我在Windows Server 2003 系統(tǒng),3.5G物理內(nèi)存,JDK5.0下測試,最大可設(shè)置為1478m。
      典型設(shè)置:
      • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k
        -
        Xmx3550m:設(shè)置JVM最大可用內(nèi)存為3550M。
        -Xms3550m
        :設(shè)置JVM促使內(nèi)存為3550m。此值可以設(shè)置與-Xmx相同,以避免每次垃圾回收完成后JVM重新分配內(nèi)存。
        -Xmn2g
        :設(shè)置年輕代大小為2G。整個JVM內(nèi)存大小=年輕代大小 + 年老代大小 + 持久代大小。持久代一般固定大小為64m,所以增大年輕代后,將會減小年老代大小。此值對系統(tǒng)性能影響較大,Sun官方推薦配置為整個堆的3/8。
        -Xss128k
        :設(shè)置每個線程的堆棧大小。JDK5.0以后每個線程堆棧大小為1M,以前每個線程堆棧大小為256K。更具應(yīng)用的線程所需內(nèi)存大小進(jìn)行調(diào)整。在相同物理內(nèi)存下,減小這個值能生成更多的線程。但是操作系統(tǒng)對一個進(jìn)程內(nèi)的線程數(shù)還是有限制的,不能無限生成,經(jīng)驗(yàn)值在3000~5000左右。
      • java -Xmx3550m -Xms3550m -Xss128k -XX:NewRatio=4 -XX:SurvivorRatio=4 -XX:MaxPermSize=16m -XX:MaxTenuringThreshold=0
        -XX:NewRatio=4
        :設(shè)置年輕代(包括Eden和兩個Survivor區(qū))與年老代的比值(除去持久代)。設(shè)置為4,則年輕代與年老代所占比值為1:4,年輕代占整個堆棧的1/5
        -XX:SurvivorRatio=4
        :設(shè)置年輕代中Eden區(qū)與Survivor區(qū)的大小比值。設(shè)置為4,則兩個Survivor區(qū)與一個Eden區(qū)的比值為2:4,一個Survivor區(qū)占整個年輕代的1/6
        -XX:MaxPermSize=16m:設(shè)置持久代大小為16m。
        -XX:MaxTenuringThreshold=0:設(shè)置垃圾最大年齡。如果設(shè)置為0的話,則年輕代對象不經(jīng)過Survivor區(qū),直接進(jìn)入年老代。對于年老代比較多的應(yīng)用,可以提高效率。如果將此值設(shè)置為一個較大值,則年輕代對象會在Survivor區(qū)進(jìn)行多次復(fù)制,這樣可以增加對象再年輕代的存活時間,增加在年輕代即被回收的概論。
    2. 回收器選擇
      JVM給了三種選擇:串行收集器、并行收集器、并發(fā)收集器,但是串行收集器只適用于小數(shù)據(jù)量的情況,所以這里的選擇主要針對并行收集器和并發(fā)收集器。默認(rèn)情況下,JDK5.0以前都是使用串行收集器,如果想使用其他收集器需要在啟動時加入相應(yīng)參數(shù)。JDK5.0以后,JVM會根據(jù)當(dāng)前系統(tǒng)配置進(jìn)行判斷。
      1. 吞吐量優(yōu)先的并行收集器
        如上文所述,并行收集器主要以到達(dá)一定的吞吐量為目標(biāo),適用于科學(xué)技術(shù)和后臺處理等。
        典型配置
        • java -Xmx3800m -Xms3800m -Xmn2g -Xss128k -XX:+UseParallelGC -XX:ParallelGCThreads=20
          -XX:+UseParallelGC
          :選擇垃圾收集器為并行收集器。此配置僅對年輕代有效。即上述配置下,年輕代使用并發(fā)收集,而年老代仍舊使用串行收集。
          -XX:ParallelGCThreads=20:配置并行收集器的線程數(shù),即:同時多少個線程一起進(jìn)行垃圾回收。此值最好配置與處理器數(shù)目相等。
        • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:+UseParallelGC -XX:ParallelGCThreads=20 -XX:+UseParallelOldGC
          -XX:+UseParallelOldGC:配置年老代垃圾收集方式為并行收集。JDK6.0支持對年老代并行收集。
        • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:+UseParallelGC  -XX:MaxGCPauseMillis=100
          -XX:MaxGCPauseMillis=100:設(shè)置每次年輕代垃圾回收的最長時間,如果無法滿足此時間,JVM會自動調(diào)整年輕代大小,以滿足此值。
        • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:+UseParallelGC  -XX:MaxGCPauseMillis=100 -XX:+UseAdaptiveSizePolicy
          -XX:+UseAdaptiveSizePolicy
          :設(shè)置此選項(xiàng)后,并行收集器會自動選擇年輕代區(qū)大小和相應(yīng)的Survivor區(qū)比例,以達(dá)到目標(biāo)系統(tǒng)規(guī)定的最低相應(yīng)時間或者收集頻率等,此值建議使用并行收集器時,一直打開。
      2. 響應(yīng)時間優(yōu)先的并發(fā)收集器
        如上文所述,并發(fā)收集器主要是保證系統(tǒng)的響應(yīng)時間,減少垃圾收集時的停頓時間。適用于應(yīng)用服務(wù)器、電信領(lǐng)域等。
        典型配置
        • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:ParallelGCThreads=20 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC
          -XX:+UseConcMarkSweepGC:設(shè)置年老代為并發(fā)收集。測試中配置這個以后,-XX:NewRatio=4的配置失效了,原因不明。所以,此時年輕代大小最好用-Xmn設(shè)置。
          -XX:+UseParNewGC:設(shè)置年輕代為并行收集。可與CMS收集同時使用。JDK5.0以上,JVM會根據(jù)系統(tǒng)配置自行設(shè)置,所以無需再設(shè)置此值。
        • java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -XX:+UseConcMarkSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection
          -XX:CMSFullGCsBeforeCompaction:由于并發(fā)收集器不對內(nèi)存空間進(jìn)行壓縮、整理,所以運(yùn)行一段時間以后會產(chǎn)生“碎片”,使得運(yùn)行效率降低。此值設(shè)置運(yùn)行多少次GC以后對內(nèi)存空間進(jìn)行壓縮、整理。
          -XX:+UseCMSCompactAtFullCollection:打開對年老代的壓縮。可能會影響性能,但是可以消除碎片
    3. 輔助信息
      JVM提供了大量命令行參數(shù),打印信息,供調(diào)試使用。主要有以下一些:
      • -XX:+PrintGC
        輸出形式:[GC 118250K->113543K(130112K), 0.0094143 secs]

                        [Full GC 121376K->10414K(130112K), 0.0650971 secs]

      • -XX:+PrintGCDetails
        輸出形式:[GC [DefNew: 8614K->781K(9088K), 0.0123035 secs] 118250K->113543K(130112K), 0.0124633 secs]

                        [GC [DefNew: 8614K->8614K(9088K), 0.0000665 secs][Tenured: 112761K->10414K(121024K), 0.0433488 secs] 121376K->10414K(130112K), 0.0436268 secs]

      • -XX:+PrintGCTimeStamps -XX:+PrintGC:PrintGCTimeStamps可與上面兩個混合使用
        輸出形式:11.851: [GC 98328K->93620K(130112K), 0.0082960 secs]
      • -XX:+PrintGCApplicationConcurrentTime:打印每次垃圾回收前,程序未中斷的執(zhí)行時間。可與上面混合使用
        輸出形式:Application time: 0.5291524 seconds
      • -XX:+PrintGCApplicationStoppedTime:打印垃圾回收期間程序暫停的時間。可與上面混合使用
        輸出形式:Total time for which application threads were stopped: 0.0468229 seconds
      • -XX:PrintHeapAtGC:打印GC前后的詳細(xì)堆棧信息
        輸出形式:
        34.702: [GC {Heap before gc invocations=7:
         def new generation   total 55296K, used 52568K [0x1ebd0000, 0x227d0000, 0x227d0000)
        eden space 49152K,  99% used [0x1ebd0000, 0x21bce430, 0x21bd0000)
        from space 6144K,  55% used [0x221d0000, 0x22527e10, 0x227d0000)
          to   space 6144K,   0% used [0x21bd0000, 0x21bd0000, 0x221d0000)
         tenured generation   total 69632K, used 2696K [0x227d0000, 0x26bd0000, 0x26bd0000)
        the space 69632K,   3% used [0x227d0000, 0x22a720f8, 0x22a72200, 0x26bd0000)
         compacting perm gen  total 8192K, used 2898K [0x26bd0000, 0x273d0000, 0x2abd0000)
           the space 8192K,  35% used [0x26bd0000, 0x26ea4ba8, 0x26ea4c00, 0x273d0000)
            ro space 8192K,  66% used [0x2abd0000, 0x2b12bcc0, 0x2b12be00, 0x2b3d0000)
            rw space 12288K,  46% used [0x2b3d0000, 0x2b972060, 0x2b972200, 0x2bfd0000)
        34.735: [DefNew: 52568K->3433K(55296K), 0.0072126 secs] 55264K->6615K(124928K)Heap after gc invocations=8:
         def new generation   total 55296K, used 3433K [0x1ebd0000, 0x227d0000, 0x227d0000)
        eden space 49152K,   0% used [0x1ebd0000, 0x1ebd0000, 0x21bd0000)
          from space 6144K,  55% used [0x21bd0000, 0x21f2a5e8, 0x221d0000)
          to   space 6144K,   0% used [0x221d0000, 0x221d0000, 0x227d0000)
         tenured generation   total 69632K, used 3182K [0x227d0000, 0x26bd0000, 0x26bd0000)
        the space 69632K,   4% used [0x227d0000, 0x22aeb958, 0x22aeba00, 0x26bd0000)
         compacting perm gen  total 8192K, used 2898K [0x26bd0000, 0x273d0000, 0x2abd0000)
           the space 8192K,  35% used [0x26bd0000, 0x26ea4ba8, 0x26ea4c00, 0x273d0000)
            ro space 8192K,  66% used [0x2abd0000, 0x2b12bcc0, 0x2b12be00, 0x2b3d0000)
            rw space 12288K,  46% used [0x2b3d0000, 0x2b972060, 0x2b972200, 0x2bfd0000)
        }
        , 0.0757599 secs]
      • -Xloggc:filename:與上面幾個配合使用,把相關(guān)日志信息記錄到文件以便分析。
    4. 常見配置匯總
      1. 堆設(shè)置
        • -Xms:初始堆大小
        • -Xmx:最大堆大小
        • -XX:NewSize=n:設(shè)置年輕代大小
        • -XX:NewRatio=n:設(shè)置年輕代和年老代的比值。如:為3,表示年輕代與年老代比值為1:3,年輕代占整個年輕代年老代和的1/4
        • -XX:SurvivorRatio=n:年輕代中Eden區(qū)與兩個Survivor區(qū)的比值。注意Survivor區(qū)有兩個。如:3,表示Eden:Survivor=3:2,一個Survivor區(qū)占整個年輕代的1/5
        • -XX:MaxPermSize=n:設(shè)置持久代大小
      2. 收集器設(shè)置
        • -XX:+UseSerialGC:設(shè)置串行收集器
        • -XX:+UseParallelGC:設(shè)置并行收集器
        • -XX:+UseParalledlOldGC:設(shè)置并行年老代收集器
        • -XX:+UseConcMarkSweepGC:設(shè)置并發(fā)收集器
      3. 垃圾回收統(tǒng)計信息
        • -XX:+PrintGC
        • -XX:+PrintGCDetails
        • -XX:+PrintGCTimeStamps
        • -Xloggc:filename
      4. 并行收集器設(shè)置
        • -XX:ParallelGCThreads=n:設(shè)置并行收集器收集時使用的CPU數(shù)。并行收集線程數(shù)。
        • -XX:MaxGCPauseMillis=n:設(shè)置并行收集最大暫停時間
        • -XX:GCTimeRatio=n:設(shè)置垃圾回收時間占程序運(yùn)行時間的百分比。公式為1/(1+n)
      5. 并發(fā)收集器設(shè)置
        • -XX:+CMSIncrementalMode:設(shè)置為增量模式。適用于單CPU情況。
        • -XX:ParallelGCThreads=n:設(shè)置并發(fā)收集器年輕代收集方式為并行收集時,使用的CPU數(shù)。并行收集線程數(shù)。


    四、調(diào)優(yōu)總結(jié)

    1. 年輕代大小選擇
      • 響應(yīng)時間優(yōu)先的應(yīng)用盡可能設(shè)大,直到接近系統(tǒng)的最低響應(yīng)時間限制(根據(jù)實(shí)際情況選擇)。在此種情況下,年輕代收集發(fā)生的頻率也是最小的。同時,減少到達(dá)年老代的對象。
      • 吞吐量優(yōu)先的應(yīng)用:盡可能的設(shè)置大,可能到達(dá)Gbit的程度。因?yàn)閷憫?yīng)時間沒有要求,垃圾收集可以并行進(jìn)行,一般適合8CPU以上的應(yīng)用。
    2. 年老代大小選擇
      • 響應(yīng)時間優(yōu)先的應(yīng)用:年老代使用并發(fā)收集器,所以其大小需要小心設(shè)置,一般要考慮并發(fā)會話率會話持續(xù)時間等一些參數(shù)。如果堆設(shè)置小了,可以會造成內(nèi)存碎片、高回收頻率以及應(yīng)用暫停而使用傳統(tǒng)的標(biāo)記清除方式;如果堆大了,則需要較長的收集時間。最優(yōu)化的方案,一般需要參考以下數(shù)據(jù)獲得:
        • 并發(fā)垃圾收集信息
        • 持久代并發(fā)收集次數(shù)
        • 傳統(tǒng)GC信息
        • 花在年輕代和年老代回收上的時間比例
        減少年輕代和年老代花費(fèi)的時間,一般會提高應(yīng)用的效率
      • 吞吐量優(yōu)先的應(yīng)用:一般吞吐量優(yōu)先的應(yīng)用都有一個很大的年輕代和一個較小的年老代。原因是,這樣可以盡可能回收掉大部分短期對象,減少中期的對象,而年老代盡存放長期存活對象。
    3. 較小堆引起的碎片問題
      因?yàn)槟昀洗牟l(fā)收集器使用標(biāo)記、清除算法,所以不會對堆進(jìn)行壓縮。當(dāng)收集器回收時,他會把相鄰的空間進(jìn)行合并,這樣可以分配給較大的對象。但是,當(dāng)堆空間較小時,運(yùn)行一段時間以后,就會出現(xiàn)“碎片”,如果并發(fā)收集器找不到足夠的空間,那么并發(fā)收集器將會停止,然后使用傳統(tǒng)的標(biāo)記、清除方式進(jìn)行回收。如果出現(xiàn)“碎片”,可能需要進(jìn)行如下配置:
      • -XX:+UseCMSCompactAtFullCollection:使用并發(fā)收集器時,開啟對年老代的壓縮。
      • -XX:CMSFullGCsBeforeCompaction=0:上面配置開啟的情況下,這里設(shè)置多少次Full GC后,對年老代進(jìn)行壓縮

    posted @ 2013-01-11 14:18 云云 閱讀(1208) | 評論 (0)編輯 收藏

    google的guava工具包的確很多好東西,包括之前的字符串處理工具類的,還有大量的collection相關(guān)的,項(xiàng)目地址在:http://code.google.com/p/guava-libraries/
    留意到其中的collection相關(guān)類中的map,簡單介紹如下,更多的請大家補(bǔ)充挖掘或者
    看原來的文檔:



        guava提供的是多值map!,就是說,一個key,可以對應(yīng)多個value了,比如一個人會有多個聯(lián)系號碼等,可以表達(dá)為:
        multimap<String,String> phonebook=ArrayListMultmap.create();
        phonebook.put("a","43434");
        phonebook.put("b","3434434");
      system.out.println(phonebook,get("a"));


      還有map的查詢:
      
    Java代碼
    1. Map<String, Integer> user = new HashMap<String, Integer>();   
    2.         user.put("張三"20);   
    3.         user.put("李四"22);   
    4.         user.put("王五"25);   
    5.         // 所有年齡大于20歲的人員   
    6.         Map<String, Integer> filtedMap = Maps.filterValues(user,   
    7.                 new Predicate<Integer>() {   
    8.                     public boolean apply(Integer value) {   
    9.                         return value > 20;   
    10.                     }   
    11.                 });   
    12.         System.out.println(filtedMap);  


       再來點(diǎn)例子,加深了解:

      
    Java代碼
    1.   
    2. public class MutliMapTest {   
    3.     public static void main(String... args) {   
    4.   Multimap<String, String> myMultimap = ArrayListMultimap.create();   
    5.   
    6.   // Adding some key/value   
    7.   myMultimap.put('Fruits''Bannana');   
    8.   myMultimap.put('Fruits''Apple');   
    9.   myMultimap.put('Fruits''Pear');   
    10.   myMultimap.put('Vegetables''Carrot');   
    11.   
    12.   // Getting the size   
    13.   int size = myMultimap.size();   
    14.   System.out.println(size);  // 4   
    15.   
    16.     
    17.   Collection<string> fruits = myMultimap.get('Fruits');   
    18.   System.out.println(fruits); // [Bannana, Apple, Pear]   
    19.   
    20.   Collection<string> vegetables = myMultimap.get('Vegetables');   
    21.   System.out.println(vegetables); // [Carrot]   
    22.   
    23.   // 循環(huán)輸出   
    24.   for(String value : myMultimap.values()) {   
    25.    System.out.println(value);   
    26.   }   
    27.   
    28.   // 移走某個值   
    29.   myMultimap.remove('Fruits','Pear');   
    30.   System.out.println(myMultimap.get('Fruits')); // [Bannana, Pear]   
    31.   
    32.   //移走某個KEY的所有對應(yīng)value   
    33.   myMultimap.removeAll('Fruits');   
    34.   System.out.println(myMultimap.get('Fruits')); // [] (Empty Collection!)   
    35.  }   
    36. }  


      更詳細(xì)的看:
    http://docs.guava-libraries.googlecode.com/git-history/release09/javadoc/com/google/common/collect/Multimap.html

    posted @ 2012-12-13 22:00 云云 閱讀(2141) | 評論 (0)編輯 收藏

    主站蜘蛛池模板: 啦啦啦在线免费视频| 内射干少妇亚洲69XXX| 亚洲AV无码无限在线观看不卡 | 亚洲XX00视频| 亚洲二区在线视频| a级毛片黄免费a级毛片| 国产片免费在线观看| 亚洲白嫩在线观看| 免费一区二区三区| 亚洲色图综合在线| 国产精品久久久久久亚洲影视| 4hu四虎最新免费地址| 亚洲av无码一区二区三区不卡 | 国产免费变态视频网址网站| 亚洲人成网站18禁止久久影院 | 国产小视频在线观看免费| 精品亚洲AV无码一区二区| 免费A级毛片无码视频| 国产亚洲美女精品久久久久狼| 日韩毛片一区视频免费| 日韩精品无码人妻免费视频| 亚洲欧洲日韩极速播放| 99久久久精品免费观看国产| 亚洲国产成人私人影院| 国产一区二区免费| 亚洲综合无码精品一区二区三区| 美女黄频免费网站| 国产又长又粗又爽免费视频 | 亚洲中文字幕日产乱码高清app| 免费夜色污私人影院网站| 国产免费无遮挡精品视频| 亚洲午夜无码久久久久软件| 免费观看的毛片大全| 亚洲国产高清在线精品一区| 在线看片免费人成视久网| 亚洲宅男永久在线| 久久久久久国产精品免费无码| 亚洲成a人片在线观看日本| a在线免费观看视频| 国产亚洲精品a在线无码| 三年片在线观看免费西瓜视频|