.JVM內存的設置的原理

默認的java虛擬機的大小比較小,在對大數據進行處理時java就會報錯:java.lang.OutOfMemoryError。設置jvm內存的方法,對于單獨的.class,可以用下面的方法對Test運行時的jvm內存進行設置。
java -Xms64m -Xmx256m Test
-Xms
是設置內存初始化的大小
-Xmx
是設置最大能夠使用內存的大小(最好不要超過物理內存大小)
weblogic中,可以在startweblogic.cmd中對每個domain虛擬內存的大小進行設置,默認的設置是在commEnv.cmd里面。

-vmargs
-Xms128M
-Xmx512M
-XX:PermSize=64M
-XX:MaxPermSize=128M

下面是這幾個設置的一些背景知識:

  • 堆(Heap)和非堆(Non-heap)內存
    按照官方的說法:“Java 虛擬機具有一個堆,堆是運行時數據區域,所有類實例和數組的內存均從此處分配。堆是在 Java 虛擬機啟動時創建的。”“在JVM中堆之外的內存稱為非堆內存(Non-heap memory)”。可以看出JVM主要管理兩種類型的內存:堆和非堆。簡單來說堆就是Java代碼可及的內存,是留給開發人員使用的;非堆就是JVM留給 自己用的,所以方法區、JVM內部處理或優化所需的內存(如JIT編譯后的代碼緩存)、每個類結構(如運行時常數池、字段和方法數據)以及方法和構造方法 的代碼都在非堆內存中。
  • 堆內存分配
    JVM初始分配的內存由-Xms指定,默認是物理內存的1/64;JVM最 大分配的內存由-Xmx指定,默認是物理內存的1/4。默認空余堆內存小于40%時,JVM就會增大堆直到-Xmx的最大限制;空余堆內存大于70%時, JVM會減少堆直到-Xms的最小限制。因此服務器一般設置-Xms、-Xmx相等以避免在每次GC 后調整堆的大小。
  • 非堆內存分配
    JVM使用-XX:PermSize設置非堆內存初始值,默認是物理內存的1/64;由XX:MaxPermSize設置最大非堆內存的大小,默認是物理內存的1/4。
  • JVM內存限制(最大值)
    首先JVM內存首先受限于實際的最大物理內存,假設物理內存無限 大的話,JVM內存的最大值跟操作系統有很大的關系。簡單的說就32位處理器雖然可控內存空間有4GB,但是具體的操作系統會給一個限制,這個限制一般是 2GB-3GB(一般來說Windows系統下為1.5G-2G,Linux系統下為2G-3G),而64bit以上的處理器就不會有限制了
  • JVM內存的調優

    1. Heap設定與垃圾回收Java Heap分為3個區,YoungOldPermanentYoung保存剛實例化的對象。當該區被填滿時,GC會將對象移到Old區。Permanent區則負責保存反射對象,本文不討論該區。JVMHeap分配可以使用-X參數設定,

    -Xms

    初始Heap大小

    -Xmx

    java heap最大值

    -Xmn

    young generationheap大小

    JVM2GC線程。第一個線程負責回收HeapYoung區。第二個線程在Heap不足時,遍歷Heap,將Young 區升級為Older區。Older區的大小等于-Xmx減去-Xmn,不能將-Xms的值設的過大,因為第二個線程被迫運行會降低JVM的性能。

    為什么一些程序頻繁發生GC?有如下原因:

    l         程序內調用了System.gc()Runtime.gc()

    l         一些中間件軟件調用自己的GC方法,此時需要設置參數禁止這些GC

    l         JavaHeap太小,一般默認的Heap值都很小。

    l         頻繁實例化對象,Release對象。此時盡量保存并重用對象,例如使用StringBuffer()String()

             如果你發現每次GC后,Heap的剩余空間會是總空間的50%,這表示你的Heap處于健康狀態。許多Server端的Java程序每次GC后最好能有65%的剩余空間。經驗之談:

    1ServerJVM最好將-Xms-Xmx設為相同值。為了優化GC,最好讓-Xmn值約等于-Xmx1/3[2]

    2.一個GUI程序最好是每1020秒間運行一次GC,每次在半秒之內完成[2]

    注意:

    1.增加Heap的大小雖然會降低GC的頻率,但也增加了每次GC的時間。并且GC運行時,所有的用戶線程將暫停,也就是GC期間,Java應用程序不做任何工作。

    2Heap大小并不決定進程的內存使用量。進程的內存使用量要大于-Xmx定義的值,因為Java為其他任務分配內存,例如每個線程的Stack等。

    2Stack的設定

    每個線程都有他自己的Stack

    -Xss

    每個線程的Stack大小

    Stack的大小限制著線程的數量。如果Stack過大就好導致內存溢漏。-Xss參數決定Stack大小,例如-Xss1024K。如果Stack太小,也會導致Stack溢漏。

    3.硬件環境

    硬件環境也影響GC的效率,例如機器的種類,內存,swap空間,和CPU的數量。

    如果你的程序需要頻繁創建很多transient對象,會導致JVM頻繁GC。這種情況你可以增加機器的內存,來減少Swap空間的使用[2]

    44GC

    第一種為單線程GC,也是默認的GC。,該GC適用于單CPU機器。

    第二種為Throughput GC,是多線程的GC,適用于多CPU,使用大量線程的程序。第二種GC與第一種GC相似,不同在于GC在收集Young區是多線程的,但在Old區和第一種一樣,仍然采用單線程。-XX:+UseParallelGC參數啟動該GC

    第三種為Concurrent Low Pause GC,類似于第一種,適用于多CPU,并要求縮短因GC造成程序停滯的時間。這種GC可以在Old區的回收同時,運行應用程序。-XX:+UseConcMarkSweepGC參數啟動該GC

    第四種為Incremental Low Pause GC,適用于要求縮短因GC造成程序停滯的時間。這種GC可以在Young區回收的同時,回收一部分Old區對象。-Xincgc參數啟動該GC

    4GC的具體描述參見[3]

    參考文章:

    1. JVM Tuning. http://www.caucho.com/resin-3.0/performance/jvm-tuning.xtp#garbage-collection

    2. Performance tuning Java: Tuning steps

    http://h21007.www2.hp.com/dspp/tech/tech_TechDocumentDetailPage_IDX/1,1701,1604,00.html

    3. Tuning Garbage Collection with the 1.4.2 JavaTM Virtual Machine .

    http://java.sun.com/docs/hotspot/gc1.4.2/

    二.Tomcat配置

    問題分析:

       由于TOMCAT內存溢出而引發的問題,主要原因是JVM的虛擬內存默認為128M,當超過這個值時就把先前占用的內存釋放,而導致好象TCP/IP丟包的假象,出現HTTP500的錯誤。解決方法主要是加大TOMCAT可利用內存,并在程序當中加大內存使用。

    解決方法:

    方法:加大TOMCAT可利用內存:

      在TOMCAT的目錄下,也就是在TOMCAT41/bin/catalina.bat文件最前面加入

      set JAVA_OPTS=-Xms800m -Xmx800m

      表現效果是當你啟動TOMCAT時,系統內存會增加近800M使用

    操作方法:

      1)、先關掉WINDOWS服務當中的TOMCAT4服務。

      2)、再找到TOMCAT/BIN目錄下startup.bat,雙擊打開它,你會發現現WINDOWS內存占用會增加近800M

      3)、執行程序,因為是TOMCAT重新編譯程序,所以第一次會比較慢。

    結論:

    經過測試,我們得出如下數據:

    當系統傳輸約2000條數據時,大約近12M的凈數據(不壓縮時),系統輔助運行的內存大約占用150M左右的空間,也就是近200M的內存占用,而我們擴大了近800MJAVA內存使用,這對于業務本身來說是足夠了。所以你們不用擔心大數據量的傳遞問題。

    基于JAVA虛擬機的原理,JAVA自動有垃圾回收機制,也就是在你對一些內存長時間不使用時(近2分鐘,取決于使用頻度和優先級等),就會自動垃圾回收,從而釋放不用的內存占用。

    .WebLogic配置:

    由于WebLogic的配置問題,我們的測試出現了失敗情況。原因是為WebLogic分配的內存太少了。通過修改commom\bin\commEnv.cmd文件來增加內存分配。

    修改的部分如下:

    :bea

    if "%PRODUCTION_MODE%" == "true" goto bea_prod_mode

    set JAVA_VM=-jrockit

    set MEM_ARGS=-Xms768m -Xmx1024m

    set JAVA_OPTIONS=%JAVA_OPTIONS% -Xverify:none

    goto continue

    :bea_prod_mode

    set JAVA_VM=-jrockit

    set MEM_ARGS=-Xms768m -Xmx1024m//原來是128M~256M,太小了,數據太大

    goto continue

    結果修改后,沒有效果。還是有失敗的情況。

    發現,原來,在:bea下面還有一段配置信息如下:

    :sun

    if "%PRODUCTION_MODE%" == "true" goto sun_prod_mode

    set JAVA_VM=-client

    set MEM_ARGS=-Xms768m -Xmx1024m -XX:MaxPermSize=256m

    set JAVA_OPTIONS=%JAVA_OPTIONS% -Xverify:none

    goto continue

    :sun_prod_mode

    set JAVA_VM=-server

    set MEM_ARGS=-Xms768m -Xmx1024m -XX:MaxPermSize=256m

    goto continue

    將這里的內存分配修改后見效。

    原因是,上面對第一段代碼是為bea自己的JVM設置的,下面的是為Sun的設置的。而WebLogic默認的是Sun的,所以出了毛病。在JDK的選擇上,weblogic有兩種JDK供選擇,一種是SunJDK,另外一種是Beajrockit。按照bea的網站的說明,sun jdk提供更好的兼容性,而使用jrockit可以提供更好的性能。作為weblogic集群我全部采用jrockit作為JDK環境,以達到更高的性能。

    在默認啟動情況下,jrockit啟動時為其窗口配置的內存大小比較小。注意weblogic的啟動內存配置-Xms32m -Xmx256m,通過修改commEnv.sh可以修改這個參數,Xms表示啟動開始分配的內存,Xmx表示最大能分配的內存,這里我們根據應用情況調整為-Xms1536m -Xmx1536m,這點需要根據自身測試情況和系統配置進行調整,經過周一晚的調試,我們目前應用比較合理的窗口內存大小為1536M2G× 75%),通過top可以觀察到測試中的內存反應,最合理的應該是恰好把物理內存用完。