現在項目的分頁是使用jdbc的 absolute的方法,設置Resultset為TYPE_SCROLL_INSENSITIVE。用了幾年,問題也不大,在幾個數據庫上都測試過,100萬條記錄一點問題沒有。

當初曾經查看過jdbc的文檔,確定數據只是在真正要取的時候才會從數據庫讀取, jdbc會根據fetch size的大小一次的預讀一部分記錄。

這幾天看的wicket的開發文檔和pojo in action都提到這種jdbc的讀取方式會有性能問題, 由不得我不測試一下。

先寫了一個最簡單的jdbc測試,在100萬記錄的情況下對數據庫進行absolute定位操作, 從20萬開始取1頁記錄大約是5秒, 但是再往上面加,比如40萬開始就內存溢出了。這就說明oracle的jdbc在用absolute的時候確實是要逐行讀取數據的。另外發現,設置fetchsize ,速度會有10%左右的提高。

然后改用oracle 自身的 rownum的方式進行分頁測試.

  SELECT * FROM (SELECT A.*, ROWNUM RN FROM (SELECT * FROM demo_table) A WHERE ROWNUM <= 200010WHERE RN >= 200000

 

執行速度確實快了一些, 大約在2-3秒之間。但是這種方式應該是越到后面越慢,果然從90萬位置開始取, 大約是在13秒左右。這樣一來,修改實現方式好像就是必須的了, 但是奇怪的是,使用ibatis的分頁并沒有什么內存溢出的問題,100萬記錄到最后一頁,感覺上大概也是10多秒。

看了一下ibatis的queryForList這個方法, debug了一下, 發現他有個判斷, 對于forward_only的類型的resultset 是用循環next來定位的(記得以前自己的分頁實現里面為了兼容性也做了這樣的處理),而不是我誤以為的absolute方式。

看來oracle的jdbc 對于forward_only的resultset做 next方法是不會產生真正的讀取操作。 用jdbc 測試了一下,果真如此。 從90萬記錄開始取,沒有出現內存溢出的問題,執行時間大約22秒左右。

不知道這種差別在mysql和db2上是否也是如此,下次有時間再做一個測試看看。

至于next和rownum執行效率的差距, 我估計是前者必須用游標順序定位。

現在的問題就是, 兩者比較, 執行時間只相差一倍而已,還是一個數量級別的,就為了這個做修改,還導致sql不可以跨數據庫,好像一點都不值得。甚至如果用戶不直接翻到最后幾頁,根本感覺不到速度差別。
 
后來想想,老外有時候也是腦子壞了, 什么樣的項目會需要你沒事去翻上百萬記錄。還是保持原狀,丟在哪再說吧

測試環境:oracle9i 2版, 西文字符集。沒對其他參數進行測試。