posts - 40, comments - 187, trackbacks - 0

閱讀了Hibernate的Reference之后，可以采用批量處理的方法，當(dāng)插入的數(shù)據(jù)超過10000時，就flush session并且clear。

下面是一個測試method。

?1 /**?*/ /**
?2 ?????*?測試成批插入數(shù)據(jù)的事務(wù)處理，返回是否成功
?3 ?????*?
?4 ?????*? @param ?objPO?Object
?5 ?????*? @return ?boolean
?6 ????? */
?7 ???? public ? boolean ?insertBatch( final ?Object?objPO)? {
?8 ???????? boolean ?isSuccess? = ? false ;
?9 ????????Transaction?transaction? = ? null ;
10 ????????Session?session? = ?openSession();
11 ???????? try ? {
12 ????????????transaction? = ?session.beginTransaction();
13 ???????????? for ?( int ?i? = ? 0 ;?i? < ? 100000 ;?i ++ )? {
14 ????????????????session.save(objPO);
15 ???????????????? if ?(i? % ? 50 ? == ? 0 )? {
16 ???????????????????? // ?flush?a?batch?of?inserts?and?release?memory
17 ????????????????????session.flush();
18 ????????????????????session.clear();
19 ????????????????}
20 ????????????}
21 ????????????transaction.commit();
22 ????????????logger.info( " transaction.wasCommitted: "
23 ???????????????????? + ?transaction.wasCommitted());
24 ????????????isSuccess? = ? true ;
25 ????????} ? catch ?(HibernateException?ex)? {
26 ???????????? if ?(transaction? != ? null )? {
27 ???????????????? try ? {
28 ????????????????????transaction.rollback();
29 ????????????????????logger.error( " transaction.wasRolledBack: "
30 ???????????????????????????? + ?transaction.wasRolledBack());
31 ????????????????} ? catch ?(HibernateException?ex1)? {
32 ????????????????????logger.error(ex1.getMessage());
33 ????????????????????ex1.printStackTrace();
34 ????????????????}
35 ????????????}
36 ????????????logger.error( " Insert?Batch?PO?Error: " ? + ?ex.getMessage());
37 ????????????ex.printStackTrace();
38 ????????} ? finally ? {
39 ???????????? if ?(transaction? != ? null )? {
40 ????????????????transaction? = ? null ;
41 ????????????}
42 ????????????session.close();
43 ????????}
44 ???????? return ?isSuccess;
45 ????}
46

這只是簡單的測試，實際項目中遇到的問題，要比這個復(fù)雜得多。
這時候，我們可以讓Spring來控制Transaction，自己來控制Hibernate的Session，隨時更新數(shù)據(jù)。
首先，利用HibernateDaoSupport類來自定義個方法打開Session；

1public?Session?openSession(){
2????????
3????????return?getHibernateTemplate().getSessionFactory().openSession();
4????????
5????}

然后，用打開的Session處理你的數(shù)據(jù)；

?1protected?void?doBusiness(Session?session)?{
?2
?3????????while?(true)?{
?4????????????//do?your?business?with?the?opening?session????????
?5????????????someMethod(session);
?6????????????session.flush();
?7????????????session.clear();
?8????????????logger.info("good?job!");????????????
?9????????}???????
10}

每做一次數(shù)據(jù)操作，就更新一次Session，這樣可以保證每次數(shù)據(jù)操作都成功，否則就讓Spring去控制它roll back吧。

最后，記得關(guān)閉Session。

Session?session? = ?openSession();
2

doBusiness(session);
3

session.close();? // 關(guān)閉session

至于處理速度呢，不會慢到哪兒去的，已經(jīng)試驗過了。; - )

還等什么，趕快試試吧！

?
?????????????????????????????????????????????????????????????????????????????? THE END

posted on 2007-01-11 17:12 小立飛刀閱讀(4884) 評論(3) 編輯收藏所屬分類: Hibernate

FeedBack:

# re: Hibernate大數(shù)據(jù)量操作解決方案

2007-01-13 22:54 | 小車馬

請問樓主,你們在項目中也是這么做的嗎回復(fù) 更多評論

# re: Hibernate大數(shù)據(jù)量操作解決方案

2007-01-15 10:46 | 小雪飛刀

不錯，我在項目中就是按照這個思路做的回復(fù) 更多評論

# re: Hibernate大數(shù)據(jù)量操作解決方案

2010-12-04 10:25 | 瀟湘振宇

這個解決方案還是有問題的，我測試過通過這種方式插入20萬的數(shù)據(jù)量，還勉強(qiáng)能夠接受，完成此操作我的PC耗時1分多鐘，服務(wù)層的處理很快，慢還是慢在Spring的事務(wù)提交。
如果插入25萬及以上的數(shù)據(jù)量時，就會出現(xiàn)內(nèi)存溢出了！回復(fù) 更多評論

新用戶注冊刷新評論列表


只有注冊用戶登錄后才能發(fā)表評論。




網(wǎng)站導(dǎo)航: 博客園 IT新聞 Chat2DB C++博客博問管理
相關(guān)文章: Hibernate Cannot release connection 了，有辦法解決！又見“ORA-01461: 僅可以為插入 LONG 列的 LONG 值賦值”！使用Hibernate Annotations 維護(hù)多對多關(guān)系的心得 Hibernate不聽話了-- could not initialize proxy - the owning Session was closed Hibernate3.2中Ehcache的llegalAccessError Hibernate中雙向關(guān)聯(lián)加載排序的解決方案 Hibernate中雙向關(guān)聯(lián)的加載順序問題 Hibernate大數(shù)據(jù)量操作解決方案

2007年1月

日

一

二

三

四

五

六

生存或毀滅，這是個必答之問題：是否應(yīng)默默的忍受坎苛命運之無情打擊，還是應(yīng)與深如大海之無涯苦難奮然為敵，并將其克服。此二抉擇，究竟是哪個較崇高？

常用鏈接

留言簿(12)

隨筆分類(43)

相冊

收藏夾(7)

朋友的博客

電子資料

搜索

積分與排名

最新評論

閱讀排行榜

評論排行榜