隨筆檔案(496)

Hibernate的批量處理

Hibernate完全以面向?qū)ο蟮姆绞絹聿僮鲾?shù)據(jù)庫，當程序里以面向?qū)ο蟮姆绞讲僮鞒志没瘜ο髸r，將被自動轉(zhuǎn)換為對數(shù)據(jù)庫的操作。例如調(diào)用Session的delete()方法來刪除持久化對象，Hibernate將負責(zé)刪除對應(yīng)的數(shù)據(jù)記錄；當執(zhí)行持久化對象的set方法時，Hibernate將自動轉(zhuǎn)換為對應(yīng)的update方法，修改數(shù)據(jù)庫的對應(yīng)記錄。

問題是如果需要同時更新100?000條記錄，是不是要逐一加載100?000條記錄，然后依次調(diào)用set方法——這樣不僅繁瑣，數(shù)據(jù)訪問的性能也十分糟糕。對這種批量處理的場景，Hibernate提供了批量處理的解決方案，下面分別從批量插入、批量更新和批量刪除3個方面介紹如何面對這種批量處理的情形。

1） 批量插入

如果需要將100?000條記錄插入數(shù)據(jù)庫，通常Hibernate可能會采用如下做法：

Session session = sessionFactory.openSession();

Transaction tx = session.beginTransaction();

for ( int i=0; i<100000; i++ ) {

??? User u = new User (.....);

??? session.save(customer);

}

tx.commit();

session.close();

但隨著這個程序的運行，總會在某個時候運行失敗，并且拋出OutOfMemoryException（內(nèi)存溢出異常）。這是因為Hibernate的Session持有一個必選的一級緩存，所有的User實例都將在Session級別的緩存區(qū)進行了緩存的緣故。

為了解決這個問題，有個非常簡單的思路：定時將Session緩存的數(shù)據(jù)刷新入數(shù)據(jù)庫，而不是一直在Session級別緩存。可以考慮設(shè)計一個累加器，每保存一個User實例，累加器增加1。根據(jù)累加器的值決定是否需要將Session緩存中的數(shù)據(jù)刷入數(shù)據(jù)庫。

下面是增加100?000個User實例的代碼片段：

private void testUser()throws Exception

{

??? //打開Session

??? Session session = HibernateUtil.currentSession();

??? //開始事務(wù)

??? Transaction tx = session.beginTransaction();

??? //循環(huán)100 000次，插入100 000條記錄

??? for (int i = 0 ; i < 1000000 ; i++ )

??? {

??????? //創(chuàng)建User實例

??????? User u1 = new User();

??????? u1.setName("xxxxx" + i);

??????? u1.setAge(i);

??????? u1.setNationality("china");

??????? //在Session級別緩存User實例

??????? session.save(u1);

??????? //每當累加器是20的倍數(shù)時，將Session中的數(shù)據(jù)刷入數(shù)據(jù)庫，并清空Session緩存

??????? if (i % 20 == 0)

??????? {

??????????? session.flush();

??????????? session.clear();

??????????? tx.commit();

??????????? tx = session.beginTransaction();

??????? }

??? }

??? //提交事務(wù)

??? tx.commit();

??? //關(guān)閉事務(wù)

??? HibernateUtil.closeSession();

}

上面代碼中，當i%20 == 0時，手動將Session處的緩存數(shù)據(jù)寫入數(shù)據(jù)庫，并手動提交事務(wù)。如果不提交事務(wù)，數(shù)據(jù)將依然緩存在事務(wù)處——未進入數(shù)據(jù)庫，也將引起內(nèi)存溢出的異常。

這是對Session級別緩存的處理，還應(yīng)該通過如下配置來關(guān)閉SessionFactory的二級????? 緩存。

hibernate.cache.use_second_level_cache false

注意：除了要手動清空Session級別的緩存外，最好關(guān)閉SessionFactory級別的二級緩存。否則，即使手動清空Session級別的緩存，但因為在SessionFactory級別還有緩存，也可能引發(fā)異常。

2） 批量更新

上面介紹的方法同樣適用于批量更新數(shù)據(jù)，如果需要返回多行數(shù)據(jù)，可以使用scroll()方法，從而可充分利用服務(wù)器端游標所帶來的性能優(yōu)勢。下面是進行批量更新的代碼片段：

private void testUser()throws Exception

{

??? //打開Session

??? Session session = HibernateUtil.currentSession();

??? //開始事務(wù)

??? Transaction tx = session.beginTransaction();

??? //查詢出User表中的所有記錄

??? ScrollableResults users = session.createQuery("from User")

??????? .setCacheMode(CacheMode.IGNORE)

??????? .scroll(ScrollMode.FORWARD_ONLY);

??? int count=0;

??? //遍歷User表中的全部記錄

??? while ( users.next() )

??? {

??????? User u = (User) users.get(0);

??????? u.setName("新用戶名" + count);

??????? //當count為20的倍數(shù)時，將更新的結(jié)果從Session中flush到數(shù)據(jù)庫

??????? if ( ++count % 20 == 0 )

??????? {

??????????? session.flush();

??????????? session.clear();

??????? }

??? }

??? tx.commit();

??? HibernateUtil.closeSession();

}

通過這種方式，雖然可以執(zhí)行批量更新，但效果非常不好。執(zhí)行效率不高，而且需要先執(zhí)行數(shù)據(jù)查詢，然后再執(zhí)行數(shù)據(jù)更新，并且這種更新將是逐行更新，即每更新一行記錄，都需要執(zhí)行一條update語句，性能非常低下。

為了避免這種情況，Hibernate提供了一種類似于SQL的批量更新和批量刪除的HQL語法。

3） SQL風(fēng)格的批量更新/刪除

Hibernate提供的HQL語句也支持批量的UPDATE和DELETE語法。

批量UPDATE和DELETE語句的語法格式如下：

UPDATE | DELETE FROM? ClassName [WHERE WHERE_CONDITIONS]

關(guān)于上面的語法格式有以下四點值得注意：

?? ● 在FROM子句中，F(xiàn)ROM關(guān)鍵字是可選的。即完全可以不寫FROM關(guān)鍵字。

?? ● 在FROM子句中只能有一個類名，該類名不能有別名。

?? ● 不能在批量HQL語句中使用連接，顯式的或隱式的都不行。但可以在WHERE子句中使用子查詢。

?? ● 整個WHERE子句是可選的。

假設(shè)，需要批量更改User類實例的name屬性，可以采用如下代碼片段完成：

private void testUser()throws Exception

{

??? //打開Session

??? Session session = HibernateUtil.currentSession();

??? //開始事務(wù)

??? Transaction tx = session.beginTransaction();

??? //定義批量更新的HQL語句

??? String hqlUpdate = "update User set name = :newName";

??? //執(zhí)行更新

??? int updatedEntities = session.createQuery( hqlUpdate )

??????????????????????? ?? .setString( "newName", "新名字" )

??????????????????????? ?? .executeUpdate();

??? //提交事務(wù)

??? tx.commit();

??? HibernateUtil.closeSession();

}

從上面代碼中可以看出，這種語法非常類似于PreparedStatement的executeUpdate語法。實際上，HQL的這種批量更新就是直接借鑒了SQL語法的UPDATE語句。

注意：使用這種批量更新語法時，通常只需要執(zhí)行一次SQL的UPDATE語句，就可以完成所有滿足條件記錄的更新。但也可能需要執(zhí)行多條UPDATE語句，這是因為有繼承映射等特殊情況，例如有一個Person實例，它有Customer的子類實例。當批量更新Person實例時，也需要更新Customer實例。如果采用joined-subclass或union-subclass映射策略，Person和Customer實例保存在不同的表中，因此可能需要多條UPDATE語句。

執(zhí)行一個HQL DELETE，同樣使用 Query.executeUpdate() 方法，下面是一次刪除上面全部記錄的代碼片段：

private void testUser()throws Exception

{

??? //打開Session實例

??? Session session = HibernateUtil.currentSession();

??? //開始事務(wù)

??? Transaction tx = session.beginTransaction();

??? //定義批量刪除的HQL語句

??? String hqlUpdate = "delete User";

??? //執(zhí)行批量刪除

??? int updatedEntities = session.createQuery( hqlUpdate )

??????????????????????? ?? .executeUpdate();

??? //提交事務(wù)

??? tx.commit();

??? //關(guān)閉Session

??? HibernateUtil.closeSession();

}

由Query.executeUpdate()方法返回一個整型值，該值是受此操作影響的記錄數(shù)量。實際上，Hibernate的底層操作是通過JDBC完成的。因此，如果有批量的UPDATE或DELETE操作被轉(zhuǎn)換成多條UPDATE或DELETE語句，該方法返回的是最后一條SQL語句影響的記錄行數(shù)。