分析Hibernate插入操作
Hibernate還是比較常用的,于是我研究了一下Hibernate插入操作,在這里拿出來和大家分享一下,希望對大家有用。
在項目的開發(fā)過程之中,由于項目需求,我們常常需要把大批量的數(shù)據(jù)插入到數(shù)據(jù)庫。數(shù)量級有萬級、十萬級、百萬級、甚至千萬級別的。如此數(shù)量級別的數(shù)據(jù)用Hibernate插入操作,就可能會發(fā)生異常,常見的異常是OutOfMemoryError(內(nèi)存溢出異常)。
首先,我們簡單來回顧一下Hibernate插入操作的機制。Hibernate要對它內(nèi)部緩存進行維護,當我們執(zhí)行Hibernate插入操作時,就會把要操作的對象全部放到自身的內(nèi)部緩存來進行管理。
談到Hibernate的緩存,Hibernate有內(nèi)部緩存與二級緩存之說。由于Hibernate對這兩種緩存有著不同的管理機制,對于二級緩存,我們可以對它的大小進行相關(guān)配置,而對于內(nèi)部緩存,Hibernate就采取了“放任自流”的態(tài)度了,對它的容量并沒有限制?,F(xiàn)在癥結(jié)找到了,我們做海量數(shù)據(jù)插入的時候,生成這么多的對象就會被納入內(nèi)部緩存(內(nèi)部緩存是在內(nèi)存中做緩存的),這樣你的系統(tǒng)內(nèi)存就會一點一點的被蠶食,如果最后系統(tǒng)被擠“炸”了,也就在情理之中了。
我們想想如何較好的處理這個問題呢?有的開發(fā)條件又必須使用Hibernate來處理,當然有的項目比較靈活,可以去尋求其他的方法。
筆者在這里推薦兩種方法:
1.優(yōu)化Hibernate,程序上采用分段插入及時清除緩存的方法。
2.繞過Hibernate API ,直接通過 JDBC API 來做批量插入,這個方法性能上是最 好的,也是最快的。
對于上述中的方法1,其基本是思路為:優(yōu)化Hibernate,在配置文件中設(shè)置Hibernate.jdbc.batch_size參數(shù),來指定每次提交SQL的數(shù)量;程序上采用分段插入及時清除緩存的方法(Session實現(xiàn)了異步write-behind,它允許Hibernate顯式地寫操作的批處理),也就是每插入一定量的數(shù)據(jù)后及時的把它們從內(nèi)部緩存中清除掉,釋放占用的內(nèi)存。
設(shè)置Hibernate.jdbc.batch_size參數(shù),可參考如下配置。
- <hibernate-configuration> <session-factory>
- ……
- <property name=“ hibernate.jdbc.batch_size”>50</property>
- ……
- <session-factory> <hibernate-configuration>
配置Hibernate.jdbc.batch_size參數(shù)的原因就是盡量少讀數(shù)據(jù)庫,Hibernate.jdbc.batch_size參數(shù)值越大,讀數(shù)據(jù)庫的次數(shù)越少,速度越快。從上面的配置可以看出,Hibernate是等到程序積累到了50個SQL之后再批量提交。
筆者也在想,Hibernate.jdbc.batch_size參數(shù)值也可能不是設(shè)置得越大越好,從性能角度上講還有待商榷。這要考慮實際情況,酌情設(shè)置,一般情形設(shè)置30、50就可以滿足需求了。
程序?qū)崿F(xiàn)方面,筆者以插入10000條數(shù)據(jù)為例子,如
- Session session=HibernateUtil.currentSession();
- Transatcion tx=session.beginTransaction();
- for(int i=0;i<10000;i++)
- {
- Student st=new Student();
- st.setName(“feifei”);
- session.save(st);
- if(i%50==0)
- //以每50個數(shù)據(jù)作為一個處理單元
- {
- session.flush();
- //保持與數(shù)據(jù)庫數(shù)據(jù)的同步
- session.clear();
- //清除內(nèi)部緩存的全部數(shù)據(jù),及時釋放出占用的內(nèi)存
- }
- }
- tx.commit();
- ……
【編輯推薦】