Oracle千萬級記錄插入和查詢技巧總結(jié)
Oracle***記錄進行處理并不簡單,下面就為您總結(jié)了Oracle***記錄插入和查詢的技巧,希望對您能夠有所啟迪。
最近做了個項目,實現(xiàn)對存在Oracle***記錄的庫表執(zhí)行插入、查詢操作。原以為對數(shù)據(jù)庫的插入、查詢是件很容易的事,可不知當數(shù)據(jù)達到百萬甚至千萬條級別的時候,這一切似乎變得相當困難。幾經(jīng)折騰,總算完成了任務。
1、防止運用 Hibernate框架
Hibernate用起來雖然方便,但對于海量數(shù)據(jù)的操作顯得力不從心。
關于Oracle***記錄插入:
試過用Hibernate一次性執(zhí)行 5萬條左右數(shù)據(jù)的插入,若ID運用 sequence方式生成,Hibernate將分5萬次從數(shù)據(jù)庫取得5萬個sequence,構造成相應對象后,再分五萬次將數(shù)據(jù)保存到數(shù)據(jù)庫?;宋沂昼姇r間。主要的時間不是花在插入上,而是花在5萬次從數(shù)據(jù)庫取sequence上,弄得我相當郁悶。雖然后來把ID生成方式改成increase處理了疑問,但還是對那十分鐘的等待心有余悸。
關于Oracle***記錄查詢:
Hibernate對數(shù)據(jù)庫查詢的主要思想還是面向?qū)ο蟮?,這將使許多我們不須要查詢的數(shù)據(jù)占用了大量的系統(tǒng)資源(包括數(shù)據(jù)庫資源和本地資源)。由于對Hibernate的偏愛,本著不拋棄、不放棄的作風,做了包括配SQL,改良 SQL等等的相當多的嘗試,可都以失敗告終,不得不忍痛割愛了。
2、寫查詢語句時,要把查詢的字段一一列出
查詢時不要運用類似select * from x_table的語句,要盡量運用 select id,name from x_table,以防止查詢出不須要的數(shù)據(jù)浪費資源。對于海量數(shù)據(jù)而言,一個字段所占用的資源和查詢時間是相當可觀的。
3、減少不必要的查詢條件
當我們在做查詢時,常常是前臺提交一個查詢表單到后臺,后臺分析這個表單,而后執(zhí)行查詢操作。在我們分析表單時,為了方便起見,常常喜歡將一些不須要查詢的條件用永真的條件來代替(如:select count(id) from x_table where name like ‘%’),其實這樣的SQL對資源的浪費是相當可怕的。
我試過對于同樣的近一千萬條記錄的查詢來說,運用 select count(id) from x_table 執(zhí)行 表查詢須要 11秒,而運用 select count(id) from x_table where name like ‘%’卻花了33秒。
【編輯推薦】