SQL Server海量數(shù)據(jù)導入的最簡潔的操作方法
此文章主要向大家講述的是SQL Server海量數(shù)據(jù)導入的最簡潔的操作方法,我前兩天在相關網站看見SQL Server海量數(shù)據(jù)導入的最簡潔的操作方法的資料,覺得挺好,就拿出來供大家分享。
這篇文章主要講解了實現(xiàn)SQL Server海量數(shù)據(jù)導入的最快的方法,其更多內容請參考下文:最近做某項目的數(shù)據(jù)庫分析,其主要目的要實現(xiàn)對海量數(shù)據(jù)的導入問題,就是最多把200萬條數(shù)據(jù)一次導入sqlserver中,如果使用普通的insert語句。
這篇論壇文章(賽迪網技術社區(qū))詳細講解了SQL Server海量數(shù)據(jù)導入的最快方法,更多內容請參考下文:
最近做某項目的數(shù)據(jù)庫分析,要實現(xiàn)對海量數(shù)據(jù)的導入問題,就是最多把200萬條數(shù)據(jù)一次導入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒個把小時完不成任務,先是考慮使用bcp,但這是基于命令行的,對用戶來說友好性太差,實際不大可能使用;
***決定使用BULK INSERT語句實現(xiàn),BULK INSERT也可以實現(xiàn)大數(shù)據(jù)量的導入,而且可以通過編程實現(xiàn),界面可以做的非常友好,它的速度也很高:導入100萬條數(shù)據(jù)不到20秒中,在速度上恐怕無出其右者。
但是使用這種方式也有它的幾個缺點:
1.需要獨占接受數(shù)據(jù)的表
2.會產生大量的日志
3.從中取數(shù)據(jù)的文件有格式限制
但相對于它的速度來說,這些缺點都是可以克服的,而且你如果愿意犧牲一點速度的話,還可以做更精確的控制,甚至可以控制每一行的插入。
對與產生占用大量空間的日志的情況,我們可以采取在導入前動態(tài)更改數(shù)據(jù)庫的日志方式為大容量日志記錄恢復模式,這樣就不會記錄日志了,導入結束后再恢復原來的數(shù)據(jù)庫日志記錄方式。
具體的一個語句我們可以這樣寫:
- alter database taxi
- set RECOVERY BULK_LOGGED
- BULK INSERT taxi..detail FROM 'e:\out.txt'
- WITH (
- ?? DATAFILETYPE = 'char',
- ?? FIELDTERMINATOR = ',',
- ?? ROWTERMINATOR = '\n',
- ?TABLOCK
- )
- alter database taxi
- set RECOVERY FULL
這個語句將從e:\out.txt導出數(shù)據(jù)文件到數(shù)據(jù)庫taxi的detail表中。
以上的相關內容就是對SQL Server海量數(shù)據(jù)導入的最快方法的介紹,望你能有所收獲。
上述的相關內容就是對SQL Server海量數(shù)據(jù)導入的最快方法的描述,希望會給你帶來一些幫助在此方面。
【編輯推薦】