使用bcp進行大數(shù)據量導出導入
導讀:數(shù)據的導入導出,相信很多人都非常熟悉,可是當涉及到大量數(shù)據的導入導出時,就會出現(xiàn)很多的問題,下面就為大家講解一種能夠實現(xiàn)大量數(shù)據導入導出的方法,就是使用BCP的方案。
SQL Server的導出導入方式有:
1、在SQL Server中提供了導入導出的界面操作。
2、在界面操作中又分【復制一個或多個表或視圖的數(shù)據】和【編寫查詢以指定要傳輸?shù)臄?shù)據】兩種模式,第一種是直接對表、視圖進行全部字段、記錄進行導出,而第二種就是可以通過SQL語句來控制導出導入的字段和行。
3、使用簡單但有用的SQL腳本 中的【表復制】這里面的方法。
4、再一種就是在命令行中使用bcp命令來導入導出數(shù)據,需要特別說明的是,這是對大數(shù)據量導入導出就好的辦法。下面是我實踐出來可以使用的腳本,但是我在使用bcp的時候遇到了一些問題,希望大家給于幫助。謝謝。(PS:問題在下面代碼中)使用xp_cmdshell的時候可能會有些問題,可以參考:MSsql2005 如何啟用xp_cmdshell <!--[endif]-->
還沒有解決的問題
1:使用BCP命令時如果導出的字段為空想替換為其它描述(比如替換成NULL)如何辦?
2:使用 case when 時就會出現(xiàn)1023字節(jié)的問題,那有沒其它辦法解決呢?
3:使用BCP命令導出大數(shù)據量時出現(xiàn)錯誤:查詢提示超過了最大目錄緩沖區(qū) 1023 字節(jié)(2164 字節(jié)輸入)。
備注
1:已經使用了Coalesce代替case when,但是還是超出字符數(shù)了。
2:對以網上說的放到Temp數(shù)據庫中、中間表,這些?但是數(shù)據表幾十G了,還能這樣?
整個表導出(out)
bcp 數(shù)據庫名.dbo.表名 out c:\currency.txt -S"數(shù)據庫實例" -U"用戶" -P"密碼" -c
使用SQL語句導出(queryout)
bcp "select * from 數(shù)據庫名.dbo.表名" queryout c:\currency.txt -S 數(shù)據庫實例 -U"用戶" -P"密碼" -c
設置字段分隔符和行分隔符(-c -t"," -r"\n"),不想輸入字段類型等請配合-c一起使用
bcp "select * from 數(shù)據庫名.dbo.表名" queryout c:\currency.txt -S 數(shù)據庫實例 -U"用戶" -P"密碼" -c -t"," -r"\n"
指定每批導入數(shù)據的行數(shù)、指定服務器發(fā)出或接收的每個網絡數(shù)據包的字節(jié)數(shù)(-k -b5000 -a65535)
bcp "select * from 數(shù)據庫名.dbo.表名" queryout c:\currency.txt -S 數(shù)據庫實例 -U"用戶" -P"密碼" -c -t"," -r"\n" -k -b5000 -a65535
在查詢分析器上執(zhí)行(EXEC master..xp_cmdshell)
EXEC master..xp_cmdshell 'bcp "select * from 數(shù)據庫名.dbo.表名" queryout c:\currency.txt -S 數(shù)據庫實例 -U"用戶" -P"密碼" -c'
把SQL語句生成一個.sql文件,然后調用
注:路徑的文件夾名稱中間不能有空格
exec master..xp_cmdshell 'osql -S 數(shù)據庫實例 -U 用戶 -P 密碼 -i C:\cmdshellTest.sql'
將數(shù)據導入到currency表中
EXEC master..xp_cmdshell 'bcp 數(shù)據庫名.dbo.表名 in c:\currency.txt -c -T'
導入數(shù)據也同樣可以使用-F和-L選項來選擇導入數(shù)據的記錄行。
EXEC master..xp_cmdshell 'bcp 數(shù)據庫名.dbo.表名 in c:\currency.txt -c -F 10 -L 13 -T'
在使用命令xp_cmdshell的時候需要設置權限:
/*MSsql2005 如何啟用xp_cmdshell
默認情況下,sql server2005安裝完后,xp_cmdshell是禁用的(可能是安全考慮),如果要使用它,可按以下步驟
*/
允許配置高級選項
EXEC sp_configure 'show advanced options', 1
GO
重新配置
RECONFIGURE
GO
啟用xp_cmdshell
EXEC sp_configure 'xp_cmdshell', 1
GO
重新配置
RECONFIGURE
GO
執(zhí)行想要的xp_cmdshell語句
Exec xp_cmdshell 'query user'
GO
允許配置高級選項
EXEC sp_configure 'show advanced options', 1
GO
重新配置
RECONFIGURE
GO
禁用xp_cmdshell
EXEC sp_configure 'xp_cmdshell', 0
GO
重新配置
RECONFIGURE
GO
或者使用圖形界面:
應用上文中介紹的方法就能夠輕松實現(xiàn)使用bcp進行大數(shù)據量導出導入,希望大家通過上文的學習,都能夠很熟練的掌握這個技巧,相信這在您以后工作中遇到類似問題時會非常有幫助的。
【編輯推薦】