詳解SQL Server分布式查詢
SQL Server所謂的分布式查詢(Distributed Query)是能夠訪問存放在同一部計算機(jī)或不同計算機(jī)上的SQL Server或不同種類的數(shù)據(jù)源, 從概念上來說分布式查詢與普通查詢區(qū)別 它需要連接多個MSSQL服務(wù)器也就是具有多了數(shù)據(jù)源.實現(xiàn)在服務(wù)器跨域或跨服務(wù)器訪問. 而這些查詢是否被使用完全看使用的需要.
本篇將演示利用SQL ServerExpress鏈接遠(yuǎn)程SQL Server來獲取數(shù)據(jù)方式來詳細(xì)說明分布式查詢需要注意細(xì)節(jié).先看一下系統(tǒng)架構(gòu)數(shù)據(jù)查詢基本處理:
當(dāng)然如果采用了分布式查詢 我們系統(tǒng)采取數(shù)據(jù)DataBase也就可能在多個遠(yuǎn)程[Remote Server]上訪問時:
如上截取系統(tǒng)架構(gòu)中關(guān)于數(shù)據(jù)與緩存流向中涉及的分布式查詢業(yè)務(wù), 當(dāng)我們從客戶端Client發(fā)起請求數(shù)據(jù)時. 首先檢查MemCache Server緩存服務(wù)器是否有我們想要數(shù)據(jù). 如果沒有我需要查詢數(shù)據(jù)庫. 而此時數(shù)據(jù)要求查詢多個遠(yuǎn)程服務(wù)器上多個數(shù)據(jù)庫中表, 這時利用分布式查詢.獲得數(shù)據(jù) 然后更新我們在緩存服務(wù)器MemCache Server上數(shù)據(jù)保持?jǐn)?shù)據(jù)更新同步, 同時向客戶端Client直接返回數(shù)據(jù).那如何來執(zhí)行這一系列動作中最為關(guān)鍵分布式查詢?
<1>分布式查詢方式
我們知道Microsoft微軟公用的數(shù)據(jù)訪問的API是OLE_DB, 而對數(shù)據(jù)庫MSSQL Server 2005的分布式查詢支持也是OLE_DB方式.SQL Server 用戶可以使用分布式查詢訪問以下內(nèi)容：
A:存儲在多個 SQL Server 實例中的分布式數(shù)據(jù)
B:存儲在各種可以使用 OLE DB 訪問接口訪問的關(guān)系和非關(guān)系數(shù)據(jù)源中的異類數(shù)據(jù)
OLE DB 訪問接口將在稱為行集的表格格式對象中公開數(shù)據(jù)。SQL Server 允許在 Transact-SQL 語句中像引用 SQL Server 表一樣引用 OLE DB 訪問接口中的行集,[其實不用關(guān)心這個行集概念 它的功能類似SQL Server中臨時表 不過它容積更大 能容納類型更多 更豐富]
SQL Server 實例的客戶機(jī)與 OLE DB 訪問接口之間的連接 如下圖:
從上圖可以看出.客戶端借助OLEDB接口可以訪問Oracle/MS Jet/MS SQL/ODBC/第三方等這些豐富數(shù)據(jù)源來我們分布式查詢提供數(shù)據(jù). 說了這么多關(guān)于OLEDB底層支持. 關(guān)于在MS SQL 2005中則支持兩種方式來進(jìn)行分布式查詢:
<A>使用添加鏈接服務(wù)器方式(Add Link Server)
<B>使用特定名稱及特定數(shù)據(jù)源來直接指定(Add Host Names)
其實這兩種方式在實際運用中是有區(qū)別的:
方式A:Add Link Server方式建立服務(wù)器之間關(guān)聯(lián).創(chuàng)建一個鏈接的服務(wù)器，使其允許對分布式的、針對 OLE DB 數(shù)據(jù)源的異類查詢進(jìn)行訪問. 一般適用于持久的數(shù)據(jù)操作 對于數(shù)據(jù)量偏大 服務(wù)器之間交付時間長特點.
方式B: Add Host Name 利用域來唯一識別數(shù)據(jù)庫以及數(shù)據(jù)庫表對象. 來實現(xiàn)跨服務(wù)器訪問. 這種方式一般比較簡單 主要適用于對數(shù)據(jù)需求臨時性查詢是使用偏多. 不適合做大批量數(shù)據(jù)提取. 有性能瓶頸.
#p#
<2>分布式查詢實現(xiàn)
在進(jìn)行實現(xiàn)分布式查詢之前.本次測試Demo對應(yīng)的SQL版本:
確定SQL Server版本后如下會演示兩種方式來實現(xiàn)分布式查詢,并對Distributed Query中詳細(xì)細(xì)節(jié)進(jìn)行說明.
<2.1>鏈接服務(wù)器查詢
鏈接服務(wù)器配置使 SQL Server 可以對遠(yuǎn)程服務(wù)器上的 OLE DB 數(shù)據(jù)源執(zhí)行命令。鏈接服務(wù)器具有以下優(yōu)點：
- 訪問遠(yuǎn)程服務(wù)器。
- 能夠?qū)ζ髽I(yè)內(nèi)的異類數(shù)據(jù)源發(fā)出分布式查詢、更新、命令和事務(wù)。
- 能夠以相似的方式確定不同的數(shù)據(jù)源
下圖顯示了鏈接服務(wù)器配置的基礎(chǔ):
現(xiàn)在利用鏈接服務(wù)器方式實現(xiàn)數(shù)據(jù)訪問遠(yuǎn)程服務(wù)器數(shù)據(jù)庫CustomerDB中Users表數(shù)據(jù)先本地添加LinkServer:
- -- 建立連接服務(wù)器 第一步建立連接 IP方式來控制
- EXEC sp_addlinkedserver '192.168.10.104' , 'SQL Server'
- -- 查看鏈接服務(wù)器信息 [測試連接成功]
- select name , product, provider, data_source, query_timeout, lazy_schema_validation, is_remote_login_enabled, is_rpc_out_enabled
- from sys.servers
- where is_linked= 1
如上市建立連接服務(wù)器最簡單方式.建立鏈接服務(wù)器過程其實調(diào)用了系統(tǒng)存儲過程Sp_addlinkedserver. 第一個參數(shù)為Name 其實用來唯一標(biāo)識鏈接服務(wù)器. 當(dāng)然可以其他任何有意義字符串來定義,但我個人建議使用遠(yuǎn)程服務(wù)器的IP來標(biāo)識.第二個參數(shù)是要添加為鏈接服務(wù)器的 OLE DB 數(shù)據(jù)源的產(chǎn)品名稱. 默認(rèn)為Null,如果指定”SQL Server“則無需指定其他參數(shù).
如果你的本地裝有多個數(shù)據(jù)庫實例. 第一個種方式就不適用.這是就需要用SQL Server2005架構(gòu)來唯一標(biāo)識:
- -- 含架構(gòu)名 查詢數(shù)據(jù)兩種模式
- select top 10 * from [192.168.10.104]. wl . 架構(gòu)名 . 表名
- -- 架構(gòu)名 [采用默認(rèn)架構(gòu)名 ]
- select top 10 * from [192.168.10.104]. CustomerDB . dbo. Users
對于SQL Server 2005架構(gòu)這個概念很多人比較陌生:
在用戶角色設(shè)置中需要對指定訪問數(shù)據(jù)CustomerDB具有讀寫權(quán)限:
在遠(yuǎn)程服務(wù)器創(chuàng)建TEst用戶時使用SQL Server身份驗證方式登錄 這時設(shè)置密碼為RemoteDB.在使用非Sa用戶進(jìn)行遠(yuǎn)程：
- -- 執(zhí)行前先刪除已經(jīng)存在數(shù)據(jù)
- Exec sp_droplinkedsrvlogin [192.168.10.76],Null
- Exec sp_dropserver 'demodb'
- -- 創(chuàng)建服務(wù)器連接
- EXEC sp_addlinkedserver
- @server='demodb',-- 被訪問的服務(wù)器別名
- @srvproduct='',
- @provider='SQLOLEDB',
- @datasrc='192.168.10.76' -- 要訪問的服務(wù)器
- EXEC sp_addlinkedsrvlogin
- 'demodb', -- 被訪問的服務(wù)器別名
- 'false',
- NULL,
- 'Test', -- 帳號
- 'RemoteDB' -- 密碼
如上我們首先清除已經(jīng)可能創(chuàng)建服務(wù)器數(shù)據(jù)記錄. 然后創(chuàng)建服務(wù)器連接.sp_addlinkedSrvlogin系統(tǒng)存儲過程用來創(chuàng)建鏈接服務(wù)器上遠(yuǎn)程登錄之間的映射 . 即我們可以詳細(xì)設(shè)置本地與遠(yuǎn)程服務(wù)器詳細(xì)的映射信息. 例如設(shè)置我們特定用戶訪問的用戶名和密碼.
查詢數(shù)據(jù)
- -- 查詢指定用戶Test數(shù)據(jù)
- select * from [demodb].CustomerDB.dbo.Users -- [如上測試成功]
查詢結(jié)果
指定用戶Test對CustomerDB訪問數(shù)據(jù)方式測試成功.
當(dāng)測試完成后我們不需要這個連接服務(wù)器是即可利用SP_DroplinkServer刪除掉. 對應(yīng)參數(shù)為創(chuàng)建時Name唯一標(biāo)識. 通過Sp_helpserver來查看連接服務(wù)器詳細(xì)信息.
注意如上創(chuàng)建連接服務(wù)器時設(shè)置srvproduct參數(shù)即OLED數(shù)據(jù)源名稱時我們采用了SQlServer方式.
下面說明這種方式特點.：
這種方式是最為簡單直接的一種建立鏈接服務(wù)器方式. 但是存在前提的. 測試發(fā)現(xiàn):
在所有數(shù)據(jù)庫的遠(yuǎn)程連接 dbo 的方式必須建立在SA 密碼相同的基礎(chǔ)上 ，否則容易產(chǎn)生無法連接的情況 Sa用戶登錄失敗. 你也就明白這個SQlServer參數(shù)其實就是在本地數(shù)據(jù)拷貝服務(wù)器角色SysAdmin下用戶SA.來對服務(wù)器進(jìn)行登錄. 如果你的本地Sa密碼與遠(yuǎn)程服務(wù)器上密碼不一致 則無法正常連接.
經(jīng)過測試還發(fā)現(xiàn)一種情況:
利用Windows7訪問XP(Sp2)系統(tǒng)時始終提示無法解析或拒絕連接SQL Server2005.這個問題我整了好久后來才到官方鏈接參數(shù)中發(fā)現(xiàn).:如果你的XP系統(tǒng)沒有打上SP4的補(bǔ)丁包 這個問題會始終出現(xiàn). 需要特別注意.
<2.2>直接指定數(shù)據(jù)源分布式查詢
其實相對第一種方式, 直接指定方式在SQL Server架構(gòu)中 其實跳過本地與遠(yuǎn)程服務(wù)器建立映射關(guān)系的這一步. 通過鏈接關(guān)系建立 其實就是建立一種內(nèi)部映射關(guān)系. 如果沒有映射關(guān)系則 大部分設(shè)置需要手動控制.
直接指定數(shù)據(jù)源方式 需要開啟分布式查詢的基本權(quán)限 來進(jìn)行查詢：
- -- 如果想使用分布式查詢，必須先開通分布式查詢 [外圍配置 這點是所有查詢操作前提]
- -- sp_configure--顯示或更改當(dāng)前服務(wù)器的全局配置設(shè)置
- -- reconfigure 指定如果配置設(shè)置不需要服務(wù)器停止并重新啟動，則更新當(dāng)前運行的值
- -- SQL2005默認(rèn)是沒有開啟’Ad Hoc Distributed Queries’ 組件
- -- 啟用權(quán)限
- exec sp_configure 'show advanced options',1 -- 顯示高級配置
- reconfigure -- 更新值
- exec sp_configure 'Ad Hoc Distributed Queries',1 -- 啟用分布式查詢
- reconfigure
- go
- -- 關(guān)閉分布式查詢
- exec sp_configure 'Ad Hoc Distributed Queries',0
- reconfigure
- exec sp_configure 'show advanced options',0
- reconfigure
- go
- -- 開啟權(quán)限后 另外一種查詢方式
- -- 查詢格式
- SELECT * FROM OPENDATASOURCE(
- 'SQLOLEDB',
- 'Data Source=遠(yuǎn)程ip;User ID=sa;Password=密碼'
- ).庫名.dbo.表名
- WHERE 條件
- -- 需要開啟權(quán)限
- -- 開啟權(quán)限 提示[遠(yuǎn)程的SqlServer不允許遠(yuǎn)程連接]
- select * from OPENDATASOURCE('SQLOLEDB','Data Source=192.168.10.67; User ID=sa; Password=chenkai').wl.dbo.Users
如上我們首先清除已經(jīng)可能創(chuàng)建服務(wù)器數(shù)據(jù)記錄. 然后創(chuàng)建服務(wù)器連接.sp_addlinkedSrvlogin系統(tǒng)存儲過程用來創(chuàng)建鏈接服務(wù)器上遠(yuǎn)程登錄之間的映射 . 即我們可以詳細(xì)設(shè)置本地與遠(yuǎn)程服務(wù)器詳細(xì)的映射信息. 例如設(shè)置我們特定用戶訪問的用戶名和密碼.
查詢數(shù)據(jù)
- -- 查詢指定用戶Test數(shù)據(jù)
- select * from [demodb].CustomerDB.dbo.Users -- [如上測試成功]
查詢結(jié)果
指定用戶Test對CustomerDB訪問數(shù)據(jù)方式測試成功.
#p#
<3>問題排查與更多查詢方式
當(dāng)我們在實際編程中進(jìn)行訪問遠(yuǎn)程數(shù)據(jù)時 因為不同操作環(huán)境會引發(fā)各種各樣的異常,如下我會提出一種常見的異常方式解決辦法和關(guān)于遠(yuǎn)程數(shù)據(jù)操作更多查詢方式.
<3.1>無法建立遠(yuǎn)程連接
其實這個問題在做分布式查詢時極其常見. 而引起這個問題的因素過多. 我們一時無法判斷真正引發(fā)這個異常地方. 只能通過逐個排查方式來進(jìn)行設(shè)置:
例如我們在建立關(guān)聯(lián)關(guān)系后 進(jìn)行查詢時會遇到:
提示是: 在進(jìn)行遠(yuǎn)程連接時超時, 引起這個問題原因可能是遠(yuǎn)程服務(wù)器積極拒絕訪問!
首先要在SQL Server Configuation Manager中保證你服務(wù)已經(jīng)運行 且是開機(jī)自動運行.
再次檢查SQL Server 2005外圍配置DataBaseEngine允許遠(yuǎn)程連接:
設(shè)置完成后.我們還需要設(shè)置SQL Server Analysis Services分析服務(wù)也支持遠(yuǎn)程數(shù)據(jù)查詢:
在遠(yuǎn)程服務(wù)器上如果啟用了防火墻則可能對目前SQL Server Server方位實例進(jìn)行攔截. 所以在服務(wù)器端啟用防火墻情況下要為SQL Server DAtaBase創(chuàng)建例外.防止客戶端請求被攔截.
<3.2>進(jìn)程被其他用戶占用
當(dāng)我們在遠(yuǎn)程分布式查詢中有創(chuàng)建動作或是類似創(chuàng)建一個新的數(shù)據(jù)庫. 有時會提示 “該數(shù)據(jù)庫無法操作 已經(jīng)別其他進(jìn)程占用”異常. 導(dǎo)致我們無法訪問數(shù)據(jù)庫. 或是執(zhí)行我們要做的創(chuàng)建操作.
遇到這種情況我們可以利用SA權(quán)限查詢到Master數(shù)據(jù)庫對應(yīng)數(shù)據(jù)庫被占用的進(jìn)程 并殺掉Kill Process.查詢:
- -- [sysprocesses 表中保存關(guān)于運行在 Microsoft® SQL Server™ 上的進(jìn)程的信息。
- -- 這些進(jìn)程可以是客戶端進(jìn)程或系統(tǒng)進(jìn)程。sysprocesses 只存儲在 master 數(shù)據(jù)庫中]
- use Master
- go
- SELECT * FROM sysprocesses ,sysdatabases
- WHERE sysprocesses.dbid=sysdatabases.dbid AND sysdatabases.Name='CustomerDB'
- select * from sysprocesses
- select * from sysdatabases
- -- 殺死占用進(jìn)程
- kill 5
當(dāng)我們對進(jìn)程占用清除時有可能訪問數(shù)據(jù)庫被系統(tǒng)進(jìn)程占用. 則這時用Sa無法殺死.這時提示:
“Only use Process can be Kill ”在SQL Server2005 只有只有用戶進(jìn)程才能Kill掉.
<3.3>更多的查詢操作
往往我們在實際操作中需要對數(shù)據(jù)讀寫有更多要求. 例如從遠(yuǎn)程連接多個服務(wù)器進(jìn)行數(shù)據(jù)讀取或是把本地數(shù)據(jù)提交到服務(wù)器上. 為了提高效率和性能采用分布式事務(wù)來進(jìn)行批量操作等等. 如下簡單介紹在分布式查詢中多中數(shù)據(jù)操作:
把遠(yuǎn)程數(shù)據(jù)導(dǎo)入本地:
- -- 導(dǎo)入數(shù)據(jù)操作
- select top(3) * into TestDB.dbo.CopyDb from [192.168.10.76].wl.dbo.Users
導(dǎo)入時使用Into方式 自動在本地創(chuàng)建CopyDB表完全復(fù)制遠(yuǎn)程服務(wù)器上Users表的數(shù)據(jù)結(jié)構(gòu).但是要注意在進(jìn)行后 的CopyDB將不包含原表的主鍵和索引約束. 雖然能快構(gòu)建 但是主鍵和索引設(shè)置都會丟失.
本地數(shù)據(jù)導(dǎo)入遠(yuǎn)程:
- -- 把本地表導(dǎo)入遠(yuǎn)程表 [openWset方式]
- insert openrowset( 'SQLOLEDB ', 'sql服務(wù)器名 '; '用戶名 '; '密碼 ',數(shù)據(jù)庫名.dbo.表名) select *from 本地表
- -- 把本地表導(dǎo)入遠(yuǎn)程表 [open Query方式]
- insert openquery(ITSV, 'SELECT * FROM 數(shù)據(jù)庫.dbo.表名 ')
更新本地表數(shù)據(jù):
- -- 把本地表導(dǎo)入遠(yuǎn)程表 [opendataSource方式]
- insert opendatasource( 'SQLOLEDB ', 'Data Source=ip/ServerName;User ID=登陸名;Password=密碼 ').數(shù)據(jù)庫.dbo.表名
- -- 更新本地表 [openowset方式]
- update b set b.列A=a.列A from openrowset( 'SQLOLEDB ', 'sql服務(wù)器名 '; '用戶名 '; '密碼 ',數(shù)據(jù)庫名.dbo.表名)
- as a inner join 本地表 b on a.column1=b.column1
當(dāng)然還有更多方式來操作分布式查詢操作.各位都可以嘗試.
<4>尾 語
如上是我最近在項目中處理關(guān)于分布式查詢涉及到方方面面. 從系統(tǒng)架構(gòu)到分部是查詢具體操作細(xì)節(jié).基本都是一些非常基礎(chǔ)運用.當(dāng)然也參考不少資料.以及動手來驗證整個過程出現(xiàn)問題原因所在. 篇幅有限 寫的有些倉促. 難免有紕漏地方 還望各位指正.
原文標(biāo)題：MSSQl分布式查詢
鏈接：http://www.cnblogs.com/chenkai/archive/2010/09/09/1822305.html
【編輯推薦】
