SQL Server優(yōu)化50法
作者:我的點點滴滴
雖然查詢速度慢的原因很多,但是如果通過一定的優(yōu)化,也可以使查詢問題得到一定程度的解決。
雖然查詢速度慢的原因很多,但是如果通過一定的優(yōu)化,也可以使查詢問題得到一定程度的解決。
查詢速度慢的原因很多,常見如下幾種:
- 沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是程序設計的缺陷)
- I/O吞吐量小,形成了瓶頸效應。
- 沒有創(chuàng)建計算列導致查詢不優(yōu)化。
- 內存不足
- 網絡速度慢
- 查詢出的數據量過大(可以采用多次查詢,其他的方法降低數據量)
- 鎖或者死鎖(這也是查詢慢最常見的問題,是程序設計的缺陷)
- sp_lock,sp_who,活動的用戶查看,原因是讀寫競爭資源。
- 返回了不必要的行和列
- 查詢語句不好,沒有優(yōu)化
可以通過如下方法來優(yōu)化查詢 :
- 把數據、日志、索引放到不同的I/O設備上,增加讀取速度,以前可以將Tempdb應放在RAID0上,SQL2000不在支持。數據量(尺寸)越大,提高I/O越重要.
- 縱向、橫向分割表,減少表的尺寸(sp_spaceuse)
- 升級硬件
- 根據查詢條件,建立索引、優(yōu)化索引、優(yōu)化訪問方式,限制結果集的數據量。注意填充因子要適當(***是使用默認值0)。索引應該盡量小,使用字節(jié)數小的列建索引好(參照索引的創(chuàng)建),不要對有限的幾個值的字段建單一索引如性別字段
- 提高網速;
- 擴大服務器的內存,Windows 2000和SQL server 2000能支持4-8G的內存。配置虛擬內存:虛擬內存大小應基于計算機上并發(fā)運行的服務進行配置。運行 Microsoft SQL Server 2000 時,可考慮將虛擬內存大小設置為計算機中安裝的物理內存的 1.5 倍。如果另外安裝了全文檢索功能,并打算運行 Microsoft 搜索服務以便執(zhí)行全文索引和查詢,可考慮:將虛擬內存大小配置為至少是計算機中安裝的物理內存的 3 倍。將 SQL Server max server memory 服務器配置選項配置為物理內存的 1.5 倍(虛擬內存大小設置的一半)。
- 增加服務器CPU個數;但是必須明白并行處理比串行處理更需要資源例如內存。使用并行還是串行程是MsSQL自動評估選擇的。單個任務分解成多個任務,就可以在處理器上運行。例如耽擱查詢的排序、連接、掃描和GROUP BY字句同時執(zhí)行,SQL SERVER根據系統(tǒng)的負載情況決定***的并行等級,復雜的需要消耗大量的CPU的查詢最適合并行處理。但是更新操作UPDATE,INSERT,DELETE還不能并行處理。
- 如果是使用like進行查詢的話,簡單的使用index是不行的,但是全文索引耗空間。 like 'a%' 使用索引 like '%a' 不使用索引。用 like '%a%' 查詢時,查詢耗時和字段值總長度成正比,所以不能用CHAR類型,而是VARCHAR。對于字段的值很長的建全文索引。
- DB Server 和APPLication Server分離;OLTP和OLAP分離
- 分布式分區(qū)視圖可用于實現(xiàn)數據庫服務器聯(lián)合體。聯(lián)合體是一組分開管理的服務器,但它們相互協(xié)作分擔系統(tǒng)的處理負荷。這種通過分區(qū)數據形成數據庫服務器聯(lián)合體的機制能夠擴大一組服務器,以支持大型的多層 Web 站點的處理需要。有關更多信息,參見設計聯(lián)合數據庫服務器。(參照SQL幫助文件'分區(qū)視圖')
- 在實現(xiàn)分區(qū)視圖之前,必須先水平分區(qū)表
- 在創(chuàng)建成員表后,在每個成員服務器上定義一個分布式分區(qū)視圖,并且每個視圖具有相同的名稱。這樣,引用分布式分區(qū)視圖名的查詢可以在任何一個成員服務器上運行。系統(tǒng)操作如同每個成員服務器上都有一個原始表的復本一樣,但其實每個服務器上只有一個成員表和一個分布式分區(qū)視圖。數據的位置對應用程序是透明的。
- 重建索引DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數據和日志DBCC SHRINKDB,DBCC SHRINKFILE. 設置自動收縮日志.對于大的數據庫不要設置數據庫自動增長,它會降低服務器的性能。 在T-sql的寫法上有很大的講究,下面列出常見的要點:首先,DBMS處理查詢計劃的過程是這樣的:
- 查詢語句的詞法、語法檢查
- 將語句提交給DBMS的查詢優(yōu)化器
- 優(yōu)化器做代數優(yōu)化和存取路徑的優(yōu)化
- 由預編譯模塊生成查詢規(guī)劃
- 然后在合適的時間提交給系統(tǒng)處理執(zhí)行
- ***將執(zhí)行結果返回給用戶其次,看一下SQL SERVER的數據存放的結構:一個頁面的大小為8K(8060)字節(jié),8個頁面為一個盤區(qū),按照B樹存放。
- Commit和rollback的區(qū)別Rollback:回滾所有的事務。Commit:提交當前的事務.沒有必要在動態(tài)SQL里寫事務,如果要寫請寫在外面。如: begin tran exec(@s) commit trans 或者將動態(tài)SQL 寫成函數或者存儲過程。
- 在查詢Select語句中用Where字句限制返回的行數,避免表掃描,如果返回不必要的數據,浪費了服務器的I/O資源,加重了網絡的負擔降低性能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯(lián)接訪問表,否則后果嚴重。
- SQL的注釋申明對執(zhí)行沒有任何影響。
- 盡可能不使用光標,它占用大量的資源。如果需要row-by-row地執(zhí)行,盡量采用非光標技術,如:在客戶端循環(huán),用臨時表,Table變量,用子查詢,用Case語句等等。游標可以按照它所支持的提取選項進行分類:
- 只進必須按照從***行到***一行的順序提取行。FETCH NEXT 是唯一允許的提取操作,也是默認方式。
- 可滾動性可以在游標中任何地方隨機提取任意行。
- 游標的技術在SQL2000下變得功能很強大,他的目的是支持循環(huán)。有四個并發(fā)選項:
- READ_ONLY:不允許通過游標定位更新(Update),且在組成結果集的行中沒有鎖。
- OPTIMISTIC WITH valueS: 樂觀并發(fā)控制是事務控制理論的一個標準部分。樂觀并發(fā)控制用于這樣的情形,即在打開游標及更新行的間隔中,只有很小的機會讓第二個用戶更新某一行。當某個游標以此選項打開時,沒有鎖控制其中的行,這將有助于***化其處理能力。如果用戶試圖修改某一行,則此行的當前值會與***一次提取此行時獲取的值進行比較。如果任何值發(fā)生改變,則服務器就會知道其他人已更新了此行,并會返回一個錯誤。如果值是一樣的,服務器就執(zhí)行修改,選擇這個并發(fā)選項.
- OPTIMISTIC WITH ROW VERSIONING: 此樂觀并發(fā)控制選項基于行版本控制。使用行版本控制,其中的表必須具有某種版本標識符,服務器可用它來確定該行在讀入游標后是否有所更改。在 SQL Server 中,這個性能由 timestamp 數據類型提供,它是一個二進制數字,表示數據庫中更改的相對順序。每個數據庫都有一個全局當前時間戳值:@@DBTS。每次以任何方式更改帶有 timestamp 列的行時,SQL Server 先在時間戳列中存儲當前的 @@DBTS 值,然后增加 @@DBTS 的值。如果某個表具有 timestamp 列,則時間戳會被記到行級。服務器就可以比較某行的當前時間戳值和上次提取時所存儲的時間戳值,從而確定該行是否已更新。服務器不必比較所有列的值,只需比較 timestamp 列即可。如果應用程序對沒有 timestamp 列的表要求基于行版本控制的樂觀并發(fā),則游標默認為基于數值的樂觀并發(fā)控制。
- SCROLL LOCKS這個選項實現(xiàn)悲觀并發(fā)控制。在悲觀并發(fā)控制中,在把數據庫的行讀入游標結果集時,應用程序將試圖鎖定數據庫行。在使用服務器游標時,將行讀入游標時會在其上放置一個更新鎖。如果在事務內打開游標,則該事務更新鎖將一直保持到事務被提交或回滾;當提取下一行時,將除去游標鎖。如果在事務外打開游標,則提取下一行時,鎖就被丟棄。因此,每當用戶需要完全的悲觀并發(fā)控制時,游標都應在事務內打開。更新鎖將阻止任何其它任務獲取更新鎖或排它鎖,從而阻止其它任務更新該行。然而,更新鎖并不阻止共享鎖,所以它不會阻止其它任務讀取行,除非第二個任務也在要求帶更新鎖的讀取。滾動鎖根據在游標定義的 SELECT 語句中指定的鎖提示,這些游標并發(fā)選項可以生成滾動鎖。滾動鎖在提取時在每行上獲取,并保持到下次提取或者游標關閉,以先發(fā)生者為準。下次提取時,服務器為新提取中的行獲取滾動鎖,并釋放上次提取中行的滾動鎖。滾動鎖獨立于事務鎖,并可以保持到一個提交或回滾操作之后。如果提交時關閉游標的選項為關,則 COMMIT 語句并不關閉任何打開的游標,而且滾動鎖被保留到提交之后,以維護對所提取數據的隔離。所獲取滾動鎖的類型取決于游標并發(fā)選項和游標。
- 用Profiler來跟蹤查詢,得到查詢所需的時間,找出SQL的問題所在;用索引優(yōu)化器優(yōu)化索引.
- 注意UNion和UNion all 的區(qū)別:UNION ALL好
- 注意使用DISTINCT,在沒有必要時不要用,它同UNION一樣會使查詢變慢。重復的記錄在查詢里是沒有問題的
- 查詢時不要返回不需要的行、列
- 用sp_configure 'query governor cost limit'或者SET QUERY_GOVERNOR_COST_LIMIT來限制查詢消耗的資源。當評估查詢消耗的資源超出限制時,服務器自動取消查詢,在查詢之前就扼殺掉。SET LOCKTIME設置鎖的時間
- 用select top 100 / 10 Percent 來限制用戶返回的行數或者SET ROWCOUNT來限制操作的行
- 在SQL2000以前,一般不要用如下的字句: "IS NULL", "<>", "!=", "!>", "!<", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE", and "LIKE '%500'",因為他們不走索引全是表掃描。也不要在WHere字句中的列名加函數,如Convert,substring等,如果必須用函數的時候,創(chuàng)建計算列再創(chuàng)建索引來替代.還可以變通寫法:WHERE SUBSTRING(firstname,1,1) = 'm'改為WHERE firstname like 'm%'(索引掃描),一定要將函數和列名分開。并且索引不能建得太多和太大。NOT IN會多次掃描表,使用EXISTS、NOT EXISTS ,IN , LEFT OUTER JOIN 來替代,特別是左連接,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,現(xiàn)在2000的優(yōu)化器能夠處理了。相同的是IS NULL,"NOT", "NOT EXISTS", "NOT IN"能優(yōu)化她,而"<>"等還是不能優(yōu)化,用不到索引。
- 使用Query Analyzer,查看SQL語句的查詢計劃和評估分析是否是優(yōu)化的SQL。一般的20%的代碼占據了80%的資源,我們優(yōu)化的重點是這些慢的地方。
- 如果使用了IN或者OR等時發(fā)現(xiàn)查詢沒有走索引,使用顯示申明指定索引: SELECT * FROM PersonMember (INDEX = IX_Title) WHERE processid IN ('男','女')
- 將需要查詢的結果預先計算好放在表中,查詢的時候再SELECT。這在SQL7.0以前是最重要的手段。例如醫(yī)院的住院費計算。
- MIN() 和 MAX()能使用到合適的索引。
- 數據庫有一個原則是代碼離數據越近越好,所以優(yōu)先選擇Default,依次為Rules,Triggers, Constraint(約束如外健主健CheckUNIQUE……,數據類型的***長度等等都是約束),Procedure.這樣不僅維護工作小,編寫程序質量高,并且執(zhí)行的速度快。
- 如果要插入大的二進制值到Image列,使用存儲過程,千萬不要用內嵌INsert來插入(不知JAVA是否)。因為這樣應用程序首先將二進制值轉換成字符串(尺寸是它的兩倍),服務器受到字符后又將他轉換成二進制值.存儲過程就沒有這些動作: 方法:Create procedure p_insert as insert into table(Fimage) values (@image), 在前臺調用這個存儲過程傳入二進制參數,這樣處理速度明顯改善。
- Between在某些時候比IN速度更快,Between能夠更快地根據索引找到范圍。用查詢優(yōu)化器可見到差別。 select * from chineseresume where title in ('男','女') Select * from chineseresume where between '男' and '女' 是一樣的。由于in會在比較多次,所以有時會慢些。
- 在必要時對全局或者局部臨時表創(chuàng)建索引,有時能夠提高速度,但不是一定會這樣,因為索引也耗費大量的資源。他的創(chuàng)建同是實際表一樣。
- 不要建沒有作用的事務例如產生報表時,浪費資源。只有在必要使用事務時使用它。
- 用OR的字句可以分解成多個查詢,并且通過UNION 連接多個查詢。他們的速度只同是否使用索引有關,如果查詢需要用到聯(lián)合索引,用UNION ALL執(zhí)行的效率更高.多個OR的字句沒有用到索引,改寫成UNION的形式再試圖與索引匹配。一個關鍵的問題是否用到索引。
- 盡量少用視圖,它的效率低。對視圖操作比直接對表操作慢,可以用stored procedure來代替她。特別的是不要用視圖嵌套,嵌套視圖增加了尋找原始資料的難度。我們看視圖的本質:它是存放在服務器上的被優(yōu)化好了的已經產生了查詢規(guī)劃的SQL。對單個表檢索數據時,不要使用指向多個表的視圖,直接從表檢索或者僅僅包含這個表的視圖上讀,否則增加了不必要的開銷,查詢受到干擾.為了加快視圖的查詢,MsSQL增加了視圖索引的功能。
- 沒有必要時不要用DISTINCT和ORDER BY,這些動作可以改在客戶端執(zhí)行。它們增加了額外的開銷。這同UNION 和UNION ALL一樣的道理。
- 在IN后面值的列表中,將出現(xiàn)最頻繁的值放在最前面,出現(xiàn)得最少的放在***面,減少判斷的次數。
- 當用SELECT INTO時,它會鎖住系統(tǒng)表(sysobjects,sysindexes等等),阻塞其他的連接的存取。創(chuàng)建臨時表時用顯示申明語句,而不是select INTO. drop table t_lxh begin tran select * into t_lxh from chineseresume where name = 'XYZ' --commit 在另一個連接中SELECT * from sysobjects可以看到 SELECT INTO 會鎖住系統(tǒng)表,Create table 也會鎖系統(tǒng)表(不管是臨時表還是系統(tǒng)表)。所以千萬不要在事務內使用它!!!這樣的話如果是經常要用的臨時表請使用實表,或者臨時表變量。
- 一般在GROUP BY 和HAVING字句之前就能剔除多余的行,所以盡量不要用它們來做剔除行的工作。他們的執(zhí)行順序應該如下***:select 的Where字句選擇所有合適的行,Group By用來分組個統(tǒng)計行,Having字句用來剔除多余的分組。這樣Group By 個Having的開銷小,查詢快.對于大的數據行進行分組和Having十分消耗資源。如果Group BY的目的不包括計算,只是分組,那么用Distinct更快
- 一次更新多條記錄比分多次更新每次一條快,就是說批處理好
- 少用臨時表,盡量用結果集和Table類型的變量來代替它,Table 類型的變量比臨時表好。
- 在SQL2000下,計算字段是可以索引的,需要滿足的條件如下:
- 計算字段的表達是確定的
- 不能用在text,ntext,Image數據類型
- 必須配制如下選項 ANSI_NULLS = ON, ANSI_PADDINGS = ON, …….
- 盡量將數據的處理工作放在服務器上,減少網絡的開銷,如使用存儲過程。存儲過程是編譯好、優(yōu)化過、并且被組織到一個執(zhí)行規(guī)劃里、且存儲在數據庫中的SQL語句,是控制流語言的集合,速度當然快。反復執(zhí)行的動態(tài)SQL,可以使用臨時存儲過程,該過程(臨時表)被放在Tempdb中。以前由于SQL SERVER對復雜的數學計算不支持,所以不得不將這個工作放在其他的層上而增加網絡的開銷。SQL2000支持UDFs,現(xiàn)在支持復雜的數學計算,函數的返回值不要太大,這樣的開銷很大。用戶自定義函數象光標一樣執(zhí)行的消耗大量的資源,如果返回大的結果采用存儲過程
- 不要在一句話里再三的使用相同的函數,浪費資源,將結果放在變量里再調用更快
- SELECT COUNT(*)的效率較低,盡量變通他的寫法,而EXISTS快.同時請注意區(qū)別: select count(Field of null) from Table 和 select count(Field of NOT null) from Table 的返回值是不同的!!!
- 當服務器的內存夠多時,配制線程數量 = ***連接數+5,這樣能發(fā)揮***的效率;否則使用 配制線程數量<***連接數啟用SQL SERVER的線程池來解決,如果還是數量 = ***連接數+5,嚴重的損害服務器的性能。
- 按照一定的次序來訪問你的表。如果你先鎖住表A,再鎖住表B,那么在所有的存儲過程中都要按照這個順序來鎖定它們。如果你(不經意的)某個存儲過程中先鎖定表B,再鎖定表A,這可能就會導致一個死鎖。如果鎖定順序沒有被預先詳細的設計好,死鎖很難被發(fā)現(xiàn)。
- 通過SQL Server Performance Monitor監(jiān)視相應硬件的負載Memory: Page Faults / sec計數器如果該值偶爾走高,表明當時有線程競爭內存。如果持續(xù)很高,則內存可能是瓶頸。
- Process:
- % DPC Time 指在范例間隔期間處理器用在緩延程序調用(DPC) 接收和提供服務的百分比。(DPC 正在運行的為比標準間隔優(yōu)先權低的間隔)。 由于 DPC 是以特權模式執(zhí)行的,DPC 時間的百分比為特權時間 百分比的一部分。這些時間單獨計算并且不屬于間隔計算總數的一部 分。這個總數顯示了作為實例時間百分比的平均忙時。
- %Processor Time計數器 如果該參數值持續(xù)超過95%,表明瓶頸是CPU??梢钥紤]增加一個處理器或換一個更快的處理器。
- % Privileged Time 指非閑置處理器時間用于特權模式的百分比。(特權模式是為操作系統(tǒng)組件和操縱硬件驅動程序而設計的一種處理模式。它允許直接訪問硬件和所有內存。另一種模式為用戶模式,它是一種為應用程序、環(huán)境分系統(tǒng)和整數分系統(tǒng)設計的一種有限處理模式。操作系統(tǒng)將應用程序線程轉換成特權模式以訪問操作系統(tǒng)服務)。 特權時間的 % 包括為間斷和 DPC 提供服務的時間。特權時間比率高可能是由于失敗設備產生的大數量的間隔而引起的。這個計數器將平均忙時作為樣本時間的一部分顯示。
- % User Time表示耗費CPU的數據庫操作,如排序,執(zhí)行aggregate functions等。如果該值很高,可考慮增加索引,盡量使用簡單的表聯(lián)接,水平分割大表格等方法來降低該值。 Physical Disk: Curretn Disk Queue Length計數器該值應不超過磁盤數的1.5~2倍。要提高性能,可增加磁盤。 SQLServer:Cache Hit Ratio計數器該值越高越好。如果持續(xù)低于80%,應考慮增加內存。 注意該參數值是從SQL Server啟動后,就一直累加記數,所以運行經過一段時間后,該值將不能反映系統(tǒng)當前值。
- Process:
- 分析select emp_name form. employee where salary > 3000 在此語句中若salary是Float類型的,則優(yōu)化器對其進行優(yōu)化為Convert(float,3000),因為3000是個整數,我們應在編程時使用3000.0而不要等運行時讓DBMS進行轉化。同樣字符和整型數據的轉換。
- 查詢的關聯(lián)同寫的順序
-
- IF 沒有輸入負責人代碼 THEN code1=0 code2=9999 ELSE code1=code2=負責人代碼 END IF 執(zhí)行SQL語句為: SELECT 負責人名 FROM P2000 WHERE 負責人代碼>=:code1 AND負責人代碼 <=:code2
- IF 沒有輸入負責人代碼 THEN SELECT 負責人名 FROM P2000 ELSE code= 負責人代碼 SELECT 負責人代碼 FROM P2000 WHERE 負責人代碼=:code END IF ***種方法只用了一條SQL語句,第二種方法用了兩條SQL語句。在沒有輸入負責人代碼時,第二種方法顯然比***種方法執(zhí)行效率高,因為它沒有限制條件; 在輸入了負責人代碼時,第二種方法仍然比***種方法效率高,不僅是少了一個限制條件,還因相等運算是最快的查詢運算。我們寫程序不要怕麻煩
- 關于JOBCN現(xiàn)在查詢分頁的新方法(如下),用性能優(yōu)化器分析性能的瓶頸,如果在I/O或者網絡的速度上,如下的方法優(yōu)化切實有效,如果在CPU或者內存上,用現(xiàn)在的方法更好。請區(qū)分如下的方法,說明索引越小越好。
原文鏈接:http://www.cnblogs.com/jyshis/archive/2011/09/16/2178309.html
【編輯推薦】
- SQL Azure故障排除以及查詢優(yōu)化
- SQL點滴之性能優(yōu)化其實沒有那么神秘
- 優(yōu)化你的DiscuzNT,讓它跑起來
- 淺析SQL Server datetime數據類型設計與優(yōu)化誤區(qū)
責任編輯:艾婧
來源:
我的點點滴滴的博客