前言

大家好，我是田螺。

金三銀四已經(jīng)開始啦，準備了SQL優(yōu)化的13連問，內(nèi)容非常干！相信大家看完一定會有幫助的。

1.日常工作中，你是怎么優(yōu)化SQL的？

大家可以從這幾個維度回答這個問題：

• 分析慢查詢?nèi)罩?/li>
• 使用explain查看執(zhí)行計劃
• 索引優(yōu)化
• 深分頁優(yōu)化
• 避免全表掃描
• 避免返回不必要的數(shù)據(jù)（如select具體字段而不是select*）
• 使用合適的數(shù)據(jù)類型（如可以使用int類型的話，就不要設(shè)計為varchar）
• 優(yōu)化sql結(jié)構(gòu)（如join優(yōu)化等等）
• 適當分批量進行 (如批量更新、刪除)
• 定期清理無用的數(shù)據(jù)
• 適當分庫分表
• 讀寫分離

2. 是否遇到過深分頁問題，如何解決

我們可以通過減少回表次數(shù)來優(yōu)化。一般有標簽記錄法和延遲關(guān)聯(lián)法。

標簽記錄法

就是標記一下上次查詢到哪一條了，下次再來查的時候，從該條開始往下掃描。就好像看書一樣，上次看到哪里了，你就折疊一下或者夾個書簽，下次來看的時候，直接就翻到啦。

假設(shè)上一次記錄到100000，則SQL可以修改為：

select  id,name,balance FROM account where id > 100000 limit 10;

這樣的話，后面無論翻多少頁，性能都會不錯的，因為命中了id索引。但是這種方式有局限性：需要一種類似連續(xù)自增的字段。

延遲關(guān)聯(lián)法

延遲關(guān)聯(lián)法，就是把條件轉(zhuǎn)移到主鍵索引樹，然后減少回表。假設(shè)原生SQL是這樣的的，其中id是主鍵，create_time是普通索引

select id,name,balance from account where create_time> '2020-09-19' limit 100000,10;

使用延遲關(guān)聯(lián)法優(yōu)化，如下：

select  acct1.id,acct1.name,acct1.balance FROM account acct1 INNER JOIN 
(SELECT a.id FROM account a WHERE a.create_time > '2020-09-19' limit 100000, 10) 
AS acct2 on acct1.id= acct2.id;

優(yōu)化思路就是，先通過idx_create_time二級索引樹查詢到滿足條件的主鍵ID，再與原表通過主鍵ID內(nèi)連接，這樣后面直接走了主鍵索引了，同時也減少了回表。

3. 聊聊explain執(zhí)行計劃

當explain與SQL一起使用時，MySQL將顯示來自優(yōu)化器的有關(guān)語句執(zhí)行計劃的信息。即MySQL解釋了它將如何處理該語句，包括有關(guān)如何連接表以及以何種順序連接表等信息。

一條簡單SQL，使用了explain的效果如下：

一般來說，我們需要重點關(guān)注type、rows、filtered、extra、key。

3.1 type

type表示連接類型，查看索引執(zhí)行情況的一個重要指標。以下性能從好到壞依次：system > const > eq_ref > ref > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

• system：這種類型要求數(shù)據(jù)庫表中只有一條數(shù)據(jù)，是const類型的一個特例，一般情況下是不會出現(xiàn)的。
• const：通過一次索引就能找到數(shù)據(jù)，一般用于主鍵或唯一索引作為條件，這類掃描效率極高，，速度非?？?。
• eq_ref：常用于主鍵或唯一索引掃描，一般指使用主鍵的關(guān)聯(lián)查詢
• ref : 常用于非主鍵和唯一索引掃描。
• ref_or_null：這種連接類型類似于ref，區(qū)別在于MySQL會額外搜索包含NULL值的行
• index_merge：使用了索引合并優(yōu)化方法，查詢使用了兩個以上的索引。
• unique_subquery：類似于eq_ref，條件用了in子查詢
• index_subquery：區(qū)別于unique_subquery，用于非唯一索引，可以返回重復(fù)值。
• range：常用于范圍查詢，比如：between ... and 或 In 等操作
• index：全索引掃描
• ALL：全表掃描

3.2 rows

該列表示MySQL估算要找到我們所需的記錄，需要讀取的行數(shù)。對于InnoDB表，此數(shù)字是估計值，并非一定是個準確值。

3.3 filtered

該列是一個百分比的值，表里符合條件的記錄數(shù)的百分比。簡單點說，這個字段表示存儲引擎返回的數(shù)據(jù)在經(jīng)過過濾后，剩下滿足條件的記錄數(shù)量的比例。

3.4 extra

該字段包含有關(guān)MySQL如何解析查詢的其他信息，它一般會出現(xiàn)這幾個值：

• Using filesort：表示按文件排序，一般是在指定的排序和索引排序不一致的情況才會出現(xiàn)。一般見于order by語句
• Using index ：表示是否用了覆蓋索引。
• Using temporary: 表示是否使用了臨時表,性能特別差，需要重點優(yōu)化。一般多見于group by語句，或者union語句。
• Using where : 表示使用了where條件過濾.
• Using index condition：MySQL5.6之后新增的索引下推。在存儲引擎層進行數(shù)據(jù)過濾，而不是在服務(wù)層過濾，利用索引現(xiàn)有的數(shù)據(jù)減少回表的數(shù)據(jù)。

3.5 key

該列表示實際用到的索引。一般配合possible_keys列一起看。

注意:有時候，explain配合show WARNINGS; （可以查看優(yōu)化后,最終執(zhí)行的sql），效果更佳哦。

4.說說大表的優(yōu)化方案

• 數(shù)據(jù)庫設(shè)計優(yōu)化

合理的數(shù)據(jù)庫設(shè)計可以極大地提高查詢效率。我們在設(shè)計大表時，可以考慮拆分表、使用分區(qū)表、添加索引等方式來優(yōu)化表結(jié)構(gòu)。同時也要避免使用大量冗余字段、避免頻繁使用join查詢等操作。

• 索引優(yōu)化

對于大表的查詢操作，索引優(yōu)化是非常重要的一環(huán)。可以考慮增加或者修改索引、使用覆蓋索引、使用聯(lián)合索引等方式來提高查詢效率。同時也要注意定期清理冗余的索引以及對于經(jīng)常使用的查詢語句建立索引。

• 分區(qū)優(yōu)化

將大表按照某個列分成多個分區(qū)表，每個分區(qū)表的數(shù)據(jù)量較小，可以提高查詢和更新的性能。分區(qū)表還可以幫助在維護表結(jié)構(gòu)的同時，減少鎖表時間，提高并發(fā)處理能力。

• 數(shù)據(jù)清理歸檔

對于一些歷史數(shù)據(jù)或者無用數(shù)據(jù)，可以進行定期歸檔，避免數(shù)據(jù)過多造成SQL查詢效率降低。同時也要注意對于大表進行定期的數(shù)據(jù)備份以及緊急數(shù)據(jù)恢復(fù)的準備工作。

• 緩存優(yōu)化

對于一些經(jīng)常被查詢的數(shù)據(jù)，可以使用緩存優(yōu)化。使用Redis等緩存中間件來緩存常用的數(shù)據(jù)，以減少查詢數(shù)據(jù)庫的次數(shù)，提高查詢效率。

• SQL語句優(yōu)化

在編寫SQL查詢語句時，要盡可能地簡單明了，避免復(fù)雜的查詢語句，同時也要避免一些不必要的查詢操作。對于復(fù)雜的查詢語句，可以使用Explain執(zhí)行計劃來進行優(yōu)化。同時也要注意避免使用OR等耗費性能的操作符。

• 分庫分表

如果數(shù)據(jù)量千萬級別，需要考慮分庫分表哈。分庫分表相關(guān)知識點，可以看我之前這篇文章哈，我們?yōu)槭裁匆謳旆直恚?/p>

5.哪些因素可能導致MySQL慢查詢？

慢查詢一般有以下這些原因：

大家有興趣可以看下。我之前寫的這篇文章哈：盤點MySQL慢查詢的12個原因

6.如何使用索引優(yōu)化SQL查詢？

• 添加合適索引（在where、group by、order by等后面的字段添加合適索引）
• 選擇合適的索引類型 (B-tree索引適合范圍查詢、哈希索引適合等值查詢)
• 注意不適合加索引的場景（數(shù)據(jù)量少的表，更新頻繁的字段，區(qū)分度低的字段）
• 加索引的時候，需要考慮覆蓋索引，減少回表，考慮聯(lián)合索引的最左前綴原則
• explain查看SQL的執(zhí)行計劃，確認是否會命中索引。
• 注意索引并不是越多越好，通常建議在單個表中不要超過5個索引。因為索引會占用磁盤空間，索引更新代價高。

7.聊聊慢SQL的優(yōu)化思路

1. 查看慢查詢?nèi)罩居涗?，分析慢SQL
2. explain分析SQL的執(zhí)行計劃
3. profile 分析執(zhí)行耗時
4. Optimizer Trace分析詳情
5. 確定問題并采用相應(yīng)的措施

7.1 查看慢查詢?nèi)罩居涗洠治雎齋QL

如何定位慢SQL呢、我們可以通過slow log來查看慢SQL。默認的情況下呢，MySQL數(shù)據(jù)庫是不開啟慢查詢?nèi)罩荆╯low query log）呢。所以我們需要手動把它打開。

查看下慢查詢?nèi)罩九渲?，我們可以使用show variables like 'slow_query_log%'命令，如下：

• slow query log表示慢查詢開啟的狀態(tài)
• slow_query_log_file表示慢查詢?nèi)罩敬娣诺奈恢?/li>

我們還可以使用show variables like 'long_query_time'命令，查看超過多少時間，才記錄到慢查詢?nèi)罩?，如下?/p>

• long_query_time表示查詢超過多少秒才記錄到慢查詢?nèi)罩尽?/li>

我們可以通過慢查日志，定位那些執(zhí)行效率較低的SQL語句，重點關(guān)注分析。

7.2 explain查看分析SQL的執(zhí)行計劃

當定位出查詢效率低的SQL后，可以使用explain查看SQL的執(zhí)行計劃。

當explain與SQL一起使用時，MySQL將顯示來自優(yōu)化器的有關(guān)語句執(zhí)行計劃的信息。即MySQL解釋了它將如何處理該語句，包括有關(guān)如何連接表以及以何種順序連接表等信息。

一條簡單SQL，使用了explain的效果如下：

一般來說，我們需要重點關(guān)注type、rows、filtered、extra、key。

7.3 profile 分析執(zhí)行耗時

explain只是看到SQL的預(yù)估執(zhí)行計劃，如果要了解SQL真正的執(zhí)行線程狀態(tài)及消耗的時間，需要使用profiling。開啟profiling參數(shù)后，后續(xù)執(zhí)行的SQL語句都會記錄其資源開銷，包括IO，上下文切換，CPU，內(nèi)存等等，我們可以根據(jù)這些開銷進一步分析當前慢SQL的瓶頸再進一步進行優(yōu)化。

profiling默認是關(guān)閉，我們可以使用show variables like '%profil%'查看是否開啟，如下：

可以使用set profiling=ON開啟。開啟后，可以運行幾條SQL，然后使用show profiles查看一下。

show profiles會顯示最近發(fā)給服務(wù)器的多條語句，條數(shù)由變量profiling_history_size定義，默認是15。如果我們需要看單獨某條SQL的分析，可以show profile查看最近一條SQL的分析。也可以使用show profile for query id（其中id就是show profiles中的QUERY_ID）查看具體一條的SQL語句分析。

除了查看profile ，還可以查看cpu和io，如上圖。

7.4 Optimizer Trace分析詳情

profile只能查看到SQL的執(zhí)行耗時，但是無法看到SQL真正執(zhí)行的過程信息，即不知道MySQL優(yōu)化器是如何選擇執(zhí)行計劃。這時候，我們可以使用Optimizer Trace，它可以跟蹤執(zhí)行語句的解析優(yōu)化執(zhí)行的全過程。

我們可以使用set optimizer_trace="enabled=on"打開開關(guān)，接著執(zhí)行要跟蹤的SQL，最后執(zhí)行select * from information_schema.optimizer_trace跟蹤，如下：

大家可以查看分析其執(zhí)行樹，會包括三個階段：

• join_preparation：準備階段
• join_optimization：分析階段
• join_execution：執(zhí)行階段

7.5 確定問題并采用相應(yīng)的措施

最后確認問題，就采取對應(yīng)的措施。

• 多數(shù)慢SQL都跟索引有關(guān)，比如不加索引，索引不生效、不合理等，這時候，我們可以優(yōu)化索引。
• 我們還可以優(yōu)化SQL語句，比如一些in元素過多問題（分批），深分頁問題（基于上一次數(shù)據(jù)過濾等），進行時間分段查詢
• SQl沒辦法很好優(yōu)化，可以改用ES的方式，或者數(shù)倉。
• 如果單表數(shù)據(jù)量過大導致慢查詢，則可以考慮分庫分表
• 如果數(shù)據(jù)庫在刷臟頁導致慢查詢，考慮是否可以優(yōu)化一些參數(shù)，跟DBA討論優(yōu)化方案
• 如果存量數(shù)據(jù)量太大，考慮是否可以讓部分數(shù)據(jù)歸檔

我之前寫了一篇文章，有關(guān)于導致慢查詢的12個原因，大家看一下哈:盤點MySQL慢查詢的12個原因

8.一條sql執(zhí)行過長的時間，你如何優(yōu)化，從哪些方面入手？

這道面試題，其實跟慢SQl排查解決有點像，所以大家回答得時候，可以參考上一小節(jié)哈。我們可以從這幾個方面入手哈：

• 確定瓶頸
• 索引優(yōu)化
• 優(yōu)化SQL語句
• 數(shù)據(jù)庫參數(shù)優(yōu)化
• 分析鎖的情況
• 數(shù)據(jù)庫硬件升級

確定瓶頸

首先，通過查看MySQL日志，慢查詢?nèi)罩荆琫xplain分析SQL的執(zhí)行計劃，profile 分析執(zhí)行耗時，Optimizer Trace分析詳情等操作，確定查詢執(zhí)行的瓶頸在哪里。只有確定了瓶頸，才能有針對性地進行優(yōu)化。

索引優(yōu)化

在確定了瓶頸之后，可以考慮通過增加索引來優(yōu)化查詢效率。可以根據(jù)查詢語句的條件，增加相應(yīng)的索引，從而加快查詢速度。但是索引也會帶來一些負面影響，如占用磁盤空間，降低寫入效率等，所以需要根據(jù)具體情況權(quán)衡。

優(yōu)化SQL語句

有些SQL語句本身可能存在一些問題，如join操作過于頻繁，使用了不必要的子查詢等，這些都會導致查詢效率低下?？梢酝ㄟ^優(yōu)化SQL語句來減少不必要的操作，從而提高查詢效率。

數(shù)據(jù)庫參數(shù)優(yōu)化

數(shù)據(jù)庫參數(shù)也會影響查詢效率，可以通過修改數(shù)據(jù)庫參數(shù)來優(yōu)化查詢效率，如修改內(nèi)存緩存大小、修改連接池大小等。不同的數(shù)據(jù)庫參數(shù)優(yōu)化方式不同，需要根據(jù)具體情況進行調(diào)整。

分析鎖的情況

查詢執(zhí)行時間過長有可能是由于鎖的問題導致的，需要分析查詢語句中是否存在鎖的問題，如果存在鎖的問題，可以考慮增加鎖的并發(fā)度，從而提高查詢效率。

數(shù)據(jù)庫硬件升級

如果以上方法都無法解決問題，可以考慮對數(shù)據(jù)庫硬件進行升級，如增加 CPU 數(shù)量、加快磁盤讀寫速度等，從而提高數(shù)據(jù)庫的整體性能。

9. 列舉一下，常用的數(shù)據(jù)庫設(shè)計優(yōu)化技巧？

• 字段盡量避免使用NULL
• 合理選擇數(shù)據(jù)類型
• 字段選擇合適的長度
• 正確使用索引
• 盡量少定義text類型
• 合理的數(shù)據(jù)表結(jié)構(gòu)設(shè)計
• 適當?shù)娜哂嘣O(shè)計
• 優(yōu)化SQL查詢語句
• 一張表的字段不宜過多

10.列舉日常開發(fā)中，列舉十個書寫高質(zhì)量SQL的小技巧

1. 查詢SQL盡量不要使用select *，而是select具體字段。
2. 小表驅(qū)動大表
3. 優(yōu)化你的like語句
4. 盡量避免在索引列上使用mysql的內(nèi)置函數(shù)
5. 如果插入數(shù)據(jù)過多，考慮批量操作。
6. 多用limit
7. 小表驅(qū)動大表
8. exist & in合理利用
9. in元素不要過多
10. 盡量用union all替換union

大家可以參考我之前這篇文章哈 ：后端程序員必備：書寫高質(zhì)量SQL的30條建議

11.index merge了解過嘛？

index merge是什么？

在MySQL中，當執(zhí)行一個查詢語句需要使用多個索引時，MySQL可以使用索引合并(Index Merge)來優(yōu)化查詢性能。具體來說，索引合并是將多個單列索引或多個聯(lián)合索引合并使用，以滿足查詢語句的需要。

當使用索引合并時，MySQL會選擇最優(yōu)的索引組合來執(zhí)行查詢，從而避免了全表掃描和排序操作，提高了查詢效率。而對于使用多個單列索引的查詢語句，MySQL也可以使用索引合并來優(yōu)化查詢性能。

大家可以看一個使用index merge的例子：

假設(shè)有一個名為orders的表，包含order_id、customer_id、product_id、order_date等字段，其中order_id、customer_id、product_id三個字段都建有索引。

如果要查詢customer_id為1，order_date在2022年1月1日到2022年2月1日之間的訂單記錄，可以使用以下SQL語句：

SELECT *
FROM orders
WHERE customer_id = 1
AND order_date >= '2022-01-01'
AND order_date < '2022-02-01'

在執(zhí)行該查詢語句時，MySQL可以使用customer_id索引和order_date索引來優(yōu)化查詢。如果使用單個索引，則需要掃描整個索引樹來匹配查詢條件；但如果使用索引合并，則可以先使用customer_id索引來過濾出符合條件的記錄，然后再使用order_date索引來進一步過濾記錄，從而大大減少了掃描的記錄數(shù)，提高了查詢效率。

大家可以使用EXPLAIN關(guān)鍵字可以查看查詢計劃，確認是否使用了索引合并。例如，執(zhí)行以下語句：

EXPLAIN SELECT *
FROM orders
WHERE customer_id = 1
AND order_date >= '2022-01-01'
AND order_date < '2022-02-01'

如果查詢計劃中出現(xiàn)了Using index merge的信息，則表示該查詢使用了索引合并優(yōu)化。

12. order by查詢效率慢,如何優(yōu)化.

大家是否還記得order by查詢?yōu)槭裁磿?

order by排序，分為全字段排序和rowid排序。它是拿max_length_for_sort_data和結(jié)果行數(shù)據(jù)長度對比，如果結(jié)果行數(shù)據(jù)長度超過max_length_for_sort_data這個值，就會走rowid排序，相反，則走全字段排序。

rowid排序，一般需要回表去找滿足條件的數(shù)據(jù)，所以效率會慢一點.如果是order by排序,可能會借助磁盤文件排序的話，效率就更慢一點.

如何優(yōu)化order by的文件排序?

• 因為數(shù)據(jù)是無序的，所以就需要排序。如果數(shù)據(jù)本身是有序的，那就不會再用到文件排序啦。而索引數(shù)據(jù)本身是有序的，我們通過建立索引來優(yōu)化order by語句。
• 我們還可以通過調(diào)整max_length_for_sort_data、sort_buffer_size等參數(shù)優(yōu)化；

大家忘記order by的話,可以看我之前的這篇文章哈:看一遍就理解：order by詳解

13. group by 查詢慢的話,如何優(yōu)化呀.

group by一般用于分組統(tǒng)計，它表達的邏輯就是根據(jù)一定的規(guī)則，進行分組。日常開發(fā)中，我們使用得比較頻繁。如果不注意，很容易產(chǎn)生慢SQL。

group by可能會慢在哪里？因為它既用到臨時表，又默認用到排序。有時候還可能用到磁盤臨時表。

• 如果執(zhí)行過程中，會發(fā)現(xiàn)內(nèi)存臨時表大小到達了上限（控制這個上限的參數(shù)就是tmp_table_size），會把內(nèi)存臨時表轉(zhuǎn)成磁盤臨時表。
• 如果數(shù)據(jù)量很大，很可能這個查詢需要的磁盤臨時表，就會占用大量的磁盤空間。

如何優(yōu)化group by呢?

• group by 后面的字段加索引
• order by null 不用排序
• 盡量只使用內(nèi)存臨時表
• 使用SQL_BIG_RESULT

大家可以看下我這篇文章哈：看一遍就理解：group by詳解

 本文轉(zhuǎn)載自微信公眾號「撿田螺的小男孩」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系撿田螺的小男孩公眾號。