前 言

sql優(yōu)化是非常重要，因為即使再好的MySQL設計架構，也扛不住一個頻繁查詢的垃圾sql語句。

關于sql的優(yōu)化，我們也是有一定的原則和先后順序的，大體的步驟的我們用一張流程圖來看一下：

總體呢，大概可以分為以下幾個步驟：

（1）首先，我們得要看下sql語句中是否有join語句，比如內連接查詢inner join，外連接查詢 left join right join等；因為join語句一般都涉及到跨表查詢了，所以首先我們得要為join語句中，負責連接兩張表的字段創(chuàng)建索引，這樣的話可以利用索引加快兩張表關聯(lián)的速度。

（2）接下來，我們會再看一下sql語句中的where語句，我們可以根據(jù)當前表中的數(shù)據(jù)量，以及where語句的過濾條件，預估下查詢結果的數(shù)據(jù)量是否會很大，如果數(shù)據(jù)量很大的話，查詢的速度肯定就會很慢，所以，為了提高sql語句的執(zhí)行效率，我們得要為where語句中過濾字段單獨創(chuàng)建索引。

（3）當我們把join語句以及where語句中的字段優(yōu)化完之后，就可以來看一下其他的一些細節(jié)部分，比如sql語句中如果使用了聚合函數(shù)，或者對查詢的結果進行了排序，那么，一般我們都建議為聚合函數(shù)中的字段，以及排序的字段都創(chuàng)建索引，讓這些操作利用索引速度更快點。

sql優(yōu)化中不管是對where語句、聚合函數(shù)、還是排序操作的優(yōu)化，優(yōu)化起來相對而言會簡單點，為對應的字段創(chuàng)建合適的索引就可以了，但是，join語句這塊的優(yōu)化涉及到一些比較重要的原理，我們還是有必要來看下的。

簡單來說，在mysql中使用join語句關聯(lián)2張表的話，比如執(zhí)行這條sql：

select * from order_info t1 left join order_item_detail t2 on t1.order_no = t2.order_no

這個時候，join關聯(lián)查詢的過程是什么樣子的呢？其實，這個就取決于當前join語句用到的算法了，join語句一共有3種算法，最基礎的是Simple nested loop算法，接下來，我們一起來看下。

Simple nested loop算法

Simple nested loop算法，說白了就是一個雙重for循環(huán)遍歷的算法，Simple nested loop算法匹配的過程是這樣的：

從左邊的驅動表order_info中，每取出一條記錄都要遍歷一遍被驅動表order_item_detail，說白了就是一個雙重for循環(huán)。

如果驅動表和被驅動表中都有100條數(shù)據(jù)的話，那么此時就需要匹配 100 * 100 = 10000次，可見效率是非常低的，所以，MySQL并沒有選擇使用 Simple nested loop 算法，而是使用了優(yōu)化后的Block nested loop 算法。

Block nested loop 算法

Block nested loop 算法對 Simple nested loop 算法進行了優(yōu)化，它引入了 join buffer，join buffer 主要用于優(yōu)化不帶索引條件的 join 查詢，它會緩存連接過程中用到的字段，這樣可以有效減少匹配次數(shù)，就像這樣：

可以看到，Block nested loop的優(yōu)化思路，是減少被驅動表的匹配次數(shù)，它主要是通過一次性緩存驅動表的多條數(shù)據(jù)，以此來減少被驅動表的匹配次數(shù)，從而可以達到提升性能的目的。

需要注意的是，MySQL提供了一個參數(shù)join buffer_size，它是用來控制 join buffer 大小的，而MySQL默認的join_buffer_size 是 256K，所以如果驅動表的數(shù)據(jù)太多的話，默認的join buffer可能一次性放不下全部的數(shù)據(jù)。

這個時候，join buffer就會采用分段緩存的機制來緩存驅動表的數(shù)據(jù)，但是這種分段緩存方式的性能，是比一次性緩存全部數(shù)據(jù)要差一些的。

所以，我們可以通過join_buffer_size參數(shù)，適當調大join buffer的大小，使join buffer可以一次性放下驅動表的所有數(shù)據(jù)，這樣可以提升join的性能。

Index nested loop算法

最后還有一種Index nested loop算法：

它的優(yōu)化思路主要是減少被驅動表數(shù)據(jù)的匹配次數(shù)， 就是驅動表直接與被驅動表的索引進行匹配，這樣就不用和被驅動表的每條記錄比較了。

原來的匹配次數(shù)為：驅動表行數(shù) * 被驅動表行數(shù)，而現(xiàn)在變成了：驅動表行數(shù) * 被驅動表索引的高度，這樣就極大的減少了被驅動表的匹配次數(shù)，極大的提升了join的性能。

如果join關聯(lián)查詢能使用到索引的話，MySQL就會使用Indexnestedloop算法，如果無法使用Indexnestedloop算法，MYSQL默認會使用Blocknestedloop算法。

到底能不能使用join？

好了，我們剛才了解了Simple nested loop 、 Block nested loop、Index nested loop 這三種算法，那么現(xiàn)在可以回答開頭的問題了：到底能不能使用join？

其實，如果能用上被驅動表上的索引，說白了就是可以用上 Index nested loop 算法的話，是可以使用 join 的。

而如果使用的是 Block nested loop 算法的話，由于掃描行數(shù)和比較次數(shù)會比較多，所以會占用大量的系統(tǒng)資源，所以這種情況能不用join就不用join。

我們平常使用explain優(yōu)化sql的時候，如果 explain 結果中的 Extra 字段，如果包含 ' Using join buffer (Block Nested Loop) ' 的話，這個時候就代表使用了 Block nested loop 算法了。

如果能使用上被驅動表上的索引的話，join還是可以使用的，這個時候基本不會影響性能，那么我們這里為什么要優(yōu)化掉join呢？

主要由于2個原因，首先后邊我們有分庫分表的計劃，所以為了有更好的擴展性，我們會優(yōu)化掉join，其次MySQL是專門用來做數(shù)據(jù)存儲的，所以，還是盡量不要把業(yè)務相關的邏輯放到MySQL層面來做。

所以基于這2個原因，我們會將單體應用版本的join給優(yōu)化掉。

join關聯(lián)查詢優(yōu)化實戰(zhàn)

被驅動表order_no列未加索引

（1）join關聯(lián)查詢sql語句

可以看到，sql語句中，left join語句中，訂單明細表是通過order_no字段和訂單表關聯(lián)的，此時驅動表order_info的order_no是加了索引的，而被驅動表order_item_detail的order_no字段沒有添加索引

（2）看一下查詢時間

此時order_info中的數(shù)據(jù)量為2500萬條，而訂單明細表 order_item_detail 的數(shù)據(jù)量是1億條。

可以看到被驅動表order_item_detail沒使用到索引時，查詢效率是非常低下的。

優(yōu)化：被驅動表order_no列添加索引

（1）為被驅動表添加索引

現(xiàn)在我們?yōu)楸或寗颖韔rder_item_detail的order_no添加索引，添加索引sql如下：

create index inx_item_order_no    on order_item_detail (order_no);

（2）再次查看join關聯(lián)查詢的時間

此時我們發(fā)現(xiàn)被驅動表order_item_detail的關聯(lián)字段order_no用上索引后，查詢效率提升的非常明顯。

進一步優(yōu)化：去掉join

此時我們?yōu)榱烁玫臄U展性，需要將join關聯(lián)查詢給優(yōu)化掉

（1）看下join優(yōu)化后的代碼：

拆分join,改成單表查詢，內存中再組裝數(shù)據(jù)

（2）看一下優(yōu)化后的時間

可以看到，將join關聯(lián)查詢優(yōu)化掉之后，我們除了可以獲取到更大的擴展性外，可以發(fā)現(xiàn)對查詢性能的提升也是非常大的。

被動向主動的轉變，監(jiān)控系統(tǒng)誕生

在sql優(yōu)化這個例子中，這個問題是由DBA同學發(fā)現(xiàn)的，然后DBA同學將問題反饋給了我們，實際在工作中呢，也可能是產(chǎn)品同學發(fā)現(xiàn)訂單信息查詢頁面有點慢，然后將問題反饋給我們。

不管是誰發(fā)現(xiàn)的，對于我們訂單系統(tǒng)的開發(fā)人員來說都是非常被動的，因為我們不能及時主動的發(fā)現(xiàn)問題，比如某一個接口變慢了，我們不能及時知道，只能等別人反饋給我們，這樣被動的發(fā)現(xiàn)問題，會在一定程度上擴大問題的影響。

為了解決這個問題，我們建立了一套完善的監(jiān)控系統(tǒng)，這個監(jiān)控系統(tǒng)呢，可以添加很多監(jiān)控面板，比如我們可以添加訂單的監(jiān)控面板，訂單監(jiān)控面板中的核心指標包含：訂單核心接口的請求次數(shù)、失敗次數(shù)、TP50、TP99等等。

然后，為了及時發(fā)現(xiàn)問題，這個監(jiān)控系統(tǒng)還集成了報警的功能，說白了就是針對某一個監(jiān)控指標，我們會設置一個報警規(guī)則，比如每天的某一個時間段，在多少分鐘內，失敗請求超過多少，那么就會報警給對應的開發(fā)人員，報警方式呢，會分為2種，分別是報警電話和消息推送（推送給公司內部的辦公聊天軟件）

報警的時候為了避免開發(fā)人員的單點故障，報警接收人一般會添加多個，如果第一個人不接報警電話的話，那么就順延給第二個人打電話，這樣就可以最大程度的及時發(fā)現(xiàn)問題了，就可以真正的由被動轉為主動了。?