問(wèn)題SQL優(yōu)化:從超過(guò)300s優(yōu)化到1s案例分析
概述
今天發(fā)現(xiàn)有個(gè)項(xiàng)目應(yīng)用每次一啟動(dòng)后使用就會(huì)導(dǎo)致另外一個(gè)應(yīng)用服務(wù)直接崩潰,而這兩個(gè)應(yīng)用使用的是同個(gè)數(shù)據(jù)庫(kù),經(jīng)過(guò)排查可以發(fā)現(xiàn)是報(bào)表應(yīng)用的某個(gè)查詢功能導(dǎo)致,而咨詢開(kāi)發(fā)但卻查不出是哪條sql,那就只能靠自己排查了..下面是解決的大致過(guò)程。
1、開(kāi)啟慢查詢
修改my.ini配置,增加參數(shù)
- slow-query-log=1
- slow_query_log_file="epms-slow.log"
- long_query_time=10
修改后重啟,觀察epms-slow.log日志內(nèi)容。
2、定位慢sql
重新點(diǎn)擊報(bào)表模塊,選擇日期后點(diǎn)擊查詢,等系統(tǒng)崩潰后,觀察日志涉及的慢查詢sql
發(fā)現(xiàn)問(wèn)題sql如下:
- select id, parent, project, name
- from zentao.zt_task
- where parent = 0
- /*and exists (select t.parent from zentao.zt_task t where t.parent > 0)*/
- and id in (
- select t.parent from zentao.zt_task t where t.parent > 0
- );
3、查看執(zhí)行計(jì)劃
- explain select id, parent, project, name
- from zentao.zt_task
- where parent = 0
- /*and exists (select t.parent from zentao.zt_task t where t.parent > 0)*/
- and id in (
- select t.parent from zentao.zt_task t where t.parent > 0
- );
這里可以看到因?yàn)樽叩娜珤撸看味紥?萬(wàn)條,產(chǎn)生笛卡爾積,5萬(wàn)*5萬(wàn)就導(dǎo)致數(shù)據(jù)庫(kù)崩潰了。
4、考慮用exists改寫(xiě)sql
- explain select id, parent, project, name
- from zentao.zt_task t
- where parent = 0 and exists (
- select a.parent from zentao.zt_task a where a.parent = t.id
- )
這里改寫(xiě)后問(wèn)題還是沒(méi)解決。
5、考慮with改寫(xiě)
后來(lái)發(fā)現(xiàn)zt_task表查詢了兩次,所以考慮with改寫(xiě)來(lái)簡(jiǎn)化,只查一次
- WITH tmp AS ( SELECT * FROM zt_task ) SELECT
- *
- FROM
- tmp t1
- JOIN tmp t2 ON t1.id = t2.parent
好吧,mysql5.7還不支持with改寫(xiě),只有到mysql 8版本才支持,所以這里只能放棄這種辦法了
6、用子查詢join改寫(xiě)
- SELECT
- distinct t1.parent,
- t1.id,
- t1.project,
- t1.NAME
- FROM
- zentao.zt_task t1
- JOIN ( SELECT t.parent FROM zentao.zt_task t WHERE t.parent > 0 ) ta ON t1.id = ta.parent
- AND t1.parent =0
這里要記得去重,改寫(xiě)后查詢?cè)?秒內(nèi)得出結(jié)果,滿足需求。
總結(jié)
通過(guò)這道案例一定要記住,多表查詢的性能是很差的,當(dāng)然,性能差是有一個(gè)前提的:數(shù)據(jù)量大。子查詢 = 簡(jiǎn)單查詢 + 限定查詢 + 多表查詢 + 統(tǒng)計(jì)查詢的綜合體;
在之前強(qiáng)調(diào)過(guò)多表查詢不建議大家使用,因?yàn)樾阅芎懿?,但是多表查詢最有利的替代者就是子查詢,所以子查詢(子查詢指的就是在一個(gè)查詢之中嵌套了其他的若干查詢)在實(shí)際的工作之中使用的相當(dāng)?shù)亩唷?/p>