一張千萬級別數(shù)據(jù)的表想做分頁,如何優(yōu)化?
介紹
當進行分頁時,MySQL 并不是跳過 offset 行,而是取 offset+N 行,然后放棄前 offset 行,返回 N 行。例如 limit 10000, 20。mysql排序取出10020條數(shù)據(jù)后,僅返回20條數(shù)據(jù),查詢和排序的代價都很高。那當 offset 特別大的時候,效率就非常的低下,所以我們要對sql進行改寫
使用書簽
用書簽記錄上次取數(shù)據(jù)的位置,過濾掉部分數(shù)據(jù)
如下面語句
- SELECT id, name, description FROM film ORDER BY name LIMIT 1000, 10;
可以改為
- SELECT id, name, description FROM film WHERE name > 'begin' ORDER BY name LIMIT 10;
name為上次分頁后的最大值,注意這種場景只適用于不存在重復值的場景。
延遲關(guān)聯(lián)
延遲關(guān)聯(lián):通過使用覆蓋索引查詢返回需要的主鍵,再根據(jù)主鍵關(guān)聯(lián)原表獲得需要的數(shù)據(jù)
- SELECT id, name, description FROM film ORDER BY name LIMIT 100,5;
id是主鍵值,name上面有索引。這樣每次查詢的時候,會先從name索引列上找到id值,然后回表,查詢到所有的數(shù)據(jù)??梢钥吹接泻芏嗷乇砥鋵嵤菦]有必要的。完全可以先從name索引上找到id(注意只查詢id是不會回表的,因為非聚集索引上包含的值為索引列值和主鍵值,相當于從索引上能拿到所有的列值,就沒必要再回表了),然后再關(guān)聯(lián)一次表,獲取所有的數(shù)據(jù)
因此可以改為
- SELECT film.id, name, description FROM film
- JOIN (SELECT id from film ORDER BY name LIMIT 100,5) temp
- ON film.id = temp.id
倒序查詢
假如查詢倒數(shù)最后一頁,offset可能回非常大
- SELECT id, name, description FROM film ORDER BY name LIMIT 100000, 10;
改成倒序分頁,效率是不是快多了?
- SELECT id, name, description FROM film ORDER BY name DESC LIMIT 10;
本文轉(zhuǎn)載自微信公眾號「Java識堂」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系Java識堂公眾號。