PostgreSQL vs MySQL:1000萬數(shù)據(jù)批量插入,誰能略勝一籌
之前測試MySQL批量插入,發(fā)現(xiàn)慢的離譜,找了下原因,竟然是少了個參數(shù),rewriteBatchedStatements=true。昨天《PostgreSQL vs MySQL - 30倍性能差異》這個原因也找到了,汗顏。
rewriteBatchedStatements介紹
rewriteBatchedStatements=true 是MySQL JDBC驅(qū)動程序中的一個連接屬性,用于啟用批量重寫功能。它可以在執(zhí)行批量插入操作時提高性能。
默認(rèn)情況下,在JDBC中使用批量插入時,每個插入語句都會作為單獨的請求發(fā)送到數(shù)據(jù)庫服務(wù)器。但是,將 rewriteBatchedStatements 設(shè)置為 true 時,驅(qū)動程序會對批量插入語句進(jìn)行重寫和優(yōu)化,將多個插入語句合并成一個批量語句,然后一次性發(fā)送給數(shù)據(jù)庫服務(wù)器。
通過啟用批量重寫功能,可以減少與數(shù)據(jù)庫服務(wù)器之間的通信開銷和網(wǎng)絡(luò)往返時間。此外,將多個插入語句合并為一個批量語句還可以減少數(shù)據(jù)庫服務(wù)器上的查詢計劃優(yōu)化和日志記錄操作,從而提高整體性能。
需要注意的是,啟用 rewriteBatchedStatements=true 并不總是能夠帶來顯著的性能改進(jìn)。它的效果取決于多個因素,包括數(shù)據(jù)量、網(wǎng)絡(luò)延遲、數(shù)據(jù)庫和系統(tǒng)配置等。在某些情況下,尤其是需要大量數(shù)據(jù)插入的場景,啟用該選項可以明顯提升性能。然而,在某些情況下,可能不會看到明顯的性能改進(jìn)或甚至性能下降。
連接參數(shù)修改
在連接之后加上rewriteBatchedStatements=true,如下:
String url = "jdbc:mysql://localhost/mydatabase?rewriteBatchedStatements=true";
測試結(jié)果
先插入少量數(shù)據(jù):10萬條。下述結(jié)果,耗時毫秒級被我省略了,所以針對10萬的數(shù)據(jù)量插入,看不出大的差異。
每批數(shù)量 | 耗時 (第一輪) | 耗時 | 耗時 | 耗時 (第n輪) | 平均耗時 | 每秒寫入速度 |
100 | 6s | 6s | 6s | …… | 6s | ≈16666/s |
500 | 4s | 4s | 4s | …… | 4s | ≈25000/s |
1000 | 4s | 4s | 4s | …… | 4s | ≈25000/s |
3000 | 4s | 4s | 4s | …… | 4s | ≈25000/s |
5000 | 4s | 4s | 4s | …… | 4s | ≈25000/s |
10000 | 4s | 4s | 4s | …… | 4s | ≈25000/s |
這個測試結(jié)果和昨天測試的PostgreSQL相當(dāng)(符合預(yù)期)。
接下來測試一下1000w數(shù)據(jù)的耗時,并對比一下PostgreSQL的性能(代碼均復(fù)用上篇)。
測試結(jié)果
每批數(shù)量 | MySQL | PostgreSQL | 每秒寫入速度 | 每秒寫入速度 |
100 | 8m 43s | 3m 36s | ≈19120 | ≈46296 |
500 | 5m 26s | 3m 37s | ≈30674 | ≈46082 |
1000 | 4m 59s | 3m 36s | ≈33444 | ≈46296 |
3000 | 4m 42s | 3m 35s | ≈35460 | ≈46511 |
5000 | 4m 41s | 3m 36s | ≈35587 | ≈46296 |
10000 | 4m 35s | 3m 38s | ≈36363 | ≈45871 |
20000 | 4m 36s | 3m 42s | ≈36231 | ≈45045 |
結(jié)論
- MySQL 批量插入時批量不同性能差異較大,PostgreSQL相對穩(wěn)定。
- 相同配置下PostgreSQL插入性能略具上風(fēng)。
- MySQL批量插入一定不能忘了加 rewriteBatchedStatements=true ,不然就像之前測試,就是搞笑的。
本數(shù)據(jù)只是個人測試,僅供參考,不同環(huán)境、場景、配置等因素下,結(jié)論可能都不一致,大家可根據(jù)實際情況進(jìn)行測試。