自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

PostgreSQL vs MySQL:1000萬數(shù)據(jù)批量插入,誰能略勝一籌

數(shù)據(jù)庫 PostgreSQL MySQL
之前測試MySQL批量插入,發(fā)現(xiàn)慢的離譜,找了下原因,竟然是少了個參數(shù),rewriteBatchedStatements=true。

之前測試MySQL批量插入,發(fā)現(xiàn)慢的離譜,找了下原因,竟然是少了個參數(shù),rewriteBatchedStatements=true。昨天《PostgreSQL vs MySQL - 30倍性能差異》這個原因也找到了,汗顏。

rewriteBatchedStatements介紹

rewriteBatchedStatements=true 是MySQL JDBC驅(qū)動程序中的一個連接屬性,用于啟用批量重寫功能。它可以在執(zhí)行批量插入操作時提高性能。

默認(rèn)情況下,在JDBC中使用批量插入時,每個插入語句都會作為單獨的請求發(fā)送到數(shù)據(jù)庫服務(wù)器。但是,將 rewriteBatchedStatements 設(shè)置為 true 時,驅(qū)動程序會對批量插入語句進(jìn)行重寫和優(yōu)化,將多個插入語句合并成一個批量語句,然后一次性發(fā)送給數(shù)據(jù)庫服務(wù)器。

通過啟用批量重寫功能,可以減少與數(shù)據(jù)庫服務(wù)器之間的通信開銷和網(wǎng)絡(luò)往返時間。此外,將多個插入語句合并為一個批量語句還可以減少數(shù)據(jù)庫服務(wù)器上的查詢計劃優(yōu)化和日志記錄操作,從而提高整體性能。

需要注意的是,啟用 rewriteBatchedStatements=true 并不總是能夠帶來顯著的性能改進(jìn)。它的效果取決于多個因素,包括數(shù)據(jù)量、網(wǎng)絡(luò)延遲、數(shù)據(jù)庫和系統(tǒng)配置等。在某些情況下,尤其是需要大量數(shù)據(jù)插入的場景,啟用該選項可以明顯提升性能。然而,在某些情況下,可能不會看到明顯的性能改進(jìn)或甚至性能下降。

連接參數(shù)修改

在連接之后加上rewriteBatchedStatements=true,如下:

String url = "jdbc:mysql://localhost/mydatabase?rewriteBatchedStatements=true";

測試結(jié)果

先插入少量數(shù)據(jù):10萬條。下述結(jié)果,耗時毫秒級被我省略了,所以針對10萬的數(shù)據(jù)量插入,看不出大的差異。

每批數(shù)量

耗時

(第一輪)

耗時
(第二輪)

耗時
(第三輪)

耗時

(第n輪)

平均耗時

每秒寫入速度

100

6s

6s

6s

……

6s

≈16666/s

500

4s

4s

4s

……

4s

≈25000/s

1000

4s

4s

4s

……

4s

≈25000/s

3000

4s

4s

4s

……

4s

≈25000/s

5000

4s

4s

4s

……

4s

≈25000/s

10000

4s

4s

4s

……

4s

≈25000/s

這個測試結(jié)果和昨天測試的PostgreSQL相當(dāng)(符合預(yù)期)。

接下來測試一下1000w數(shù)據(jù)的耗時,并對比一下PostgreSQL的性能(代碼均復(fù)用上篇)。

測試結(jié)果

每批數(shù)量

MySQL

PostgreSQL

每秒寫入速度
(MySQL)

每秒寫入速度
(PostgreSQL)

100

8m 43s

3m 36s

≈19120

≈46296

500

5m 26s

3m 37s

≈30674

≈46082

1000

4m 59s

3m 36s

≈33444

≈46296

3000

4m 42s

3m 35s

≈35460

≈46511

5000

4m 41s

3m 36s

≈35587

≈46296

10000

4m 35s

3m 38s

≈36363

≈45871

20000

4m 36s

3m 42s

≈36231

≈45045

結(jié)論

  • MySQL 批量插入時批量不同性能差異較大,PostgreSQL相對穩(wěn)定。
  • 相同配置下PostgreSQL插入性能略具上風(fēng)。
  • MySQL批量插入一定不能忘了加 rewriteBatchedStatements=true ,不然就像之前測試,就是搞笑的。

本數(shù)據(jù)只是個人測試,僅供參考,不同環(huán)境、場景、配置等因素下,結(jié)論可能都不一致,大家可根據(jù)實際情況進(jìn)行測試。

責(zé)任編輯:華軒 來源: 今日頭條
相關(guān)推薦

2011-11-17 13:49:57

筆記本評測

2018-07-16 15:32:56

2010-07-01 12:17:06

三網(wǎng)融合

2013-08-13 09:56:00

PythonWeb2py

2011-03-03 17:45:48

SQL ServerMySQL數(shù)據(jù)庫

2024-07-31 09:39:33

2024-07-30 09:12:15

2024-01-02 09:55:26

AI模型

2014-03-06 15:07:41

青橙小米

2022-07-20 08:16:54

Lombokjava工具

2015-08-24 09:24:17

開源報表工具

2020-01-18 14:55:03

架構(gòu)運維技術(shù)

2022-08-24 08:00:00

Node.isJavaScriptDeno

2024-02-22 14:50:02

2017-09-14 08:43:05

2011-02-23 15:06:00

WebCherokee

2017-06-08 15:38:41

2022-05-30 11:06:44

人工智能AI人類智能

2024-04-25 08:57:04

點贊
收藏

51CTO技術(shù)棧公眾號