自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

MongoDB寫入數(shù)據(jù)策略

數(shù)據(jù)庫 MariaDB
在實際使用中,可以根據(jù)具體的業(yè)務需求和系統(tǒng)環(huán)境來選擇適合的寫入策略,以達到最佳的性能和可靠性。例如,在數(shù)據(jù)一致性要求高的場景中,可以使用 majority 寫入確認來保證數(shù)據(jù)同步的可靠性。而在性能要求高、數(shù)據(jù)不敏感的場景中,可以使用 w 值較小的寫入關(guān)注點來提高寫入性能。

上篇文章介紹了Mongo讀取數(shù)據(jù)的策略(??MongoDB讀數(shù)據(jù)策略??),主要是readconcern、readpreference兩參數(shù),其中readconcern作用于服務端,決定了什么時候能讀取到數(shù)據(jù);readpreference在客戶端配置,決定讀哪個節(jié)點的數(shù)據(jù)。本文將要介紹Mongo的寫入策略,在介紹寫入策略前,先簡單說明MongoDB的Journaling特性。

Journaling介紹

MongoDB也有防carsh能力,和MySQL類似,也是通過預先寫日志(WAL)到文件實現(xiàn),這文件就是Journaling功能。

To provide durability in the event of a failure, MongoDB uses write ahead logging to on-disk journal files.

?日志文件?

開啟Journaling功能后,Mongo 會在數(shù)據(jù)庫目錄下創(chuàng)建 journal目錄,用來存放journal日志,以WiredTiger引擎為例,文件格式是WiredTigerLog.<sequence>,其中<sequence>是從0000000001開始的零填充數(shù)字。journal日志文件默認大小為100 MB,超過該限制后,將創(chuàng)建一個新的日記文件,并會自動刪除舊的日志文件,僅保留從上一個檢查點恢復所需的文件。所以journal日志文件一般情況下只會生成兩三個,除非每秒有大量的寫操作發(fā)生。

?日志記錄?

journal記錄有這幾個特點:

它包括由初始寫入引起的任何內(nèi)部寫入操作。例如,對集合中文檔的更新可能會導致對索引的修改;WiredTiger創(chuàng)建單個日志記錄,其中包含更新操作及其關(guān)聯(lián)的索引修改。

每個記錄都有一個唯一的標識符。

WiredTiger的最小日志記錄大小為128字節(jié)。

另外,為了提高存儲效率,MongoDB犧牲了一些CPU性能,對WiredTiger引擎對日志數(shù)據(jù)使用壓縮存儲,默認壓縮方式是snappy壓縮,也支持其他壓縮方式,比如:zstd、zlib等,可以通過下面方式設(shè)置。

storage.wiredTiger.engineConfig.journalCompressor

總之,Journaling 是MongoDB中非常重要的一項功能,類似于關(guān)系數(shù)據(jù)庫中的事務日志。Journaling能夠使MongoDB由于意外故障后快速恢復。在2.0版本后,默認開啟了該功能。和MySQL一樣,Mongo 實例啟動時會檢查journal日志文件,確認是否有需要恢復的數(shù)據(jù)。不過由于提交journal日志會產(chǎn)生寫入阻塞,所以它對寫入的操作有性能影響,但在生產(chǎn)環(huán)境中通常還是開啟Journaling的。

數(shù)據(jù)寫入策略

writeconcern 是Mongo針對寫操作的參數(shù),表示寫請求對 mongod 實例的確認級別,決定數(shù)據(jù)的持久性。它可以用下面三個選項表示。

{ w: <value>, j: <boolean>, wtimeout: <number> }

?writeconcern 選項?

w指定寫操作需要應用到多少個數(shù)據(jù)節(jié)點才能返回成功,可以為0、1、2、3或者majority。

  • w: 0 表示客戶端不需要收到任何有關(guān)寫操作,就直接返回成功。
  • w: 1 表示寫主成功,就直接返回成功。
  • w: majority 需要收到多數(shù)節(jié)點(含主節(jié)點)關(guān)于操作執(zhí)行成功的確認,具體個數(shù)根據(jù)復制集配置自動得出。比如,一主兩從3節(jié)點的集群,則需要2個節(jié)點確認寫入成功即可。
  • w: N(N > 1)表示N個數(shù)據(jù)節(jié)點確認才返回成功。w 值越大,對客戶端來說,數(shù)據(jù)的安全性保證越強,同時寫操作的延遲越大。w 設(shè)置的節(jié)點數(shù)越多,等待的延遲也就越大。如果 w 等于總節(jié)點數(shù),那么一旦其中某個節(jié)點出現(xiàn)故障就會導致整個寫入失敗,這也是有風險的。另外,針對Hidden、delayed和priority為0的數(shù)據(jù)節(jié)點,官方也特別做了說明,如下:

NOTE

Hidden, delayed, and priority 0 members can acknowledge w: <number> write operations.

Delayed secondaries can return write acknowledgment no earlier than the configured slaveDelay.

注意:

a、副本集中Hidden、delayed和priority為0的成員,可以確認w: <number>的寫操作。

b、延遲節(jié)點的返回寫ack,不會早于配置的slavedelay值  。

如果集群有 3 三個數(shù)據(jù)節(jié)點,在w: majority模式下 ,只需要寫入兩個數(shù)據(jù)節(jié)點即可返回,流程如下:

圖片

j表示寫操作是否要被持久化,只能選填 true 或 false。

  • j:false 表示寫操作到cache即算作成功。
  • j:true 表示寫操作到文件中才算成功。

從3.2版本后,如果指定j:true,即使 w:0 ,只有在請求的成員數(shù)(包括主成員)寫入日志后才返回數(shù)據(jù)。因此,j:true設(shè)置保證了MongoDB的數(shù)據(jù)持久化。

Changed in version 3.2: With j: true, MongoDB returns only after the requested number of members, including the primary, have written to the journal.

另外,僅僅j:true 不保證集群 failover 時發(fā)生回滾的寫操作。

j: true does not by itself guarantee that the write will not be rolled back due to replica set primary failover.

wtimeout:返回確認的超時時間,單位為毫秒。

如果寫入操作超過該值,則返回錯誤,即使最終寫入是成功了,但數(shù)據(jù)庫不會撤銷超時寫入的數(shù)據(jù)。如果沒有指定 wtimeout 值,則寫入操作將無限期阻塞,wtimeout:0 等同于該選項未設(shè)置值。同時,這個參數(shù)和 WriteConncern 的w值有關(guān),并且只適用于w大于0的情況。比如:w:0,表示可以超時無限大,則不返回錯誤;w:1,只和主節(jié)點確認的超時時間;w:majority,表示需要和多數(shù)節(jié)點確認超時時間。

?數(shù)據(jù)提交策略?

MongoDB也有和MySQL有類似的提交策略,是由 commitIntervalMs 參數(shù)控制,它是日志持久化的間隔時間(以毫秒為單位)。如果想要更好的數(shù)據(jù)安全,可以設(shè)為每毫秒對cache中的數(shù)據(jù)做硬盤層面的sync;如果需要更好的寫入性能,最大可以改為每500毫秒做一次sync。它的取值范圍是1 ~ 500毫秒,默認值是100毫秒,不支持in-memory 存儲引擎。

總結(jié)

MongoDB 寫入策略包括以下幾個方面:

  • w:指定寫入數(shù)據(jù)后需要在多少個節(jié)點上同步寫入成功后,才返回確認信息。
  • j:設(shè)置 j:true 會將數(shù)據(jù)寫入日志中,可以在節(jié)點宕機時恢復數(shù)據(jù)。但是 j:true 并不保證數(shù)據(jù)已經(jīng)寫入磁盤文件中。
  • wtimeout:指定寫入超時時間。當寫入操作達到超時時間時,即使最終成功寫入也會返回錯誤信息。

在實際使用中,可以根據(jù)具體的業(yè)務需求和系統(tǒng)環(huán)境來選擇適合的寫入策略,以達到最佳的性能和可靠性。例如,在數(shù)據(jù)一致性要求高的場景中,可以使用 majority 寫入確認來保證數(shù)據(jù)同步的可靠性。而在性能要求高、數(shù)據(jù)不敏感的場景中,可以使用 w 值較小的寫入關(guān)注點來提高寫入性能。

本文轉(zhuǎn)載自微信公眾號「云數(shù)據(jù)庫技術(shù)」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系云數(shù)據(jù)庫技術(shù)公眾號。


責任編輯:武曉燕 來源: 云數(shù)據(jù)庫技術(shù)
相關(guān)推薦

2023-03-09 11:16:57

MongoDB數(shù)據(jù)節(jié)點

2023-12-18 16:07:15

2017-07-07 10:55:14

數(shù)據(jù)庫MongoDB設(shè)計模式

2023-08-03 07:39:10

MongoDB數(shù)據(jù)備份

2023-09-01 10:20:05

數(shù)據(jù)庫解密

2023-10-26 10:59:13

2018-04-25 14:42:00

決勝策略數(shù)據(jù)

2012-07-26 08:32:38

MongoDB

2017-02-05 14:59:18

MongoDB數(shù)據(jù)建模數(shù)據(jù)庫

2023-07-24 09:00:00

數(shù)據(jù)庫

2019-06-24 15:00:52

數(shù)據(jù)遷移數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集成

2024-01-10 08:03:50

數(shù)據(jù)安全網(wǎng)絡安全

2013-03-07 10:21:10

大數(shù)據(jù)策略大數(shù)據(jù)架構(gòu)

2021-12-27 09:00:00

數(shù)據(jù)泄露安全數(shù)據(jù)丟失

2021-08-16 07:11:56

Go語言進程

2013-03-29 09:28:41

2023-02-16 17:44:13

2023-05-26 18:52:55

2022-05-26 00:11:55

數(shù)據(jù)策略資產(chǎn)

2009-09-18 14:06:31

Nis服務器
點贊
收藏

51CTO技術(shù)棧公眾號