自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

面試官:說(shuō)說(shuō)看 Redis 底層數(shù)據(jù)類(lèi)型有哪些?Redis為什么這么快?Redis 為什么引入多線程?Redis 多線程實(shí)現(xiàn)機(jī)制是怎樣?

網(wǎng)絡(luò) Redis
Redis多線程的實(shí)現(xiàn)機(jī)制是通過(guò)將網(wǎng)絡(luò)I/O操作分發(fā)到多個(gè)工作線程中進(jìn)行處理,而命令的執(zhí)行仍然由單線程完成。

面試題概覽:

  • 說(shuō)說(shuō)看Redis底層數(shù)據(jù)類(lèi)型有哪些?Redis的5種基本數(shù)據(jù)類(lèi)型是用哪幾種底層數(shù)據(jù)類(lèi)型組成的?
  • 能否具體說(shuō)說(shuō)Redis的哈希表如何實(shí)現(xiàn),以及如何擴(kuò)容?
  • Redis為什么這么快呢?Redis單機(jī)QPS能達(dá)到多少?
  • Redis真的是一個(gè)單線程應(yīng)用嗎?如果是請(qǐng)說(shuō)說(shuō)看為什么使用單線程模型?
  • 說(shuō)說(shuō)看Redis 6.0為什么引入了多線程?Redis的哪些地方用到了多線程?Redis多線程的實(shí)現(xiàn)機(jī)制是怎樣的?
  • Redis 6.0是默認(rèn)開(kāi)啟多線程的嗎,如果開(kāi)啟多線程該設(shè)置Redis的線程數(shù)為多少?

面試官:說(shuō)說(shuō)看Redis底層數(shù)據(jù)類(lèi)型有哪些?Redis的5種基本數(shù)據(jù)類(lèi)型是用哪幾種底層數(shù)據(jù)類(lèi)型組成的?

Redis的底層數(shù)據(jù)類(lèi)型主要包括以下幾種,它們用于實(shí)現(xiàn)和支撐Redis提供的五種主要數(shù)據(jù)類(lèi)型(String、Hash、List、Set、Zset):

一、簡(jiǎn)單動(dòng)態(tài)字符串(SDS,Simple Dynamic String)

用途:主要用于存儲(chǔ)String類(lèi)型的值。

特點(diǎn)SDS是Redis自己構(gòu)建的一種字符串?dāng)?shù)據(jù)結(jié)構(gòu),相比C語(yǔ)言的傳統(tǒng)字符串(以空字符'\0'結(jié)尾),SDS具備自動(dòng)擴(kuò)展、長(zhǎng)度緩存、二進(jìn)制安全等優(yōu)點(diǎn)。SDS通過(guò)結(jié)構(gòu)體來(lái)記錄字符串的長(zhǎng)度和已分配空間大小等信息,從而提高了字符串操作的性能。

二、壓縮列表(ZipList)

用途用于存儲(chǔ)Hash、List、Zset等類(lèi)型的數(shù)據(jù),當(dāng)這些類(lèi)型的數(shù)據(jù)量較少且元素較小時(shí)。

特點(diǎn)壓縮列表是一組連續(xù)的內(nèi)存塊,能夠節(jié)省空間。它內(nèi)部包含多個(gè)entry節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)包含前一個(gè)節(jié)點(diǎn)的長(zhǎng)度、節(jié)點(diǎn)內(nèi)容等信息。當(dāng)數(shù)據(jù)量增多或元素變大時(shí),壓縮列表可能會(huì)轉(zhuǎn)換為其他數(shù)據(jù)結(jié)構(gòu)(如哈希表、雙向鏈表等)。

圖片

三、哈希表(Hashtable)

用途主要用于存儲(chǔ)Hash、Set、Zset等類(lèi)型的數(shù)據(jù),當(dāng)這些類(lèi)型的數(shù)據(jù)量較多或元素較大時(shí)。

特點(diǎn)哈希表內(nèi)部維護(hù)了一個(gè)數(shù)組結(jié)構(gòu),通過(guò)計(jì)算key的哈希值來(lái)確定元素在數(shù)組中的位置。哈希表支持快速的查找、插入和刪除操作。

四、雙向鏈表(LinkedList)及快速列表(QuickList)

用途雙向鏈表用于存儲(chǔ)List類(lèi)型的數(shù)據(jù),在Redis 3.2之前,List的底層實(shí)現(xiàn)是雙向鏈表或壓縮列表。Redis 3.2之后引入了快速列表(QuickList),它是雙向鏈表和壓縮列表的結(jié)合體,用于優(yōu)化List類(lèi)型的性能。

特點(diǎn)雙向鏈表中的每個(gè)節(jié)點(diǎn)持有對(duì)前一個(gè)和后一個(gè)節(jié)點(diǎn)的引用,支持在兩端進(jìn)行操作??焖倭斜韯t通過(guò)多個(gè)壓縮列表的組合來(lái)實(shí)現(xiàn),既保留了壓縮列表的空間優(yōu)勢(shì),又具備了雙向鏈表的操作靈活性。

五、整數(shù)集合(IntSet)

用途用于存儲(chǔ)Set類(lèi)型的數(shù)據(jù),當(dāng)Set中的所有元素都是整數(shù)且數(shù)量較少時(shí)。

特點(diǎn)整數(shù)集合內(nèi)部使用數(shù)組來(lái)存儲(chǔ)元素,并根據(jù)元素的類(lèi)型(如16位整數(shù)、32位整數(shù)、64位整數(shù))來(lái)選擇不同的編碼方式。整數(shù)集合在添加新元素時(shí),如果超出了當(dāng)前數(shù)組的容量或類(lèi)型范圍,會(huì)進(jìn)行擴(kuò)容或升級(jí)。

六、跳表(SkipList)

用途主要用于存儲(chǔ)Zset類(lèi)型的數(shù)據(jù),以實(shí)現(xiàn)有序性。

特點(diǎn)跳表是一種具有層次結(jié)構(gòu)的鏈表,每一層都是一個(gè)有序的鏈表。通過(guò)多層鏈表的組合,跳表能夠在O(log N)時(shí)間內(nèi)完成查找、插入和刪除操作。同時(shí),跳表還使用哈希表來(lái)存儲(chǔ)成員和分?jǐn)?shù)的對(duì)應(yīng)關(guān)系,以提供快速的成員查找。

Redis的5種基本數(shù)據(jù)類(lèi)型(String、List、Set、Hash、Zset)是由多種底層數(shù)據(jù)結(jié)構(gòu)組成的,以滿足不同場(chǎng)景下的數(shù)據(jù)存儲(chǔ)和操作需求。

以下是這些基本數(shù)據(jù)類(lèi)型與底層數(shù)據(jù)結(jié)構(gòu)之間的對(duì)應(yīng)關(guān)系:

(1) String(字符串)

底層數(shù)據(jù)結(jié)構(gòu):簡(jiǎn)單動(dòng)態(tài)字符串(SDS)

(2) List(列表)

底層數(shù)據(jù)結(jié)構(gòu):雙向鏈表、壓縮列表(ZipList)

說(shuō)明:當(dāng)列表元素較少時(shí),Redis使用壓縮列表來(lái)節(jié)省內(nèi)存。當(dāng)元素較多時(shí),則使用雙向鏈表來(lái)支持快速的插入和刪除操作。

(3) Set(集合)

底層數(shù)據(jù)結(jié)構(gòu):哈希表(Hash Table)、整數(shù)集合(IntSet)

說(shuō)明:當(dāng)集合中的元素都是整數(shù)且數(shù)量較少時(shí),Redis使用整數(shù)集合來(lái)優(yōu)化內(nèi)存占用。當(dāng)元素?cái)?shù)量較多或包含非整數(shù)元素時(shí),則使用哈希表來(lái)實(shí)現(xiàn)快速的添加、刪除和查詢操作。

(4) Hash(散列)

底層數(shù)據(jù)結(jié)構(gòu):壓縮列表(ZipList)、哈希表(Hash Table)

說(shuō)明:當(dāng)哈希對(duì)象保存的鍵值對(duì)較少且鍵和值的字符串長(zhǎng)度都小于64字節(jié)時(shí),采用壓縮列表作為底層實(shí)現(xiàn)以節(jié)省內(nèi)存。當(dāng)鍵值對(duì)較多或鍵和值的字符串長(zhǎng)度較長(zhǎng)時(shí),則使用哈希表來(lái)實(shí)現(xiàn)快速的插入、查找和刪除操作。

(5) Zset(有序集合)

底層數(shù)據(jù)結(jié)構(gòu):跳躍表(SkipList)、哈希表(Hash Table)

說(shuō)明:跳躍表是一種有序鏈表的數(shù)據(jù)結(jié)構(gòu),可以提供快速的插入、刪除和查找操作。通過(guò)使用跳躍表和哈希表的組合,有序集合在保持有序性的同時(shí),還能快速地根據(jù)分?jǐn)?shù)進(jìn)行范圍查找和排名計(jì)算。哈希表用于存儲(chǔ)成員和分?jǐn)?shù)的對(duì)應(yīng)關(guān)系。

面試官:能否具體說(shuō)說(shuō)Redis的哈希表如何實(shí)現(xiàn),以及如何擴(kuò)容?

一、基本結(jié)構(gòu)

Redis中的哈希表由dict結(jié)構(gòu)體表示,該結(jié)構(gòu)體內(nèi)部嵌套了dictht(哈希表)對(duì)象。dictht結(jié)構(gòu)體包含以下關(guān)鍵字段:

  • table:一個(gè)指針數(shù)組,每個(gè)元素都是一個(gè)dictEntry對(duì)象,用于存儲(chǔ)鍵值對(duì)。
  • size:哈希表的大小,即table數(shù)組的長(zhǎng)度。在Redis中,哈希表的大小總是2的n次方,這有助于優(yōu)化哈希沖突的處理。
  • sizemask:掩碼值,用于計(jì)算索引值。它總是等于size-1,通過(guò)位運(yùn)算可以快速得到哈希值在數(shù)組中的索引位置。
  • used:哈希表中已使用的節(jié)點(diǎn)數(shù),即存儲(chǔ)的鍵值對(duì)數(shù)量。

二、鍵值對(duì)存儲(chǔ)

每個(gè)dictEntry對(duì)象包含一個(gè)鍵值對(duì)以及指向下一個(gè)dictEntry的指針,形成鏈表結(jié)構(gòu)。當(dāng)發(fā)生哈希沖突時(shí),新的鍵值對(duì)會(huì)被添加到?jīng)_突位置的鏈表末尾。這種設(shè)計(jì)使得Redis能夠高效地處理哈希沖突,而無(wú)需進(jìn)行復(fù)雜的重哈希操作。

當(dāng)創(chuàng)建一個(gè)哈希對(duì)象時(shí),可以得到如下簡(jiǎn)圖(部分屬性被省略):

三、哈希函數(shù)

Redis使用MurmurHash2算法作為哈希函數(shù)。該算法是一種非加密哈希函數(shù),以其高效和低碰撞率而聞名。通過(guò)MurmurHash2算法,Redis可以將任意長(zhǎng)度的鍵映射為固定長(zhǎng)度的哈希值,從而確定鍵在哈希表中的位置。

四、負(fù)載因子與rehash

負(fù)載因子是衡量哈希表使用程度的指標(biāo),計(jì)算公式為已使用節(jié)點(diǎn)數(shù) / 哈希表大小。當(dāng)負(fù)載因子超過(guò)預(yù)設(shè)的閾值(默認(rèn)為0.75)時(shí),Redis會(huì)觸發(fā)rehash操作,以擴(kuò)展哈希表的大小并降低沖突概率。

Rehash操作涉及以下步驟:

(1) 分配一個(gè)新的哈希表,其大小是當(dāng)前哈希表大小的2倍(或根據(jù)配置的其他倍數(shù))。

(2) 遍歷當(dāng)前哈希表中的所有鍵值對(duì),并根據(jù)新的哈希表大小重新計(jì)算哈希值,然后將鍵值對(duì)插入到新的哈希表中。

(3) 替換舊的哈希表為新的哈希表,完成rehash操作。

值得注意的是,Redis采用漸進(jìn)式rehash策略來(lái)避免一次性處理大量數(shù)據(jù)導(dǎo)致的性能問(wèn)題。在漸進(jìn)式rehash期間,每次對(duì)哈希表進(jìn)行增刪改查操作時(shí),都會(huì)順帶將一部分?jǐn)?shù)據(jù)從舊表遷移到新表,直到遷移完成。

下面是rehash的具體過(guò)程:

  • 當(dāng)Redis的哈希表的負(fù)載因子超過(guò)閾值時(shí),系統(tǒng)會(huì)讓字典同時(shí)持有ht[0]和ht[1]兩個(gè)哈希表。
  • Redis會(huì)設(shè)置一個(gè)變量rehashidx來(lái)記錄當(dāng)前rehash的進(jìn)度。rehashidx的初始值為0,表示從ht[0]的起始位置0開(kāi)始遷移。
  • 在rehash期間,每次對(duì)字典執(zhí)行增刪改查操作時(shí)會(huì)順帶將ht[0]哈希表在rehashindex位置上的所有鍵值對(duì)rehash到ht[1],當(dāng)rehash工作完成以后,rehashindex的值+1。
  • 隨著字典操作的不斷執(zhí)行,最終會(huì)在某一時(shí)間段上ht[0]的所有鍵值對(duì)都會(huì)被rehash到ht[1],這時(shí)將rehashindex的值設(shè)置為-1,表示rehash操作結(jié)束。

漸進(jìn)式rehash采用的是一種分而治之的方式,將rehash的操作分?jǐn)傇诿恳粋€(gè)的訪問(wèn)中,避免集中式rehash而帶來(lái)的龐大計(jì)算量。

需要注意的是在漸進(jìn)式rehash的過(guò)程,如果有增刪改查操作時(shí),如果index大于rehashindex,訪問(wèn)ht[0],否則訪問(wèn)ht[1]。

漸進(jìn)式rehash的優(yōu)勢(shì)在于它能夠在不影響主線程服務(wù)請(qǐng)求的情況下逐漸完成哈希表的擴(kuò)容或縮容,極大地降低了對(duì)系統(tǒng)性能的影響。然而,它也會(huì)帶來(lái)一些額外的內(nèi)存空間開(kāi)銷(xiāo),因?yàn)樵趓ehash過(guò)程中需要同時(shí)維護(hù)新舊兩個(gè)哈希表。

面試官:Redis為什么這么快呢?Redis單機(jī)QPS能達(dá)到多少?

Redis之所以速度非??欤饕?dú)w因于以下幾個(gè)關(guān)鍵因素:

(1) 基于內(nèi)存的數(shù)據(jù)存儲(chǔ):Redis將數(shù)據(jù)存儲(chǔ)在內(nèi)存中,這大大減少了磁盤(pán)I/O操作的開(kāi)銷(xiāo)。相比傳統(tǒng)數(shù)據(jù)庫(kù)需要將數(shù)據(jù)從磁盤(pán)讀取和寫(xiě)入磁盤(pán),Redis可以非??焖俚刈x取和寫(xiě)入數(shù)據(jù),從而實(shí)現(xiàn)了極高的操作速率。

(2) 高效的數(shù)據(jù)結(jié)構(gòu):Redis支持多種數(shù)據(jù)結(jié)構(gòu),如字符串、哈希、列表、集合和有序集合等。這些數(shù)據(jù)結(jié)構(gòu)都經(jīng)過(guò)了精心設(shè)計(jì)和優(yōu)化,使得數(shù)據(jù)存儲(chǔ)和訪問(wèn)的時(shí)間復(fù)雜度降到最低。例如,Redis使用簡(jiǎn)單動(dòng)態(tài)字符串(SDS)來(lái)處理字符串,相比C語(yǔ)言中的傳統(tǒng)字符串處理方式,SDS在獲取字符串長(zhǎng)度、修改字符串以及內(nèi)存分配等方面都更加高效。

(3) 合理的數(shù)據(jù)編碼:Redis能夠根據(jù)數(shù)據(jù)的類(lèi)型和大小自動(dòng)選擇最優(yōu)的編碼方式。例如,對(duì)于字符串類(lèi)型的數(shù)據(jù),Redis會(huì)根據(jù)字符串的長(zhǎng)度和內(nèi)容的數(shù)字性選擇int編碼或raw編碼。這種合理的編碼選擇使得Redis在處理不同類(lèi)型和大小的數(shù)據(jù)時(shí)都能保持高性能。

(4) 單線程模型:Redis采用單線程模型來(lái)處理客戶端的請(qǐng)求。這種模型避免了多線程之間的上下文切換和鎖競(jìng)爭(zhēng)等開(kāi)銷(xiāo),從而提高了處理請(qǐng)求的速度。同時(shí),Redis通過(guò)I/O多路復(fù)用技術(shù)來(lái)同時(shí)處理多個(gè)客戶端的連接和請(qǐng)求,進(jìn)一步提高了并發(fā)性能。

(5) 異步非阻塞I/O:Redis使用異步非阻塞I/O模型來(lái)處理網(wǎng)絡(luò)請(qǐng)求。這意味著Redis可以在等待I/O操作完成時(shí)繼續(xù)執(zhí)行其他任務(wù),從而提高了整體的吞吐量和響應(yīng)速度。

Redis單機(jī)的QPS(每秒查詢率)性能取決于多個(gè)因素,包括Redis的版本、硬件配置、操作系統(tǒng)、網(wǎng)絡(luò)狀況以及業(yè)務(wù)操作的復(fù)雜性等。一般來(lái)說(shuō),Redis單機(jī)版可以支持上萬(wàn)到幾萬(wàn)的QPS。然而,要達(dá)到10萬(wàn)以上的QPS,單機(jī)版Redis可能會(huì)面臨較大的壓力,這時(shí)通常需要考慮使用Redis集群或其他分布式架構(gòu)來(lái)分擔(dān)負(fù)載。

可以通過(guò) redis-benchmark 命令進(jìn)行基準(zhǔn)測(cè)試:

redis-benchmark -h 127.0.0.1 -p 6379 -c 50 -n 10000
  • -h:指定 Redis 服務(wù)器的地址,默認(rèn)是 127.0.0.1。
  • -p:指定 Redis 服務(wù)器的端口,默認(rèn)是 6379。
  • -c:并發(fā)連接數(shù),即同時(shí)有多少個(gè)客戶端在進(jìn)行測(cè)試。
  • -n:請(qǐng)求總數(shù),即測(cè)試過(guò)程中總共要執(zhí)行多少個(gè)請(qǐng)求。

面試官:你剛剛提到Redis使用單線程模型,Redis真的是一個(gè)單線程應(yīng)用嗎?如果是請(qǐng)說(shuō)說(shuō)看為什么使用單線程模型?

從核心操作的角度看,Redis在執(zhí)行命令時(shí)確實(shí)使用單個(gè)線程進(jìn)行操作,包括接收客戶端請(qǐng)求、解析請(qǐng)求、數(shù)據(jù)讀寫(xiě)等操作,以及返回結(jié)果給客戶端,這些過(guò)程都是由一個(gè)主線程來(lái)完成的。這也是Redis被稱為單線程數(shù)據(jù)庫(kù)的原因。

然而,從整體功能和實(shí)現(xiàn)的角度看,Redis并不是嚴(yán)格意義上的單線程。在Redis 6.0之前的版本中,雖然大部分操作是由主線程完成的,但也有一些后臺(tái)線程或子進(jìn)程在處理任務(wù),如清理臟數(shù)據(jù)、生成快照、AOF重寫(xiě)等。這些后臺(tái)任務(wù)的存在是為了避免阻塞主線程,提高Redis的整體性能。

在Redis 6.0及以后的版本中,Redis引入了多線程模型來(lái)處理網(wǎng)絡(luò)I/O的任務(wù)。這個(gè)多線程模型只用來(lái)處理網(wǎng)絡(luò)數(shù)據(jù)的讀寫(xiě)和協(xié)議解析,而執(zhí)行讀寫(xiě)命令的仍然是單線程。這種設(shè)計(jì)是為了充分利用服務(wù)器CPU的多核資源,提高Redis的網(wǎng)絡(luò)I/O性能。

因此,可以說(shuō)Redis在執(zhí)行命令時(shí)采用單線程模型,但從整體實(shí)現(xiàn)和功能角度來(lái)看,它并不是完全的單線程。

Redis通過(guò)結(jié)合單線程和多線程的優(yōu)勢(shì),以及利用內(nèi)存和非阻塞I/O技術(shù),實(shí)現(xiàn)了高性能和高效率。

在執(zhí)行命令時(shí)采用單線程模型的原因如下:

1. 避免過(guò)多的上下文切換開(kāi)銷(xiāo)

多線程調(diào)度過(guò)程中必然需要在 CPU 之間切換線程上下文 context,而上下文的切換又涉及程序計(jì)數(shù)器、堆棧指針和程序狀態(tài)字等一系列的寄存器置換、程序堆棧重置甚至是 CPU 高速緩存、TLB 快表的汰換,如果是進(jìn)程內(nèi)的多線程切換還好一些,因?yàn)閱我贿M(jìn)程內(nèi)多線程共享進(jìn)程地址空間,因此線程上下文比之進(jìn)程上下文要小得多,如果是跨進(jìn)程調(diào)度,則需要切換掉整個(gè)進(jìn)程地址空間。

如果是單線程則可以規(guī)避進(jìn)程內(nèi)頻繁的線程切換開(kāi)銷(xiāo),因?yàn)槌绦蚴冀K運(yùn)行在進(jìn)程中單個(gè)線程內(nèi),沒(méi)有多線程切換的場(chǎng)景。

2.避免同步機(jī)制的開(kāi)銷(xiāo)

如果 Redis 選擇多線程模型,又因?yàn)?Redis 是一個(gè)數(shù)據(jù)庫(kù),那么勢(shì)必涉及到底層數(shù)據(jù)同步的問(wèn)題,則必然會(huì)引入某些同步機(jī)制,比如鎖,而我們知道 Redis 不僅僅提供了簡(jiǎn)單的 key-value 數(shù)據(jù)結(jié)構(gòu),還有 list、set 和 hash 等等其他豐富的數(shù)據(jù)結(jié)構(gòu),而不同的數(shù)據(jù)結(jié)構(gòu)對(duì)同步訪問(wèn)的加鎖粒度又不盡相同,可能會(huì)導(dǎo)致在操作數(shù)據(jù)過(guò)程中帶來(lái)很多加鎖解鎖的開(kāi)銷(xiāo),增加程序復(fù)雜度的同時(shí)還會(huì)降低性能。

3. 簡(jiǎn)單可維護(hù)

Redis 的作者對(duì) Redis 的設(shè)計(jì)和代碼的初衷就是簡(jiǎn)潔可維護(hù),而引入多線程必然會(huì)導(dǎo)致代碼的復(fù)雜度上升和可維護(hù)性下降。

首先多線程的引入會(huì)使得程序不再保持代碼邏輯上的串行性,代碼執(zhí)行的順序?qū)⒆兂刹豢深A(yù)測(cè)的,稍不注意就會(huì)導(dǎo)致程序出現(xiàn)各種并發(fā)編程的問(wèn)題;其次,多線程模式也使得程序調(diào)試更加復(fù)雜和麻煩。

如果 Redis 使用多線程模式,那么所有的底層數(shù)據(jù)結(jié)構(gòu)都必須實(shí)現(xiàn)成線程安全的,這無(wú)疑又使得 Redis 的實(shí)現(xiàn)變得更加復(fù)雜。

總而言之,Redis 在執(zhí)行命令這種主場(chǎng)景下選擇單線程可以說(shuō)是多方博弈之后的一種權(quán)衡:在保證足夠的性能表現(xiàn)之下,使用單線程保持代碼的簡(jiǎn)單和可維護(hù)性。

面試官:能不能詳細(xì)說(shuō)說(shuō)看Redis 6.0為什么引入了多線程?Redis的哪些地方用到了多線程?Redis多線程的實(shí)現(xiàn)機(jī)制是怎樣的?

Redis 最初選擇單線程網(wǎng)絡(luò)模型的理由是:CPU 通常不會(huì)成為性能瓶頸,瓶頸往往是內(nèi)存和網(wǎng)絡(luò),因此單線程足夠了?,F(xiàn)在 Redis 又要引入多線程是因?yàn)?Redis 的網(wǎng)絡(luò) I/O 瓶頸已經(jīng)越來(lái)越明顯了。

隨著互聯(lián)網(wǎng)的飛速發(fā)展,互聯(lián)網(wǎng)業(yè)務(wù)系統(tǒng)所要處理的線上流量越來(lái)越大,Redis 的單線程模式會(huì)導(dǎo)致系統(tǒng)消耗很多 CPU 時(shí)間在網(wǎng)絡(luò) I/O 上從而降低吞吐量,要提升 Redis 的性能有兩個(gè)方向:

  • 優(yōu)化網(wǎng)絡(luò) I/O 模塊
  • 提高機(jī)器內(nèi)存讀寫(xiě)的速度

后者依賴于硬件的發(fā)展,暫時(shí)無(wú)解。所以只能從前者下手,網(wǎng)絡(luò) I/O 的優(yōu)化又可以分為兩個(gè)方向:

  • 零拷貝技術(shù)或者 DPDK 技術(shù)
  • 利用多核優(yōu)勢(shì)

零拷貝技術(shù)有其局限性,無(wú)法完全適配 Redis 這一類(lèi)復(fù)雜的網(wǎng)絡(luò) I/O 場(chǎng)景。而 DPDK 技術(shù)通過(guò)旁路網(wǎng)卡 I/O 繞過(guò)內(nèi)核協(xié)議棧的方式又太過(guò)于復(fù)雜以及需要內(nèi)核甚至是硬件的支持。

因此,利用多核優(yōu)勢(shì)的多線程模型成為了優(yōu)化網(wǎng)絡(luò) I/O 性價(jià)比最高的方案。

在 Redis 6.0 中,多線程主要用來(lái)處理網(wǎng)絡(luò) IO 操作,命令解析和執(zhí)行仍然是單線程完成,這樣既可以發(fā)揮多核 CPU 的優(yōu)勢(shì),又能避免鎖和上下文切換帶來(lái)的性能損耗。

接下來(lái)再說(shuō)說(shuō)看Redis的多線程實(shí)現(xiàn)機(jī)制:

(1) 主線程負(fù)責(zé)命令執(zhí)行:

Redis的主線程仍然負(fù)責(zé)處理客戶端命令的執(zhí)行,包括數(shù)據(jù)的讀寫(xiě)操作。

(2) 多線程處理網(wǎng)絡(luò)I/O:

  • 在多線程I/O模型中,客戶端請(qǐng)求的讀取以及響應(yīng)的寫(xiě)入等網(wǎng)絡(luò)I/O操作被分發(fā)到多個(gè)工作線程中進(jìn)行處理。
  • 這些工作線程只負(fù)責(zé)網(wǎng)絡(luò)I/O的讀寫(xiě)和協(xié)議解析,不負(fù)責(zé)命令的具體執(zhí)行。

(3) 任務(wù)分發(fā)機(jī)制:

  • Redis使用全局讀隊(duì)列(clients_pending_read)和全局寫(xiě)隊(duì)列(clients_pending_write)來(lái)存儲(chǔ)待處理的網(wǎng)絡(luò)I/O任務(wù)。
  • 主線程負(fù)責(zé)將任務(wù)從全局隊(duì)列分發(fā)到每個(gè)線程對(duì)應(yīng)的隊(duì)列中(io_threads_list)。
  • 分發(fā)任務(wù)時(shí),主線程采用輪詢(Round Robin)的方式,以確保任務(wù)能夠均勻分配到各個(gè)線程。

(4) 命令執(zhí)行流程:

  • 當(dāng)客戶端發(fā)送請(qǐng)求時(shí),主線程負(fù)責(zé)接收請(qǐng)求并放入全局讀隊(duì)列。
  • 主線程將任務(wù)分發(fā)到各個(gè)線程對(duì)應(yīng)的隊(duì)列中,并設(shè)置相應(yīng)的標(biāo)記。
  • 子線程輪詢檢查自己的隊(duì)列是否有任務(wù),如果有則處理網(wǎng)絡(luò)I/O讀寫(xiě)和協(xié)議解析。
  • 解析完成后,子線程將解析結(jié)果返回給主線程。
  • 主線程根據(jù)解析結(jié)果執(zhí)行相應(yīng)的命令,并將結(jié)果放入全局寫(xiě)隊(duì)列。
  • 主線程再將寫(xiě)任務(wù)分發(fā)到各個(gè)線程對(duì)應(yīng)的隊(duì)列中,子線程負(fù)責(zé)將結(jié)果寫(xiě)回給客戶端。

在Redis 6.0及以后的版本中,多線程默認(rèn)是禁用的。要啟用多線程,需要在redis.conf配置文件中設(shè)置io-threads-do-reads yes,并指定線程數(shù)(io-threads)。如果不設(shè)置線程數(shù),多線程將不會(huì)生效。

關(guān)于線程數(shù)的設(shè)置,官方有一個(gè)建議:4核的機(jī)器建議設(shè)置為2或3個(gè)線程,8核的建議設(shè)置為6個(gè)線程,線程數(shù)一定要小于機(jī)器核數(shù)。還需要注意的是,線程數(shù)并不是越大越好,官方認(rèn)為超過(guò)了8個(gè)基本就沒(méi)什么意義了。

實(shí)際上如果開(kāi)啟多線程,至少要4核的機(jī)器,且Redis實(shí)例已經(jīng)占用相當(dāng)大的CPU耗時(shí)的時(shí)候才建議采用,否則使用多線程沒(méi)有意義。所以估計(jì)80%的公司業(yè)務(wù)在不開(kāi)啟多線程的情況下也能正常支撐。

綜上所述,Redis多線程的實(shí)現(xiàn)機(jī)制是通過(guò)將網(wǎng)絡(luò)I/O操作分發(fā)到多個(gè)工作線程中進(jìn)行處理,而命令的執(zhí)行仍然由單線程完成。這種設(shè)計(jì)既充分利用了多核CPU的性能,又避免了多線程切換和共享資源競(jìng)爭(zhēng)帶來(lái)的開(kāi)銷(xiāo)。

責(zé)任編輯:趙寧寧 來(lái)源: 程序員阿沛
相關(guān)推薦

2023-03-21 08:02:36

Redis6.0IO多線程

2019-06-17 14:20:51

Redis數(shù)據(jù)庫(kù)Java

2023-08-29 07:46:08

Redis數(shù)據(jù)ReHash

2020-11-17 10:20:53

Redis多線程單線程

2022-07-06 13:48:24

RedisSentinel機(jī)制

2024-03-27 07:44:30

Redis多線程Java

2023-08-17 14:12:17

2024-07-24 08:38:07

2021-12-28 09:50:18

Redis單線程高并發(fā)

2021-06-27 22:48:28

Redis數(shù)據(jù)庫(kù)內(nèi)存

2020-07-02 07:52:11

RedisHash映射

2023-12-20 14:35:37

Java虛擬線程

2019-02-18 08:10:53

2024-12-27 15:50:02

2023-10-15 12:23:10

單線程Redis

2020-10-21 09:17:52

Redis面試內(nèi)存

2022-06-15 15:14:17

Java公平鎖非公平鎖

2024-02-04 10:29:58

線程通信

2022-01-04 08:54:32

Redis數(shù)據(jù)庫(kù)數(shù)據(jù)類(lèi)型

2025-01-17 08:23:33

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)