自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

FastDFS文件名策略及對(duì)小文件的優(yōu)化

運(yùn)維 系統(tǒng)運(yùn)維
FastDFS是一個(gè)應(yīng)用級(jí)分布式文件存儲(chǔ)服務(wù),其采用中心型結(jié)構(gòu)(類似GFS、HDFS、TFS等),主要用于大中型網(wǎng)站存儲(chǔ)資源文件。FastDFS具有輕量級(jí),支持高并發(fā)放訪問,負(fù)載均衡,可擴(kuò)展等優(yōu)點(diǎn)。而FastDFS最大的亮點(diǎn)就是對(duì)小文件的存儲(chǔ)性能較好,這主要來自于其文件名策略。

FastDFS是一個(gè)應(yīng)用級(jí)分布式文件存儲(chǔ)服務(wù),其采用中心型結(jié)構(gòu)(類似GFS、HDFS、TFS等),主要用于大中型網(wǎng)站存儲(chǔ)資源文件。FastDFS具有輕量級(jí),支持高并發(fā)放訪問,負(fù)載均衡,可擴(kuò)展等優(yōu)點(diǎn)。而FastDFS最大的亮點(diǎn)就是對(duì)小文件的存儲(chǔ)性能較好,這主要來自于其文件名策略。

1.小文件存儲(chǔ)性能優(yōu)化

小文件的性能瓶頸主要來自于對(duì)元數(shù)據(jù)服務(wù)器(如FastDFS中的TrackerServer或TFS中的NameServer)的訪問,因?yàn)楫?dāng)文件本身大小很小時(shí),元數(shù)據(jù)存儲(chǔ)所占空間與文件內(nèi)容存儲(chǔ)所占空間的比例就變得較大,訪問元數(shù)據(jù)所消耗資源與訪問文件內(nèi)容所消耗資源的比例也變得較大。因此,通常對(duì)小文件存儲(chǔ)的優(yōu)化方法主要有兩大類思路:一是減少訪問元數(shù)據(jù)的次數(shù),比如Cache預(yù)??;二是減少元數(shù)據(jù)所占的存儲(chǔ)空間,比如FastDFS使用的文件名策略。

2. FastDFS文件名策略

FastDFS中的文件名是在向StorageServer存儲(chǔ)文件時(shí)由系統(tǒng)指定的,文件名中包含了VolumeID和FileID。也就是說,當(dāng)客戶要讀取某個(gè)文件時(shí),通過在客戶端對(duì)文件名進(jìn)行解析,就可以知道該文件存儲(chǔ)在哪個(gè)Volume上和它在StorageServer中的FileID。但是此時(shí)用戶還不能讀取文件,因?yàn)樗恢繴olume內(nèi)各個(gè)StorageServer的ip地址,也不知道應(yīng)該從Volume內(nèi)的哪個(gè)StorageServer中讀取。所以用戶需手持欲訪問的文件的VolumeID向TrackerServer詢問,TrackerServe會(huì)均衡當(dāng)前各StorageServer的IO負(fù)載狀況,返回一個(gè)最佳的StorageServer的ip地址。最后用戶與該StorageServer連接,出示欲訪問文件的FileID,StorageServer上會(huì)維持一個(gè)FileID對(duì)應(yīng)偏移量的表,從而得到欲訪問文件的偏移量。

可見,F(xiàn)astDFS的文件名策略將文件存儲(chǔ)位置信息隱含在文件名中,從而減少了元數(shù)據(jù)量,達(dá)到了優(yōu)化小文件存儲(chǔ)性能的作用。

責(zé)任編輯:黃丹 來源: csdn博客
相關(guān)推薦

2009-06-29 09:57:05

Unix

2022-04-21 09:26:41

FastDFS開源分布式文件系統(tǒng)

2012-12-24 15:00:56

sis塞班

2020-08-13 14:58:06

Spark小文件存儲(chǔ)

2021-03-16 12:42:42

FreeDOS開源

2009-11-02 11:13:06

VB.NET讀寫文件

2022-09-28 08:18:01

I/ONIO2API

2013-03-11 14:42:08

Hadoop

2009-03-11 09:28:18

文件名亂碼下載瀏覽器PHP

2022-12-01 08:30:15

API調(diào)用系統(tǒng)

2009-10-24 10:38:34

2010-01-14 10:07:08

VB.NET文件名排序

2012-10-11 14:03:56

FastDFS分布式文件系統(tǒng)

2022-11-10 15:17:43

Windows文件Linux

2009-10-27 10:58:00

VB.NET文件名排序

2021-06-28 11:30:39

PythonWindows反斜杠

2010-06-23 16:14:52

Linux Bash

2010-10-29 13:37:17

2020-11-05 14:28:07

Shell腳本SQL

2018-03-28 17:51:24

LinuxUnix
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)