為超高清時(shí)代而生,深信服EDS存儲(chǔ)是如何實(shí)現(xiàn)的
11月18日,“為超高清時(shí)代而生——深信服廣電行業(yè)存儲(chǔ)解決方案研討會(huì)”在線上舉行。對(duì)于超高清時(shí)代,廣電業(yè)務(wù)場(chǎng)景的存儲(chǔ)性能以及數(shù)據(jù)長(zhǎng)期存儲(chǔ)挑戰(zhàn),深信服分布式存儲(chǔ)EDS給出了專屬解決方案。
視頻的卡慢與時(shí)延,與存儲(chǔ)有什么關(guān)系?
談到視頻的卡慢、時(shí)延、丟幀等問題,人們首先想到的往往是“網(wǎng)速”。然而在廣電的非編業(yè)務(wù)視角下,底層存儲(chǔ)的性能是以上問題的重要影響因素。
廣電節(jié)目的生產(chǎn)制作流程包括素材上載、文件收錄、在線編輯、合成轉(zhuǎn)碼等環(huán)節(jié),這些環(huán)節(jié)幾乎都伴隨著頻繁的數(shù)據(jù)調(diào)用,尤其對(duì)于超高清場(chǎng)景下的非編操作,視頻碼率大、層數(shù)多,需要存儲(chǔ)系統(tǒng)提供穩(wěn)定的高帶寬,時(shí)延過大則會(huì)導(dǎo)致視頻畫面出現(xiàn)丟幀,將直接影響節(jié)目的制作效率。
非編業(yè)務(wù)還涉及到視頻素材編輯的多個(gè)層次疊加,每一層都需要從音視頻素材讀取數(shù)據(jù),層數(shù)越多,對(duì)存儲(chǔ)吞吐的要求越高。此外隨著超高清素材數(shù)據(jù)量的飛速增長(zhǎng),也對(duì)底層存儲(chǔ)的容量以及數(shù)據(jù)管理提出了更多挑戰(zhàn)。
面對(duì)超高清時(shí)代的存儲(chǔ)挑戰(zhàn),深信服EDS有何妙招?
針對(duì)超高清內(nèi)容制作以及統(tǒng)一的媒資管理,深信服EDS分別提供高性能解決方案以及數(shù)據(jù)長(zhǎng)期保存解決方案。
優(yōu)質(zhì)的存儲(chǔ)架構(gòu)
高性能的保障首先在于高性能的架構(gòu)設(shè)計(jì)。深信服EDS采用自研的存儲(chǔ)架構(gòu),包括PhxKV元數(shù)據(jù)管理、PhxCache智能緩存、PhxTier分層、PhxStore存儲(chǔ)引擎等,實(shí)現(xiàn)對(duì)每一個(gè)存儲(chǔ)子模塊IO路徑的優(yōu)化,在自研架構(gòu)下,存儲(chǔ)協(xié)議棧效率更高。
高性能存儲(chǔ)介質(zhì)+高效存儲(chǔ)協(xié)議
在存儲(chǔ)介質(zhì)方面,使用NVMe SSD作為Tier分層,相較于SATA SSD具備更高的帶寬和更低的延時(shí),讓存儲(chǔ)介質(zhì)不再是存儲(chǔ)系統(tǒng)性能瓶頸。
在存儲(chǔ)后端網(wǎng)絡(luò)方面,使用RDMA協(xié)議。RDMA協(xié)議具備內(nèi)核旁路、端到端內(nèi)存拷貝等技術(shù),相較于傳統(tǒng)TCP協(xié)議,能夠顯著降低訪問延時(shí),在不改變現(xiàn)有網(wǎng)架構(gòu)的前提下進(jìn)一步提升網(wǎng)絡(luò)帶寬。
除了存儲(chǔ)介質(zhì)和網(wǎng)絡(luò)協(xié)議以外,EDS還對(duì)廣電業(yè)務(wù)高峰期的并發(fā)進(jìn)行了性能優(yōu)化,在業(yè)務(wù)并發(fā)期間,多個(gè)客戶端會(huì)負(fù)載均衡到不同存儲(chǔ)節(jié)點(diǎn),通過這種方式優(yōu)化并發(fā),消除熱點(diǎn)。
在以上技術(shù)的加持下,3節(jié)點(diǎn)EDS集群在提供文件存儲(chǔ)服務(wù)時(shí),單客戶端性能可達(dá) 1.9GB/s,多客戶端可達(dá) 6GB/s,可滿足16臺(tái)4K超高清工作站或120臺(tái)高清工作站并發(fā)運(yùn)行的性能需求,并且性能隨節(jié)點(diǎn)增加線性增長(zhǎng)。
除了性能以外,EDS還注重廣電數(shù)據(jù)的長(zhǎng)期妥善保存,包括數(shù)據(jù)檢索、保護(hù)以及空間擴(kuò)容。由于EDS采用的是分布式架構(gòu),自然具備按需擴(kuò)容、開箱即用的優(yōu)勢(shì),并且可輕松擴(kuò)展至10PB以上。
在數(shù)據(jù)檢索方面,EDS存儲(chǔ)內(nèi)置標(biāo)簽和檢索功能,千萬級(jí)數(shù)據(jù)實(shí)現(xiàn)秒級(jí)檢索。而在數(shù)據(jù)保護(hù)方面EDS不僅為數(shù)據(jù)構(gòu)建了事前主動(dòng)防御、事中自動(dòng)處理、事后快速兜底的可靠性閉環(huán),還進(jìn)一步向安全防御升級(jí),融入了深信服二十多年的安全能力,包括勒索入侵防御、AI勒索反加密檢測(cè)、勒索響應(yīng)安全技術(shù),為數(shù)據(jù)提供實(shí)時(shí)保護(hù)。
此外EDS還支持HDFS/ CIFS/FTP/ NFS多協(xié)議間數(shù)據(jù)互訪,能夠跨平臺(tái)構(gòu)建業(yè)務(wù)處理管線,提升數(shù)據(jù)應(yīng)用效率。
在此次研討會(huì)上,中國(guó)農(nóng)業(yè)電影電視中心信息中心主任孫有勝帶來了媒資存儲(chǔ)建設(shè)分享,從運(yùn)維成本、素材使用效率以及可靠性等方面進(jìn)行了講述。EDS存儲(chǔ)可以滿足當(dāng)下農(nóng)影中心的業(yè)務(wù)需求,包括存儲(chǔ)空間的靈活擴(kuò)展,F(xiàn)TP功能提供便捷訪問,可視化圖形界面實(shí)現(xiàn)便捷運(yùn)維,安全策略應(yīng)對(duì)高級(jí)威脅等。孫主任表示,深信服EDS目前已經(jīng)穩(wěn)定承載業(yè)務(wù)2年,接下來還將繼續(xù)擴(kuò)容。
做到貼合業(yè)務(wù)場(chǎng)景,方能稱為有效,深信服EDS存儲(chǔ)一直秉持著這一原則。目前,深信服EDS已經(jīng)為中國(guó)農(nóng)業(yè)電影電視中心、北京廣播電視臺(tái)等多家電視臺(tái)提供采編制播性能、數(shù)據(jù)安全防護(hù)等方面的支撐。未來,EDS也將持續(xù)為廣電行業(yè)提供更強(qiáng)大的存儲(chǔ)支持。