摘要：隨著數(shù)據(jù)量的倍數(shù)增長(zhǎng)，無(wú)處不計(jì)算的概念正在普及，現(xiàn)有的以計(jì)算為中心的架構(gòu)需要將數(shù)據(jù)傳輸?shù)街醒胗?jì)算內(nèi)存單元進(jìn)行數(shù)據(jù)挖掘與分析。隨著數(shù)據(jù)時(shí)代的到來(lái)，新形態(tài)的以數(shù)據(jù)為中心的計(jì)算存儲(chǔ)架構(gòu)和技術(shù)正在快速發(fā)展，在數(shù)據(jù)存儲(chǔ)端直接進(jìn)行數(shù)據(jù)處理將成為風(fēng)潮，不僅可以提高云數(shù)據(jù)中心的數(shù)據(jù)處理能力和效率，并預(yù)計(jì)可為物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)、邊緣計(jì)算等領(lǐng)域創(chuàng)造更多商務(wù)價(jià)值。

　　數(shù)據(jù)量的產(chǎn)出正在呈現(xiàn)爆發(fā)式的增長(zhǎng)。根據(jù)分析調(diào)研機(jī)構(gòu)IDC的報(bào)告指出，被創(chuàng)建、獲取或復(fù)制的數(shù)據(jù)量將從2018年的33 ZB增加到2025年的175 ZB。為了讓這些數(shù)據(jù)實(shí)現(xiàn)其價(jià)值，我們必須將其分析處理成有意義的見解，而數(shù)據(jù)分析的速度和效率依賴于數(shù)據(jù)處理系統(tǒng)的架構(gòu)。以計(jì)算為中心的架構(gòu)需要將數(shù)據(jù)傳輸?shù)街醒胗?jì)算內(nèi)存單元進(jìn)行數(shù)據(jù)挖掘與分析，更加適用于數(shù)據(jù)量小、計(jì)算密度大的應(yīng)用負(fù)載，但在數(shù)據(jù)量激增的情況下很顯然地有些遠(yuǎn)水不解近渴，難以繼續(xù)擴(kuò)展?，F(xiàn)在IT行業(yè)里更多的關(guān)注點(diǎn)是如何將計(jì)算能力分布到存儲(chǔ)設(shè)備附近，就地對(duì)大量數(shù)據(jù)進(jìn)行分析處理，從中獲取洞察力。這種趨勢(shì)推動(dòng)了以數(shù)據(jù)為中心的計(jì)算存儲(chǔ)的快速發(fā)展。

　　今天，有越來(lái)越多的數(shù)據(jù)存儲(chǔ)在各種形態(tài)的存儲(chǔ)盤上，但數(shù)據(jù)的存儲(chǔ)和計(jì)算處理總在不同的地方進(jìn)行，因此我們常見大量數(shù)據(jù)(目前一般盤的容量通常為16 TB，并不斷增加)在存儲(chǔ)和計(jì)算設(shè)備之間移動(dòng)，但由于網(wǎng)絡(luò)帶寬和計(jì)算單元內(nèi)存容量的限制這種方法無(wú)法擴(kuò)展，導(dǎo)致大量具附加價(jià)值、有潛力為服務(wù)及運(yùn)營(yíng)帶來(lái)指導(dǎo)性洞察力的數(shù)據(jù)不能發(fā)揮他們應(yīng)有的威力。

　　在傳統(tǒng)的存儲(chǔ)模型中，數(shù)據(jù)一般存儲(chǔ)在硬盤和固態(tài)硬盤上，在需要進(jìn)行數(shù)據(jù)分析的時(shí)候，將其傳輸?shù)酵獠康挠?jì)算設(shè)備，通常是服務(wù)器。計(jì)算存儲(chǔ)能在數(shù)據(jù)所在的存儲(chǔ)盤上進(jìn)行數(shù)據(jù)計(jì)算處理，進(jìn)而直接從數(shù)據(jù)中生成洞察力和價(jià)值，以釋放更多數(shù)據(jù)的潛能。

　　什么是計(jì)算存儲(chǔ)，它為什么重要?

　　所謂的“計(jì)算存儲(chǔ)”就是讓存儲(chǔ)設(shè)備更加智能，可以直接在存儲(chǔ)數(shù)據(jù)的地方進(jìn)行數(shù)據(jù)處理。這種方法減少了大量數(shù)據(jù)向外部處理設(shè)備的傳輸，同時(shí)帶來(lái)了無(wú)數(shù)個(gè)的好處，包括減少時(shí)延和帶寬使用、提高安全性和節(jié)能。換句話說(shuō)，數(shù)據(jù)處理的工作負(fù)載將直接在存儲(chǔ)控制器本身上進(jìn)行。

　　對(duì)于許多機(jī)器學(xué)習(xí)或分析應(yīng)用程序、以及物聯(lián)網(wǎng)和邊緣計(jì)算的其他用例來(lái)說(shuō)，計(jì)算存儲(chǔ)的應(yīng)用對(duì)于它們?cè)趯?shí)現(xiàn)實(shí)時(shí)處理方面的要求至關(guān)重要。以物聯(lián)網(wǎng)的用例來(lái)看，隨著物聯(lián)網(wǎng)設(shè)備部署數(shù)量的加速，這些設(shè)備也迅速產(chǎn)生大量原始且非結(jié)構(gòu)化的數(shù)據(jù)。由于物聯(lián)網(wǎng)設(shè)備部署遍布世界各個(gè)角落，傳感器日趨復(fù)雜，將所有數(shù)據(jù)傳輸?shù)皆茢?shù)據(jù)中心進(jìn)行存儲(chǔ)和處理不僅非常昂貴，而且是一種浪費(fèi)，因?yàn)椴⒎撬蝎@取的數(shù)據(jù)都會(huì)能帶來(lái)價(jià)值。

　　舉個(gè)例子，一個(gè)大型停車場(chǎng)的監(jiān)控?cái)z像頭系統(tǒng)記錄了每輛汽車的車牌號(hào)和進(jìn)出時(shí)間，以便對(duì)停車時(shí)間進(jìn)行計(jì)費(fèi)，同時(shí)也確保安全。這個(gè)案例里面重要的信息之一是車牌號(hào)碼，而無(wú)論汽車是否進(jìn)入或離開停車場(chǎng)，將所有大圖像或視頻流傳輸?shù)竭h(yuǎn)端服務(wù)器進(jìn)行圖像處理是非常低效的做法。

　　應(yīng)用了計(jì)算存儲(chǔ)之后，每個(gè)攝像頭都將視頻或圖片傳輸?shù)奖镜氐拇鎯?chǔ)盤內(nèi)，然后盤內(nèi)自帶的計(jì)算功能就能直接識(shí)別出車牌號(hào)碼。通過(guò)在存儲(chǔ)盤上直接進(jìn)行機(jī)器學(xué)習(xí)和圖像識(shí)別，并且只將從原始數(shù)據(jù)中提取的有價(jià)值信息——車牌號(hào)碼和進(jìn)出場(chǎng)時(shí)間，傳輸給遠(yuǎn)端服務(wù)器，計(jì)算存儲(chǔ)極大地提高了信息處理的效率，減少網(wǎng)絡(luò)帶寬的浪費(fèi)。此外，如果停車場(chǎng)中有多個(gè)攝像頭，每個(gè)攝像頭都有多個(gè)存儲(chǔ)盤，那么攝像頭越多，存儲(chǔ)盤就越多，因地制宜的計(jì)算也就越多。如此一來(lái)，整個(gè)信息處理系統(tǒng)就變得更高效且可擴(kuò)展性更高。

　　計(jì)算存儲(chǔ)還能在其他應(yīng)用場(chǎng)景也施展威力，例如：

　　· 數(shù)據(jù)庫(kù)加速：直接在數(shù)據(jù)上執(zhí)行操作

　　· 卸載：直接在數(shù)據(jù)上進(jìn)行壓縮/加密/編碼/重復(fù)數(shù)據(jù)刪除等

　　· 內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)：輕松實(shí)現(xiàn)非常本地化的內(nèi)容分發(fā)

　　· 人工智能/機(jī)器學(xué)習(xí)：直接從海量數(shù)據(jù)中生成洞察

　　· 邊緣計(jì)算：一個(gè)運(yùn)行Linux的計(jì)算存儲(chǔ)盤(Computational Storage Drive, CSD)，自身就是一個(gè)獨(dú)立的小型服務(wù)器

　　· 圖像分類：直接在數(shù)據(jù)存儲(chǔ)的位置進(jìn)行元標(biāo)記

　　· 視頻：對(duì)大型圖像、視頻、多媒體文件進(jìn)行本地處理分析，以提取有價(jià)值的信息

　　· 運(yùn)輸/車載：直接處理交通工具中存儲(chǔ)的遙測(cè)數(shù)據(jù)

　　傳統(tǒng)的存儲(chǔ)盤內(nèi)的數(shù)據(jù)必須從設(shè)備端傳輸?shù)椒?wù)器，才能借助服務(wù)器內(nèi)的計(jì)算單元進(jìn)行數(shù)據(jù)處理分析，這樣的做法不僅需要額外的時(shí)間、精力、帶寬和時(shí)延，同時(shí)增加了數(shù)據(jù)泄露的風(fēng)險(xiǎn)——在數(shù)據(jù)傳輸?shù)倪^(guò)程中可能發(fā)生未經(jīng)授權(quán)的訪問(wèn)。

　　同時(shí)，如果這些系統(tǒng)與服務(wù)器連接的回程線路，其帶寬有限或價(jià)格昂貴，那么計(jì)算存儲(chǔ)更能進(jìn)一步顯著降低總擁有成本(TCO)。額外的好處包括：

　　· 更快的響應(yīng)時(shí)間和更低的時(shí)延：將智能性移動(dòng)至所需之處，可實(shí)現(xiàn)近乎實(shí)時(shí)的結(jié)果交付。數(shù)據(jù)不再需要通過(guò)協(xié)議封裝，然后通過(guò)路由器和交換機(jī)移動(dòng)和復(fù)制，在服務(wù)器上解包后才能進(jìn)行處理

　　· 節(jié)省帶寬，降低能耗：減少數(shù)據(jù)傳輸意味著節(jié)省寶貴的帶寬資源，防止網(wǎng)絡(luò)擁塞，并且降低設(shè)備能耗和熱能產(chǎn)生

　　· 安全與隱私：原始數(shù)據(jù)留在本地存儲(chǔ)盤上，不再向外傳輸，而只是將數(shù)據(jù)分析的結(jié)論返回，降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)

　　· 擴(kuò)展性：由于計(jì)算直接在存儲(chǔ)盤上進(jìn)行，增添更多的存儲(chǔ)盤也同時(shí)增加了對(duì)本地?cái)?shù)據(jù)進(jìn)行處理分析的能力。

　　計(jì)算存儲(chǔ)是如何工作?

　　計(jì)算存儲(chǔ)盤(CSD)是一種提供持久數(shù)據(jù)存儲(chǔ)和計(jì)算服務(wù)的存儲(chǔ)設(shè)備。它通過(guò)計(jì)算和存儲(chǔ)功能的耦合，在本地?cái)?shù)據(jù)上運(yùn)行應(yīng)用程序，減少遠(yuǎn)程服務(wù)器上所需的處理工作負(fù)載以及數(shù)據(jù)的傳輸。為此，CSD的處理器是專用于直接處理CSD上的數(shù)據(jù)，從而讓遠(yuǎn)程主機(jī)的處理器得以處理其他任務(wù)。

　　以下是傳統(tǒng)的存儲(chǔ)系統(tǒng)與采用計(jì)算存儲(chǔ)系統(tǒng)的不同數(shù)據(jù)計(jì)算處理流程。

　　特定領(lǐng)域架構(gòu)(Domain-Specific Architecture, DSA)、異構(gòu)計(jì)算(Heterogeneous Computing)和計(jì)算存儲(chǔ)

　　實(shí)現(xiàn)計(jì)算存儲(chǔ)的方法有很多種，但關(guān)鍵的要求是在存儲(chǔ)控制器中嵌入處理的能力。說(shuō)到數(shù)據(jù)處理以及計(jì)算能力，CPU處理器自然是首當(dāng)其沖。CPU作為通用處理器，是個(gè)名副其實(shí)的“通才”，擅長(zhǎng)執(zhí)行指令運(yùn)算和數(shù)值運(yùn)算。CPU適用于各種工作負(fù)載，尤其是那些對(duì)延遲或每核性能很重要的工作負(fù)載。作為一個(gè)強(qiáng)大的執(zhí)行引擎，CPU將其較少數(shù)量的內(nèi)核集中在單個(gè)任務(wù)和快速完成任務(wù)上。這使得它非常適合從串行計(jì)算到運(yùn)行數(shù)據(jù)庫(kù)的工作。另外，CPU編程容易、生態(tài)成熟、擁有豐富的工具鏈和廣泛的開發(fā)者支持，尤其是在計(jì)算存儲(chǔ)方興未艾，跑在CSD上的應(yīng)用負(fù)載還不明確和成熟的情況下，CPU可以給予計(jì)算存儲(chǔ)系統(tǒng)更多的靈活性。

　　特殊領(lǐng)域的加速器是計(jì)算和數(shù)據(jù)處理領(lǐng)域的“專才”，對(duì)于特定領(lǐng)域的應(yīng)用和負(fù)載能提供顯著的性能和效率的提升。在選擇特殊領(lǐng)域的加速器的時(shí)候，需要特別注意兩點(diǎn)：一是實(shí)際部署或者計(jì)劃部署在CSD上的應(yīng)用負(fù)載與加速器適合的負(fù)載匹配;二是編程的便利性，是否能夠賦能廣大的軟件開發(fā)人員來(lái)利用加速器所帶來(lái)的收益。

　　Linux促進(jìn)計(jì)算存儲(chǔ)的實(shí)現(xiàn)

　　實(shí)現(xiàn)計(jì)算存儲(chǔ)的方法有很多種，但關(guān)鍵的要求是在存儲(chǔ)控制器中嵌入處理的能力，使其可以運(yùn)行功能豐富的操作系統(tǒng)，例如Linux和軟件組件。如此一來(lái)，可以帶來(lái)以下這些好處：

　　· 擁有龐大Linux開發(fā)者社區(qū)的開源軟件

　　具有龐大Linux開發(fā)者社區(qū)和行業(yè)廣泛使用的標(biāo)準(zhǔn)工具的開源軟件能讓開發(fā)體驗(yàn)更加輕松。通過(guò)創(chuàng)建工作負(fù)載，開發(fā)者可以使用駕輕就熟的開發(fā)方式來(lái)構(gòu)建遵循SNIA的標(biāo)準(zhǔn)的軟件程序，并采用基于Linux的標(biāo)準(zhǔn)系統(tǒng)將其部署到存儲(chǔ)設(shè)備，這不僅簡(jiǎn)化了系統(tǒng)，并且讓軟件開發(fā)更為輕松便捷。

　　· 易用的工具

　　感謝Linux開源生態(tài)的的豐富資源，開發(fā)者獲取廣大的工具、文檔和支持易如反掌，從而可以更順暢地開發(fā)、部署以及管理計(jì)算存儲(chǔ)工作負(fù)載。如此一來(lái)，開發(fā)者能快速將當(dāng)前模式下運(yùn)行在計(jì)算節(jié)點(diǎn)上的功能模塊遷移至計(jì)算存儲(chǔ)盤上。

　　· 啟動(dòng)智能存儲(chǔ)

　　在標(biāo)準(zhǔn)的NVMe盤中，由于存儲(chǔ)控制器并不理解所處理的數(shù)據(jù)的內(nèi)容和屬性，而是純粹把數(shù)據(jù)塊當(dāng)作黑盒來(lái)處理，所以難以實(shí)現(xiàn)數(shù)據(jù)的智能管理。在當(dāng)前模式下，存儲(chǔ)控制器對(duì)接收到的數(shù)據(jù)塊進(jìn)行拆分，然后將它們存儲(chǔ)在NAND晶粒中的頁(yè)面。當(dāng)服務(wù)器發(fā)送數(shù)據(jù)塊的請(qǐng)求時(shí)，存儲(chǔ)控制器會(huì)從NAND取出數(shù)據(jù)，將它們重新組裝成數(shù)據(jù)塊，再傳輸送回服務(wù)器。由于存儲(chǔ)控制器不了解文件系統(tǒng)，所以它對(duì)這些數(shù)據(jù)塊的構(gòu)成也一無(wú)所知，不管是JPEG圖像，還是Word文檔，還是可執(zhí)行文件，處理方式都一視同仁。而運(yùn)行Linux的存儲(chǔ)盤可以掛載標(biāo)準(zhǔn)文件系統(tǒng)，使智能存儲(chǔ)成為可能，同時(shí)CSD的應(yīng)用程序能了解數(shù)據(jù)塊實(shí)際代表哪些文件，并可根據(jù)文件類型和屬性直接在數(shù)據(jù)上執(zhí)行相應(yīng)操作。

　　· 存儲(chǔ)盤就等于一臺(tái)迷你服務(wù)器

　　運(yùn)行Linux的存儲(chǔ)盤能通過(guò)現(xiàn)有的標(biāo)準(zhǔn)開源系統(tǒng)進(jìn)行硬盤的管理、工作負(fù)載的開發(fā)以及新工作負(fù)載的下載。它用最低的成本將存儲(chǔ)盤變成了一個(gè)迷你服務(wù)器。

　　現(xiàn)在您可能不禁想著：難道Linux真的能在計(jì)算存儲(chǔ)中被采用嗎?這個(gè)問(wèn)題的答案是肯定的。這樣的操作系統(tǒng)不會(huì)過(guò)大嗎?這個(gè)問(wèn)題的答案是否定的。

　　當(dāng)今的存儲(chǔ)盤已經(jīng)擁有數(shù)個(gè)GB的RAM和數(shù)個(gè)TB的存儲(chǔ)空間，并具備處理進(jìn)出存儲(chǔ)盤的大量數(shù)據(jù)移動(dòng)的高性能計(jì)算的能力。一般提到Linux，大家可能會(huì)聯(lián)想到在大型服務(wù)器中安裝的大型軟件，并不適用于嵌入式設(shè)備端的存儲(chǔ)、安裝和運(yùn)行，但相比于大型服務(wù)器，在存儲(chǔ)設(shè)備上，我們對(duì)Linux的要求要低得多，其軟件大小也能有顯著的縮減。

　　存儲(chǔ)設(shè)備上運(yùn)行的Linux不再需要顯示驅(qū)動(dòng)程序，其他部分功能也不適用，可以將之簡(jiǎn)化并根據(jù)存儲(chǔ)控制器的需求進(jìn)行定制，例如，Debian 9只需要512 MB的RAM和2 GB的存儲(chǔ)空間。

　　通過(guò)利用現(xiàn)在在復(fù)雜系統(tǒng)中使用的標(biāo)準(zhǔn)開源工具，我們可以進(jìn)行CSD管理，例如利用Kubernetes、Docker或經(jīng)過(guò)擴(kuò)展的Berkeley Packet Filter(BPF)等常用工具，我們可以安全地下載和管理工作負(fù)載，以安全的方式執(zhí)行應(yīng)用程序或腳本。

　　具計(jì)算能力的實(shí)時(shí)處理器

　　從處理器的角度思考，實(shí)現(xiàn)計(jì)算型存儲(chǔ)有幾種方式，最為常見的就是將Arm Cortex-A應(yīng)用處理器嵌入固態(tài)硬盤控制器的芯片中，這樣的話，存儲(chǔ)處理器就可以直接支持Linux的運(yùn)行，這是一個(gè)不錯(cuò)的選擇。但是存儲(chǔ)設(shè)備對(duì)處理器的一個(gè)剛需是提供具有高確定性的實(shí)時(shí)行為，以保證數(shù)據(jù)搬運(yùn)的速度和效率。為了顧全計(jì)算存儲(chǔ)設(shè)備所應(yīng)該具備的實(shí)時(shí)響應(yīng)與計(jì)算能力，Arm在實(shí)時(shí)處理器Cortex-R系列開發(fā)出支持64位與Linux支持能力的Cortex-R82，與過(guò)去應(yīng)用于存儲(chǔ)設(shè)備的其他Cortex-R系列產(chǎn)品相比，最高可達(dá)到2倍的性能提升。Cortex-R82還可以加載Arm Neon技術(shù)，使存儲(chǔ)應(yīng)用較低的時(shí)延運(yùn)行包括機(jī)器學(xué)習(xí)等新的工作負(fù)載，并提供額外的加速。此外，Cortex-R82本身為64位架構(gòu)，最高可以存取1 TB的DRAM，在數(shù)據(jù)量激增和存儲(chǔ)容量顯著提高的未來(lái)供存儲(chǔ)應(yīng)用進(jìn)行先進(jìn)的數(shù)據(jù)處理。

　　存儲(chǔ)控制器傳統(tǒng)上是通過(guò)裸機(jī)/RTOS工作負(fù)載的運(yùn)行，作為數(shù)據(jù)的存儲(chǔ)及存取;而Cortex-R82提供可選用的內(nèi)存管理單元(Memory Management Unit, MMU)，讓功能豐富的操作系統(tǒng)在存儲(chǔ)控制器上直接運(yùn)行，支撐起計(jì)算存儲(chǔ)的實(shí)現(xiàn)基石。

　　計(jì)算存儲(chǔ)的未來(lái)就在眼前

　　目前已有多家合作伙伴提供基于Arm 處理器的存儲(chǔ)設(shè)備，同時(shí)整個(gè)產(chǎn)業(yè)也在致力于讓所有存儲(chǔ)開發(fā)者和廠商能一致采用一種通用的實(shí)現(xiàn)方式。Arm 正積極地參與 SNIA 計(jì)算存儲(chǔ)技術(shù)工作小組，并攜手 45 家公司和 202 名成員合作定義標(biāo)準(zhǔn)。這項(xiàng)標(biāo)準(zhǔn)將消除碎片化和缺乏兼容性的風(fēng)險(xiǎn)，進(jìn)一步加速計(jì)算存儲(chǔ)的發(fā)展與創(chuàng)新。