當(dāng)處理大量非結(jié)構(gòu)化數(shù)據(jù)時(shí)，我們需要一個(gè)存儲(chǔ)它的地方。我們選擇存儲(chǔ)數(shù)據(jù)的方式有很多，但我們今天將重點(diǎn)關(guān)注的是對(duì)象存儲(chǔ)或基于對(duì)象的存儲(chǔ)。當(dāng)處理大量數(shù)據(jù)時(shí)，這是最佳選擇，尤其是因?yàn)樗⒉话嘿F，并且使管理數(shù)據(jù)變得更加容易。

[[384017]]

如果您不熟悉它，對(duì)象存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)體系結(jié)構(gòu)，它使您可以在可伸縮的對(duì)象結(jié)構(gòu)中存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)。它使存儲(chǔ)的數(shù)據(jù)作為具有元數(shù)據(jù)和唯一標(biāo)識(shí)符的對(duì)象，從而更易于訪問(wèn)該數(shù)據(jù)?，F(xiàn)在，有許多平臺(tái)提供對(duì)象存儲(chǔ)功能。

因此，在本文中，我們將向您介紹四個(gè)有用的開(kāi)放源代碼對(duì)象存儲(chǔ)平臺(tái)，這些平臺(tái)包含健壯的功能，并在2021年成為巨大的投資。

1. LakeFS

> ScreenShot from LakeFS.

LakeFS是一個(gè)開(kāi)源數(shù)據(jù)環(huán)境工具，可讓您管理基于對(duì)象存儲(chǔ)的數(shù)據(jù)湖。這些數(shù)據(jù)湖是存儲(chǔ)庫(kù)，您可以在其中轉(zhuǎn)儲(chǔ)所有結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)類型。LakeFS還集成了許多工具，并支持Amazon S3和Google Cloud Storage。此外，它可與所有主要數(shù)據(jù)框架一起使用，例如Hive，Spark，Presto，AWS Athena等。

借助LakeFS，您可以擴(kuò)展PB級(jí)數(shù)據(jù)，還可以通過(guò)其類似Git的分支和版本控制方法來(lái)添加數(shù)據(jù)，這使您可以在不破壞數(shù)據(jù)的情況下添加更新。這種類似于Git的方法還有助于輕松撤消數(shù)據(jù)更改，這使得處理數(shù)據(jù)變得更加輕松和安全。

您還可以通過(guò)查看LakeFS文檔來(lái)了解其他特性。

2. Ceph

> ScreenShot from Ceph.

Ceph是對(duì)象存儲(chǔ)，塊存儲(chǔ)和文件系統(tǒng)開(kāi)源平臺(tái)。它提供了與Amazon的S3 REST API和OpenStack的API Swift完全兼容的對(duì)象存儲(chǔ)功能。

Ceph的對(duì)象存儲(chǔ)使您可以使用本地語(yǔ)言綁定和Ceph提供的其他技術(shù)輕松訪問(wèn)數(shù)據(jù)對(duì)象。如果您想改變公司的IT基礎(chǔ)架構(gòu)及其管理大量非結(jié)構(gòu)化數(shù)據(jù)的能力，這是一個(gè)很好的解決方案。他們還擁有一些軟件庫(kù)，這些庫(kù)使使用Java，C，C ++，Python，PHP和其他一些語(yǔ)言編寫(xiě)的軟件能夠使用本機(jī)API的功能訪問(wèn)Ceph的對(duì)象存儲(chǔ)系統(tǒng)。

3. MinIO

> ScreenShot from MinIO.

MinIO是一款開(kāi)源云存儲(chǔ)軟件，可為大型數(shù)據(jù)基礎(chǔ)架構(gòu)提供高性能的分布式對(duì)象存儲(chǔ)。它與Amazon S3 API兼容，在GitHub上有超過(guò)26K顆星，有680多位貢獻(xiàn)者在使用它。

MinIO服務(wù)器存儲(chǔ)所有類型的非結(jié)構(gòu)化數(shù)據(jù)，例如照片，視頻，日志文件等。它也可以在開(kāi)源Apache V2許可下使用，并且許多最強(qiáng)大的大數(shù)據(jù)和機(jī)器學(xué)習(xí)應(yīng)用程序都使用MinIO S3對(duì)象存儲(chǔ)。您還可以在MinIO網(wǎng)站上查看許多其他功能。

4. OpenIO

> ScreenShot from OpenIO.

OpenIO是用于管理和保護(hù)大量非結(jié)構(gòu)化數(shù)據(jù)的開(kāi)源對(duì)象存儲(chǔ)解決方案。它使您可以構(gòu)建和運(yùn)行有彈性且受保護(hù)的大規(guī)模存儲(chǔ)基礎(chǔ)架構(gòu)。

OpenIO與S3兼容，可以在任何硬件上進(jìn)行部署或云托管。在添加新硬件時(shí)，它也不需要重新分配數(shù)據(jù)。您可以立即使用自己的額外容量。OpenIO還設(shè)計(jì)用于大型基礎(chǔ)架構(gòu)和大數(shù)據(jù)工作負(fù)載。除此之外，它還提供了直觀的用戶界面，以簡(jiǎn)化存儲(chǔ)管理員的日常生活。結(jié)果，您的數(shù)據(jù)變得非常易于訪問(wèn)且易于管理。

結(jié)論

您可以使用許多開(kāi)放源代碼對(duì)象存儲(chǔ)提供程序，這些提供程序提供了我們提到的許多功能中的某些功能。它們?yōu)槟乃写鎯?chǔ)需求提供了一個(gè)很好的解決方案，并且避免了高昂的財(cái)務(wù)成本。因此，選擇具有所需功能的對(duì)象存儲(chǔ)平臺(tái)非常重要。