?大數據需要大存儲

大數據是一個包羅萬象的術語，是傳統(tǒng)數據處理軟件無法處理的大量復雜的非結構化、半結構化和結構化數據集。這些數據集是從大量資源中生成的，例如大型電子商務、醫(yī)療記錄、圖像和視頻檔案以及購買交易記錄。

大數據分析可以揭示關聯(lián)、趨勢和模式，尤其是與人類互動和行為相關的。當前有許多專業(yè)設計的硬件和軟件工具可用于大數據分析。

從大數據中提取有意義的洞察，有助于做出關鍵的業(yè)務增長決策。因此，大量IT投資用于維護和管理大數據。預計到 2023 年，大數據行業(yè)的價值將達到 770 億美元。不過，要理解大數據，第一步需要了解的是主流的大數據存儲工具。

為什么需要大數據存儲工具

到 2025 年，將需要分析超過 150 ZB 的數據。只有擁有能夠大規(guī)模擴展以應對大數據挑戰(zhàn)的安全存儲解決方案，組織才能利用大數據的力量。大數據存儲工具收集和管理大數據并實現(xiàn)實時數據分析。

一般來說，大數據存儲架構分為以下幾類：

• 地理分布的服務器節(jié)點，例如 Apache Hadoop 模型
• 數據庫框架，例如SQL (NoSQL)
• 橫向擴展網絡附加存儲 (NAS)
• 存儲區(qū)域網絡 (SAN)
• 固態(tài)硬盤 (SSD) 陣列
• 對象存儲
• 數據湖（以原始格式存儲數據的存儲庫或系統(tǒng)）
• 數據倉庫

常見的大數據存儲工具

Apache Hadoop

Apache Hadoop 是一個開源軟件庫，可以使用簡單的編程模型跨計算機集群（稱為節(jié)點）對大型復雜數據集進行分布式處理。該框架旨在擴展到數千個節(jié)點，每個節(jié)點都提供本地計算和存儲。Apache Hadoop 旨在檢測和處理應用層的故障，從而在計算機集群之上提供高度可用的服務，每個集群都可能容易出現(xiàn)故障。

Apache Hadoop 包括以下模塊：Hadoop Common、Hadoop 分布式文件系統(tǒng) (HDFS)、Hadoop Yet Another Resource Negotiator (YARN) 和 Hadoop MapReduce。Hadoop Common 是指支持其他 Hadoop 模塊的通用實用程序和庫。

HDFS 提供對在商用硬件上運行的大型復雜數據集的高吞吐量訪問。HDFS 用于將單個節(jié)點擴展到數千個節(jié)點。HDFS 的目標包括從硬件故障中快速恢復、訪問流數據、容納大型復雜數據集以及可移植性。

Hadoop YARN 是一個用于作業(yè)調度/監(jiān)控和集群資源管理的并行處理框架。

Hadoop MapReduce 是基于 YARN 的系統(tǒng)，用于并行處理大型復雜數據集。

Apache 的 Hadoop 相關項目包括 ZooKeeper、Tez、Submarine、Spark、Pig、Ozone、Mahout、Hive、HBase、Chukwa、Cassandra、Avro 和 Ambari。

Apache HBase?

Apache HBase 是一個開源、分布式、版本化的 NoSQL 數據庫，它以 Google 的 Bigtable 為模型。它在 Apache Hadoop 和 HDFS 之上提供類似于 Bigtable 的功能。

Apache HBase 的目標是在商用硬件集群上托管大型復雜表（數十億行和數百萬列）。HBase 提供模塊化和線性可擴展性，提供嚴格統(tǒng)一的讀寫。

NetApp 橫向擴展 NAS?

NetApp 是 NAS 行業(yè)的先驅。NetApp 橫向擴展 NAS 可簡化數據管理，在降低成本的同時跟上增長的步伐。大數據工具在統(tǒng)一架構內為組織提供無縫的可擴展性、效率提升和無中斷操作。

NetApp 橫向擴展 NAS 由 NetApp ONTAP 企業(yè)數據管理軟件提供支持。用戶可以使用 StorageGrid 自動將冷數據分層到私有云或公共云，以最大限度地提高性能層的容量。云層和性能可以合并到一個數據池中，從而降低總擁有成本 (TCO)。

數據可以在邊緣訪問，并且可以跨多個數據中心和所有具有集成緩存功能的主要公共云訪問。

Active IQ 使用人工智能進行 IT 運營 (AIOps) 來自動執(zhí)行 NetApp 環(huán)境的主動優(yōu)化和維護。用戶可以在不影響性能的情況下對存儲進行重復數據刪除和壓縮。借助內置的數據安全性，用戶可以保護敏感的客戶和公司信息，可以在卷級別加密傳輸中的數據和數據，以及安全地清除文件。

用于數據湖分析的Snowflake 

Snowflake 的跨云平臺提供對所有數據的快速、可靠和安全的訪問。Snowflake for Data Lake Analytics 結合了任何格式的非結構化、半結構化和結構化數據；提供快速可靠的處理和查詢；并實現(xiàn)安全協(xié)作。

大型和復雜的數據集可以存儲在 Snowflake 管理的存儲中，并具有靜態(tài)和傳輸中的加密、自動微分區(qū)和高效壓縮?？梢栽趩蝹€平臺上使用所選擇的語言（Scala、Python 或 Java）支持非結構化、半結構化和結構化數據上的大量工作負載。借助 Snowflake 的彈性處理引擎，可以運行管道以實現(xiàn)低維護、節(jié)省成本和可靠的性能。

可以使用選擇的語言（SQL、Scala、Python 或 Java）和 Snowpark 來簡化管道開發(fā)——無需管理數據、服務或集群的額外副本。幾乎無限的專用計算資源可以支持無限數量的并發(fā)查詢和用戶。使用內置的訪問歷史記錄，可以知道誰在訪問哪些數據。Snowflake 支持利益相關者之間的協(xié)作，并通過安全、實時的數據共享豐富企業(yè)的數據湖。借助可擴展的基于行的訪問策略，企業(yè)可以跨云實施行和列級別的安全性。

Databricks Lakehouse 平臺?

Databricks Lakehouse Platform 結合了最佳的數據湖和數據倉庫。大數據存儲工具提供數據倉庫的性能、強大的治理和可靠性，以及數據湖的機器學習 (ML) 支持、靈活性和開放性。

Databricks Lakehouse Platform 來自 Koalas、MLflow、Delta Lake 和 Apache Spark 的原始創(chuàng)建者。企業(yè)可以在一個平臺上統(tǒng)一數據倉庫和 AI 用例。統(tǒng)一的方法消除了傳統(tǒng)上將 ML、數據科學、商業(yè)智能 (BI) 和分析分開的孤島。大數據工具建立在開源和開放標準之上，以最大限度地提高靈活性。Databricks Lakehouse Platform 的通用數據治理、安全性和管理方法可幫助企業(yè)更快地進行創(chuàng)新并提高運營效率。

對于大數據存儲工具的選擇

大數據行業(yè)不斷發(fā)展，并為眾多面向業(yè)務的應用程序提供動力。例如，谷歌和 Facebook 等科技巨頭利用大數據的潛力為用戶提供有針對性的廣告和內容。分析大數據的第一步是安全存儲。文中僅作為參考，企業(yè)需找到針對自身業(yè)務，能滿足自身需求的大數據存儲解決方案。