大數(shù)據(jù)時代和大數(shù)據(jù)分析時代已經(jīng)來臨。到2025年，全球數(shù)據(jù)領域估計將增長到175ZB。

當然，互聯(lián)網(wǎng)流量只是全球創(chuàng)建和存儲的數(shù)據(jù)餅中的一小部分，其中也包括所有個人和企業(yè)數(shù)據(jù)。如今，整個世界的總數(shù)據(jù)量介于10至50ZB之間。我們?nèi)绾翁幚硭羞@些數(shù)據(jù)？通過網(wǎng)絡，個人設備，物聯(lián)網(wǎng)等不斷收集數(shù)據(jù)有什么好處？

答案是：“分析以獲取見解”。

在無盡的數(shù)據(jù)海洋中的某個地方，存在著問題的答案，這些問題將推動企業(yè)、政府和整個社會的未來決策。

[[383122]]

但是有了這么多數(shù)據(jù)，應該從哪里開始呢？

在本文中，我將向大家介紹大數(shù)據(jù)分析的基礎知識，并幫助理解為什么它如此重要。你將了解它帶來的好處、面臨的挑戰(zhàn)、如何分析數(shù)據(jù)以及大數(shù)據(jù)分析領域的諸多問題。

-------------------------------------------------------------------------------------------

目錄

• 什么是大數(shù)據(jù)分析
• 大數(shù)據(jù)分析的好處
• 大數(shù)據(jù)分析挑戰(zhàn)
• 資料類型
• 大數(shù)據(jù)分析的類型
• 數(shù)據(jù)分析過程

-------------------------------------------------------------------------------------------

一、什么是大數(shù)據(jù)分析？
大數(shù)據(jù)涉及“三個V”：體積、速度、種類。

IBM將大數(shù)據(jù)定義為一個術(shù)語，適用于其大小或類型超出傳統(tǒng)關(guān)系數(shù)據(jù)庫以低延遲捕獲、管理和處理數(shù)據(jù)的能力的數(shù)據(jù)集。

大數(shù)據(jù)具有以下一個或多個特征：高容量、高速度、高多樣性。人工智能（AI）、移動、社交和物聯(lián)網(wǎng)（IoT）通過新的數(shù)據(jù)形式和數(shù)據(jù)源來推動數(shù)據(jù)復雜性。例如，大數(shù)據(jù)來自傳感器、設備、視頻和音頻、網(wǎng)絡、日志文件、事務性應用程序、Web和社交媒體，其中大部分實時且大規(guī)模生成。

大數(shù)據(jù)分析使用先進的分析技術(shù)來處理龐大、多樣的數(shù)據(jù)集，這些數(shù)據(jù)集包括從不同來源收集的多種形式的數(shù)據(jù)（結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)），大小從TB到PB。

二、大數(shù)據(jù)分析的好處
大數(shù)據(jù)洞察力可以為公司的營收和營收帶來重大利益。從幫助發(fā)現(xiàn)根本問題到更好地了解客戶和運營，再到通知交流，大數(shù)據(jù)洞察力對組織的影響幾乎無窮大。

1、大數(shù)據(jù)分析在業(yè)務中的好處

更快，更明智的決策：實時處理和分析數(shù)據(jù)的能力意味著公司可以立即采取行動來解決問題，調(diào)整策略或破譯市場趨勢。

高效的運營：許多公司使用大數(shù)據(jù)分析來獲取有關(guān)內(nèi)部供應鏈或服務的見解，允許他們進行更改并根據(jù)最新信息簡化運營。

降低成本：公司不僅可以通過提高運營效率來降低成本，而且當今的大數(shù)據(jù)分析基礎架構(gòu)的成本要比過去的數(shù)據(jù)系統(tǒng)低得多。借助云，公司不再需要建立整個數(shù)據(jù)中心、管理硬件或雇用大型IT人才來維持工作。這些基于云的分析“堆棧”意味著他們可以從自己的數(shù)據(jù)中獲得更多收益而無需花費很多資金。

改進的產(chǎn)品或服務開發(fā)：實時的市場，客戶或行業(yè)洞察力可以幫助公司構(gòu)建下一個出色的產(chǎn)品，或創(chuàng)建客戶急需的服務。

2、大數(shù)據(jù)分析在政務中的好處

大數(shù)據(jù)分析的影響并不僅限于私營部門。如今，政府利用大數(shù)據(jù)為新的政策議程提供信息，對基礎設施進行全面改進，并投資于新的社會計劃。以下是一些公共部門工作的大數(shù)據(jù)分析的最新示例。

公共教育：教育部使用大數(shù)據(jù)來改善教學方法和學生學習。高等教育機構(gòu)應用分析來提高服務質(zhì)量，從而提高學生的成績。

經(jīng)濟法規(guī)：大數(shù)據(jù)分析有助于從歷史經(jīng)濟數(shù)據(jù)創(chuàng)建財務模型，以制定未來的政策。證券交易委員會使用大數(shù)據(jù)來規(guī)范金融活動，發(fā)現(xiàn)不良行為者并發(fā)現(xiàn)金融欺詐行為。

環(huán)境保護：二十多年來，能源部在其研究中一直使用數(shù)據(jù)分析來更好地預測天氣模式、森林火災和其他環(huán)境風險。

[[383123]]

三、大數(shù)據(jù)分析面臨的挑戰(zhàn)
盡管大數(shù)據(jù)應用程序在企業(yè)中無處不在，但是部署大數(shù)據(jù)分析策略的公司和政府仍然面臨許多挑戰(zhàn)。

1、數(shù)據(jù)增長

如前所述，數(shù)據(jù)創(chuàng)建的速度驚人。企業(yè)使用大數(shù)據(jù)分析面臨的最大挑戰(zhàn)之一是存儲和分析每天收集的所有數(shù)據(jù)。使得這一點特別困難的是必須進行分析的非結(jié)構(gòu)化數(shù)據(jù)量（稍后會詳細介紹）。

如果公司要使用數(shù)據(jù)，則必須將其存儲在某種類型的分析數(shù)據(jù)庫中，例如數(shù)據(jù)倉庫。隨著人工智能（AI）和機器學習（ML）應用的興起，數(shù)據(jù)湖也經(jīng)常被使用。當然，存儲只是其中的一部分，維護沒有錯誤、重復和過時或“壞”數(shù)據(jù)的健康數(shù)據(jù)庫，還需要人力資源進行管理。這就是為什么當今一些以數(shù)據(jù)為主導的公司擁有由工程師、數(shù)據(jù)科學家和分析師組成的大型數(shù)據(jù)團隊的原因。隨著公司擴展和創(chuàng)建更多數(shù)據(jù)，隨著時間的推移，數(shù)據(jù)基礎架構(gòu)變得越來越復。

2、資料整合

如今，數(shù)據(jù)是從各種不同的來源收集的，包括企業(yè)應用程序，第三方軟件，社交媒體，電子郵件服務器等，這使得將數(shù)據(jù)集中到單個數(shù)據(jù)庫中進行分析變得很困難。

由于數(shù)據(jù)集成仍然是公司面臨的挑戰(zhàn)，因此現(xiàn)代ETL和ELT工具不斷涌現(xiàn)，它們通過自動執(zhí)行數(shù)據(jù)收集和傳輸?shù)綌?shù)據(jù)倉庫來簡化數(shù)據(jù)管道。這項技術(shù)使數(shù)據(jù)集中成為可能，并消除了業(yè)務團隊無法訪問的數(shù)據(jù)孤島。

3、及時的見解

就像這個世界上大多數(shù)事物一樣，數(shù)據(jù)也會過期。隨著當今創(chuàng)建新數(shù)據(jù)的速度加快，團隊必須利用最新信息來制定決策，這不僅是必要的，而且也是當務之急。否則，他們冒著按照過時的假設進行操作的風險。

由于數(shù)據(jù)的保質(zhì)期相對較短，因此組織必須在收集數(shù)據(jù)時實時分析數(shù)據(jù)。這需要強大的數(shù)據(jù)系統(tǒng)來在創(chuàng)建數(shù)據(jù)后立即收集數(shù)據(jù)，并將其轉(zhuǎn)換并存儲在分析數(shù)據(jù)庫中，以便在幾分鐘內(nèi)就可以對其進行查詢。

4、管治

管理業(yè)務數(shù)據(jù)可能具有挑戰(zhàn)性。如前所述，它在不斷變化、老化并在多個系統(tǒng)之間移動。這可能會難以確保整個組織的數(shù)據(jù)完整性、可用性、可訪問性和安全性。這就是治理流程的來龍去脈。有了正確的大數(shù)據(jù)治理策略，數(shù)據(jù)就可以集中、一致、準確、可用且安全。大數(shù)據(jù)治理（和數(shù)據(jù)建模）還允許使用一組通用的數(shù)據(jù)格式和定義。

數(shù)據(jù)治理至關(guān)重要。如果數(shù)據(jù)對于業(yè)務部門不可用或不準確，則他們將無法做出明智的決策。數(shù)據(jù)隱私法規(guī)的增加也需要其他治理實踐來滿足合規(guī)性。這些法規(guī)正在推動大量未來的治理策略。

5、安全

數(shù)據(jù)安全將始終為企業(yè)帶來挑戰(zhàn)。數(shù)據(jù)非常有價值，并且隨著收集的敏感信息量的增加，總會有減輕安全隱患的機會。

一些更常見的挑戰(zhàn)來自需要跟上快速變化的法規(guī)和安全形勢。這需要更新安全補丁，并在出現(xiàn)新威脅時更新IT系統(tǒng)。當今的分布式技術(shù)框架中固有的漏洞可以為不良行為者提供破壞系統(tǒng)的機會。還普遍使用了虛假數(shù)據(jù)或反情報信息，這些數(shù)據(jù)可用于破壞數(shù)據(jù)庫并阻礙公司從虛構(gòu)信息中破譯事實。

[[383124]]

四、資料類型
1、定量數(shù)據(jù)和定性數(shù)

定量數(shù)據(jù)：

定量數(shù)據(jù)由硬數(shù)字組成，將其視為可以計數(shù)的事物。定量分析技術(shù)包括：

• 回歸：預測因變量和一個或多個自變量之間的關(guān)系。
• 分類（概率估計）：預測或計算個人屬于某個類別的可能性。
• 聚類：基于相似性對總體中的個體進行分組。

定性數(shù)據(jù)：

定性數(shù)據(jù)比定量數(shù)據(jù)更具主觀性，結(jié)構(gòu)性也較差。在業(yè)務領域，會遇到來自客戶調(diào)查和訪談的定性數(shù)據(jù)。常見的分析方法包括：

內(nèi)容分析：用于對不同類型的文本和媒體進行分類。
敘事分析：分析來自各種來源的內(nèi)容，包括訪談和實地觀察。在進行分析時，確保指標采用公司已使用的格式。例如，如果公司按季度預算，則指標應反映相同的內(nèi)容。

2、結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)

數(shù)據(jù)（無論是定量的還是定性的）可以根據(jù)信息的性質(zhì)、信息的收集方式、存儲的位置以及是由人還是由機器創(chuàng)建的，而采用多種形狀。要考慮的數(shù)據(jù)結(jié)構(gòu)有兩個主要級別：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

結(jié)構(gòu)化數(shù)據(jù)：

結(jié)構(gòu)化數(shù)據(jù)是經(jīng)過嚴格格式化的信息，因此可以在關(guān)系數(shù)據(jù)庫中輕松地進行搜索。通常是定量信息。示例包括名稱、日期、電子郵件、價格以及我們用來查看存儲在電子表格中的其他信息。

結(jié)構(gòu)化數(shù)據(jù)通過機器代碼進行組織和讀取，從而使使用SQL在關(guān)系數(shù)據(jù)庫中輕松添加、搜索或操作結(jié)構(gòu)化數(shù)據(jù)成為可能。例如，電子商務在銷售點收集的信息可能包括產(chǎn)品名稱、購買日期、價格、UPC編號、付款方式和客戶信息，所有這些信息很容易在以后搜索或分析以發(fā)現(xiàn)趨勢或回答問題。

乍一看，很難僅從結(jié)構(gòu)化數(shù)據(jù)中提取見解。但是使用分析工具，可能會破譯有趣的趨勢，例如波士頓的客戶傾向于在2月和3月以更高的價格購買特定產(chǎn)品。這種洞察力可能會提醒你在那幾個月內(nèi)增加零售商店該商品的庫存，以滿足區(qū)域需求。

非結(jié)構(gòu)化數(shù)據(jù)：

非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)完全相反。它通常是定性數(shù)據(jù)，使用傳統(tǒng)的數(shù)據(jù)庫或電子表格進行搜索，操作和分析具有挑戰(zhàn)性。常見示例包括圖像、音頻文件、文檔格式或某人的社交媒體活動。

非結(jié)構(gòu)化數(shù)據(jù)缺乏預先定義的數(shù)據(jù)模型，因此不容易在關(guān)系數(shù)據(jù)庫中讀取或分析，這意味著需要非關(guān)系（或NoSQL）數(shù)據(jù)庫或數(shù)據(jù)湖來進行搜索。要從此類數(shù)據(jù)中提取見解，需要使用高級分析技術(shù)，例如數(shù)據(jù)挖掘、數(shù)據(jù)堆疊和統(tǒng)計。

非結(jié)構(gòu)化的數(shù)據(jù)洞察力可以幫助公司了解諸如客戶情緒和偏好、購買習慣等內(nèi)容。分析這些類型的數(shù)據(jù)更具難度。但是，有了正確的資源，可以為你帶來競爭優(yōu)勢的情報。

半結(jié)構(gòu)化數(shù)據(jù)：

半結(jié)構(gòu)化數(shù)據(jù)介于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)格式之間。該數(shù)據(jù)具有明確定義的特征，但缺乏嚴格的關(guān)系結(jié)構(gòu)。它包括可創(chuàng)建分類層次結(jié)構(gòu)的語義標簽或元數(shù)據(jù)，從而使其在分析過程中更易于機讀。

大多數(shù)人遇到的最常見的日常示例是智能手機照片。用智能手機拍攝的普通照片包含非結(jié)構(gòu)化的圖像內(nèi)容，但帶有時間戳，經(jīng)過地理標記并攜帶有關(guān)設備本身的可識別信息。一些常見的半結(jié)構(gòu)化數(shù)據(jù)格式包括JSON，CSV和XML文件類型。

半結(jié)構(gòu)化數(shù)據(jù)構(gòu)成了當今世界上生成的大多數(shù)數(shù)據(jù)。想一想每天拍攝的所有照片。半結(jié)構(gòu)化數(shù)據(jù)通常與移動應用程序，設備和物聯(lián)網(wǎng)（IoT）相關(guān)聯(lián)。

[[383125]]

五、大數(shù)據(jù)分析的類型
有四種主要類型的分析，它們的復雜性和可為組織生成的見解的程度各不相同。盡管有這四個類別，但每個類別都是相互關(guān)聯(lián)的，可以彼此結(jié)合使用，以解鎖更深入，更有意義的理解。

1、描述性分析

描述性分析可幫助你回答“正在發(fā)生什么？”的問題。它是最常見的分析形式，也是所有其他類型分析的基礎。

任何看過實時儀表板或閱讀季度報告的人都應該熟悉描述性分析。通常與跟蹤組織內(nèi)的關(guān)鍵績效指標相關(guān)。實際上，這可能包括衡量市場營銷和銷售指標，例如第四季度合格潛在客戶的數(shù)量。

2、診斷分析

一旦你知道發(fā)生了什么，自然會追蹤到一個問題：“為什么發(fā)生？” 這就是診斷分析的亮點。

這種類型的分析需要在“儀表板后面”進行深入挖掘，以更好地了解特定結(jié)果或持續(xù)趨勢的根本原因。在實踐中，診斷分析可以幫助營銷團隊了解哪些廣告系列吸引了合格的潛在客戶。

3、預測分析

預測分析可以幫助回答“未來最有可能發(fā)生什么？”

基于過去的趨勢，這種類型的分析使用歷史數(shù)據(jù)來預測未來的結(jié)果。預測分析建立在通過描述性和診斷性分析獲得的見解的基礎上，并使用統(tǒng)計模型來預測未來最可能發(fā)生的情況。

4、規(guī)范分析

規(guī)范分析有助于組織理解“下一步我們該做什么？” 解決當前的趨勢或問題。它比其他分析形式更為復雜，這意味著大多數(shù)企業(yè)都缺乏部署它的資源。

規(guī)范分析通常需要使用高級數(shù)據(jù)科學和人工智能來消化大量信息，并提出解決現(xiàn)有組織問題的決策。

[[383126]]

六、大數(shù)據(jù)分析流程
如果沒有正確的流程，將很難從組織的數(shù)據(jù)中獲得分析見解。收集、處理和分析數(shù)據(jù)的過程與僅原始數(shù)據(jù)一樣重要。正確的過程可以確保從數(shù)據(jù)中得出的見解是準確、一致的，并且沒有產(chǎn)生錯誤趨勢。

1、了解數(shù)據(jù)目標和要求

對公司目標和需求的清晰了解將幫助你從一開始就進行大數(shù)據(jù)分析。你將收集什么類型的數(shù)據(jù)？你將如何存儲它？誰來分析？所有這些問題都很重要，最終不僅決定你需要建立的數(shù)據(jù)基礎架構(gòu)，而且還決定了你需要哪種類型的分析工具。

2、收集和集中數(shù)據(jù)以進行分析

明確了解目標后，需要從系統(tǒng)和應用程序中提取數(shù)據(jù)并將其傳輸?shù)綌?shù)據(jù)倉庫或數(shù)據(jù)湖。這就是ELT和ETL解決方案發(fā)揮作用的地方。它們幫助將數(shù)據(jù)復制到云倉庫進行分析。這種集中式數(shù)據(jù)存儲可讓你更全面地了解整個公司的情況，并消除了沿途可能存在的任何數(shù)據(jù)孤島。可以從應用程序、電子商務事件、其他數(shù)據(jù)庫等捕獲數(shù)據(jù)。

3、為分析建模數(shù)據(jù)

一旦將數(shù)據(jù)放在中央數(shù)據(jù)存儲中，就可以從技術(shù)上對其進行分析。但是在打開數(shù)據(jù)大門之前，你可能需要首先考慮數(shù)據(jù)模型。數(shù)據(jù)建模定義了數(shù)據(jù)如何關(guān)聯(lián)，其含義以及如何一起聯(lián)動。一個有效的模型可以使數(shù)據(jù)易于訪問和使用，并確保人們在適當?shù)沫h(huán)境中使用正確的信息，并且它需要數(shù)據(jù)與領域?qū)＜抑g的緊密協(xié)作。

4、分析數(shù)據(jù)

在可查詢的數(shù)據(jù)倉庫中收集、處理、存儲和建模數(shù)據(jù)之后，你將需要一個分析工具，該工具可以完成所有數(shù)據(jù)的搜索并返回可操作的見解以指導業(yè)務決策。從實時分析工具中充分了解你的需求至關(guān)重要。每個公司都是獨一無二的，需求會有所不同。我們建議評估內(nèi)部需求，并使采購決策與這些目標保持一致。

還需要注意的是，并非所有分析工具都是相同的。公司通常會為不同的團隊或業(yè)務部門部署多種工具。考慮到這一點，這里是選擇分析工具時要考慮的一些準則。

5、解釋見解并告知決策

使用各種類型的分析方法，你可以從公司數(shù)據(jù)中發(fā)現(xiàn)各種見解。可以分析過去，實時跟蹤操作，甚至預測未來可能發(fā)生的情況。這些趨勢可以提高競爭優(yōu)勢，幫助創(chuàng)建更好的產(chǎn)品和服務，提供更好的客戶體驗等等。