01 什么是數(shù)據(jù)科學(xué)?數(shù)據(jù)科學(xué)是做什么的?

首先從數(shù)據(jù)科學(xué)領(lǐng)域的討論開(kāi)始。 讓我們從定義數(shù)據(jù)科學(xué)以及數(shù)據(jù)科學(xué)家的角色和責(zé)任開(kāi)始討論，這兩個(gè)角色描述了人工智能和機(jī)器學(xué)習(xí)的領(lǐng)域和執(zhí)行其計(jì)劃所需要的技能(請(qǐng)注意，很多專(zhuān)業(yè)角色越來(lái)越普遍，如機(jī)器學(xué)習(xí)工程師)。

盡管數(shù)據(jù)科學(xué)家通常有許多不同的教育背景和工作經(jīng)驗(yàn)，但大多數(shù)人應(yīng)該在四個(gè)基本領(lǐng)域(理想情況下是專(zhuān)家)都很強(qiáng)，我稱(chēng)之為數(shù)據(jù)科學(xué)專(zhuān)業(yè)知識(shí)的四大支柱。數(shù)據(jù)科學(xué)家應(yīng)該具備下述這些領(lǐng)域(沒(méi)有特別的順序)的專(zhuān)業(yè)知識(shí)：

• 商業(yè)或相關(guān)的商業(yè)領(lǐng)域
• 數(shù)學(xué)(包括統(tǒng)計(jì)和概率)
• 計(jì)算機(jī)科學(xué)(包括軟件編程)
• 書(shū)面和口頭交流

還非常需要其他的一些技能和專(zhuān)業(yè)知識(shí)，但在我看來(lái)，主要是上述四項(xiàng)。

實(shí)際上，人們通常在四個(gè)支柱中的一個(gè)或兩個(gè)方面很強(qiáng)大，但很少在四個(gè)方面都強(qiáng)大。如果碰巧遇到一個(gè)在四個(gè)方面都很強(qiáng)大的數(shù)據(jù)科學(xué)家，那么他是真正的專(zhuān)家，您就發(fā)現(xiàn)了一個(gè)常被稱(chēng)為獨(dú)角獸的人。在四個(gè)支柱中都擁有相當(dāng)程度專(zhuān)業(yè)知識(shí)和能力的人很難找到的，嚴(yán)重缺乏。

因此，許多公司已經(jīng)開(kāi)始圍繞數(shù)據(jù)科學(xué)的特定支柱設(shè)置專(zhuān)門(mén)的角色，當(dāng)把這些人集合在一起時(shí)，就相當(dāng)于擁有了數(shù)據(jù)科學(xué)家。

例如組建一個(gè)三人團(tuán)隊(duì)，其中一個(gè)人有MBA背景，一個(gè)是統(tǒng)計(jì)學(xué)家，另一個(gè)是機(jī)器學(xué)習(xí)或軟件工程師，當(dāng)然團(tuán)隊(duì)還可以包括數(shù)據(jù)工程師。這個(gè)團(tuán)隊(duì)就可以同時(shí)執(zhí)行多個(gè)任務(wù)，每個(gè)人在任何給定時(shí)間都專(zhuān)注于計(jì)劃的某個(gè)方面。

基于這些支柱，數(shù)據(jù)科學(xué)家應(yīng)該能夠利用現(xiàn)有數(shù)據(jù)源，根據(jù)需要?jiǎng)?chuàng)建新數(shù)據(jù)源，以提取有意義的信息、產(chǎn)生深入可操作的洞見(jiàn)、支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的決策、以及構(gòu)建人工智能解決方案。

這需要業(yè)務(wù)領(lǐng)域的專(zhuān)業(yè)知識(shí)、有效的溝通和結(jié)果解讀，以及利用所有相關(guān)的統(tǒng)計(jì)技術(shù)、編程語(yǔ)言、軟件包、庫(kù)和數(shù)據(jù)基礎(chǔ)設(shè)施。簡(jiǎn)而言之，這就是數(shù)據(jù)科學(xué)所要做的事情。

02 機(jī)器學(xué)習(xí)的定義及其關(guān)鍵特點(diǎn)

機(jī)器學(xué)習(xí)經(jīng)常被認(rèn)為是人工智能的子集。我們先討論機(jī)器學(xué)習(xí)。

記住我們對(duì)人工智能的簡(jiǎn)單定義，即機(jī)器展示的智能。這基本上描述了機(jī)器從信息中學(xué)習(xí)并應(yīng)用所學(xué)知識(shí)做事以及繼續(xù)從經(jīng)驗(yàn)中學(xué)習(xí)的能力。

在許多人工智能應(yīng)用中，機(jī)器學(xué)習(xí)是人工智能應(yīng)用過(guò)程中用于學(xué)習(xí)的一組技術(shù)。一些具體技術(shù)可以被視為人工智能和機(jī)器學(xué)習(xí)的子集，通常包括神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)，如圖4-1所示：

▲圖4-1 人工智能，機(jī)器學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之間的關(guān)系

我非常喜歡這個(gè)簡(jiǎn)潔的機(jī)器學(xué)習(xí)定義，這是我在谷歌設(shè)計(jì)博客文章中讀到的：“機(jī)器學(xué)習(xí)是一門(mén)根據(jù)模式和關(guān)系進(jìn)行預(yù)測(cè)的科學(xué)，這些模式和關(guān)系是從數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)的。”

我對(duì)機(jī)器學(xué)習(xí)通常的非技術(shù)定義是：機(jī)器學(xué)習(xí)是不需要顯性編程，從數(shù)據(jù)中自動(dòng)學(xué)習(xí)的過(guò)程，而且具有根據(jù)經(jīng)驗(yàn)擴(kuò)展知識(shí)的能力。

機(jī)器學(xué)習(xí)與基于規(guī)則技術(shù)的關(guān)鍵區(qū)別在于不需要顯性編程，特別是在特定領(lǐng)域、行業(yè)和業(yè)務(wù)功能方面。諸如深度學(xué)習(xí)之類(lèi)的高級(jí)技術(shù)可能根本不需要領(lǐng)域的專(zhuān)門(mén)知識(shí)，而在其他情況下，領(lǐng)域的專(zhuān)門(mén)知識(shí)是以選擇或設(shè)計(jì)訓(xùn)練模型特征的形式提供的(在非機(jī)器學(xué)習(xí)應(yīng)用程序中，稱(chēng)為變量、數(shù)據(jù)字段或數(shù)據(jù)屬性)。

在這兩種情況下，不需要顯性編程絕對(duì)關(guān)鍵，而且實(shí)際上是機(jī)器學(xué)習(xí)要理解的最為重要的方面。讓我們通過(guò)下面的案例來(lái)解釋。

在機(jī)器學(xué)習(xí)出道之前，假設(shè)您是負(fù)責(zé)創(chuàng)建預(yù)測(cè)模型的程序員，該模型能夠預(yù)測(cè)某類(lèi)貸款的申請(qǐng)人是否會(huì)拖欠，因此決定是否應(yīng)該批準(zhǔn)該筆貸款。為此您可能編寫(xiě)一個(gè)很長(zhǎng)的專(zhuān)門(mén)針對(duì)金融行業(yè)的軟件程序，輸入個(gè)人的FICO分?jǐn)?shù)、信用記錄和貸款申請(qǐng)類(lèi)型等信息。

代碼包含許多非常明確的編程語(yǔ)句(例如條件語(yǔ)句和循環(huán)語(yǔ)句)。偽代碼看上去(用普通英語(yǔ)編寫(xiě)的代碼)可能像下面這樣：

If the persons FICO score is above 800, then they will likely not default 
    and should be approved 
Else if the persons FICO score is between 700 and 800 
    If the person has never defaulted on any loan, they will likely not 
      default and should be approved 
    Else the will likely default and should not be approved 
Else if the persons FICO score is less than 700 
        ... 

這是一個(gè)非常顯性的編程(基于規(guī)則預(yù)測(cè)的模型)案例，它包含以代碼形式表達(dá)的貸款行業(yè)特定領(lǐng)域的專(zhuān)業(yè)知識(shí)。該程序?qū)儆谟簿幋a，只能做一件事。它需要領(lǐng)域及行業(yè)的專(zhuān)業(yè)知識(shí)來(lái)確定規(guī)則(場(chǎng)景)。

該程序非常死板，不一定代表所有可能導(dǎo)致潛在貸款違約的因素。對(duì)于貸款行業(yè)出現(xiàn)的各種新變化，還必須通過(guò)手動(dòng)輸入來(lái)更新程序。

看得出來(lái)這種方式不是特別有效或最優(yōu)，也不會(huì)產(chǎn)生可能的最佳預(yù)測(cè)模型。另一方面，機(jī)器學(xué)習(xí)使用正確的數(shù)據(jù)卻可以做到這一點(diǎn)，而且無(wú)需任何顯性編程，特別是包含貸款行業(yè)專(zhuān)業(yè)知識(shí)的代碼。

這里對(duì)機(jī)器學(xué)習(xí)做出了有些過(guò)于簡(jiǎn)單的解釋?zhuān)瑱C(jī)器學(xué)習(xí)能夠在不知道相關(guān)數(shù)據(jù)或領(lǐng)域的情況下以數(shù)據(jù)集作為輸入，經(jīng)過(guò)同樣不知道相關(guān)數(shù)據(jù)或領(lǐng)域的機(jī)器學(xué)習(xí)算法處理生成預(yù)測(cè)模型，該模型擁有專(zhuān)業(yè)知識(shí)并了解如何將輸入映射到輸出，使最準(zhǔn)確的預(yù)測(cè)成為可能。

如果能理解這一點(diǎn)，大概就在高層次上理解了機(jī)器學(xué)習(xí)的目的。

值得一提的是，雖然機(jī)器學(xué)習(xí)算法本身能夠在不需要顯性編程的情況下學(xué)習(xí)，但是在構(gòu)思、構(gòu)建和測(cè)試基于機(jī)器學(xué)習(xí)的人工智能解決方案的整個(gè)過(guò)程中，仍然非常需要人的參與。

03 機(jī)器學(xué)習(xí)的方式

機(jī)器通過(guò)各種不同的技術(shù)從數(shù)據(jù)中學(xué)習(xí)，其中最主要的包括有監(jiān)督、無(wú)監(jiān)督、半監(jiān)督、強(qiáng)化和轉(zhuǎn)移學(xué)習(xí)。用于訓(xùn)練和優(yōu)化機(jī)器學(xué)習(xí)模型的數(shù)據(jù)通常被分為有標(biāo)簽和無(wú)標(biāo)簽兩類(lèi)，如圖4-2所示。

▲圖4-2 有標(biāo)簽與無(wú)標(biāo)簽數(shù)據(jù)

有標(biāo)簽數(shù)據(jù)有目標(biāo)變量或值，對(duì)于給定的特征值組合(也稱(chēng)為變量、屬性、字段)，可以對(duì)目標(biāo)變量或值進(jìn)行預(yù)測(cè)。預(yù)測(cè)建模(機(jī)器學(xué)習(xí)的應(yīng)用)在有標(biāo)簽數(shù)據(jù)集上訓(xùn)練模型，然后預(yù)測(cè)新特征值組合的目標(biāo)值。因?yàn)閿?shù)據(jù)集中存在目標(biāo)數(shù)據(jù)所以稱(chēng)為有標(biāo)簽數(shù)據(jù)。

另一方面，無(wú)標(biāo)簽數(shù)據(jù)也有特征值，但沒(méi)有特定的目標(biāo)數(shù)據(jù)或標(biāo)簽。這使得無(wú)標(biāo)簽數(shù)據(jù)特別適合于分組(即聚類(lèi)和分割)及異常檢測(cè)。

值得注意的是，很不幸，可能很難獲得足夠數(shù)量的有標(biāo)簽數(shù)據(jù)，而且產(chǎn)生這些數(shù)據(jù)可能會(huì)花費(fèi)大量的金錢(qián)和時(shí)間?？梢园褬?biāo)簽自動(dòng)添加到數(shù)據(jù)記錄中，也可能需要人工添加(數(shù)據(jù)記錄也稱(chēng)為樣本，可以想象為電子表格中的一行)。

有監(jiān)督學(xué)習(xí)是指使用有標(biāo)簽數(shù)據(jù)的機(jī)器學(xué)習(xí)，而無(wú)監(jiān)督學(xué)習(xí)使用無(wú)標(biāo)簽數(shù)據(jù)。半監(jiān)督學(xué)習(xí)使用有標(biāo)簽和無(wú)標(biāo)簽的混合數(shù)據(jù)。

讓我們從高層次簡(jiǎn)要討論不同的學(xué)習(xí)類(lèi)型。有監(jiān)督學(xué)習(xí)有許多潛在的應(yīng)用，如預(yù)測(cè)、個(gè)性化推薦系統(tǒng)和模式識(shí)別。

有監(jiān)督學(xué)習(xí)又被進(jìn)一步細(xì)分為回歸和分類(lèi)兩類(lèi)應(yīng)用。這兩種方法都被用來(lái)做預(yù)測(cè)。回歸主要用于預(yù)測(cè)單個(gè)離散或?qū)崝?shù)值，而分類(lèi)則用于將一個(gè)或多個(gè)類(lèi)分配給某組輸入數(shù)據(jù)(例如電子郵件中的垃圾或非垃圾郵件)。

無(wú)監(jiān)督學(xué)習(xí)最常見(jiàn)的應(yīng)用是聚類(lèi)和異常檢測(cè)，一般來(lái)說(shuō)，無(wú)監(jiān)督學(xué)習(xí)主要聚焦在模式識(shí)別。其他應(yīng)用包括主成份分析(PCA)和奇異值分解(SVD)的降維(減少數(shù)據(jù)變量的數(shù)量，簡(jiǎn)化模型的復(fù)雜性)。

盡管基礎(chǔ)數(shù)據(jù)無(wú)標(biāo)簽，但是當(dāng)標(biāo)簽、特征或配置通過(guò)無(wú)監(jiān)督學(xué)習(xí)過(guò)程本身以外的過(guò)程應(yīng)用于集群(分組)發(fā)現(xiàn)時(shí)，無(wú)監(jiān)督學(xué)習(xí)技術(shù)就可以應(yīng)用到有用的預(yù)測(cè)中。

無(wú)監(jiān)督學(xué)習(xí)的挑戰(zhàn)之一是沒(méi)有特別好的方法來(lái)確定無(wú)監(jiān)督學(xué)習(xí)生成模型的性能。輸出全憑您對(duì)它的理解，沒(méi)有正確或錯(cuò)誤。這是因?yàn)閿?shù)據(jù)中沒(méi)有標(biāo)簽或目標(biāo)變量，因此沒(méi)有可用于比較模型結(jié)果的數(shù)據(jù)。盡管存在這種局限性，無(wú)監(jiān)督學(xué)習(xí)仍然非常強(qiáng)大，并且有許多實(shí)際應(yīng)用。

當(dāng)無(wú)標(biāo)簽數(shù)據(jù)很豐富，而有標(biāo)簽數(shù)據(jù)不多時(shí)，半監(jiān)督學(xué)習(xí)可以是一種非常有用的方法。

在涉及有標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)的機(jī)器學(xué)習(xí)任務(wù)中，該過(guò)程接受數(shù)據(jù)輸入并將其映射到某種類(lèi)型的輸出。大多數(shù)機(jī)器學(xué)習(xí)模型的輸出非常簡(jiǎn)單，要么是一個(gè)數(shù)字(連續(xù)的或離散的，例如3.1415)，要么是一個(gè)或多個(gè)類(lèi)別(即類(lèi);例如“垃圾郵件”，“熱狗”)，要么是概率(例如35%的可能性)。

在更高級(jí)的人工智能案例中，輸出可能是結(jié)構(gòu)化的預(yù)測(cè)(即一組預(yù)測(cè)值而非單個(gè)值)，預(yù)測(cè)的一系列字符和單詞(例如短語(yǔ)、句子)，或最近芝加哥小熊隊(duì)比賽的人工生成簡(jiǎn)要報(bào)道(加油小熊!)

04 人工智能的定義和概念

前面給出了人工智能的簡(jiǎn)單定義，即機(jī)器展示的智能，其中包括機(jī)器學(xué)習(xí)和諸如深度學(xué)習(xí)之類(lèi)的特定技術(shù)子集。在進(jìn)一步明確人工智能的定義之前，我們先定義普通智能的概念。智能的定義是：

學(xué)習(xí)、理解和應(yīng)用所學(xué)的知識(shí)來(lái)實(shí)現(xiàn)一個(gè)或多個(gè)目標(biāo)。

因此，智能基本上是利用所學(xué)知識(shí)實(shí)現(xiàn)目標(biāo)和執(zhí)行任務(wù)的過(guò)程(對(duì)人類(lèi)來(lái)說(shuō)，例子包括決策、交談和做事)。現(xiàn)在已經(jīng)定義了普通智能，很容易看出人工智能只是機(jī)器展示的智能。

更具體地說(shuō)，人工智能描述的是：當(dāng)一臺(tái)機(jī)器能夠從信息(數(shù)據(jù))中學(xué)習(xí)，產(chǎn)生某種程度的理解，然后利用所學(xué)知識(shí)去做一些事情。

人工智能領(lǐng)域涉及并從一些科學(xué)中吸取經(jīng)驗(yàn)，包括神經(jīng)科學(xué)、心理學(xué)、哲學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)、計(jì)算機(jī)程序設(shè)計(jì)等。因?yàn)槿斯ぶ悄艿幕A(chǔ)及其與認(rèn)知關(guān)系，它有時(shí)也被稱(chēng)為機(jī)器智能或認(rèn)知計(jì)算;也就是說(shuō)與形成知識(shí)和理解有關(guān)的心理過(guò)程。

更具體地說(shuō)，認(rèn)知和更廣泛的認(rèn)知科學(xué)領(lǐng)域是用來(lái)描述大腦的過(guò)程、功能和其他機(jī)制的術(shù)語(yǔ)，這些機(jī)制使收集、處理、存儲(chǔ)和使用信息生成智能和驅(qū)動(dòng)行為成為可能。認(rèn)知過(guò)程包括注意力、知覺(jué)、記憶、推理、理解、思考、語(yǔ)言、記憶等等。其他相關(guān)的、更深層次的哲學(xué)概念包括思想、感覺(jué)、感受和意識(shí)。

那么是什么力量推動(dòng)智能呢?對(duì)于人工智能應(yīng)用，答案是以數(shù)據(jù)形式提供的信息。對(duì)于人類(lèi)和動(dòng)物來(lái)說(shuō)，通過(guò)五官?gòu)慕?jīng)驗(yàn)和周?chē)h(huán)境中不斷收集新信息。然后把這些信息傳遞給大腦的認(rèn)知過(guò)程和功能。

令人驚訝的是，人類(lèi)還可以通過(guò)運(yùn)用已有的信息和知識(shí)來(lái)理解和形成有關(guān)其他事物的知識(shí)，以及形成人們對(duì)新話題的想法和看法，例如，從大腦中學(xué)習(xí)已有的信息和知識(shí)。有多少次思考過(guò)一些已經(jīng)理解了的信息，然后一個(gè)“啊哈!”導(dǎo)致對(duì)其他事物有了全新理解的時(shí)刻?

經(jīng)驗(yàn)因素也嚴(yán)重影響人工智能。人工智能是通過(guò)利用給定任務(wù)的相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化過(guò)程實(shí)現(xiàn)的。隨著新數(shù)據(jù)的出現(xiàn)，人工智能應(yīng)用可以不斷地更新和改進(jìn)，這是人工智能從經(jīng)驗(yàn)中學(xué)習(xí)的一面。

能夠不斷地從新數(shù)據(jù)中學(xué)習(xí)很重要，其原因很多。首先，世界及人類(lèi)在不斷地變化。新技術(shù)潮來(lái)潮往，創(chuàng)新不斷出現(xiàn)，舊產(chǎn)業(yè)被顛覆。

例如今天網(wǎng)上購(gòu)物的數(shù)據(jù)可能與您明天或幾年后的完全不同。汽車(chē)制造商可能會(huì)開(kāi)始問(wèn)，什么因素對(duì)購(gòu)買(mǎi)飛行車(chē)輛的貢獻(xiàn)最大，或許不是目前正在日益普及和廣泛使用的電動(dòng)汽車(chē)。

最終，數(shù)據(jù)和從中訓(xùn)練出來(lái)的模型會(huì)過(guò)時(shí)，該現(xiàn)象被稱(chēng)為模型漂移。因此，通過(guò)不斷學(xué)習(xí)新數(shù)據(jù)繼續(xù)獲得經(jīng)驗(yàn)和知識(shí)，更新任何人工智能應(yīng)用至關(guān)重要。

05 數(shù)據(jù)推動(dòng)人工智能

人工智能、機(jī)器學(xué)習(xí)、大數(shù)據(jù)、物聯(lián)網(wǎng)和任何其他形式的分析驅(qū)動(dòng)的解決方案都有一個(gè)共同點(diǎn)：數(shù)據(jù)。事實(shí)上，數(shù)據(jù)為數(shù)字技術(shù)的各個(gè)方面提供了動(dòng)力。

1. 大數(shù)據(jù)

世界從未像今天這樣收集或存儲(chǔ)過(guò)如此之多的數(shù)據(jù)。此外，數(shù)據(jù)的多樣性、容量和生成速率正在以驚人的速度增長(zhǎng)。

大數(shù)據(jù)領(lǐng)域是關(guān)于如何高效地從那些龐大、多樣和快速移動(dòng)的數(shù)據(jù)集中，有效地獲取、集成、準(zhǔn)備和分析信息。但是，由于硬件及計(jì)算條件的限制，從數(shù)據(jù)集中處理和提取數(shù)值可能不具備可行性或不可實(shí)現(xiàn)。

為了應(yīng)對(duì)這些挑戰(zhàn)，需要?jiǎng)?chuàng)新硬件工具、軟件工具和分析技術(shù)。大數(shù)據(jù)是用來(lái)描述數(shù)據(jù)集、相關(guān)技術(shù)和訂制工具組合的術(shù)語(yǔ)。

此外，如果沒(méi)有某種形式的伴隨性分析(除非數(shù)據(jù)是貨幣化的)，任何類(lèi)型的數(shù)據(jù)基本上都沒(méi)有用途。除了前面給出的描述之外，人們還用大數(shù)據(jù)來(lái)描述在非常大的數(shù)據(jù)集上進(jìn)行的分析，這可能包括諸如人工智能和機(jī)器學(xué)習(xí)之類(lèi)的先進(jìn)分析技術(shù)。

可以把數(shù)據(jù)從高層次分為結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化三類(lèi)，如圖4-4所示。

▲圖4-4 數(shù)據(jù)類(lèi)型

2. 特定的數(shù)據(jù)源

有許多特定類(lèi)型的數(shù)據(jù)源，任何大型公司都有許多數(shù)據(jù)源在同時(shí)使用。某些類(lèi)型的數(shù)據(jù)可以用于自動(dòng)化和優(yōu)化面向客戶(hù)的產(chǎn)品和服務(wù)，而其他類(lèi)型的數(shù)據(jù)更適合于優(yōu)化內(nèi)部應(yīng)用。以下是一份可能的數(shù)據(jù)源清單，我們將逐一討論：

• 客戶(hù)
• 銷(xiāo)售和營(yíng)銷(xiāo)運(yùn)營(yíng)
• 活動(dòng)和交易
• 物聯(lián)網(wǎng)
• 非結(jié)構(gòu)化
• 第三方
• 公共

大多數(shù)公司都在使用客戶(hù)關(guān)系管理工具(客戶(hù)關(guān)系管理系統(tǒng))。這些工具用來(lái)管理現(xiàn)有和潛在的客戶(hù)、供應(yīng)商和服務(wù)提供商之間的互動(dòng)關(guān)系。

此外，許多客戶(hù)關(guān)系管理系統(tǒng)工具可以采用本地部署或集成的方式來(lái)管理多種渠道的客戶(hù)營(yíng)銷(xiāo)、通信、目標(biāo)定位和個(gè)性化。因此，客戶(hù)關(guān)系管理系統(tǒng)工具對(duì)于以客戶(hù)為中心的人工智能應(yīng)用來(lái)說(shuō)是非常重要的數(shù)據(jù)源。

盡管許多公司使用客戶(hù)關(guān)系管理系統(tǒng)工具作為其主要的客戶(hù)數(shù)據(jù)庫(kù)，但客戶(hù)數(shù)據(jù)平臺(tái)(CDP)工具(如Agilone)，通過(guò)整合客戶(hù)行為、參與度和銷(xiāo)售方面的數(shù)據(jù)源，創(chuàng)建單一、統(tǒng)一的客戶(hù)數(shù)據(jù)庫(kù)。類(lèi)似于數(shù)據(jù)倉(cāng)庫(kù)，客戶(hù)數(shù)據(jù)平臺(tái)(CDP)工具旨在供非技術(shù)人員使用，用于推動(dòng)高效分析、洞見(jiàn)收集和目標(biāo)營(yíng)銷(xiāo)。

銷(xiāo)售數(shù)據(jù)即使不是公司最重要的數(shù)據(jù)，也應(yīng)該是比較重要的數(shù)據(jù)。典型的數(shù)據(jù)源包括那些有實(shí)體營(yíng)業(yè)網(wǎng)點(diǎn)的銷(xiāo)售點(diǎn)數(shù)據(jù)、在線購(gòu)物應(yīng)用的電子商務(wù)數(shù)據(jù)以及服務(wù)銷(xiāo)售的應(yīng)收賬款數(shù)據(jù)。許多實(shí)體公司也在網(wǎng)上銷(xiāo)售產(chǎn)品，因此能夠同時(shí)使用這兩種數(shù)據(jù)源。

市場(chǎng)營(yíng)銷(xiāo)部門(mén)通過(guò)多個(gè)渠道向客戶(hù)傳達(dá)和提供報(bào)價(jià)，并生成相應(yīng)的基于特定渠道的數(shù)據(jù)。常見(jiàn)的營(yíng)銷(xiāo)數(shù)據(jù)源包括電子郵件、社交、付費(fèi)搜索、程序廣告、數(shù)字媒體參與(如博客、白皮書(shū)、網(wǎng)絡(luò)研討會(huì)、信息圖表)和移動(dòng)應(yīng)用通知推送。

運(yùn)營(yíng)數(shù)據(jù)以業(yè)務(wù)功能和流程為中心。示例包括與客戶(hù)服務(wù)、供應(yīng)鏈、庫(kù)存、訂購(gòu)、IT(如網(wǎng)絡(luò)、日志、服務(wù)器)、制造、物流和會(huì)計(jì)相關(guān)的數(shù)據(jù)。運(yùn)營(yíng)數(shù)據(jù)通常最適合用于深入了解公司的內(nèi)部運(yùn)營(yíng)，改進(jìn)甚至自動(dòng)化流程，以實(shí)現(xiàn)諸如提高運(yùn)營(yíng)效率和降低運(yùn)營(yíng)成本等目標(biāo)。

像軟件即服務(wù)(SaaS)和移動(dòng)應(yīng)用這些主要圍繞數(shù)字產(chǎn)品的公司，通常會(huì)生成和收集大量基于事件和事務(wù)的數(shù)據(jù)。

值得注意的是，盡管單個(gè)銷(xiāo)售的數(shù)據(jù)可以被認(rèn)為屬于交易性質(zhì)，但并非所有銷(xiāo)售數(shù)據(jù)都與交易有關(guān)。事件和事務(wù)數(shù)據(jù)可以包括銀行轉(zhuǎn)賬、提交應(yīng)用、放棄在線購(gòu)物車(chē)、用戶(hù)交互和參與數(shù)據(jù)(如點(diǎn)擊數(shù)流)以及由谷歌分析等應(yīng)用收集的數(shù)據(jù)。

研究表明，隨著物聯(lián)網(wǎng)革命的全面展開(kāi)，2025年將通過(guò)全球超過(guò)750億臺(tái)連接設(shè)備創(chuàng)造高達(dá)11萬(wàn)億美元的經(jīng)濟(jì)價(jià)值。毋庸諱言，連接的設(shè)備和傳感器所產(chǎn)生的數(shù)據(jù)量越來(lái)越大。這些數(shù)據(jù)對(duì)人工智能應(yīng)用非常有價(jià)值。

公司還擁有大量非常有價(jià)值的非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)通常大都未被使用。前面討論過(guò)的非結(jié)構(gòu)化數(shù)據(jù)可以包括圖像、視頻、音頻和文本。源于產(chǎn)品或服務(wù)的客戶(hù)評(píng)論、反饋和調(diào)查結(jié)果等文本數(shù)據(jù)對(duì)于自然語(yǔ)言處理應(yīng)用特別有用。

最后，公司通常會(huì)使用多個(gè)第三方的軟件工具，這些工具可能沒(méi)有在本節(jié)中提到。許多軟件工具允許數(shù)據(jù)與其他工具集成，也可以導(dǎo)出以便于分析和轉(zhuǎn)移。在許多情況下，可以購(gòu)買(mǎi)第三方的數(shù)據(jù)。

最后，隨著互聯(lián)網(wǎng)的爆炸式增長(zhǎng)和開(kāi)放源碼運(yùn)動(dòng)的開(kāi)展，還可以使用大量免費(fèi)、可用和非常有價(jià)值的公開(kāi)數(shù)據(jù)。