人工智能、大數(shù)據(jù)與深度學(xué)習(xí)之間的關(guān)系和差異
網(wǎng)絡(luò)上從不缺乏對數(shù)據(jù)科學(xué)術(shù)語進(jìn)行比較和對比的文章。文筆各異的人寫出了各式各樣的文章,以此將他們的觀點(diǎn)傳達(dá)給任何愿意傾聽的人。這幾乎是勢不可擋的。
所以我也記錄一下,對于那些疑惑此文是否也是雷同的帖子。對,是這樣的。
為什么再來一帖?我是這樣想的,盡管可能有很多分散觀點(diǎn)在定義和比較這些關(guān)聯(lián)術(shù)語,但事實(shí)上是,這些術(shù)語中的大部分是流動(dòng)變化的,并不完全約定俗成,坦率地說,與他人觀點(diǎn)一同暴露是測試和優(yōu)化自己的觀點(diǎn)的最好方法之一。
所以,雖然大家可能不會(huì)完全(甚至是極低限度地)同意我對這些術(shù)語的大部分看法,但仍然能從中獲得一些東西。數(shù)據(jù)科學(xué)中的一些核心概念需要被解釋,或者至少在我看來是重要的,我會(huì)盡力闡述他們?nèi)绾侮P(guān)聯(lián),以及答疑這些個(gè)體概念組合在一起時(shí)遇到的困惑。
在獨(dú)立地思考概念之前,有個(gè)不同觀點(diǎn)的例子,KDnuggets的Gregory Piatetsky-Shapiro的維恩圖,概述了我們將要討論的數(shù)據(jù)科學(xué)術(shù)語之間的關(guān)系。建議讀者將此維恩圖與目前Drew Conway的著名的數(shù)據(jù)科學(xué)維恩圖,以及我下面的討論和帖子底部的修改過程/關(guān)系圖進(jìn)行比較。我認(rèn)為,盡管存在差異,但這些概念具有一定的相似性。
現(xiàn)在我們將對上述維恩圖中圈選的6個(gè)核心概念進(jìn)行分析,并提供一些關(guān)于如何將它們?nèi)谌霐?shù)據(jù)科學(xué)的洞察。我們很快就會(huì)摒棄過去十年最熱門的一些術(shù)語。
大數(shù)據(jù)(Big Data)
有各種各樣的文章在定義大數(shù)據(jù),我不打算花太多時(shí)間在這個(gè)概念上。簡單地來說,大數(shù)據(jù)通常被定義為“超出常用軟件工具捕獲,管理和處理能力”的數(shù)據(jù)集。 大數(shù)據(jù)是一個(gè)移動(dòng)目標(biāo); 這個(gè)定義既模糊又準(zhǔn)確,足以捕捉其主要特征。
至于其他的概念,我們將通過調(diào)查,很好的獲得搜索字詞的流行度和N-gram頻率模型的一些初步了解,以便將這個(gè)難點(diǎn)與熱點(diǎn)炒作分開。鑒于這兩個(gè)概念相對較新,從1980年至2008年,N-gram頻率模型作為一個(gè)“舊”的概念如上圖所示。
最近的Google趨勢顯示2個(gè)新詞上升,另外2個(gè)保持持續(xù)上升,以及最后一個(gè)逐漸下降但有明顯的下降。請注意,由于已經(jīng)對數(shù)據(jù)進(jìn)行了定量分析,‘大數(shù)據(jù)’未包含在上述圖形中。繼續(xù)閱讀,以便進(jìn)一步了解觀測結(jié)果。
機(jī)器學(xué)習(xí)(Machine learning)
據(jù)Tom Mitchell在關(guān)于這個(gè)主題的創(chuàng)作書中闡述,機(jī)器學(xué)習(xí)“關(guān)心的問題是如何構(gòu)建計(jì)算機(jī)程序使用經(jīng)驗(yàn)自動(dòng)改進(jìn)”。機(jī)器學(xué)習(xí)本質(zhì)上是跨學(xué)科的,采用計(jì)算機(jī)科學(xué),統(tǒng)計(jì)學(xué)和人工智能等方面的技術(shù)。機(jī)器學(xué)習(xí)研究的主要工作是促進(jìn)經(jīng)驗(yàn)自動(dòng)改進(jìn)的算法,可以應(yīng)用于各種不同領(lǐng)域。
我不認(rèn)為有人會(huì)懷疑機(jī)器學(xué)習(xí)是數(shù)據(jù)科學(xué)的核心組成。我在下面給出數(shù)據(jù)科學(xué)的詳細(xì)描述,如果你認(rèn)為在一個(gè)非常高的水平上其目標(biāo)是從數(shù)據(jù)中獲取洞察力,其實(shí)機(jī)器學(xué)習(xí)是允許此過程自動(dòng)化的。機(jī)器學(xué)習(xí)與古典統(tǒng)計(jì)學(xué)有很多共同點(diǎn),因?yàn)樗褂脴颖緛硗茢嗪透爬ā?shù)據(jù)統(tǒng)計(jì)更多地側(cè)重于描述性(盡管可以通過外推來預(yù)測),機(jī)器學(xué)習(xí)對描述性分析的關(guān)注很少,并且僅將其用作中間步驟以便能夠進(jìn)行更好預(yù)測。機(jī)器學(xué)習(xí)通常被認(rèn)為是模式識別的同義詞;真的不會(huì)從我這里發(fā)生太多的分歧,我相信,‘模式識別’這個(gè)術(shù)語意味著實(shí)際上是一個(gè)比機(jī)器學(xué)習(xí)更不復(fù)雜和更簡單化的過程,這就是為什么我傾向于回避它。
機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘有著復(fù)雜的關(guān)系。
數(shù)據(jù)挖掘(Data Mining)
Fayyad,Piatetsky-Shapiro&Smyth將數(shù)據(jù)挖掘定義為“從數(shù)據(jù)中提取模式的特定算法的應(yīng)用”。這表明,在數(shù)據(jù)挖掘中,重點(diǎn)在于算法的應(yīng)用,而不是算法本身。我們可以定義機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘之間的關(guān)系如下:數(shù)據(jù)挖掘是一個(gè)過程,在此過程中機(jī)器學(xué)習(xí)算法被用作提取數(shù)據(jù)集中的潛在有價(jià)值模式的工具。
‘數(shù)據(jù)挖掘’作為機(jī)器學(xué)習(xí)的姊妹術(shù)語,也是數(shù)據(jù)科學(xué)的關(guān)鍵。在數(shù)據(jù)科學(xué)術(shù)語爆發(fā)泛濫之前,事實(shí)上,數(shù)據(jù)挖掘’在Google搜索術(shù)語中取得了更大的成功??纯碐oogle趨勢比上圖顯示的還要早5年,數(shù)據(jù)挖掘’曾經(jīng)更受歡迎。然而,今天,數(shù)據(jù)挖掘’似乎被劃分為機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)之間的概念。若有人同意上述解釋,數(shù)據(jù)挖掘是一個(gè)過程,那么將數(shù)據(jù)科學(xué)視為數(shù)據(jù)挖掘的超集,那么后續(xù)的術(shù)語都是有意義的。
深度學(xué)習(xí)(Deep Learning)
盡管在早期的在線搜索急劇爆發(fā)之前它已經(jīng)存在,‘深度學(xué)習(xí)’仍是一個(gè)相對較新的術(shù)語。由于學(xué)術(shù)研究和工業(yè)的蓬勃發(fā)展,其在不同領(lǐng)域取得了巨大成就,深度學(xué)習(xí)是應(yīng)用深層神經(jīng)網(wǎng)絡(luò)技術(shù)(即具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)架構(gòu))來解決問題。深度學(xué)習(xí)是一個(gè)類似數(shù)據(jù)挖掘的過程,它采用深層神經(jīng)網(wǎng)絡(luò)架構(gòu),這是特定類型的機(jī)器學(xué)習(xí)算法。
深度學(xué)習(xí)已經(jīng)取得了令人印象深刻的成就。有鑒于此,至少在我看來,務(wù)必要注意幾點(diǎn):
- 深度學(xué)習(xí)不是靈丹妙藥 – 對于每個(gè)問題來說,并不是一個(gè)簡單一刀切的解決方案。
- 這不是傳說中的萬能算法 – 深度學(xué)習(xí)不會(huì)取代所有其他機(jī)器學(xué)習(xí)算法和數(shù)據(jù)科學(xué)技術(shù),至少還沒有被證明是這樣。
- 適度的期望是必要的 – 盡管最近在各種類型的分類問題上,特別是計(jì)算機(jī)視覺和自然語言處理以及強(qiáng)化學(xué)習(xí)等領(lǐng)域已經(jīng)取得了巨大的進(jìn)步,但當(dāng)代深度學(xué)習(xí)并沒有擴(kuò)大到非常復(fù)雜的問題,例如“解決世界和平”。
- 深度學(xué)習(xí)和人工智能不是同義詞。
深度學(xué)習(xí)可以幫助數(shù)據(jù)科學(xué)以附加過程和工具的形式解決問題,而在這種觀察中,深入學(xué)習(xí)是數(shù)據(jù)科學(xué)領(lǐng)域的一個(gè)非常有價(jià)值的補(bǔ)充。
人工智能
大多數(shù)人發(fā)現(xiàn)人工智能很難用一個(gè)精確的,甚至是廣泛的定義講出來。我不是一個(gè)人工智能研究者,所以我的答案可能與其他領(lǐng)域的人差別很大。多年來通過對AI的思想哲學(xué)研究,我得出的結(jié)論是,人工智能,至少我們通常認(rèn)為的想法的概念,實(shí)際上并不存在。
在我看來,AI是一個(gè)標(biāo)尺,一個(gè)移動(dòng)目標(biāo),一個(gè)渴望而不可及的目標(biāo)。每當(dāng)我們邁向AI成就之路,不知何故,這些成就似乎又變成了被稱為其他的東西。
我曾經(jīng)讀過如下內(nèi)容:如果你在上世紀(jì)60年代問AI的研究人員,他們對AI的想法是什么,他們可能會(huì)一致認(rèn)為,可以幫助我們預(yù)測下一步行動(dòng)和欲望,所有人類知識可以隨時(shí)獲取,一個(gè)適合我們口袋的小型設(shè)備就是真實(shí)的AI。但是今天我們都攜帶智能手機(jī),很少有人會(huì)把它們稱為人工智能。
AI適合數(shù)據(jù)科學(xué)?嗯,正如我所說,我不認(rèn)為AI真的是有形的,我想很難說它適合任何地方。但,一些數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)相關(guān)領(lǐng)域,人工智能可以提供助力,有時(shí)與實(shí)體一樣有價(jià)值;計(jì)算機(jī)視覺肯定會(huì)引起注意,現(xiàn)代深度學(xué)習(xí)研究也是如此,得益于人工智能的精神氣質(zhì),若不是無限期的話。
AI可能是研究和開發(fā)設(shè)備,從來沒有在同名行業(yè)中產(chǎn)生任何東西。我想說,從AI到數(shù)據(jù)科學(xué)的這條路徑可能不是查看兩者之間的關(guān)系的最佳方式,但是兩個(gè)實(shí)體之間的許多中間步驟已經(jīng)被AI以某種形式開發(fā)和完善了。
數(shù)據(jù)科學(xué)(Data Science)
那么,在討論這些相關(guān)概念和數(shù)據(jù)科學(xué)的地位之后,數(shù)據(jù)科學(xué)究竟是什么呢?對我來說,這是試圖精確定義的一個(gè)最難的概念。數(shù)據(jù)科學(xué)是一個(gè)多方面的學(xué)科,包括機(jī)器學(xué)習(xí)和其他分析過程,統(tǒng)計(jì)學(xué)和相關(guān)的數(shù)學(xué)分支,越來越多地從高性能科學(xué)計(jì)算中借鑒,以便最終從數(shù)據(jù)中發(fā)現(xiàn)洞察,并使用這些新發(fā)現(xiàn)的信息來講述故事。這些故事通常伴隨著圖片(我們稱之為可視化),并針對行業(yè),研究甚至是我們自己,目的是從數(shù)據(jù)中獲取一些新的想法。
數(shù)據(jù)科學(xué)采用相關(guān)領(lǐng)域的各種不同工具(請參閱上面所有內(nèi)容)。數(shù)據(jù)科學(xué)既是數(shù)據(jù)挖掘的同義詞,也是數(shù)據(jù)挖掘概念的超集。
數(shù)據(jù)科學(xué)產(chǎn)生各種不同的結(jié)果,但它們都具有共同的洞察力。數(shù)據(jù)科學(xué)是這一切,而且對你而言,它可能還有別的東西,而且甚至還沒有涵蓋獲取,清理,判別和預(yù)處理數(shù)據(jù)!順便說一下,什么是數(shù)據(jù)呢?它總是大嗎?
我認(rèn)為我的關(guān)于數(shù)據(jù)科學(xué)困惑的觀點(diǎn),至少可以通過上圖的版本來代表它,以及這篇文章的頂部的Piatetsky-Shapiro的維恩圖。我也建議大多數(shù)與Drew Conway的數(shù)據(jù)科學(xué)維恩圖一致,盡管我會(huì)補(bǔ)充一點(diǎn):我認(rèn)為他非常合理且實(shí)用的圖像實(shí)際上是指數(shù)據(jù)科學(xué)家,而不是數(shù)據(jù)科學(xué)。這可能是吹毛求疵,但我不認(rèn)為數(shù)據(jù)科學(xué)本身包含黑技能;我相信這是科學(xué)家擁有的技能,以便能夠進(jìn)行數(shù)據(jù)科學(xué)。誠然,這可能是對語義的嘲弄,但在我心中是有道理的。
當(dāng)然,這不是一個(gè)宏圖的全景,它在不斷地演變。例如,我記得不久以前的一次閱讀,數(shù)據(jù)挖掘是商業(yè)智能的一個(gè)子領(lǐng)域。即使有不同的意見,我真的不能想象今天這是一個(gè)有效的想法(坦率地說,幾年前很難接受)。