簡單來說：

1)深度學(xué)習(xí)(Deep Learning)只是機(jī)器學(xué)習(xí)(Machine Learning)的一種類別，一個子領(lǐng)域。機(jī)器學(xué)習(xí) > 深度學(xué)習(xí)

2)大數(shù)據(jù)(Big Data)不是具體的方法，甚至不算具體的研究學(xué)科，而只是對某一類問題，或需處理的數(shù)據(jù)的描述

[[178349]]

具體來說：

1)機(jī)器學(xué)習(xí)(Machine Learning)是一個大的方向，里面包括了很多種 approach，比如 deep learning, GMM, SVM, HMM, dictionary learning, knn, Adaboosting...不同的方法會使用不同的模型，不同的假設(shè)，不同的解法。這些模型可以是線性，也可以是非線性的。他們可能是基于統(tǒng)計的，也可能是基于稀疏的....

不過他們的共同點是：都是 data-driven 的模型，都是學(xué)習(xí)一種更加 abstract 的方式來表達(dá)特定的數(shù)據(jù)，假設(shè)和模型都對特定數(shù)據(jù)廣泛適用。好處是，這種學(xué)習(xí)出來的表達(dá)方式可以幫助我們更好的理解和分析數(shù)據(jù)，挖掘數(shù)據(jù)隱藏的結(jié)構(gòu)和關(guān)系。

Machine Learning 的任務(wù)也可以不同，可以是預(yù)測(prediction)，分類(classification)，聚類(clustering)，識別(recognition)，重建(reconstruction)，約束(regularization)，甚至降噪(denoising)，超分辨(super-resolution)，除馬賽克(Demosaicing)等等....

2)深度學(xué)習(xí)(Deep Learning)是機(jī)器學(xué)習(xí)的一個子類，一般特指學(xué)習(xí)高層數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)。這個結(jié)構(gòu)中通常會結(jié)合線性和非線性的關(guān)系。

Deep Learning 也會分各種不同的模型，比如 CNN, RNN, DBN...他們的解法也會不同。

Deep Learning 目前非常流行，因為他們在圖像，視覺，語音等各種應(yīng)用中表現(xiàn)出了很好的 empirical performance。并且利用 gpu 的并行運(yùn)算，在模型相當(dāng)復(fù)雜，數(shù)據(jù)特別大量的情況下，依然可以達(dá)到很理想的學(xué)習(xí)速度。

因為 Deep Learning 往往會構(gòu)建多層數(shù)，多節(jié)點，多復(fù)雜度的模型，人們依然缺乏多里面學(xué)習(xí)的結(jié)構(gòu)模型的理解。很多時候，Deep Learning 甚至?xí)徽J(rèn)為擁有類似于人類神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，并且這種類似性被當(dāng)做 deep learning 居然更大 potential 的依據(jù)。但答主個人認(rèn)為，其實這略有些牽強(qiáng)...聽起來更像是先有了這種 network 的結(jié)構(gòu)，再找一個類似性。當(dāng)然，這僅僅是個人觀點...(私貨私貨)

3)大數(shù)據(jù)(Big Data，我們也叫他逼格數(shù)據(jù)....)是對數(shù)據(jù)和問題的描述。通常被廣泛接受的定義是 3 個 V 上的“大”：Volume(數(shù)據(jù)量), Velocity(數(shù)據(jù)速度)還有 variety(數(shù)據(jù)類別)。大數(shù)據(jù)問題(Big-data problem)可以指那種在這三個 V 上因為大而帶來的挑戰(zhàn)。

Volume 很好理解。一般也可以認(rèn)為是 Large-scale data(其實學(xué)術(shù)上用這個更準(zhǔn)確，只是我們出去吹逼的時候就都叫 big data 了...)。“大”可以是數(shù)據(jù)的維度，也可以是數(shù)據(jù)的 size。一般 claim 自己是 big-data 的算法會比較 scalable，復(fù)雜度上對這兩個不敏感。算法和系統(tǒng)上，人們喜歡選擇并行(Parallel)，分布(distributed)等屬性的方法來增加 capability。

Velocity 就是數(shù)據(jù)到達(dá)的速度。對于數(shù)據(jù)高速到達(dá)的情況，需要對應(yīng)的算法或者系統(tǒng)要有效的處理。而且數(shù)據(jù)在時間上可能存在變化，對應(yīng)的算法或者系統(tǒng)居然做出調(diào)整和即時判斷，以適應(yīng)新的數(shù)據(jù)。這就要求我們提出高效(Efficiency)，即時(real-time)，動態(tài)(dynamic)，還有有預(yù)測性(predictive)等等....

Variaty 指的是數(shù)據(jù)的類別。以往的算法或者系統(tǒng)往往針對某一種已知特定類別的數(shù)據(jù)來適應(yīng)。而一般大數(shù)據(jù)也會指針對處理那些 unstructured data 或者 multi-modal data，這就對傳統(tǒng)的處理方法帶來了挑戰(zhàn)。