大數(shù)據(jù)和深度學(xué)習(xí)有什么區(qū)別

都是 data-driven 的模型，都是學(xué)習(xí)一種更加 abstract 的方式來(lái)表達(dá)特定的數(shù)據(jù)，假設(shè)和模型都對(duì)特定數(shù)據(jù)廣泛適用。好處是，這種學(xué)習(xí)出來(lái)的表達(dá)方式可以幫助我們更好的理解和分析數(shù)據(jù)，挖掘數(shù)據(jù)隱藏的結(jié)構(gòu)和關(guān)系。

簡(jiǎn)單來(lái)說(shuō)：

1)深度學(xué)習(xí)(Deep Learning)只是機(jī)器學(xué)習(xí)(Machine Learning)的一種類(lèi)別，一個(gè)子領(lǐng)域。機(jī)器學(xué)習(xí) > 深度學(xué)習(xí)

2)大數(shù)據(jù)(Big Data)不是具體的方法，甚至不算具體的研究學(xué)科，而只是對(duì)某一類(lèi)問(wèn)題，或需處理的數(shù)據(jù)的描述

具體來(lái)說(shuō)：

1)機(jī)器學(xué)習(xí)(Machine Learning)是一個(gè)大的方向，里面包括了很多種 approach，比如 deep learning, GMM, SVM, HMM, dictionary learning, knn, Adaboosting...不同的方法會(huì)使用不同的模型，不同的假設(shè)，不同的解法。這些模型可以是線性，也可以是非線性的。他們可能是基于統(tǒng)計(jì)的，也可能是基于稀疏的....

不過(guò)他們的共同點(diǎn)是：都是 data-driven 的模型，都是學(xué)習(xí)一種更加 abstract 的方式來(lái)表達(dá)特定的數(shù)據(jù)，假設(shè)和模型都對(duì)特定數(shù)據(jù)廣泛適用。好處是，這種學(xué)習(xí)出來(lái)的表達(dá)方式可以幫助我們更好的理解和分析數(shù)據(jù)，挖掘數(shù)據(jù)隱藏的結(jié)構(gòu)和關(guān)系。

Machine Learning 的任務(wù)也可以不同，可以是預(yù)測(cè)(prediction)，分類(lèi)(classification)，聚類(lèi)(clustering)，識(shí)別(recognition)，重建(reconstruction)，約束(regularization)，甚至降噪(denoising)，超分辨(super-resolution)，除馬賽克(Demosaicing)等等....

2)深度學(xué)習(xí)(Deep Learning)是機(jī)器學(xué)習(xí)的一個(gè)子類(lèi)，一般特指學(xué)習(xí)高層數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)。這個(gè)結(jié)構(gòu)中通常會(huì)結(jié)合線性和非線性的關(guān)系。

Deep Learning 也會(huì)分各種不同的模型，比如 CNN, RNN, DBN...他們的解法也會(huì)不同。

Deep Learning 目前非常流行，因?yàn)樗麄冊(cè)趫D像，視覺(jué)，語(yǔ)音等各種應(yīng)用中表現(xiàn)出了很好的 empirical performance。并且利用 gpu 的并行運(yùn)算，在模型相當(dāng)復(fù)雜，數(shù)據(jù)特別大量的情況下，依然可以達(dá)到很理想的學(xué)習(xí)速度。

因?yàn)?Deep Learning 往往會(huì)構(gòu)建多層數(shù)，多節(jié)點(diǎn)，多復(fù)雜度的模型，人們依然缺乏多里面學(xué)習(xí)的結(jié)構(gòu)模型的理解。很多時(shí)候，Deep Learning 甚至?xí)徽J(rèn)為擁有類(lèi)似于人類(lèi)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，并且這種類(lèi)似性被當(dāng)做 deep learning 居然更大 potential 的依據(jù)。但答主個(gè)人認(rèn)為，其實(shí)這略有些牽強(qiáng)...聽(tīng)起來(lái)更像是先有了這種 network 的結(jié)構(gòu)，再找一個(gè)類(lèi)似性。當(dāng)然，這僅僅是個(gè)人觀點(diǎn)...(私貨私貨)

3)大數(shù)據(jù)(Big Data，我們也叫他逼格數(shù)據(jù)....)是對(duì)數(shù)據(jù)和問(wèn)題的描述。通常被廣泛接受的定義是 3 個(gè) V 上的“大”：Volume(數(shù)據(jù)量), Velocity(數(shù)據(jù)速度)還有 variety(數(shù)據(jù)類(lèi)別)。大數(shù)據(jù)問(wèn)題(Big-data problem)可以指那種在這三個(gè) V 上因?yàn)榇蠖鴰?lái)的挑戰(zhàn)。

Volume 很好理解。一般也可以認(rèn)為是 Large-scale data(其實(shí)學(xué)術(shù)上用這個(gè)更準(zhǔn)確，只是我們出去吹逼的時(shí)候就都叫 big data 了...)?！按蟆笨梢允菙?shù)據(jù)的維度，也可以是數(shù)據(jù)的 size。一般 claim 自己是 big-data 的算法會(huì)比較 scalable，復(fù)雜度上對(duì)這兩個(gè)不敏感。算法和系統(tǒng)上，人們喜歡選擇并行(Parallel)，分布(distributed)等屬性的方法來(lái)增加 capability。

Velocity 就是數(shù)據(jù)到達(dá)的速度。對(duì)于數(shù)據(jù)高速到達(dá)的情況，需要對(duì)應(yīng)的算法或者系統(tǒng)要有效的處理。而且數(shù)據(jù)在時(shí)間上可能存在變化，對(duì)應(yīng)的算法或者系統(tǒng)居然做出調(diào)整和即時(shí)判斷，以適應(yīng)新的數(shù)據(jù)。這就要求我們提出高效(Efficiency)，即時(shí)(real-time)，動(dòng)態(tài)(dynamic)，還有有預(yù)測(cè)性(predictive)等等....

Variaty 指的是數(shù)據(jù)的類(lèi)別。以往的算法或者系統(tǒng)往往針對(duì)某一種已知特定類(lèi)別的數(shù)據(jù)來(lái)適應(yīng)。而一般大數(shù)據(jù)也會(huì)指針對(duì)處理那些 unstructured data 或者 multi-modal data，這就對(duì)傳統(tǒng)的處理方法帶來(lái)了挑戰(zhàn)。