大數(shù)據(jù)到底怎么學(xué)：數(shù)據(jù)科學(xué)概論與大數(shù)據(jù)學(xué)習(xí)誤區(qū)

“數(shù)據(jù)科學(xué)家走在通往無(wú)所不知的路上，走到盡頭才發(fā)現(xiàn)，自己一無(wú)所知?！?Will Cukierski，Head of Competitions & Data Scientist at Kaggle

最近不少網(wǎng)友向我咨詢?nèi)绾螌W(xué)習(xí)大數(shù)據(jù)技術(shù)？大數(shù)據(jù)怎么入門(mén)？怎么做大數(shù)據(jù)分析？數(shù)據(jù)科學(xué)需要學(xué)習(xí)那些技術(shù)？大數(shù)據(jù)的應(yīng)用前景等等問(wèn)題。由于大數(shù)據(jù)技術(shù)涉及內(nèi)容太龐雜，大數(shù)據(jù)應(yīng)用領(lǐng)域廣泛，而且各領(lǐng)域和方向采用的關(guān)鍵技術(shù)差異性也會(huì)較大，難以三言兩語(yǔ)說(shuō)清楚，本文從數(shù)據(jù)科學(xué)和大數(shù)據(jù)關(guān)鍵技術(shù)體系角度，來(lái)說(shuō)說(shuō)大數(shù)據(jù)的核心技術(shù)什么，到底要怎么學(xué)習(xí)它，以及怎么避免大數(shù)據(jù)學(xué)習(xí)的誤區(qū)，以供參考。

1．大數(shù)據(jù)應(yīng)用的目標(biāo)是普適智能

要學(xué)好大數(shù)據(jù)，首先要明確大數(shù)據(jù)應(yīng)用的目標(biāo)，我曾經(jīng)講過(guò)大數(shù)據(jù)就好比萬(wàn)金油，像百度幾年前提的框計(jì)算，這個(gè)框什么都能往里裝。為什么會(huì)這樣，因?yàn)榇髷?shù)據(jù)這個(gè)框太大，其終極目標(biāo)是利用一系列信息技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)條件下的人類深度洞察和決策智能化，最終走向普適的人機(jī)智能融合！

這不僅是傳統(tǒng)信息化管理的擴(kuò)展延伸，也是人類社會(huì)發(fā)展管理智能化的核心技術(shù)驅(qū)動(dòng)力。通過(guò)大數(shù)據(jù)應(yīng)用，面向過(guò)去，發(fā)現(xiàn)數(shù)據(jù)規(guī)律，歸納已知；面向未來(lái)，挖掘數(shù)據(jù)趨勢(shì)，預(yù)測(cè)未知。從而提高人們對(duì)事物的理解和決策處置能力，最終實(shí)現(xiàn)社會(huì)的普適智能。不管是智慧醫(yī)療、智慧交通等相關(guān)技術(shù)和系統(tǒng)，其本質(zhì)都是朝著這一目標(biāo)在演進(jìn)。隨著云計(jì)算平臺(tái)和大數(shù)據(jù)技術(shù)的高速發(fā)展，獲得大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)相關(guān)技術(shù)和支持越來(lái)越容易。同時(shí)，移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)所具備的全面數(shù)據(jù)采集能力，客觀上促進(jìn)了大數(shù)據(jù)的積累和爆發(fā)。

總之大數(shù)據(jù)就是個(gè)大框，什么都能往里裝，大數(shù)據(jù)源的采集如果用傳感器的話離不開(kāi)物聯(lián)網(wǎng)、大數(shù)據(jù)源的采集用智能手機(jī)的話離不開(kāi)移動(dòng)互聯(lián)網(wǎng)，大數(shù)據(jù)海量數(shù)據(jù)存儲(chǔ)要高擴(kuò)展就離不開(kāi)云計(jì)算，大數(shù)據(jù)計(jì)算分析采用傳統(tǒng)的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)會(huì)比較慢，需要做并行計(jì)算和分布式計(jì)算擴(kuò)展，大數(shù)據(jù)要自動(dòng)特征工程離不開(kāi)深度學(xué)習(xí)、大數(shù)據(jù)要互動(dòng)展示離不開(kāi)可視化，而面向特定領(lǐng)域和多模態(tài)數(shù)據(jù)的大數(shù)據(jù)分析技術(shù)更是十分廣泛，金融大數(shù)據(jù)、交通大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、安全大數(shù)據(jù)、電信大數(shù)據(jù)、電商大數(shù)據(jù)、社交大數(shù)據(jù)，文本大數(shù)據(jù)、圖像大數(shù)據(jù)、視頻大數(shù)據(jù)…諸如此類等等范圍太廣，所以首先我們要搞清楚大數(shù)據(jù)應(yīng)用的核心目標(biāo)，這個(gè)明確之后，才利于結(jié)合不同行業(yè)特點(diǎn)把握住共性關(guān)鍵技術(shù)，從而有針對(duì)性的學(xué)習(xí)。

圖1 國(guó)外大數(shù)據(jù)企業(yè)關(guān)系圖，傳統(tǒng)信息技術(shù)企業(yè)也在向智能化發(fā)展，與新興大數(shù)據(jù)企業(yè)互為競(jìng)爭(zhēng)和支持。

2．從大數(shù)據(jù)版圖看數(shù)據(jù)科學(xué)及其關(guān)鍵技術(shù)體系

明確大數(shù)據(jù)應(yīng)用目標(biāo)之后，我們?cè)倏纯磾?shù)據(jù)科學(xué)（Data Science），數(shù)據(jù)科學(xué)可以理解為一個(gè)跨多學(xué)科領(lǐng)域的，從數(shù)據(jù)中獲取知識(shí)的科學(xué)方法，技術(shù)和系統(tǒng)集合，其目標(biāo)是從數(shù)據(jù)中提取出有價(jià)值的信息，它結(jié)合了諸多領(lǐng)域中的理論和技術(shù)，包括應(yīng)用數(shù)學(xué)，統(tǒng)計(jì)，模式識(shí)別，機(jī)器學(xué)習(xí)，人工智能，深度學(xué)習(xí)，數(shù)據(jù)可視化，數(shù)據(jù)挖掘，數(shù)據(jù)倉(cāng)庫(kù)，以及高性能計(jì)算等。圖靈獎(jiǎng)得主Jim Gray把數(shù)據(jù)科學(xué)喻為科學(xué)的“第四范式”（經(jīng)驗(yàn)、理論、計(jì)算和數(shù)據(jù)驅(qū)動(dòng)），并斷言因?yàn)樾畔⒓夹g(shù)的影響和數(shù)據(jù)的泛濫增長(zhǎng)，未來(lái)不管什么領(lǐng)域的科學(xué)問(wèn)題都將由數(shù)據(jù)所驅(qū)動(dòng)。

圖2 典型的數(shù)據(jù)科學(xué)過(guò)程：包括原始數(shù)據(jù)采集，數(shù)據(jù)預(yù)處理和清洗，數(shù)據(jù)探索式分析，數(shù)據(jù)計(jì)算建模，數(shù)據(jù)可視化和報(bào)表，數(shù)據(jù)產(chǎn)品和決策支持等。

傳統(tǒng)信息化技術(shù)多是在結(jié)構(gòu)化和小規(guī)模數(shù)據(jù)上進(jìn)行計(jì)算處理，大數(shù)據(jù)時(shí)代呢，數(shù)據(jù)變大了，數(shù)據(jù)多源異構(gòu)了，需要智能預(yù)測(cè)和分析支持了，所以核心技術(shù)離不開(kāi)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、人工智能等，另外還需考慮海量數(shù)據(jù)的分布式存儲(chǔ)管理和機(jī)器學(xué)習(xí)算法并行處理，所以數(shù)據(jù)的大規(guī)模增長(zhǎng)客觀上促進(jìn)了DT（Data Technology）技術(shù)生態(tài)的繁榮與發(fā)展，包括大數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、NOSQL數(shù)據(jù)庫(kù)、多模式計(jì)算（批處理、在線處理、實(shí)時(shí)流處理、內(nèi)存處理）、多模態(tài)計(jì)算（圖像、文本、視頻、音頻）、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能、深度學(xué)習(xí)、并行計(jì)算、可視化等各種技術(shù)范疇和不同的層面。