大數(shù)據(jù)到底怎么學(xué)：數(shù)據(jù)科學(xué)概論與大數(shù)據(jù)學(xué)習(xí)誤區(qū)

“數(shù)據(jù)科學(xué)家走在通往無所不知的路上，走到盡頭才發(fā)現(xiàn)，自己一無所知?！?Will Cukierski，Head of Competitions & Data Scientist at Kaggle

最近不少網(wǎng)友向我咨詢?nèi)绾螌W(xué)習(xí)大數(shù)據(jù)技術(shù)？大數(shù)據(jù)怎么入門？怎么做大數(shù)據(jù)分析？數(shù)據(jù)科學(xué)需要學(xué)習(xí)那些技術(shù)？大數(shù)據(jù)的應(yīng)用前景等等問題。由于大數(shù)據(jù)技術(shù)涉及內(nèi)容太龐雜，大數(shù)據(jù)應(yīng)用領(lǐng)域廣泛，而且各領(lǐng)域和方向采用的關(guān)鍵技術(shù)差異性也會較大，難以三言兩語說清楚，本文從數(shù)據(jù)科學(xué)和大數(shù)據(jù)關(guān)鍵技術(shù)體系角度，來說說大數(shù)據(jù)的核心技術(shù)什么，到底要怎么學(xué)習(xí)它，以及怎么避免大數(shù)據(jù)學(xué)習(xí)的誤區(qū)，以供參考。

1．大數(shù)據(jù)應(yīng)用的目標(biāo)是普適智能

要學(xué)好大數(shù)據(jù)，首先要明確大數(shù)據(jù)應(yīng)用的目標(biāo)，我曾經(jīng)講過大數(shù)據(jù)就好比萬金油，像百度幾年前提的框計算，這個框什么都能往里裝。為什么會這樣，因?yàn)榇髷?shù)據(jù)這個框太大，其終極目標(biāo)是利用一系列信息技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)條件下的人類深度洞察和決策智能化，最終走向普適的人機(jī)智能融合！

這不僅是傳統(tǒng)信息化管理的擴(kuò)展延伸，也是人類社會發(fā)展管理智能化的核心技術(shù)驅(qū)動力。通過大數(shù)據(jù)應(yīng)用，面向過去，發(fā)現(xiàn)數(shù)據(jù)規(guī)律，歸納已知；面向未來，挖掘數(shù)據(jù)趨勢，預(yù)測未知。從而提高人們對事物的理解和決策處置能力，最終實(shí)現(xiàn)社會的普適智能。不管是智慧醫(yī)療、智慧交通等相關(guān)技術(shù)和系統(tǒng)，其本質(zhì)都是朝著這一目標(biāo)在演進(jìn)。隨著云計算平臺和大數(shù)據(jù)技術(shù)的高速發(fā)展，獲得大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)相關(guān)技術(shù)和支持越來越容易。同時，移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)所具備的全面數(shù)據(jù)采集能力，客觀上促進(jìn)了大數(shù)據(jù)的積累和爆發(fā)。

總之大數(shù)據(jù)就是個大框，什么都能往里裝，大數(shù)據(jù)源的采集如果用傳感器的話離不開物聯(lián)網(wǎng)、大數(shù)據(jù)源的采集用智能手機(jī)的話離不開移動互聯(lián)網(wǎng)，大數(shù)據(jù)海量數(shù)據(jù)存儲要高擴(kuò)展就離不開云計算，大數(shù)據(jù)計算分析采用傳統(tǒng)的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)會比較慢，需要做并行計算和分布式計算擴(kuò)展，大數(shù)據(jù)要自動特征工程離不開深度學(xué)習(xí)、大數(shù)據(jù)要互動展示離不開可視化，而面向特定領(lǐng)域和多模態(tài)數(shù)據(jù)的大數(shù)據(jù)分析技術(shù)更是十分廣泛，金融大數(shù)據(jù)、交通大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、安全大數(shù)據(jù)、電信大數(shù)據(jù)、電商大數(shù)據(jù)、社交大數(shù)據(jù)，文本大數(shù)據(jù)、圖像大數(shù)據(jù)、視頻大數(shù)據(jù)…諸如此類等等范圍太廣，所以首先我們要搞清楚大數(shù)據(jù)應(yīng)用的核心目標(biāo)，這個明確之后，才利于結(jié)合不同行業(yè)特點(diǎn)把握住共性關(guān)鍵技術(shù)，從而有針對性的學(xué)習(xí)。

圖1 國外大數(shù)據(jù)企業(yè)關(guān)系圖，傳統(tǒng)信息技術(shù)企業(yè)也在向智能化發(fā)展，與新興大數(shù)據(jù)企業(yè)互為競爭和支持。

2．從大數(shù)據(jù)版圖看數(shù)據(jù)科學(xué)及其關(guān)鍵技術(shù)體系

明確大數(shù)據(jù)應(yīng)用目標(biāo)之后，我們再看看數(shù)據(jù)科學(xué)（Data Science），數(shù)據(jù)科學(xué)可以理解為一個跨多學(xué)科領(lǐng)域的，從數(shù)據(jù)中獲取知識的科學(xué)方法，技術(shù)和系統(tǒng)集合，其目標(biāo)是從數(shù)據(jù)中提取出有價值的信息，它結(jié)合了諸多領(lǐng)域中的理論和技術(shù)，包括應(yīng)用數(shù)學(xué)，統(tǒng)計，模式識別，機(jī)器學(xué)習(xí)，人工智能，深度學(xué)習(xí)，數(shù)據(jù)可視化，數(shù)據(jù)挖掘，數(shù)據(jù)倉庫，以及高性能計算等。圖靈獎得主Jim Gray把數(shù)據(jù)科學(xué)喻為科學(xué)的“第四范式”（經(jīng)驗(yàn)、理論、計算和數(shù)據(jù)驅(qū)動），并斷言因?yàn)樾畔⒓夹g(shù)的影響和數(shù)據(jù)的泛濫增長，未來不管什么領(lǐng)域的科學(xué)問題都將由數(shù)據(jù)所驅(qū)動。

圖2 典型的數(shù)據(jù)科學(xué)過程：包括原始數(shù)據(jù)采集，數(shù)據(jù)預(yù)處理和清洗，數(shù)據(jù)探索式分析，數(shù)據(jù)計算建模，數(shù)據(jù)可視化和報表，數(shù)據(jù)產(chǎn)品和決策支持等。

傳統(tǒng)信息化技術(shù)多是在結(jié)構(gòu)化和小規(guī)模數(shù)據(jù)上進(jìn)行計算處理，大數(shù)據(jù)時代呢，數(shù)據(jù)變大了，數(shù)據(jù)多源異構(gòu)了，需要智能預(yù)測和分析支持了，所以核心技術(shù)離不開機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、人工智能等，另外還需考慮海量數(shù)據(jù)的分布式存儲管理和機(jī)器學(xué)習(xí)算法并行處理，所以數(shù)據(jù)的大規(guī)模增長客觀上促進(jìn)了DT（Data Technology）技術(shù)生態(tài)的繁榮與發(fā)展，包括大數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲、NOSQL數(shù)據(jù)庫、多模式計算（批處理、在線處理、實(shí)時流處理、內(nèi)存處理）、多模態(tài)計算（圖像、文本、視頻、音頻）、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能、深度學(xué)習(xí)、并行計算、可視化等各種技術(shù)范疇和不同的層面。