【數(shù)據(jù)分析師】關(guān)于大數(shù)據(jù)的八大熱點(diǎn)問(wèn)題

大數(shù)據(jù)的熱點(diǎn)問(wèn)題：

1.數(shù)據(jù)科學(xué)與大數(shù)據(jù)的學(xué)科邊界

這一問(wèn)題綜合了兩個(gè)問(wèn)題，即大數(shù)據(jù)的基本內(nèi)涵與數(shù)據(jù)的科學(xué)問(wèn)題。前者關(guān)注的是大數(shù)據(jù)的基本定義和基本結(jié)構(gòu)。迄今為止，什么是大數(shù)據(jù)，在產(chǎn)業(yè)界、學(xué)術(shù)界并沒(méi)有形成一個(gè)公認(rèn)的科學(xué)定義，大數(shù)據(jù)的內(nèi)涵與外延也缺乏清晰的說(shuō)明。大數(shù)據(jù)區(qū)別于其他數(shù)據(jù)的關(guān)鍵特性是什么?IBM提出了3V的說(shuō)法，即volume(體量大)、variety(模式多)和velocity(速度快)。爾后又有人提出了另一個(gè)V，即value(價(jià)值)，表示大數(shù)據(jù)雖然價(jià)值總量高但其價(jià)值密度低。另外，大數(shù)據(jù)是否就意味著全數(shù)據(jù)，還有待進(jìn)一步討論與澄清。最后，還需要為動(dòng)態(tài)、高維、復(fù)雜的大數(shù)據(jù)建立形式化、結(jié)構(gòu)化的描述方法，進(jìn)而在此基礎(chǔ)上發(fā)展大數(shù)據(jù)處理技術(shù)。后者關(guān)注的是數(shù)據(jù)界與物理界、人類社會(huì)之間的關(guān)聯(lián)與差異，探討是否存在獨(dú)立于應(yīng)用領(lǐng)域的數(shù)據(jù)科學(xué)。如果存在數(shù)據(jù)科學(xué)，其學(xué)科問(wèn)題的分類體系又是什么?目前已有的共識(shí)是，大數(shù)據(jù)的復(fù)雜性主要來(lái)自數(shù)據(jù)之間的復(fù)雜聯(lián)系。另外，新型學(xué)習(xí)理論和認(rèn)知理論等應(yīng)當(dāng)是數(shù)據(jù)科學(xué)的重要組成部分。

2.數(shù)據(jù)計(jì)算的基本模式與范式

大數(shù)據(jù)的諸多突出特性使得傳統(tǒng)的數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)處理的方式方法都不再適用。因此，面對(duì)大數(shù)據(jù)，我們需要有數(shù)據(jù)密集型計(jì)算的基本模式和新型的計(jì)算范式，需要提出數(shù)據(jù)計(jì)算的效率評(píng)估方法以及研究數(shù)據(jù)計(jì)算復(fù)雜性等基本理論。由于數(shù)據(jù)體量太大，甚至有的數(shù)據(jù)本身就以分布式的形式存在，難以集中起來(lái)處理，因此對(duì)于大數(shù)據(jù)的計(jì)算需要從中心化的、自頂向下的模式轉(zhuǎn)為去中心化的、自底向上、自組織的計(jì)算模式。另外，面對(duì)大數(shù)據(jù)將形成基于數(shù)據(jù)的智能，我們可能需要尋找類似“數(shù)據(jù)的體量+簡(jiǎn)單的邏輯”的方法去解決復(fù)雜問(wèn)題。

3.大數(shù)據(jù)特性與數(shù)據(jù)態(tài)

這一問(wèn)題綜合了三個(gè)候選問(wèn)題，即大數(shù)據(jù)的關(guān)系維復(fù)雜性、大數(shù)據(jù)的空間維復(fù)雜性和大數(shù)據(jù)的時(shí)間維復(fù)雜性問(wèn)題。大數(shù)據(jù)往往由大量源頭產(chǎn)生，而且常包含圖像、視頻、音頻、數(shù)據(jù)流、文本、網(wǎng)頁(yè)等等不同的數(shù)據(jù)格式，因此其模態(tài)是多種多樣的。主要來(lái)源于多模態(tài)的大數(shù)據(jù)之間存在著錯(cuò)綜復(fù)雜的關(guān)聯(lián)關(guān)系，這種異質(zhì)的關(guān)聯(lián)關(guān)系有時(shí)還動(dòng)態(tài)變化，互為因果，因此導(dǎo)致其關(guān)聯(lián)模式也非常復(fù)雜。大數(shù)據(jù)的空間維問(wèn)題主要關(guān)注人、機(jī)、物三元世界中大數(shù)據(jù)的產(chǎn)生、感知與采集，以及不同粒度下數(shù)據(jù)的傳輸、移動(dòng)、存儲(chǔ)與計(jì)算。另外，還需研究大數(shù)據(jù)在空間與密度的非均衡態(tài)對(duì)其分析與處理所帶來(lái)的理論與技術(shù)挑戰(zhàn)。而大數(shù)據(jù)的時(shí)間維問(wèn)題意圖在時(shí)間維度上研究大數(shù)據(jù)的生命周期、狀態(tài)與特征，并探索大數(shù)據(jù)的流化分析、增量式的學(xué)習(xí)方法與在線推薦。最后，研究大數(shù)據(jù)的離線與在線處理對(duì)時(shí)效性要求。

4.大數(shù)據(jù)的數(shù)據(jù)變換與價(jià)值提煉

這一問(wèn)題主要由“如何將大數(shù)據(jù)變小”與“如何進(jìn)行大數(shù)據(jù)的價(jià)值提煉”兩個(gè)問(wèn)題組成，前者要在不改變數(shù)據(jù)基本屬性的前提下對(duì)數(shù)據(jù)進(jìn)行清洗，在盡量不損失價(jià)值的條件下減小數(shù)據(jù)規(guī)模。為此，需要研究大數(shù)據(jù)的抽樣、去重、過(guò)濾、篩選、壓縮、索引、提取元數(shù)據(jù)等數(shù)據(jù)變換方法，直接將大數(shù)據(jù)變小，這可以看作是大數(shù)據(jù)的“物理變化”。后者可看作是大數(shù)據(jù)的“化學(xué)反應(yīng)”，對(duì)大數(shù)據(jù)的探索式考察與可視化將發(fā)揮作用，人機(jī)的交互分析可以將人的智慧融入這一過(guò)程，通過(guò)群體智慧、社會(huì)計(jì)算、認(rèn)知計(jì)算對(duì)數(shù)據(jù)的價(jià)值進(jìn)行發(fā)酵和提煉，實(shí)現(xiàn)從數(shù)據(jù)分析到數(shù)據(jù)價(jià)值判定和數(shù)據(jù)制造的價(jià)值飛躍。

5.大數(shù)據(jù)的安全和隱私問(wèn)題

只要有數(shù)據(jù)，就必然存在安全與隱私的問(wèn)題。隨著數(shù)據(jù)的增多，大數(shù)據(jù)面臨著重大的風(fēng)險(xiǎn)和威脅，需要遵守更多更合理的規(guī)定，傳統(tǒng)的數(shù)據(jù)保護(hù)方法無(wú)法滿足這一要求。因此，面對(duì)大數(shù)據(jù)的安全與隱私保護(hù)，有大量的挑戰(zhàn)急需得到解決，具體包括：大數(shù)據(jù)計(jì)算倫理學(xué)、大數(shù)據(jù)密碼學(xué)、分布式編程框架中的安全計(jì)算、遠(yuǎn)程數(shù)據(jù)計(jì)算的可信任度、數(shù)據(jù)存儲(chǔ)和日志管理的安全性、基于隱私和商業(yè)利益保護(hù)的數(shù)據(jù)挖掘與分析、強(qiáng)制的訪問(wèn)控制和安全通信、多粒度訪問(wèn)控制以及數(shù)據(jù)來(lái)源和數(shù)據(jù)通道的可信等。

6.大數(shù)據(jù)對(duì)IT技術(shù)架構(gòu)的挑戰(zhàn)

這一問(wèn)題是對(duì)熱點(diǎn)問(wèn)題“大數(shù)據(jù)對(duì)于系統(tǒng)的要求”的新解讀。大數(shù)據(jù)對(duì)于系統(tǒng)，不管是存儲(chǔ)系統(tǒng)、傳輸系統(tǒng)還是計(jì)算系統(tǒng)都提出了很多非?？量痰囊?，而現(xiàn)有的數(shù)據(jù)中心技術(shù)難以滿足大數(shù)據(jù)的需求。譬如，存儲(chǔ)能力的增長(zhǎng)遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)的增長(zhǎng)，設(shè)計(jì)最合理的分層存儲(chǔ)架構(gòu)已成為信息系統(tǒng)的關(guān)鍵。分布式存儲(chǔ)架構(gòu)不僅需要scale-up式的可擴(kuò)展性，也需要scale-out式的可擴(kuò)展性。因此對(duì)整個(gè)IT架構(gòu)進(jìn)行革命性地重構(gòu)勢(shì)在必行。此外，大數(shù)據(jù)平臺(tái)(包括計(jì)算平臺(tái)、傳輸平臺(tái)、存儲(chǔ)平臺(tái)等)是大數(shù)據(jù)技術(shù)鏈條中的瓶頸，特別是大數(shù)據(jù)的高速傳輸，需要革命性的新技術(shù)。

7.大數(shù)據(jù)的應(yīng)用及產(chǎn)業(yè)鏈

大部分大數(shù)據(jù)專家委員會(huì)的委員都認(rèn)為，大數(shù)據(jù)的研究與應(yīng)用一定要與領(lǐng)域知識(shí)相結(jié)合，尤其在開(kāi)展大數(shù)據(jù)研究的初期，計(jì)算機(jī)領(lǐng)域的科技工作者一定要虛心向各領(lǐng)域的科技人員請(qǐng)教，真正了解和熟悉各領(lǐng)域發(fā)生數(shù)據(jù)的特點(diǎn)。針對(duì)不同的領(lǐng)域環(huán)境和不同的應(yīng)用需求，大數(shù)據(jù)的獲取、分析、反饋的方式有所不同。為此，針對(duì)不同行業(yè)與領(lǐng)域業(yè)務(wù)需求，我們需要展開(kāi)數(shù)據(jù)特征與業(yè)務(wù)特征的研究，進(jìn)行大數(shù)據(jù)應(yīng)用分類與技術(shù)需求分析，構(gòu)建從需求分析與業(yè)務(wù)模型，到數(shù)據(jù)建模、數(shù)據(jù)采集和總結(jié)反饋，最后到數(shù)據(jù)分析的全生命周期應(yīng)用模型。其實(shí)，不同的應(yīng)用環(huán)境和應(yīng)用目標(biāo)代表了不同的價(jià)值導(dǎo)向，這對(duì)于大數(shù)據(jù)的價(jià)值密度有很大的影響。

8.大數(shù)據(jù)的生態(tài)環(huán)境問(wèn)題

大數(shù)據(jù)作為21世紀(jì)的“新石油”，是一種寶貴的戰(zhàn)略資源，因此對(duì)大數(shù)據(jù)的共享與管理無(wú)疑是其生態(tài)環(huán)境的一部分。對(duì)于大數(shù)據(jù)的共享與管理，其中所有權(quán)是基礎(chǔ)，這既是技術(shù)問(wèn)題，也是法理問(wèn)題。對(duì)數(shù)據(jù)的權(quán)益需要進(jìn)行具體認(rèn)定并進(jìn)行保護(hù)，進(jìn)而在保護(hù)好多方利益的前提下解決數(shù)據(jù)共享問(wèn)題。為此，可能會(huì)遇到不少的障礙，包括人們對(duì)法律或信譽(yù)的顧慮，保護(hù)競(jìng)爭(zhēng)力的需要，以及數(shù)據(jù)存儲(chǔ)的位置和方式不利于數(shù)據(jù)的訪問(wèn)和傳輸?shù)?。此外，生態(tài)環(huán)境問(wèn)題還涉及與政治、經(jīng)濟(jì)、社會(huì)、法律、科學(xué)等等的交叉影響問(wèn)題。因?yàn)榇髷?shù)據(jù)將對(duì)國(guó)家治理模式、企業(yè)的決策、組織和業(yè)務(wù)流程、個(gè)人生活方式都將產(chǎn)生巨大的影響，所以這種影響模式值得深入研究。