三大技術(shù)解決大數(shù)據(jù)面臨的挑戰(zhàn)_數(shù)據(jù)分析師考試

當今，大數(shù)據(jù)的到來，已經(jīng)成為現(xiàn)實生活中無法逃避的挑戰(zhàn)。每當我們要做出決策的時候，大數(shù)據(jù)就無處不在。大數(shù)據(jù)術(shù)語廣泛地出現(xiàn)也使得人們漸漸明白了它的重要性。大數(shù)據(jù)漸漸向人們展現(xiàn)了它為學(xué)術(shù)、工業(yè)和政府帶來的巨大機遇。與此同時，大數(shù)據(jù)也向參與的各方提出了巨大的挑戰(zhàn)，首先是三個重要的技術(shù)問題：

一、如何利用信息技術(shù)等手段處理非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)

大數(shù)據(jù)中，結(jié)構(gòu)化數(shù)據(jù)只占15%左右，其余的85%都是非結(jié)構(gòu)化的數(shù)據(jù)，它們大量存在于社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)和電子商務(wù)等領(lǐng)域。另一方面，也許有90%的數(shù)據(jù)來自開源數(shù)據(jù)，其余的被存儲在數(shù)據(jù)庫中。大數(shù)據(jù)的不確定性表現(xiàn)在高維、多變和強隨機性等方面。股票交易數(shù)據(jù)流是不確定性大數(shù)據(jù)的一個典型例子。

大數(shù)據(jù)刺激了大量研究問題。非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的個體表現(xiàn)、一般性特征和基本原理尚不清晰，這些都需要通過包括數(shù)學(xué)、經(jīng)濟學(xué)、社會學(xué)、計算機科學(xué)和管理科學(xué)在內(nèi)的多學(xué)科交叉來研究和討論。給定一種半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如圖像，如何把它轉(zhuǎn)化成多維數(shù)據(jù)表、面向?qū)ο蟮臄?shù)據(jù)模型或者直接基于圖像的數(shù)據(jù)模型？值得注意的是，大數(shù)據(jù)每一種表示形式都僅呈現(xiàn)數(shù)據(jù)本身的側(cè)面表現(xiàn)，并非全貌。

如果把通過數(shù)據(jù)挖掘提取“粗糙知識”的過程稱為“一次挖掘”過程，那么將粗糙知識與被量化后主觀知識，包括具體的經(jīng)驗、常識、本能、情境知識和用戶偏好，相結(jié)合而產(chǎn)生“智能知識”過程就叫做“二次挖掘”。從“一次挖掘”到“二次挖掘”類似事物“量”到“質(zhì)”的飛躍。

由于大數(shù)據(jù)所具有的半結(jié)構(gòu)化和非結(jié)構(gòu)化特點，基于大數(shù)據(jù)的數(shù)據(jù)挖掘所產(chǎn)生的結(jié)構(gòu)化的“粗糙知識”（潛在模式）也伴有一些新的特征。這些結(jié)構(gòu)化的粗糙知識可以被主觀知識加工處理并轉(zhuǎn)化，生成半結(jié)構(gòu)化和非結(jié)構(gòu)化的智能知識。尋求“智能知識”反映了大數(shù)據(jù)研究的核心價值。

二、如何探索大數(shù)據(jù)復(fù)雜性、不確定性特征描述的刻畫方法及大數(shù)據(jù)的系統(tǒng)建模

這一問題的突破是實現(xiàn)大數(shù)據(jù)知識發(fā)現(xiàn)的前提和關(guān)鍵。從長遠角度來看，依照大數(shù)據(jù)的個體復(fù)雜性和隨機性所帶來的挑戰(zhàn)將促使大數(shù)據(jù)數(shù)學(xué)結(jié)構(gòu)的形成，從而導(dǎo)致大數(shù)據(jù)統(tǒng)一理論的完備。從短期而言，學(xué)術(shù)界鼓勵發(fā)展一種一般性的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的轉(zhuǎn)化原則，以支持大數(shù)據(jù)的交叉工業(yè)應(yīng)用。管理科學(xué)，尤其是基于最優(yōu)化的理論將在發(fā)展大數(shù)據(jù)知識發(fā)現(xiàn)的一般性方法和規(guī)律性中發(fā)揮重要的作用。

大數(shù)據(jù)的復(fù)雜形式導(dǎo)致許多對“粗糙知識”的度量和評估相關(guān)的研究問題。已知的最優(yōu)化、數(shù)據(jù)包絡(luò)分析、期望理論、管理科學(xué)中的效用理論可以被應(yīng)用到研究如何將主觀知識融合到數(shù)據(jù)挖掘產(chǎn)生的粗糙知識的“二次挖掘”過程中。這里人機交互將起到至關(guān)重要的作用。

三、數(shù)據(jù)異構(gòu)性與決策異構(gòu)性的關(guān)系對大數(shù)據(jù)知識發(fā)現(xiàn)與管理決策的影響

由于大數(shù)據(jù)本身的復(fù)雜性，這一問題無疑是一個重要的科研課題，對傳統(tǒng)的數(shù)據(jù)挖掘理論和技術(shù)提出了新的挑戰(zhàn)。在大數(shù)據(jù)環(huán)境下，管理決策面臨著兩個“異構(gòu)性”問題：“數(shù)據(jù)異構(gòu)性”和“決策異構(gòu)性”。傳統(tǒng)的管理決定模式取決于對業(yè)務(wù)知識的學(xué)習(xí)和日益積累的實踐經(jīng)驗，而管理決策又是以數(shù)據(jù)分析為基礎(chǔ)的。

大數(shù)據(jù)已經(jīng)改變了傳統(tǒng)的管理決策結(jié)構(gòu)的模式。研究大數(shù)據(jù)對管理決策結(jié)構(gòu)的影響會成為一個公開的科研問題。除此之外，決策結(jié)構(gòu)的變化要求人們?nèi)ヌ接懭绾螢橹С指邔哟蔚臎Q策而去做“二次挖掘”。無論大數(shù)據(jù)帶來了哪種數(shù)據(jù)異構(gòu)性，大數(shù)據(jù)中的“粗糙知識”仍可被看作“一次挖掘”的范疇。通過尋找“二次挖掘”產(chǎn)生的“智能知識”來作為數(shù)據(jù)異構(gòu)性和決策異構(gòu)性之間的橋梁是十分必要的。探索大數(shù)據(jù)環(huán)境下決策結(jié)構(gòu)是如何被改變的，相當于研究如何將決策者的主觀知識參與到?jīng)Q策的過程中。

大數(shù)據(jù)是一種具有隱藏法則的人造自然，尋找大數(shù)據(jù)的科學(xué)模式將帶來對研究大數(shù)據(jù)之美的一般性方法的探究，盡管這樣的探索十分困難，但是如果我們找到了將非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)的方法，已知的數(shù)據(jù)挖掘方法將成為大數(shù)據(jù)挖掘的工具。

以上是我對大數(shù)據(jù)的三個重要技術(shù)問題進行研究的一些心得，也僅僅是一個研究大數(shù)據(jù)挑戰(zhàn)的起點。除此之外，還有一些數(shù)據(jù)科學(xué)的問題，包括在獲得數(shù)據(jù)和從數(shù)據(jù)中產(chǎn)生規(guī)則方面可能存在的公理體系，基于數(shù)據(jù)庫的知識發(fā)現(xiàn)規(guī)則與基于開放數(shù)據(jù)源的知識發(fā)現(xiàn)規(guī)則以及大數(shù)據(jù)挖掘的整體和（或）局部解的存在性問題等等。在不久的將來，我相信這些問題都需要去仔細研究，以獲得突破性科研與應(yīng)用成果。