大數(shù)據(jù)技術(shù)面臨的三個重要問題

如何利用信息技術(shù)等手段處理非結(jié)構(gòu)化數(shù)據(jù)

大數(shù)據(jù)中，結(jié)構(gòu)化數(shù)據(jù)只占 15%左右，其余的 85%都是非結(jié)構(gòu)化的數(shù)據(jù)，它們大量存在于社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)和電子商務(wù)等領(lǐng)域。另一方面，也許有 90%的數(shù)據(jù)來自開源數(shù)據(jù)，其余的被存儲在數(shù)據(jù)庫中。大數(shù)據(jù)的不確定性表現(xiàn)在高維、多變和強(qiáng)隨機(jī)性等方面。股票交易數(shù)據(jù)流是不確定性大數(shù)據(jù)的一個典型例子。

大數(shù)據(jù)刺激了大量研究問題。非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的個體表現(xiàn)、一般性特征和基本原理尚不清晰，這些都需要通過包括數(shù)學(xué)、經(jīng)濟(jì)學(xué)、社會學(xué)、計(jì)算機(jī)科學(xué)和管理科學(xué)在內(nèi)的多學(xué)科交叉來研究和討論。給定一種半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如圖像，如何把它轉(zhuǎn)化成多維數(shù)據(jù)表、面向?qū)ο蟮臄?shù)據(jù)模型或者直接基于圖像的數(shù)據(jù)模型?值得注意的是，大數(shù)據(jù)每一種表示形式都僅呈現(xiàn)數(shù)據(jù)本身的側(cè)面表現(xiàn)，并非全貌。

如果把通過數(shù)據(jù)挖掘提取 “粗糙知識” 的過程稱為 “一次挖掘” 過程，那么將粗糙知識與被量化后主觀知識，包括具體的經(jīng)驗(yàn)、常識、本能、情境知識和用戶偏好，相結(jié)合而產(chǎn)生“智能知識”過程就叫做“二次挖掘”。從“一次挖掘”到“二次挖掘”類似事物“量”到“質(zhì)” 的飛躍。

由于大數(shù)據(jù)所具有的半結(jié)構(gòu)化和非結(jié)構(gòu)化特點(diǎn)，基于數(shù)據(jù)挖掘所產(chǎn)生的結(jié)構(gòu)化的 “粗糙知識”(潛在模式)也伴有一些新的特征。這些結(jié)構(gòu)化的粗糙知識可以被主觀知識加工處理并轉(zhuǎn)化，生成半結(jié)構(gòu)化和非結(jié)構(gòu)化的智能知識。尋求 “智能知識” 反映了大數(shù)據(jù)研究的核心價值。

2如何探索大數(shù)據(jù)特征描述刻畫方法及系統(tǒng)建模

這一問題的突破是實(shí)現(xiàn)大數(shù)據(jù)知識發(fā)現(xiàn)的前提和關(guān)鍵。從長遠(yuǎn)角度來看，依照大數(shù)據(jù)的個體復(fù)雜性和隨機(jī)性所帶來的挑戰(zhàn)將促使大數(shù)據(jù)數(shù)學(xué)結(jié)構(gòu)的形成，從而導(dǎo)致大數(shù)據(jù)統(tǒng)一理論的完備。從短期而言，學(xué)術(shù)界鼓勵發(fā)展一種一般性的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的轉(zhuǎn)化原則，以支持大數(shù)據(jù)的交叉工業(yè)應(yīng)用。管理科學(xué)，尤其是基于最優(yōu)化的理論將在發(fā)展大數(shù)據(jù)知識發(fā)現(xiàn)的一般性方法和規(guī)律性中發(fā)揮重要的作用。

大數(shù)據(jù)的復(fù)雜形式導(dǎo)致許多對 “粗糙知識” 的度量和評估相關(guān)的研究問題。已知的最優(yōu)化、數(shù)據(jù)包絡(luò)分析、期望理論、管理科學(xué)中的效用理論可以被應(yīng)用到研究如何將主觀知識融合到數(shù)據(jù)挖掘產(chǎn)生的粗糙知識的 “二次挖掘” 過程中。這里人機(jī)交互將起到至關(guān)重要的作用。
3數(shù)據(jù)與決策異構(gòu)性的關(guān)系對知識發(fā)現(xiàn)與決策的影響
由于大數(shù)據(jù)本身的復(fù)雜性，這一問題無疑是一個重要的科研課題，對傳統(tǒng)的數(shù)據(jù)挖掘理論和技術(shù)提出了新的挑戰(zhàn)。在大數(shù)據(jù)環(huán)境下，管理決策面臨著兩個 “異構(gòu)性” 問題：“數(shù)據(jù)異構(gòu)性” 和 “決策異構(gòu)性”。傳統(tǒng)的管理決定模式取決于對業(yè)務(wù)知識的學(xué)習(xí)和日益積累的實(shí)踐經(jīng)驗(yàn)，而管理決策又是以數(shù)據(jù)分析為基礎(chǔ)的。

大數(shù)據(jù)已經(jīng)改變了傳統(tǒng)的管理決策結(jié)構(gòu)的模式。研究大數(shù)據(jù)對管理決策結(jié)構(gòu)的影響會成為一個公開的科研問題。除此之外，決策結(jié)構(gòu)的變化要求人們?nèi)ヌ接懭绾螢橹С指邔哟蔚臎Q策而去做 “二次挖掘”。無論大數(shù)據(jù)帶來了哪種數(shù)據(jù)異構(gòu)性，大數(shù)據(jù)中的 “粗糙知識” 仍可被看作 “一次挖掘” 的范疇。通過尋找 “二次挖掘” 產(chǎn)生的 “智能知識” 來作為數(shù)據(jù)異構(gòu)性和決策異構(gòu)性之間的橋梁是十分必要的。探索大數(shù)據(jù)環(huán)境下決策結(jié)構(gòu)是如何被改變的，相當(dāng)于研究如何將決策者的主觀知識參與到?jīng)Q策的過程中。

大數(shù)據(jù)是一種具有隱藏法則的人造自然，尋找大數(shù)據(jù)的科學(xué)模式將帶來對研究大數(shù)據(jù)之美的一般性方法的探究，盡管這樣的探索十分困難，但是如果我們找到了將非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)的方法，已知的數(shù)據(jù)挖掘方法將成為大數(shù)據(jù)挖掘的工具。