大數(shù)據(jù)技術(shù)面臨的三個重要問題

如何利用信息技術(shù)等手段處理非結(jié)構(gòu)化數(shù)據(jù)

大數(shù)據(jù)中，結(jié)構(gòu)化數(shù)據(jù)只占 15%左右，其余的 85%都是非結(jié)構(gòu)化的數(shù)據(jù)，它們大量存在于社交網(wǎng)絡、互聯(lián)網(wǎng)和電子商務等領域。另一方面，也許有 90%的數(shù)據(jù)來自開源數(shù)據(jù)，其余的被存儲在數(shù)據(jù)庫中。大數(shù)據(jù)的不確定性表現(xiàn)在高維、多變和強隨機性等方面。股票交易數(shù)據(jù)流是不確定性大數(shù)據(jù)的一個典型例子。

大數(shù)據(jù)刺激了大量研究問題。非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的個體表現(xiàn)、一般性特征和基本原理尚不清晰，這些都需要通過包括數(shù)學、經(jīng)濟學、社會學、計算機科學和管理科學在內(nèi)的多學科交叉來研究和討論。給定一種半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如圖像，如何把它轉(zhuǎn)化成多維數(shù)據(jù)表、面向?qū)ο蟮臄?shù)據(jù)模型或者直接基于圖像的數(shù)據(jù)模型?值得注意的是，大數(shù)據(jù)每一種表示形式都僅呈現(xiàn)數(shù)據(jù)本身的側(cè)面表現(xiàn)，并非全貌。

如果把通過數(shù)據(jù)挖掘提取 “粗糙知識” 的過程稱為 “一次挖掘” 過程，那么將粗糙知識與被量化后主觀知識，包括具體的經(jīng)驗、常識、本能、情境知識和用戶偏好，相結(jié)合而產(chǎn)生“智能知識”過程就叫做“二次挖掘”。從“一次挖掘”到“二次挖掘”類似事物“量”到“質(zhì)” 的飛躍。

由于大數(shù)據(jù)所具有的半結(jié)構(gòu)化和非結(jié)構(gòu)化特點，基于數(shù)據(jù)挖掘所產(chǎn)生的結(jié)構(gòu)化的 “粗糙知識”(潛在模式)也伴有一些新的特征。這些結(jié)構(gòu)化的粗糙知識可以被主觀知識加工處理并轉(zhuǎn)化，生成半結(jié)構(gòu)化和非結(jié)構(gòu)化的智能知識。尋求 “智能知識” 反映了大數(shù)據(jù)研究的核心價值。

2如何探索大數(shù)據(jù)特征描述刻畫方法及系統(tǒng)建模

這一問題的突破是實現(xiàn)大數(shù)據(jù)知識發(fā)現(xiàn)的前提和關鍵。從長遠角度來看，依照大數(shù)據(jù)的個體復雜性和隨機性所帶來的挑戰(zhàn)將促使大數(shù)據(jù)數(shù)學結(jié)構(gòu)的形成，從而導致大數(shù)據(jù)統(tǒng)一理論的完備。從短期而言，學術(shù)界鼓勵發(fā)展一種一般性的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的轉(zhuǎn)化原則，以支持大數(shù)據(jù)的交叉工業(yè)應用。管理科學，尤其是基于最優(yōu)化的理論將在發(fā)展大數(shù)據(jù)知識發(fā)現(xiàn)的一般性方法和規(guī)律性中發(fā)揮重要的作用。

大數(shù)據(jù)的復雜形式導致許多對 “粗糙知識” 的度量和評估相關的研究問題。已知的最優(yōu)化、數(shù)據(jù)包絡分析、期望理論、管理科學中的效用理論可以被應用到研究如何將主觀知識融合到數(shù)據(jù)挖掘產(chǎn)生的粗糙知識的 “二次挖掘” 過程中。這里人機交互將起到至關重要的作用。
3數(shù)據(jù)與決策異構(gòu)性的關系對知識發(fā)現(xiàn)與決策的影響
由于大數(shù)據(jù)本身的復雜性，這一問題無疑是一個重要的科研課題，對傳統(tǒng)的數(shù)據(jù)挖掘理論和技術(shù)提出了新的挑戰(zhàn)。在大數(shù)據(jù)環(huán)境下，管理決策面臨著兩個 “異構(gòu)性” 問題：“數(shù)據(jù)異構(gòu)性” 和 “決策異構(gòu)性”。傳統(tǒng)的管理決定模式取決于對業(yè)務知識的學習和日益積累的實踐經(jīng)驗，而管理決策又是以數(shù)據(jù)分析為基礎的。

大數(shù)據(jù)已經(jīng)改變了傳統(tǒng)的管理決策結(jié)構(gòu)的模式。研究大數(shù)據(jù)對管理決策結(jié)構(gòu)的影響會成為一個公開的科研問題。除此之外，決策結(jié)構(gòu)的變化要求人們?nèi)ヌ接懭绾螢橹С指邔哟蔚臎Q策而去做 “二次挖掘”。無論大數(shù)據(jù)帶來了哪種數(shù)據(jù)異構(gòu)性，大數(shù)據(jù)中的 “粗糙知識” 仍可被看作 “一次挖掘” 的范疇。通過尋找 “二次挖掘” 產(chǎn)生的 “智能知識” 來作為數(shù)據(jù)異構(gòu)性和決策異構(gòu)性之間的橋梁是十分必要的。探索大數(shù)據(jù)環(huán)境下決策結(jié)構(gòu)是如何被改變的，相當于研究如何將決策者的主觀知識參與到?jīng)Q策的過程中。

大數(shù)據(jù)是一種具有隱藏法則的人造自然，尋找大數(shù)據(jù)的科學模式將帶來對研究大數(shù)據(jù)之美的一般性方法的探究，盡管這樣的探索十分困難，但是如果我們找到了將非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)的方法，已知的數(shù)據(jù)挖掘方法將成為大數(shù)據(jù)挖掘的工具。