大數(shù)據(jù)時(shí)代下的數(shù)據(jù)挖掘簡(jiǎn)析

隨著大數(shù)據(jù)的興起，隱藏在大數(shù)據(jù)背后的相關(guān)技術(shù)也逐漸被揭開(kāi)神秘的面紗，其中，數(shù)據(jù)挖掘即是大數(shù)據(jù)應(yīng)用過(guò)程中非常重要的環(huán)節(jié)。以下是國(guó)內(nèi)領(lǐng)先的移動(dòng)大數(shù)據(jù)服務(wù)商極光大數(shù)據(jù)的副總裁陳宇針對(duì)數(shù)據(jù)挖掘技術(shù)的簡(jiǎn)析，并對(duì)比總結(jié)了大數(shù)據(jù)時(shí)代下的數(shù)據(jù)挖掘技術(shù)相較于傳統(tǒng)數(shù)據(jù)挖掘的突出優(yōu)勢(shì)。

數(shù)據(jù)挖掘技術(shù)概要

從海量的數(shù)據(jù)庫(kù)中選擇、探索、識(shí)別出有效的、新穎的、具有潛在效用的乃至最終可理解的模式以獲取商業(yè)利益的非平凡的過(guò)程就是Fayyad和Piatetsky-Shapiror在1996年提出的數(shù)據(jù)挖掘的定義。這個(gè)定義有三個(gè)要點(diǎn)：處理海量的數(shù)據(jù)；揭示企業(yè)運(yùn)作中的內(nèi)在規(guī)律；為企業(yè)運(yùn)作提供直接決策分析，并帶來(lái)巨大經(jīng)濟(jì)效益。

技術(shù)不斷演進(jìn)，社會(huì)不斷發(fā)展，對(duì)于數(shù)據(jù)挖掘的定義也發(fā)生了一些變化。例如對(duì)于數(shù)據(jù)量級(jí)的變化，從海量已經(jīng)到了巨量。在1996年的時(shí)候，人們是無(wú)法想象2017年我們將會(huì)處理如此巨大的數(shù)據(jù)。而數(shù)據(jù)處理的樣本規(guī)模也在從采樣發(fā)展到全量，例如極光大數(shù)據(jù)在處理關(guān)鍵人的同軌分析特征識(shí)別的時(shí)候，會(huì)處理幾百億的位置信息軌跡，從中提煉出具有相同軌跡的設(shè)備信息，從而通過(guò)設(shè)備信息關(guān)聯(lián)出自然人的相互關(guān)系等等。

同時(shí)，相對(duì)于1996年，數(shù)據(jù)應(yīng)用發(fā)掘企業(yè)的內(nèi)在規(guī)律已經(jīng)拓展到了社會(huì)運(yùn)行特征、人群行為特征、經(jīng)濟(jì)發(fā)展特征等等各個(gè)方面。而數(shù)據(jù)挖掘的目的也不僅是為了經(jīng)濟(jì)效益，也對(duì)社會(huì)生產(chǎn)力提升和管理水平提升提供了相應(yīng)支持。

數(shù)據(jù)挖掘過(guò)程的關(guān)鍵點(diǎn)

傳統(tǒng)數(shù)據(jù)挖掘過(guò)程一般采用如下過(guò)程：

數(shù)據(jù)挖掘的過(guò)程

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘的過(guò)程本質(zhì)相同，但是有如下差異：

大數(shù)據(jù)時(shí)代數(shù)據(jù)挖掘的差異

1. 從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)挖掘都是依據(jù)數(shù)據(jù)庫(kù)里面的數(shù)據(jù)進(jìn)行分析，在大數(shù)據(jù)時(shí)代，數(shù)據(jù)來(lái)源多種多樣，對(duì)于這些非結(jié)構(gòu)化數(shù)據(jù)的加工是大數(shù)據(jù)數(shù)據(jù)挖掘的重要特征。因?yàn)榉墙Y(jié)構(gòu)化數(shù)據(jù)處理的成功與否決定了大數(shù)據(jù)數(shù)據(jù)源的質(zhì)量好壞，而這并不是算法可以解決的。

2. 從抽樣數(shù)據(jù)到全量數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)挖掘受制于數(shù)據(jù)處理能力，只能使用少量的抽樣數(shù)據(jù)進(jìn)行分析。在大數(shù)據(jù)技術(shù)環(huán)境下，完全可以實(shí)現(xiàn)全量數(shù)據(jù)的分析，效率甚至可能高于抽樣數(shù)據(jù)的分析。

3. 從因果關(guān)系到相關(guān)性分析。大數(shù)據(jù)分析通過(guò)事件和多種因素進(jìn)行相關(guān)性分析，通過(guò)數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的算法找到其關(guān)聯(lián)關(guān)系，并運(yùn)用回歸分析從而實(shí)現(xiàn)預(yù)測(cè)。

數(shù)據(jù)挖掘的任務(wù)按照目標(biāo)可以分為4類(lèi)：

1) 分類(lèi)：通過(guò)分析訓(xùn)練集的數(shù)據(jù)，為每一個(gè)分類(lèi)建立分類(lèi)分析模型，用這個(gè)已知的規(guī)律對(duì)其他數(shù)據(jù)進(jìn)行分類(lèi)

2) 回歸：建立因變量和自變量之間關(guān)系的模型

3) 聚類(lèi)：將對(duì)象集合分成由類(lèi)似的對(duì)象組成的多個(gè)類(lèi)的過(guò)程

4) 關(guān)聯(lián)規(guī)則：尋找給定數(shù)據(jù)集合中各個(gè)因子之間的關(guān)聯(lián)關(guān)系

人們經(jīng)常見(jiàn)到的“邏輯回歸模型”、“神經(jīng)網(wǎng)絡(luò)模型”、“遺傳算法”、“決策樹(shù)”等等都是監(jiān)督學(xué)習(xí)過(guò)程的挖掘算法。這類(lèi)算法在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)里面大量使用，是大數(shù)據(jù)公司必備的專(zhuān)業(yè)技能。極光大數(shù)據(jù)作為國(guó)內(nèi)領(lǐng)先的移動(dòng)大數(shù)據(jù)服務(wù)商，在這方面的實(shí)際案例頗多，例如極光大數(shù)據(jù)團(tuán)隊(duì)利用神經(jīng)網(wǎng)絡(luò)算法預(yù)測(cè)個(gè)人前往某一個(gè)特定區(qū)域的概率和時(shí)間，準(zhǔn)確度可以達(dá)到80%以上；他們還利用神經(jīng)網(wǎng)絡(luò)算法和隨機(jī)森林算法對(duì)個(gè)人喜歡的移動(dòng)應(yīng)用進(jìn)行推薦下載和推薦產(chǎn)品；此外，極光大數(shù)據(jù)團(tuán)隊(duì)還自主開(kāi)發(fā)了空間軌跡相似度STS(spatial trajectory similarity)算法進(jìn)行同軌分析等。

數(shù)據(jù)挖掘技術(shù)隨著大數(shù)據(jù)時(shí)代的到來(lái)已變幻出更強(qiáng)的功能特征，而在大數(shù)據(jù)服務(wù)商的精耕細(xì)作下，也必將為各行業(yè)帶來(lái)進(jìn)步的動(dòng)力。