大數(shù)據(jù)挖掘技術(shù)和流程

如何從海量的數(shù)據(jù)中發(fā)現(xiàn)有用的知識(shí)并為企業(yè)發(fā)展提供幫助和指導(dǎo)，數(shù)據(jù)分析師就是專門為企業(yè)解決這一難題的。

    簡(jiǎn)單來(lái)說(shuō)，數(shù)據(jù)挖掘就是利用人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、模式識(shí)別等技術(shù)，從大量的、含有噪聲的實(shí)際數(shù)據(jù)中提取其中隱含的、事先不為人所知的有效信息的過(guò)程。一方面，數(shù)據(jù)分析師對(duì)數(shù)據(jù)分析或數(shù)據(jù)挖掘所處理的數(shù)據(jù)對(duì)象是真實(shí)的、包含噪音，因此是一門實(shí)際應(yīng)用科學(xué);另一方面，其目的在于發(fā)現(xiàn)人們感興趣的知識(shí)，與市場(chǎng)邏輯存在著緊密聯(lián)系。大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)并不是一門新的學(xué)科，其基本原理與傳統(tǒng)數(shù)據(jù)挖掘并無(wú)本質(zhì)區(qū)別。只是由于所需要處理的數(shù)據(jù)規(guī)模龐大、且價(jià)值密度低，在處理方法和邏輯上被賦予了新的含義。比如傳統(tǒng)數(shù)據(jù)挖掘由于數(shù)據(jù)量較小，為真實(shí)反應(yīng)實(shí)際情況，需要構(gòu)建相對(duì)復(fù)雜的模型;而大數(shù)據(jù)時(shí)代提供了海量的數(shù)據(jù)，可能使用相對(duì)簡(jiǎn)單的模型便可以滿足需求。

    所示為數(shù)據(jù)挖掘基本流程，包括商業(yè)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)理解、模型建立、模型評(píng)估和模型應(yīng)用幾個(gè)步驟。

    首先是商業(yè)理解，也就是對(duì)數(shù)據(jù)挖掘問(wèn)題本身的定義。所謂做正確的事比正確的做事更重要，在著手做數(shù)據(jù)模型之前一定要花時(shí)間去理解需求，弄清楚真正要解決的問(wèn)題是什么，根據(jù)需求制定工作方案。這個(gè)過(guò)程需要比較多的溝通和市場(chǎng)調(diào)研，了解問(wèn)題提出的商業(yè)邏輯。在溝通交流過(guò)程中，為了便于對(duì)溝通效果進(jìn)行把控，可以采取思維導(dǎo)圖等工具對(duì)的結(jié)果進(jìn)行記錄、整理。

    明確需求后，接下來(lái)就是要收集并整理數(shù)據(jù)建模所需要的數(shù)據(jù)。這個(gè)過(guò)程是資源調(diào)配的過(guò)程，需要與企業(yè)的相關(guān)部門明確可以使用的數(shù)據(jù)維度有哪些，哪些維度與建模任務(wù)相關(guān)性比價(jià)高。這個(gè)過(guò)程通常需要一定的專業(yè)背景知識(shí)。

    數(shù)據(jù)理解指的是對(duì)用于挖掘數(shù)據(jù)的預(yù)處理和統(tǒng)計(jì)分析過(guò)程，有時(shí)也稱為ETL過(guò)程。主要包括數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換和加載，是整個(gè)數(shù)據(jù)挖掘過(guò)程最耗時(shí)的過(guò)程，也是最為關(guān)鍵的一環(huán)。數(shù)據(jù)處理方法是否得當(dāng)，對(duì)數(shù)據(jù)中所體現(xiàn)出來(lái)的業(yè)務(wù)特點(diǎn)理解是否到位，將直接影響到后面模型的選擇及模型的效果，甚至決定整個(gè)數(shù)據(jù)挖掘工作能否完成預(yù)定目標(biāo)。該過(guò)程需要有一定的統(tǒng)計(jì)學(xué)理論和實(shí)際經(jīng)驗(yàn)，并具備一定的項(xiàng)目經(jīng)驗(yàn)。

    模型建立是是整個(gè)數(shù)據(jù)挖掘流程中最為關(guān)鍵的一步，需要在數(shù)據(jù)理解的基礎(chǔ)上選擇并實(shí)現(xiàn)相關(guān)的挖掘算法，并對(duì)算法進(jìn)行反復(fù)調(diào)試、實(shí)驗(yàn)。通常模型建立和數(shù)據(jù)理解是相互影響，經(jīng)常需要經(jīng)過(guò)反復(fù)的嘗試、磨合，多次迭代后方可訓(xùn)練處真正有效的模型。數(shù)據(jù)分析師培訓(xùn)

    模型評(píng)估是在數(shù)據(jù)挖掘工作基本結(jié)束的時(shí)候，對(duì)最終模型效果進(jìn)行評(píng)測(cè)的過(guò)程。在挖掘算法初期需要制定好最終模型的評(píng)測(cè)方法、相關(guān)指標(biāo)等，在這個(gè)過(guò)程中對(duì)這些評(píng)測(cè)指標(biāo)進(jìn)行量化，判斷最終模型是否可以達(dá)到預(yù)期目標(biāo)。通常模型的評(píng)估人員和模型的構(gòu)建人員不是同一批人，以保證模型評(píng)估的客觀、公正性。

    最終，當(dāng)挖掘得到的模型通過(guò)評(píng)測(cè)后可以安排上線、正式進(jìn)入商業(yè)化流程中。為了避免由于建模數(shù)據(jù)與線上真實(shí)情況不一致而導(dǎo)致模型失效的狀況出現(xiàn)，通常在應(yīng)用過(guò)程中采取A/B測(cè)試的步驟，對(duì)模型在實(shí)際線上環(huán)境中的運(yùn)行狀況進(jìn)行觀察跟蹤，確保模型在線上環(huán)境中符合預(yù)期。

    了解了數(shù)據(jù)挖掘的基本流程，常用的數(shù)據(jù)挖掘任務(wù)和所用到的挖掘技術(shù)有哪些?總的來(lái)說(shuō)，數(shù)據(jù)挖掘任務(wù)可以概括為描述性預(yù)測(cè)性兩大類。描述性任務(wù)主要是對(duì)現(xiàn)有數(shù)據(jù)的理解和整理，從中發(fā)現(xiàn)其中的一般特性，是對(duì)歷史知識(shí)的總結(jié)和歸納。預(yù)測(cè)性任務(wù)則是利用當(dāng)前數(shù)據(jù)對(duì)事務(wù)的未來(lái)發(fā)展趨勢(shì)進(jìn)行推斷，是知識(shí)的外延和推理過(guò)程。

    比較常見(jiàn)的數(shù)據(jù)挖掘技術(shù)有如下幾類：

    關(guān)聯(lián)規(guī)則分析：包括頻繁模式挖掘、序列模式挖掘，用于發(fā)現(xiàn)能夠描述數(shù)據(jù)項(xiàng)之間關(guān)系的規(guī)則。典型應(yīng)用是用戶購(gòu)物籃分析，發(fā)現(xiàn)用戶經(jīng)常一起購(gòu)買的商品集合，如購(gòu)買啤酒的人經(jīng)常也會(huì)順手購(gòu)買小孩尿布;及用戶購(gòu)買某商品之后后續(xù)最有可能購(gòu)買的其他商品，如用戶購(gòu)買自行車兩個(gè)月左右后通常會(huì)再購(gòu)買打氣筒。前者可以用來(lái)指導(dǎo)商場(chǎng)的商品陳列，將用戶最可能在一起購(gòu)買的商品擺列在一起。后者則可以用來(lái)對(duì)用戶的未來(lái)消費(fèi)行為進(jìn)行推薦引導(dǎo)。

    分類和預(yù)測(cè)：分類是按照已知的分類模式找出數(shù)據(jù)對(duì)象的共同特點(diǎn)，并將樣本劃分到相應(yīng)的類別中，是最為基本的數(shù)據(jù)挖掘技術(shù)，廣泛用于客戶喜好分析、滿意度分析等場(chǎng)景。如銀行根據(jù)用戶的消費(fèi)能力和還款記錄對(duì)其信用評(píng)級(jí)進(jìn)行劃分等。預(yù)測(cè)是將樣本映射到連續(xù)的數(shù)值型目標(biāo)值，發(fā)現(xiàn)屬性見(jiàn)的依賴關(guān)系。如對(duì)產(chǎn)品未來(lái)一段時(shí)間的銷售狀況進(jìn)行預(yù)測(cè)等。

    聚類分析：將一組對(duì)象按照相似性和差異程度劃分到幾個(gè)類別，使同一類別中樣本的相似性盡可能大。如在金融行業(yè)中對(duì)不同股票的發(fā)展趨勢(shì)進(jìn)行歸類，找出股價(jià)波動(dòng)趨勢(shì)相近的股票集合。

    推薦技術(shù)：根據(jù)用戶的興趣特點(diǎn)和歷史的行為，向用戶推薦其感興趣的信息或商品。其最為成功的應(yīng)用是在電子商務(wù)網(wǎng)站中，向用戶推薦其可能購(gòu)買的商品，從而增加商品的銷售規(guī)模并提高用戶粘性。

    鏈接分析：根據(jù)樣本或數(shù)據(jù)對(duì)象之間的關(guān)聯(lián)，可以構(gòu)建對(duì)象之間的鏈接網(wǎng)絡(luò)。鏈接分析是指利用圖論模型對(duì)這些鏈接網(wǎng)絡(luò)進(jìn)行分析挖掘的一系列技術(shù)。其中最為知名的當(dāng)屬Google通過(guò)分析網(wǎng)頁(yè)之間的跳轉(zhuǎn)關(guān)系對(duì)頁(yè)面權(quán)威度進(jìn)行排序的PageRank算法。CDA數(shù)據(jù)分析師培訓(xùn)

    其他相關(guān)挖掘技術(shù)還包括孤立點(diǎn)分析、數(shù)據(jù)演變分析等。

    上述挖掘技術(shù)均在互聯(lián)網(wǎng)、金融、生物醫(yī)學(xué)、零售業(yè)等多個(gè)行業(yè)和領(lǐng)域得到廣泛應(yīng)用，并為相關(guān)企業(yè)帶來(lái)豐厚的收益。以下將通過(guò)具體行業(yè)案例，說(shuō)明數(shù)據(jù)挖掘技術(shù)的使用方法及其價(jià)值。