一篇文章讓你知道什么是大數(shù)據(jù)挖掘技術(shù)

大數(shù)據(jù)如果想要產(chǎn)生價值，對它的處理過程無疑是非常重要的，其中大數(shù)據(jù)分析和大數(shù)據(jù)挖掘就是最重要的兩部分。在前幾期的科普中，小編已經(jīng)為大家介紹了大數(shù)據(jù)分析的相關(guān)情況，本期小編就為大家講解大數(shù)據(jù)挖掘技術(shù)，讓大家輕輕松松弄懂什么是大數(shù)據(jù)挖掘技術(shù)。

　　什么是大數(shù)據(jù)挖掘?
　　數(shù)據(jù)挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
　　數(shù)據(jù)挖掘對象
　　根據(jù)信息存儲格式，用于挖掘的對象有關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、數(shù)據(jù)倉庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、異質(zhì)數(shù)據(jù)庫以及Internet等。
　　數(shù)據(jù)挖掘流程
　　定義問題：清晰地定義出業(yè)務(wù)問題，確定數(shù)據(jù)挖掘的目的。
　　數(shù)據(jù)準備：數(shù)據(jù)準備包括：選擇數(shù)據(jù)–在大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目標中 提取數(shù)據(jù)挖掘的目標數(shù)據(jù)集;數(shù)據(jù)預(yù)處理–進行數(shù)據(jù)再加工，包括檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性、去噪聲，填補丟失的域，刪除無效數(shù)據(jù)等。
　　數(shù)據(jù)挖掘：根據(jù)數(shù)據(jù)功能的類型和和數(shù)據(jù)的特點選擇相應(yīng)的算法，在凈化和轉(zhuǎn)換過的數(shù)據(jù)集上進行數(shù)據(jù)挖掘。
　　結(jié)果分析：對數(shù)據(jù)挖掘的結(jié)果進行解釋和評價，轉(zhuǎn)換成為能夠最終被用戶理解的知識。
　　數(shù)據(jù)挖掘分類
　　直接數(shù)據(jù)挖掘：目標是利用可用的數(shù)據(jù)建立一個模型，這個模型對剩余的數(shù)據(jù)，對一個特定的變量(可以理解成數(shù)據(jù)庫中表的屬性，即列)進行描述。
　　間接數(shù)據(jù)挖掘：目標中沒有選出某一具體的變量，用模型進行描述;而是在所有的變量中建立起某種關(guān)系。
　　數(shù)據(jù)挖掘的方法
　　神經(jīng)網(wǎng)絡(luò)方法
　　神經(jīng)網(wǎng)絡(luò)由于本身良好的魯棒性、自組織自適應(yīng)性、并行處理、分布存儲和高度容錯等特性非常適合解決數(shù)據(jù)挖掘的問題，因此近年來越來越受到人們的關(guān)注。
　　遺傳算法
　　遺傳算法是一種基于生物自然選擇與遺傳機理的隨機搜索算法，是一種仿生全局優(yōu)化方法。遺傳算法具有的隱含并行性、易于和其它模型結(jié)合等性質(zhì)使得它在數(shù)據(jù)挖掘中被加以應(yīng)用。
　　決策樹方法
　　決策樹是一種常用于預(yù)測模型的算法，它通過將大量數(shù)據(jù)有目的分類，從中找到一些有價值的，潛在的信息。它的主要優(yōu)點是描述簡單，分類速度快，特別適合大規(guī)模的數(shù)據(jù)處理。
　　粗集方法
　　粗集理論是一種研究不精確、不確定知識的數(shù)學(xué)工具。粗集方法有幾個優(yōu)點：不需要給出額外信息;簡化輸入信息的表達空間;算法簡單，易于操作。粗集處理的對象是類似二維關(guān)系表的信息表。
　　覆蓋正例排斥反例方法
　　它是利用覆蓋所有正例、排斥所有反例的思想來尋找規(guī)則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與字段取值構(gòu)成的選擇子相容則舍去，相反則保留。按此思想循環(huán)所有正例種子，將得到正例的規(guī)則(選擇子的合取式)。
　　統(tǒng)計分析方法
　　在數(shù)據(jù)庫字段項之間存在兩種關(guān)系：函數(shù)關(guān)系和相關(guān)關(guān)系，對它們的分析可采用統(tǒng)計學(xué)方法，即利用統(tǒng)計學(xué)原理對數(shù)據(jù)庫中的信息進行分析?？蛇M行常用統(tǒng)計、回歸分析、相關(guān)分析、差異分析等。
　　模糊集方法
　　即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統(tǒng)的復(fù)雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。
　　數(shù)據(jù)挖掘任務(wù)
　　關(guān)聯(lián)分析
　　兩個或兩個以上變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的、可被發(fā)現(xiàn)的知識。關(guān)聯(lián)分為簡單關(guān)聯(lián)、時序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個閥值來度量關(guān)聯(lián)規(guī)則的相關(guān)性，還不斷引入興趣度、相關(guān)性等參數(shù)，使得所挖掘的規(guī)則更符合需求。
　　聚類分析
　　聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關(guān)系。
　　分類
　　分類就是找出一個類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，并用這種描述來構(gòu)造模型，一般用規(guī)則或決策樹模式表示。分類是利用訓(xùn)練數(shù)據(jù)集通過一定的算法而求得分類規(guī)則。分類可被用于規(guī)則描述和預(yù)測。
　　預(yù)測
　　預(yù)測是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型對未來數(shù)據(jù)的種類及特征進行預(yù)測。預(yù)測關(guān)心的是精度和不確定性，通常用預(yù)測方差來度量。
　　時序模式
　　時序模式是指通過時間序列搜索出的重復(fù)發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據(jù)預(yù)測未來的值，但這些數(shù)據(jù)的區(qū)別是變量所處時間的不同。
　　偏差分析
　　在偏差中包括很多有用的知識，數(shù)據(jù)庫中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗的基本方法就是尋找觀察結(jié)果與參照之間的差別。