數(shù)據(jù)挖掘的10個常見問題_數(shù)據(jù)分析師考試

 Data Mining 和統(tǒng)計分析有什么不同？

 硬要去區(qū)分Data Mining和Statistics的差異其實是沒有太大意義的。一般將之定義為Data Mining技術(shù)的CART、CHAID或模糊計算等等理論方法，也都是由統(tǒng)計學(xué)者根據(jù)統(tǒng)計理論所發(fā)展衍生，換另一個角度看，Data Mining有相當(dāng)大的比重是由高等統(tǒng)計學(xué)中的多變量分析所支撐。

但是為什么Data Mining的出現(xiàn)會引發(fā)各領(lǐng)域的廣泛注意呢？主要原因在相較于傳統(tǒng)統(tǒng)計分析而言，Data Mining有下列幾項特性： 1.處理大量實際數(shù)據(jù)更強勢，且無須太專業(yè)的統(tǒng)計背景去使用Data Mining的工具； 2.數(shù)據(jù)分析趨勢為從大型數(shù)據(jù)庫抓取所需數(shù)據(jù)并使用專屬計算機分析軟件，Data Mining的工具更符合企業(yè)需求； 3. 純就理論的基礎(chǔ)點來看，Data Mining和統(tǒng)計分析有應(yīng)用上的差別，畢竟Data Mining目的是方便企業(yè)終端用戶使用而非給統(tǒng)計學(xué)家檢測用的。 

二 Data Warehousing 和 Data Mining 的關(guān)系為何？

 若將Data Warehousing（數(shù)據(jù)倉庫）比喻作礦坑，Data Mining就是深入礦坑采礦的工作。畢竟Data Mining不是一種無中生有的魔術(shù)，也不是點石成金的煉金術(shù)，若沒有夠豐富完整的數(shù)據(jù)，是很難期待Data Mining能挖掘出什么有意義的信息的。 要將龐大的數(shù)據(jù)轉(zhuǎn)換成為有用的信息，必須先有效率地收集信息。隨著科技的進步，功能完善的數(shù)據(jù)庫系統(tǒng)就成了最好的收集數(shù)據(jù)的工具。數(shù)據(jù)倉庫，簡單地說，就是搜集來自其它系統(tǒng)的有用數(shù)據(jù)，存放在一整合的儲存區(qū)內(nèi)。所以其實就是一個經(jīng)過處理整合，且容量特別大的關(guān)系型數(shù)據(jù)庫，用以儲存決策支持系統(tǒng)（Design Support System）所需的數(shù)據(jù)，供決策支持或數(shù)據(jù)分析使用。從信息技術(shù)的角度來看，數(shù)據(jù)倉庫的目標(biāo)是在組織中，在正確的時間，將正確的數(shù)據(jù)交給正確的人。 

許多人對于Data Warehousing和Data Mining時常混淆，不知如何分辨。其實，數(shù)據(jù)倉庫是數(shù)據(jù)庫技術(shù)的一個新主題，利用計算機系統(tǒng)幫助我們操作、計算和思考，讓作業(yè)方式改變，決策方式也跟著改變。 數(shù)據(jù)倉庫本身是一個非常大的數(shù)據(jù)庫，它儲存著由組織作業(yè)數(shù)據(jù)庫中整合而來的數(shù)據(jù)，特別是指事務(wù)處理系統(tǒng)OLTP（On-Line Transactional Processing）所得來的數(shù)據(jù)。將這些整合過的數(shù)據(jù)置放于數(shù)據(jù)昂哭中，而公司的決策者則利用這些數(shù)據(jù)作決策；但是，這個轉(zhuǎn)換及整合數(shù)據(jù)的過程，是建立一個數(shù)據(jù)倉庫最大的挑戰(zhàn)。因為將作業(yè)中的數(shù)據(jù)轉(zhuǎn)換成有用的的策略性信息是整個數(shù)據(jù)倉庫的重點。

綜上所述，數(shù)據(jù)倉庫應(yīng)該具有這些數(shù)據(jù)：整合性數(shù)據(jù)（integrated data）、詳細(xì)和匯總性的數(shù)據(jù)(detailed and summarized data)、歷史數(shù)據(jù)、解釋數(shù)據(jù)的數(shù)據(jù)。從數(shù)據(jù)倉庫挖掘出對決策有用的信息與知識，是建立數(shù)據(jù)倉庫與使用Data Mining的最大目的，兩者的本質(zhì)與過程是兩回事。換句話說，數(shù)據(jù)倉庫應(yīng)先行建立完成，Data mining才能有效率的進行，因為數(shù)據(jù)倉庫本身所含數(shù)據(jù)是干凈(不會有錯誤的數(shù)據(jù)參雜其中)、完備，且經(jīng)過整合的。因此兩者關(guān)系或許可解讀為Data Mining是從巨大數(shù)據(jù)倉庫中找出有用信息的一種過程與技術(shù)。 

三 OLAP 能不能代替 Data Mining？

 所謂OLAP（Online Analytical Process）意指由數(shù)據(jù)庫所連結(jié)出來的在線分析處理程序。有些人會說：「我已經(jīng)有OLAP的工具了，所以我不需要Data Mining。」事實上兩者間是截然不同的，主要差異在于Data Mining用在產(chǎn)生假設(shè)，OLAP則用于查證假設(shè)。簡單來說，OLAP是由使用者所主導(dǎo)，使用者先有一些假設(shè)，然后利用OLAP來查證假設(shè)是否成立；而Data Mining則是用來幫助使用者產(chǎn)生假設(shè)。所以在使用OLAP或其它Query的工具時，使用者是自己在做探索（Exploration），但Data Mining是用工具在幫助做探索。

 舉個例子來看，一市場分析師在為超市規(guī)劃貨品架柜擺設(shè)時，可能會先假設(shè)嬰兒尿布和嬰兒奶粉會是常被一起購買的產(chǎn)品，接著便可利用OLAP的工具去驗證此假設(shè)是否為真，又成立的證據(jù)有多明顯；但Data Mining則不然，執(zhí)行Data Mining的人將龐大的結(jié)帳數(shù)據(jù)整理后，并不需要假設(shè)或期待可能的結(jié)果，透過Mining技術(shù)可找出存在于數(shù)據(jù)中的潛在規(guī)則，于是我們可能得到例如尿布和啤酒常被同時購買的意料外之發(fā)現(xiàn)，這是OLAP所做不到的。 Data Mining常能挖掘出超越歸納范圍的關(guān)系，但OLAP僅能利用人工查詢及可視化的報表來確認(rèn)某些關(guān)系，是以Data Mining此種自動找出甚至不會被懷疑過的數(shù)據(jù)模型與關(guān)系的特性，事實上已超越了我們經(jīng)驗、教育、想象力的限制，OLAP可以和Data Mining互補，但這項特性是Data Mining無法被OLAP取代的。

 四 完整的Data Mining 包含哪些步驟？

 以下提供一個Data Mining的進行步驟以為參考： 1. 理解業(yè)務(wù)與理解數(shù)據(jù)； 2. 獲取相關(guān)技術(shù)與知識； 3. 整合與查詢數(shù)據(jù)； 4. 去除錯誤或不一致及不完整的數(shù)據(jù)； 5. 由數(shù)據(jù)選取樣本先行試驗； 6. 建立數(shù)據(jù)模型 7. 實際Data Mining的分析工作； 8. 測試與檢驗； 9. 找出假設(shè)并提出解釋； 10. 持續(xù)應(yīng)用于企業(yè)流程中。