數(shù)據(jù)挖掘問答精選收藏

1. 現(xiàn)在有大數(shù)據(jù)、精準挖掘、人工智能等這么多概念及技術，它們之間的關系以及企業(yè)大數(shù)據(jù)實施的路線圖應該是怎樣的？

來自用戶 SmartMining 的回答：

大數(shù)據(jù)、數(shù)據(jù)挖掘、人工智能三者的關系可以簡單的理解為：大數(shù)據(jù)是原材料，數(shù)據(jù)挖掘是加工廠，而人工智能是數(shù)據(jù)產(chǎn)品尤其是基于數(shù)據(jù)挖掘技術建立的專家系統(tǒng)的設計理念。

通過使用數(shù)據(jù)挖掘技術對大數(shù)據(jù)進行價值提取、加工，進而設計成可以服務于用戶的數(shù)據(jù)產(chǎn)品，并基于人工智能的思想對該產(chǎn)品做自動優(yōu)化和人機交互學習，讓產(chǎn)品越用越好，最終達到具有生產(chǎn)力的目的。

企業(yè)要想開展大數(shù)據(jù)的實踐主要完成以下幾件事情：
第一，進行數(shù)據(jù)采集。除了傳統(tǒng)的ETL之外，還可以從互聯(lián)網(wǎng)采集可用的數(shù)據(jù)，甚至增加采集數(shù)據(jù)的設備。進而豐富數(shù)據(jù)的來源；

第二，對這些數(shù)據(jù)進行清洗、轉(zhuǎn)換并融合到一起，建立大數(shù)據(jù)管理平臺，即PAAS平臺。實現(xiàn)數(shù)據(jù)資源、計算資源等的共享；

第三，大數(shù)據(jù)價值探索，基于業(yè)務痛點設計可行方案，使用數(shù)據(jù)挖掘的技術對挖掘數(shù)據(jù)的價值，并生產(chǎn)出有助于解決企業(yè)實際的問題的信息。

以上三者其實互為補充、不可分割又可同步進行。原因如下：

1、數(shù)據(jù)的應用可以更好的知道大數(shù)據(jù)平臺的建設，知道數(shù)據(jù)用來干什么、怎么用才能更好的設計管理平臺，才能知道哪些數(shù)據(jù)有用、知道采集哪些數(shù)據(jù)；

2、大數(shù)據(jù)管理平臺建設周期比較長，因此可以先選擇一個主題先做數(shù)據(jù)挖掘，培養(yǎng)團隊的同時也做了技術驗證；

3、做數(shù)據(jù)挖掘應用，也可以反過來驗證平臺是建設完善，驗證大數(shù)據(jù)管理平臺是否可以支撐應用。

來自用戶 Philbert 的回答：

樓主的這個問題感覺范圍比較廣,個人的一點看法如下：
1. 就決策樹的這個算法而言，在非常多的行業(yè)都會有應用，是不是使用決策樹進行挖掘分析個人認為還是要看具體的應用分析目標，廣義點說任何一個行業(yè)都可能出現(xiàn)適合決策樹的應用分析目標，比如：在用決策樹進行用戶分級評估的時候，凡是積累了一定量的客戶資源和數(shù)據(jù)，涉及對自己行業(yè)客戶進行深入分析的企業(yè)和分析者都可能具備使用決策樹的條件。
2 一般來說決策樹的應用用往往都是和某一應用分析目標和場景相關的，比如：金融行業(yè)可以用決策樹做貸款風險評估，保險行業(yè)可以用決策樹做險種推廣預測，醫(yī)療行業(yè)可以用決策樹生成輔助診斷處置模型等等，當一個決策樹的應用分析目標和場景確定，那該應用分析目標和場景所處的行業(yè)也就自然成為了決策樹的應用領域。

注：決策樹作為一種數(shù)據(jù)分析挖掘的方法，可以為任何適合其分析思路和處理方式的應用分析目標和數(shù)據(jù)服務，所以關注其應用領域的同時，可以考慮更重點的關注適合其使用的應用分析目標和場景。

來自用戶 Elationquy 的回答：

數(shù)據(jù)挖掘的重點是“從大量數(shù)據(jù)中，提取有價值的信息”，這就說明了數(shù)據(jù)挖掘需要兩個方面的知識。

第一、處理數(shù)據(jù)，建立數(shù)據(jù)挖掘模型的能力，稱之為“技術能力”；

第二、在所有的數(shù)據(jù)中，哪些可以展示出有價值的信息，這就需要結(jié)合業(yè)務，只有結(jié)合業(yè)務，才能發(fā)現(xiàn)有價值的東西。第一個好學，也是大部分人眼中的數(shù)據(jù)挖掘；第二個才是難點，學生的話，接觸的業(yè)務不多，可能體會不深刻，這個只能在生活中，多想想如果有什么數(shù)據(jù)、可以得到什么有價值的東西，訓練自己的這方面的思維能力。

關于技術與業(yè)務能力，這個回答很不錯，可以參考：http://www.flybi.net/question/14511

數(shù)據(jù)挖掘分成兩個方面，一是數(shù)據(jù)挖掘技術的掌握，在學校教的比較多的也是這個方面，另一個是數(shù)據(jù)挖掘的應用，這個方面主要是結(jié)合業(yè)務，發(fā)現(xiàn)數(shù)據(jù)的價值，只有能夠有效的利用好數(shù)據(jù)，才能成為一個合格的數(shù)據(jù)挖掘方面的專家。

來自用戶 SmartMining 的回答：

只要你能夠熟練掌握一款數(shù)據(jù)挖掘工具，能夠使用工具實現(xiàn)數(shù)據(jù)處理和挖掘算法，懂得挖掘的用途和價值，這就算及格了。但是要變得優(yōu)秀就難了，學習數(shù)據(jù)挖掘真正的核心是幫助企業(yè)解決實際的業(yè)務問題。簡單的講，就是面對企業(yè)的痛點，你有解決的想法，然后使用工具實現(xiàn)你的想法或者驗證你的想法。

補充：做數(shù)據(jù)挖掘不一定要會編程，這個并不是最重要的技能，核心技能是應用數(shù)據(jù)的能力。只要你能實現(xiàn)，不管是使用會編程的工具還是無需編程的工具還是兩者混用都可以。

來自用戶 盧育峰 的回答：

首先你要了解怎么看這個圖，這個是殘差圖哦，要理解橫軸縱軸的含義。
以第二行第一列來看，橫坐標是已觀測值，縱坐標是已預測值 很明顯觀測值與預測值是成分類展示。
以第三行第一列來看，橫坐標是已觀測值，縱坐標是標準差，殘差分布規(guī)律太明顯了?？雌饋硐裆Ⅻc分布接近一條直線說明是滿足齊方差性但并不一定，做好是做齊方差檢驗。
從上圖來看，有幾個原因可能導致這種情況：
1、缺少自變量，導致模型的解釋變量被放在誤差里面。
2、輸入值未做處理，age、group、gender有可能需要做歸一化。
3、是否模型過度擬合。
總的來說，你用的方法不對，或者缺少因子，多了解一下理論吧。

來自用戶 盧育峰 的回答：

簡單說一下，目前的算法都有各種應用，只是行業(yè)不同而已哦。
按照機器學習的分法，最常見的分類就是有監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習、強化學習。

有監(jiān)督學習主要有：邏輯回歸(Logistic Regression)、BP神經(jīng)網(wǎng)絡(Back Propagation Neural Network)

無監(jiān)督學習主要有：Apriori、k-means.

半監(jiān)督學習主要是分類和回歸，有：推理算法（Graph Inference）、拉普拉斯支持向量機（Laplacian SVM）

強化學習有：Q-learning、時間差學習（Tempral difference learning）

如果按照數(shù)據(jù)挖掘來分：

分類與回歸：決策樹、貝葉斯、人工神經(jīng)網(wǎng)絡、K-近鄰、支持向量機、邏輯回歸等。

關聯(lián)：Apriori、FP-樹頻集等

聚類：k-means、k-medoids等

簡單就這么看看吧，功能這一塊不好說，不同算法的應用真的不一樣，回頭我整理一下寫到博客里面。

來自用戶 Philbert 的回答：

樓主這個問題涉及的方面比較多，我簡單說兩句，供參考：
1 分類和回歸本質(zhì)上都是通過對已有數(shù)據(jù)的訓練結(jié)果形成決策知識為預測型的應用目標服務的。
2 回歸往往面對的是連續(xù)型數(shù)據(jù)的趨勢預測，比如企業(yè)根據(jù)歷史銷售數(shù)據(jù)預測下一個月的銷售額，這種情況下訓練出的決策知識往往以一個函數(shù)的形式來存在。
3 分類往往面對的是離散性數(shù)據(jù)的預測分析，比如企業(yè)同樣根據(jù)歷史銷售數(shù)據(jù)預測下一個月的銷售額是上升？持平？下降？，這種情況下訓練出的決策知識往往以一些規(guī)則的集合形式存在，我們常稱之為模型。
4 機器學習和神經(jīng)網(wǎng)絡的應用方面這個問題比較大，因為任何行業(yè)都可能出現(xiàn)合適這兩種技術的應用方向，主要在于面向的數(shù)據(jù)類型和應用目標是不是適合這兩種技術 的分析方式，只要適合就可以去使用它們，而且建議不要把它們分割開來看，很多應用目標的達成是綜合使用它們的結(jié)果，很火的阿爾法狗！就是目前綜合使用他們的最典型的案例。

來自用戶 SmartMining 的回答：

兩者區(qū)別主要在于建設成本和安全性上。
私有云更安全，因為建設在企業(yè)內(nèi)部的局域網(wǎng)內(nèi)，不會把數(shù)據(jù)放到別人的平臺上，企業(yè)自己更可控更安全。但是相對建設成本比公有云高一些。但是畢竟數(shù)據(jù)的安全更重要。而使用公有云的話，需要把數(shù)據(jù)放到別人的公有云平臺上，自然不安全。因此，選擇公有云還是私有云，關鍵點就在于您對數(shù)據(jù)安全性的重視程度以及數(shù)據(jù)的重要性。
如果您公司的數(shù)據(jù)量不大，單一機器就可以搞定，這樣不需要考慮使用公有云；
如果數(shù)據(jù)量比較大，但是不重要，比如都是從互聯(lián)網(wǎng)采集的數(shù)據(jù)，這樣的話可以使用公有云；
如果您的數(shù)據(jù)量比較大，且比較重要。暫且建議使用私有云的解決方案。

來自用戶 Philbert 的回答：

個人感覺這個問題的需要明確幾個細節(jié)才能考慮如何實現(xiàn)：
1 你說的自動化變量篩選是指建模前的數(shù)據(jù)預處理過程？
2 一般情況下這種類型的建模要涉及訓練，評估，應用三個方面的工作，你說的自動化過程是指哪個方面？
3 一般確定一個風險預測模型后確實需要根據(jù)應用的實際效果不斷對該模型進行調(diào)整，但這個調(diào)整周期都是需要一定時間和新的應用數(shù)據(jù)積累的，每日的地自動化如果是指模型調(diào)整而言好像不是很合適。
4 建議明確該風險模型的應用場景和目標，不同的應用場景和目標對于訓練出的模型準確度的具體要求是不同的，進而也會影響模型的評估標準。

來自用戶 SmartMining 的回答：

其實，可以簡單的理解，多維分析是數(shù)據(jù)的多維度視圖，是數(shù)據(jù)的一種探索分析手段，和圖形化可視化探索數(shù)據(jù)異曲同工，你可以把多維分析作為數(shù)據(jù)挖掘可視化探索的一部分。

數(shù)據(jù)挖掘除了也可以使用圖形或多維表做數(shù)據(jù)探索分析外，核心是通過一些手段（算法）總結(jié)數(shù)據(jù)中的規(guī)律，這是對潛在規(guī)律的量化實現(xiàn)（規(guī)則、數(shù)學公式等），如您可以根據(jù)歷史的銷售信息建立預測模型，得到數(shù)學公式后，只要輸入影響因素的值就可以預測銷量，這一類屬于分類預測問題，還可以使用用戶的信息對用戶進行分群，把相似的人歸為一類，把不相似的人歸到不同的類中，這是使用聚類模型量化用戶相似性的問題，又比如，可以使用時間序列算法預測未來每個月的用戶增量、客運量等。您可以發(fā)現(xiàn)，這些都是一種推斷，基于歷史的數(shù)據(jù)推斷出來的結(jié)果，并不是完全真實的事情，只是在推斷未來會這樣發(fā)生發(fā)展。

而多維分析是為了更好的展示歷史數(shù)據(jù)，而沒有這種基于歷史數(shù)據(jù)的推斷和預測能力。