數(shù)據(jù)挖掘問答精選收藏

1. 現(xiàn)在有大數(shù)據(jù)、精準(zhǔn)挖掘、人工智能等這么多概念及技術(shù)，它們之間的關(guān)系以及企業(yè)大數(shù)據(jù)實(shí)施的路線圖應(yīng)該是怎樣的？

來自用戶 SmartMining 的回答：

大數(shù)據(jù)、數(shù)據(jù)挖掘、人工智能三者的關(guān)系可以簡單的理解為：大數(shù)據(jù)是原材料，數(shù)據(jù)挖掘是加工廠，而人工智能是數(shù)據(jù)產(chǎn)品尤其是基于數(shù)據(jù)挖掘技術(shù)建立的專家系統(tǒng)的設(shè)計(jì)理念。

通過使用數(shù)據(jù)挖掘技術(shù)對大數(shù)據(jù)進(jìn)行價(jià)值提取、加工，進(jìn)而設(shè)計(jì)成可以服務(wù)于用戶的數(shù)據(jù)產(chǎn)品，并基于人工智能的思想對該產(chǎn)品做自動(dòng)優(yōu)化和人機(jī)交互學(xué)習(xí)，讓產(chǎn)品越用越好，最終達(dá)到具有生產(chǎn)力的目的。

企業(yè)要想開展大數(shù)據(jù)的實(shí)踐主要完成以下幾件事情：
第一，進(jìn)行數(shù)據(jù)采集。除了傳統(tǒng)的ETL之外，還可以從互聯(lián)網(wǎng)采集可用的數(shù)據(jù)，甚至增加采集數(shù)據(jù)的設(shè)備。進(jìn)而豐富數(shù)據(jù)的來源；

第二，對這些數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換并融合到一起，建立大數(shù)據(jù)管理平臺(tái)，即PAAS平臺(tái)。實(shí)現(xiàn)數(shù)據(jù)資源、計(jì)算資源等的共享；

第三，大數(shù)據(jù)價(jià)值探索，基于業(yè)務(wù)痛點(diǎn)設(shè)計(jì)可行方案，使用數(shù)據(jù)挖掘的技術(shù)對挖掘數(shù)據(jù)的價(jià)值，并生產(chǎn)出有助于解決企業(yè)實(shí)際的問題的信息。

以上三者其實(shí)互為補(bǔ)充、不可分割又可同步進(jìn)行。原因如下：

1、數(shù)據(jù)的應(yīng)用可以更好的知道大數(shù)據(jù)平臺(tái)的建設(shè)，知道數(shù)據(jù)用來干什么、怎么用才能更好的設(shè)計(jì)管理平臺(tái)，才能知道哪些數(shù)據(jù)有用、知道采集哪些數(shù)據(jù)；

2、大數(shù)據(jù)管理平臺(tái)建設(shè)周期比較長，因此可以先選擇一個(gè)主題先做數(shù)據(jù)挖掘，培養(yǎng)團(tuán)隊(duì)的同時(shí)也做了技術(shù)驗(yàn)證；

3、做數(shù)據(jù)挖掘應(yīng)用，也可以反過來驗(yàn)證平臺(tái)是建設(shè)完善，驗(yàn)證大數(shù)據(jù)管理平臺(tái)是否可以支撐應(yīng)用。

來自用戶 Philbert 的回答：

樓主的這個(gè)問題感覺范圍比較廣,個(gè)人的一點(diǎn)看法如下：
1. 就決策樹的這個(gè)算法而言，在非常多的行業(yè)都會(huì)有應(yīng)用，是不是使用決策樹進(jìn)行挖掘分析個(gè)人認(rèn)為還是要看具體的應(yīng)用分析目標(biāo)，廣義點(diǎn)說任何一個(gè)行業(yè)都可能出現(xiàn)適合決策樹的應(yīng)用分析目標(biāo)，比如：在用決策樹進(jìn)行用戶分級評估的時(shí)候，凡是積累了一定量的客戶資源和數(shù)據(jù)，涉及對自己行業(yè)客戶進(jìn)行深入分析的企業(yè)和分析者都可能具備使用決策樹的條件。
2 一般來說決策樹的應(yīng)用用往往都是和某一應(yīng)用分析目標(biāo)和場景相關(guān)的，比如：金融行業(yè)可以用決策樹做貸款風(fēng)險(xiǎn)評估，保險(xiǎn)行業(yè)可以用決策樹做險(xiǎn)種推廣預(yù)測，醫(yī)療行業(yè)可以用決策樹生成輔助診斷處置模型等等，當(dāng)一個(gè)決策樹的應(yīng)用分析目標(biāo)和場景確定，那該應(yīng)用分析目標(biāo)和場景所處的行業(yè)也就自然成為了決策樹的應(yīng)用領(lǐng)域。

注：決策樹作為一種數(shù)據(jù)分析挖掘的方法，可以為任何適合其分析思路和處理方式的應(yīng)用分析目標(biāo)和數(shù)據(jù)服務(wù)，所以關(guān)注其應(yīng)用領(lǐng)域的同時(shí)，可以考慮更重點(diǎn)的關(guān)注適合其使用的應(yīng)用分析目標(biāo)和場景。

來自用戶 Elationquy 的回答：

數(shù)據(jù)挖掘的重點(diǎn)是“從大量數(shù)據(jù)中，提取有價(jià)值的信息”，這就說明了數(shù)據(jù)挖掘需要兩個(gè)方面的知識。

第一、處理數(shù)據(jù)，建立數(shù)據(jù)挖掘模型的能力，稱之為“技術(shù)能力”；

第二、在所有的數(shù)據(jù)中，哪些可以展示出有價(jià)值的信息，這就需要結(jié)合業(yè)務(wù)，只有結(jié)合業(yè)務(wù)，才能發(fā)現(xiàn)有價(jià)值的東西。第一個(gè)好學(xué)，也是大部分人眼中的數(shù)據(jù)挖掘；第二個(gè)才是難點(diǎn)，學(xué)生的話，接觸的業(yè)務(wù)不多，可能體會(huì)不深刻，這個(gè)只能在生活中，多想想如果有什么數(shù)據(jù)、可以得到什么有價(jià)值的東西，訓(xùn)練自己的這方面的思維能力。

關(guān)于技術(shù)與業(yè)務(wù)能力，這個(gè)回答很不錯(cuò)，可以參考：http://www.flybi.net/question/14511

數(shù)據(jù)挖掘分成兩個(gè)方面，一是數(shù)據(jù)挖掘技術(shù)的掌握，在學(xué)校教的比較多的也是這個(gè)方面，另一個(gè)是數(shù)據(jù)挖掘的應(yīng)用，這個(gè)方面主要是結(jié)合業(yè)務(wù)，發(fā)現(xiàn)數(shù)據(jù)的價(jià)值，只有能夠有效的利用好數(shù)據(jù)，才能成為一個(gè)合格的數(shù)據(jù)挖掘方面的專家。

來自用戶 SmartMining 的回答：

只要你能夠熟練掌握一款數(shù)據(jù)挖掘工具，能夠使用工具實(shí)現(xiàn)數(shù)據(jù)處理和挖掘算法，懂得挖掘的用途和價(jià)值，這就算及格了。但是要變得優(yōu)秀就難了，學(xué)習(xí)數(shù)據(jù)挖掘真正的核心是幫助企業(yè)解決實(shí)際的業(yè)務(wù)問題。簡單的講，就是面對企業(yè)的痛點(diǎn)，你有解決的想法，然后使用工具實(shí)現(xiàn)你的想法或者驗(yàn)證你的想法。

補(bǔ)充：做數(shù)據(jù)挖掘不一定要會(huì)編程，這個(gè)并不是最重要的技能，核心技能是應(yīng)用數(shù)據(jù)的能力。只要你能實(shí)現(xiàn)，不管是使用會(huì)編程的工具還是無需編程的工具還是兩者混用都可以。

來自用戶 盧育峰 的回答：

首先你要了解怎么看這個(gè)圖，這個(gè)是殘差圖哦，要理解橫軸縱軸的含義。
以第二行第一列來看，橫坐標(biāo)是已觀測值，縱坐標(biāo)是已預(yù)測值 很明顯觀測值與預(yù)測值是成分類展示。
以第三行第一列來看，橫坐標(biāo)是已觀測值，縱坐標(biāo)是標(biāo)準(zhǔn)差，殘差分布規(guī)律太明顯了?？雌饋硐裆Ⅻc(diǎn)分布接近一條直線說明是滿足齊方差性但并不一定，做好是做齊方差檢驗(yàn)。
從上圖來看，有幾個(gè)原因可能導(dǎo)致這種情況：
1、缺少自變量，導(dǎo)致模型的解釋變量被放在誤差里面。
2、輸入值未做處理，age、group、gender有可能需要做歸一化。
3、是否模型過度擬合。
總的來說，你用的方法不對，或者缺少因子，多了解一下理論吧。

來自用戶 盧育峰 的回答：

簡單說一下，目前的算法都有各種應(yīng)用，只是行業(yè)不同而已哦。
按照機(jī)器學(xué)習(xí)的分法，最常見的分類就是有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。

有監(jiān)督學(xué)習(xí)主要有：邏輯回歸(Logistic Regression)、BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)

無監(jiān)督學(xué)習(xí)主要有：Apriori、k-means.

半監(jiān)督學(xué)習(xí)主要是分類和回歸，有：推理算法（Graph Inference）、拉普拉斯支持向量機(jī)（Laplacian SVM）

強(qiáng)化學(xué)習(xí)有：Q-learning、時(shí)間差學(xué)習(xí)（Tempral difference learning）

如果按照數(shù)據(jù)挖掘來分：

分類與回歸：決策樹、貝葉斯、人工神經(jīng)網(wǎng)絡(luò)、K-近鄰、支持向量機(jī)、邏輯回歸等。

關(guān)聯(lián)：Apriori、FP-樹頻集等

聚類：k-means、k-medoids等

簡單就這么看看吧，功能這一塊不好說，不同算法的應(yīng)用真的不一樣，回頭我整理一下寫到博客里面。

來自用戶 Philbert 的回答：

樓主這個(gè)問題涉及的方面比較多，我簡單說兩句，供參考：
1 分類和回歸本質(zhì)上都是通過對已有數(shù)據(jù)的訓(xùn)練結(jié)果形成決策知識為預(yù)測型的應(yīng)用目標(biāo)服務(wù)的。
2 回歸往往面對的是連續(xù)型數(shù)據(jù)的趨勢預(yù)測，比如企業(yè)根據(jù)歷史銷售數(shù)據(jù)預(yù)測下一個(gè)月的銷售額，這種情況下訓(xùn)練出的決策知識往往以一個(gè)函數(shù)的形式來存在。
3 分類往往面對的是離散性數(shù)據(jù)的預(yù)測分析，比如企業(yè)同樣根據(jù)歷史銷售數(shù)據(jù)預(yù)測下一個(gè)月的銷售額是上升？持平？下降？，這種情況下訓(xùn)練出的決策知識往往以一些規(guī)則的集合形式存在，我們常稱之為模型。
4 機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的應(yīng)用方面這個(gè)問題比較大，因?yàn)槿魏涡袠I(yè)都可能出現(xiàn)合適這兩種技術(shù)的應(yīng)用方向，主要在于面向的數(shù)據(jù)類型和應(yīng)用目標(biāo)是不是適合這兩種技術(shù) 的分析方式，只要適合就可以去使用它們，而且建議不要把它們分割開來看，很多應(yīng)用目標(biāo)的達(dá)成是綜合使用它們的結(jié)果，很火的阿爾法狗！就是目前綜合使用他們的最典型的案例。

來自用戶 SmartMining 的回答：

兩者區(qū)別主要在于建設(shè)成本和安全性上。
私有云更安全，因?yàn)榻ㄔO(shè)在企業(yè)內(nèi)部的局域網(wǎng)內(nèi)，不會(huì)把數(shù)據(jù)放到別人的平臺(tái)上，企業(yè)自己更可控更安全。但是相對建設(shè)成本比公有云高一些。但是畢竟數(shù)據(jù)的安全更重要。而使用公有云的話，需要把數(shù)據(jù)放到別人的公有云平臺(tái)上，自然不安全。因此，選擇公有云還是私有云，關(guān)鍵點(diǎn)就在于您對數(shù)據(jù)安全性的重視程度以及數(shù)據(jù)的重要性。
如果您公司的數(shù)據(jù)量不大，單一機(jī)器就可以搞定，這樣不需要考慮使用公有云；
如果數(shù)據(jù)量比較大，但是不重要，比如都是從互聯(lián)網(wǎng)采集的數(shù)據(jù)，這樣的話可以使用公有云；
如果您的數(shù)據(jù)量比較大，且比較重要。暫且建議使用私有云的解決方案。

來自用戶 Philbert 的回答：

個(gè)人感覺這個(gè)問題的需要明確幾個(gè)細(xì)節(jié)才能考慮如何實(shí)現(xiàn)：
1 你說的自動(dòng)化變量篩選是指建模前的數(shù)據(jù)預(yù)處理過程？
2 一般情況下這種類型的建模要涉及訓(xùn)練，評估，應(yīng)用三個(gè)方面的工作，你說的自動(dòng)化過程是指哪個(gè)方面？
3 一般確定一個(gè)風(fēng)險(xiǎn)預(yù)測模型后確實(shí)需要根據(jù)應(yīng)用的實(shí)際效果不斷對該模型進(jìn)行調(diào)整，但這個(gè)調(diào)整周期都是需要一定時(shí)間和新的應(yīng)用數(shù)據(jù)積累的，每日的地自動(dòng)化如果是指模型調(diào)整而言好像不是很合適。
4 建議明確該風(fēng)險(xiǎn)模型的應(yīng)用場景和目標(biāo)，不同的應(yīng)用場景和目標(biāo)對于訓(xùn)練出的模型準(zhǔn)確度的具體要求是不同的，進(jìn)而也會(huì)影響模型的評估標(biāo)準(zhǔn)。

來自用戶 SmartMining 的回答：

其實(shí)，可以簡單的理解，多維分析是數(shù)據(jù)的多維度視圖，是數(shù)據(jù)的一種探索分析手段，和圖形化可視化探索數(shù)據(jù)異曲同工，你可以把多維分析作為數(shù)據(jù)挖掘可視化探索的一部分。

數(shù)據(jù)挖掘除了也可以使用圖形或多維表做數(shù)據(jù)探索分析外，核心是通過一些手段（算法）總結(jié)數(shù)據(jù)中的規(guī)律，這是對潛在規(guī)律的量化實(shí)現(xiàn)（規(guī)則、數(shù)學(xué)公式等），如您可以根據(jù)歷史的銷售信息建立預(yù)測模型，得到數(shù)學(xué)公式后，只要輸入影響因素的值就可以預(yù)測銷量，這一類屬于分類預(yù)測問題，還可以使用用戶的信息對用戶進(jìn)行分群，把相似的人歸為一類，把不相似的人歸到不同的類中，這是使用聚類模型量化用戶相似性的問題，又比如，可以使用時(shí)間序列算法預(yù)測未來每個(gè)月的用戶增量、客運(yùn)量等。您可以發(fā)現(xiàn)，這些都是一種推斷，基于歷史的數(shù)據(jù)推斷出來的結(jié)果，并不是完全真實(shí)的事情，只是在推斷未來會(huì)這樣發(fā)生發(fā)展。

而多維分析是為了更好的展示歷史數(shù)據(jù)，而沒有這種基于歷史數(shù)據(jù)的推斷和預(yù)測能力。