沈浩老師給數(shù)據(jù)挖掘初學(xué)者的一封信

文 | 沈浩

下面是一位朋友的問題，其實(shí)每天都有不少同學(xué)和朋友向我提問各種學(xué)習(xí)數(shù)據(jù)分析、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析等方面的問題，有時(shí)候真的很難仔細(xì)回答。其實(shí)，每個(gè)人都有自己的學(xué)習(xí)路徑，還有自己的知識(shí)結(jié)構(gòu)和期望的職業(yè)生涯，要得到一個(gè)統(tǒng)一的答案是困難的！

什么是解決問題：就是在明確實(shí)際情況和期望情況之間的差異后，為消除這種差異所采取的行動(dòng)！在解決具體問題時(shí)，要先明確分類問題、差異問題，最后我們才能談?wù)摴残裕?/span>

我期望解答這個(gè)朋友問題可能具有共性，放在博客中，一些見解僅供大家參考：

沈浩老師：

您好！不知道您還記得我不，我是電信的一名新入職員工，在過年前給您寫過一封E-mail.我期望自己能夠在企業(yè)內(nèi)從事跟數(shù)據(jù)挖掘的工作，期望通過數(shù)據(jù)挖掘這個(gè)工具來挖掘用戶深層次的需求和研究用戶的使用習(xí)慣及消費(fèi)特點(diǎn)。

我在網(wǎng)上查閱過一些從事數(shù)據(jù)挖掘的專家的博客，有人提到如果在企業(yè)內(nèi)從事數(shù)據(jù)挖掘方面的應(yīng)用工作，需要掌握相關(guān)的數(shù)理統(tǒng)計(jì)知識(shí)，懂得使用相關(guān)軟件就可以了，請問是這樣的嗎？還需要掌握數(shù)據(jù)倉庫和程序算法方面的知識(shí)嗎？因?yàn)槲覐谋究频窖芯可际菍W(xué)習(xí)管理方向的，數(shù)學(xué)方面的基礎(chǔ)相對薄弱，因此想請您指教一下。

另外，如果我要入門，從哪個(gè)方面入手比較好呢？有什么合適的參考書嗎？請你不吝賜教。

想必您平時(shí)的工作很忙，因此對這么唐突的給您寫郵件請教而占用您的時(shí)間和精力表示歉意。期待您的回復(fù)！祝您工作順利，身體健康！

沈浩的回答：

抱歉，事情太多，如果不追著就忘了！我認(rèn)為你作為企業(yè)員工對數(shù)據(jù)挖掘感興趣，最主要的就是從應(yīng)用和解決問題開始，所以我想把數(shù)據(jù)挖掘這個(gè)狹義定義的內(nèi)容改成你應(yīng)該對數(shù)據(jù)分析感興趣，數(shù)據(jù)挖掘只是數(shù)據(jù)分析的一個(gè)重要工具和解決方法之一！

數(shù)量統(tǒng)計(jì)知識(shí)方面：我認(rèn)為統(tǒng)計(jì)思想是數(shù)學(xué)在實(shí)踐中最重要的體現(xiàn)，但對于實(shí)際工作者最重要的是掌握統(tǒng)計(jì)思想，其實(shí)統(tǒng)計(jì)理論非常復(fù)雜，但實(shí)際應(yīng)用往往是比較簡單的！比如，很多人都在大學(xué)學(xué)了假設(shè)檢驗(yàn)，但實(shí)際應(yīng)用中假設(shè)就是看P值是否小于0.05，但是H0是什么？拒絕還是接受的是什么現(xiàn)實(shí)問題；要理解！

掌握軟件問題：從軟件角度學(xué)，是非常好的思路，我基本上就是這樣學(xué)的。我常說編軟件的人最懂理論，否則編不出來，編軟件的人最知道應(yīng)用，否則軟件買不出去；現(xiàn)在軟件越來越友好，把軟件自帶案例做一遍，你會(huì)自覺不自覺的掌握軟件解決問題的思路和能解決的問題類型；

數(shù)據(jù)倉庫問題：OLAP和數(shù)據(jù)挖掘是數(shù)據(jù)倉庫建立基礎(chǔ)上的兩個(gè)增值應(yīng)用，從企業(yè)整體角度，數(shù)據(jù)挖掘應(yīng)該建立在企業(yè)數(shù)據(jù)倉庫完備的基礎(chǔ)上。所以說數(shù)據(jù)倉庫是針對企業(yè)級數(shù)據(jù)挖掘應(yīng)用提出的，但我們應(yīng)該記住，企業(yè)從來不是為了數(shù)據(jù)挖掘建立數(shù)據(jù)倉庫，而是因?yàn)橛辛?a href='/map/shujucangku/' style='color:#000;font-size:inherit;'>數(shù)據(jù)倉庫后必然會(huì)提出數(shù)據(jù)挖掘的需求！現(xiàn)在隨著數(shù)據(jù)挖掘軟件的工具智能化，以及數(shù)據(jù)倉庫和ETL工具的接口友好，對數(shù)據(jù)庫層面的要求越來越少；

數(shù)學(xué)不好可能反應(yīng)了一個(gè)人思考問題的方式或深入理解問題的能力，但數(shù)學(xué)不是工具是腦具，不斷解決問題的過程可以讓我們思考問題更數(shù)學(xué)化！

沈浩老師建議：

1.不急，一步一步來！先把本職工作中的數(shù)據(jù)分析問題理解了，干好了！

2.熟練玩好Excel軟件工具，這個(gè)可以看《Excel高級應(yīng)用與數(shù)據(jù)分析》我寫的書，當(dāng)然有很多Excel論壇和網(wǎng)站，從我的博客就可以連接到。

3.學(xué)習(xí)好統(tǒng)計(jì)分析方法，我不是單指統(tǒng)計(jì)原理，而是統(tǒng)計(jì)分析方法，比如回歸分析，因子分析等，不斷進(jìn)入統(tǒng)計(jì)分析解決問題的思考方式；這個(gè)可以看看SPSS軟件方面的書和數(shù)據(jù)案例，通過軟件學(xué)習(xí)解決數(shù)據(jù)分析的統(tǒng)計(jì)問題，這方面的書很多，當(dāng)然你也可以關(guān)注我的博客，不斷增加統(tǒng)計(jì)分析方法解決數(shù)據(jù)分析問題的思路，自己對照著完成！

4.在上述問題有了比較好的理解后，也就是你應(yīng)該算是一個(gè)數(shù)據(jù)分析能手的時(shí)候，開始進(jìn)入數(shù)據(jù)挖掘領(lǐng)域，你會(huì)發(fā)現(xiàn)用數(shù)據(jù)挖掘思想解決問題具有智能化、自動(dòng)化的優(yōu)勢，接下來，你需要考慮數(shù)據(jù)建模的過程，通過學(xué)習(xí)Clementine軟件或SAS的挖掘工具，不斷理解數(shù)據(jù)挖掘與原來的數(shù)據(jù)分析工具有什么不同或優(yōu)勢！

5.當(dāng)前面都是了解并且能夠得心應(yīng)手后，你就要有針對性的掌握你工作所在行業(yè)的問題，例如：電信行業(yè)的解決方案問題：客戶流失、客戶價(jià)值、客戶離網(wǎng)、客戶保持、客戶響應(yīng)、客戶交叉銷售等商業(yè)模型，同時(shí)與數(shù)據(jù)分析和數(shù)據(jù)挖掘統(tǒng)一在一起的解決方案！

6.接下來，你應(yīng)該掌握數(shù)據(jù)庫的一些原理和操作，特別是SQL語言的方式

你到了這個(gè)階段，就應(yīng)該有全面解決問題的能力，比如挖掘出來的知識(shí)或商業(yè)規(guī)則如何推送到營銷平臺(tái)上等等

7.梳理自己的知識(shí)結(jié)構(gòu)，不僅會(huì)操作，現(xiàn)在你應(yīng)該成為專家了，要能夠宣揚(yáng)你的知識(shí)能力和領(lǐng)導(dǎo)力，當(dāng)然也要表明你在數(shù)據(jù)挖掘領(lǐng)域的專業(yè)特長

8.要經(jīng)常幫助同事和行業(yè)朋友，比如幫助解決數(shù)據(jù)分析問題，幫助咨詢，甚至給大家講課，這對你的知識(shí)梳理和能力的提高非常重要，你的自信心會(huì)更強(qiáng)！

9.有興趣，可以建立一個(gè)博客或什么，不斷寫點(diǎn)東西，經(jīng)常思考和總結(jié)

10.結(jié)交廣泛的朋友！

關(guān)于入門的教材：

互聯(lián)網(wǎng)，其實(shí)不用買什么書網(wǎng)絡(luò)基本都有；要有好的搜索能力，當(dāng)然包括搜各種軟件！

1.SPSS和Clementine軟件的說明和案例，都做一遍；

2.《數(shù)據(jù)挖掘——客戶關(guān)系管理的藝術(shù)》不錯(cuò)，當(dāng)當(dāng)網(wǎng)上查一下

3.《調(diào)查研究中的統(tǒng)計(jì)分析法》——我和柯老師寫的，當(dāng)當(dāng)網(wǎng)也有

4.《Excel高級應(yīng)用與數(shù)據(jù)分析》——我寫的

5.《數(shù)據(jù)展現(xiàn)的藝術(shù)》——我和博易智訊合作

來自沈浩老師的博客