一個(gè)普通數(shù)據(jù)挖掘工程師的成長(zhǎng)經(jīng)歷_數(shù)據(jù)挖掘工程師辛苦嗎

不知不覺(jué)畢業(yè)兩年多了，有些想入門的朋友總想了解一下我是怎么學(xué)習(xí)數(shù)據(jù)挖掘、數(shù)據(jù)分析的,我就綜合大家常見(jiàn)的問(wèn)題分享一下自己的經(jīng)歷經(jīng)驗(yàn)。

首先我不是科班出身，不是學(xué)數(shù)學(xué)的也不是學(xué)計(jì)算機(jī)的，研究生的專業(yè)是植物學(xué)，而且方向是植物分類，可以說(shuō)很難和數(shù)據(jù)挖掘、分析等扯上任何關(guān)系。唯一能扯上關(guān)系的也就是我舍友做的是生物信息學(xué)的研究。

說(shuō)句丟人的話，本科時(shí)上spss課我都不知道在講什么，現(xiàn)在回憶起來(lái)才記得原來(lái)那個(gè)老師講的是spss，本科沒(méi)考過(guò)計(jì)算機(jī)證，原因我每分鐘打漢字都不過(guò)關(guān)，說(shuō)這些只是說(shuō)我的基礎(chǔ)并不扎實(shí)。

需要說(shuō)明的是我的英語(yǔ)還不錯(cuò)，大一大二通過(guò)了四六級(jí)考試，大四讀了很多英文文獻(xiàn)，而研究生時(shí)期需要查閱大量文獻(xiàn)，我需要給這些文章建立一個(gè)數(shù)據(jù)庫(kù)，于是年少無(wú)知的我就選擇了access，選擇access的原因并不是我比較熟悉它，而是我的老師用它，我至今也不會(huì)太多的操作。這算是我開(kāi)始接觸數(shù)據(jù)分析了吧?

之所以提這一段經(jīng)歷不是為了說(shuō)明我起步晚，而是為了說(shuō)明我個(gè)人覺(jué)得這個(gè)access庫(kù)的建立鍛煉了我英文搜索的能力，我碰到問(wèn)題，在谷歌里面搜索，很快就能找到答案，谷歌幾乎成了我的眼睛。在公司里曾經(jīng)傳說(shuō)如果我搜不到的內(nèi)容，別人更不可能搜到。有些年輕人就怕英文，我這里不是崇洋媚外，我們客觀的想一想，現(xiàn)在的東西都是從歐美起源的，如果你連這門世界語(yǔ)言都不掌握的話，你獲得的資料永遠(yuǎn)都是二手資料。另外無(wú)論你是找函數(shù)還是找包、模塊，還是為問(wèn)題尋找答案，英文谷歌搜索會(huì)為你節(jié)省很多時(shí)間。掌握這門語(yǔ)言并不是你聽(tīng)說(shuō)讀寫(xiě)樣樣精通，而是作為一種工具，你應(yīng)用起來(lái)比較方便而已。

善用英文搜索，原因很簡(jiǎn)單，你所用的語(yǔ)言軟件是老外構(gòu)建的，在國(guó)外已經(jīng)普及，你碰到的問(wèn)題可能老外早就提出解并決掉了。

在搜索文獻(xiàn)的過(guò)程中，我喜歡上了經(jīng)濟(jì)學(xué)人的《graphic details》欄目，發(fā)現(xiàn)他們繪制的圖非常漂亮、專業(yè)，然后我就開(kāi)始學(xué)習(xí)excel，盡自己所能將excel圖表做的更漂亮更專業(yè)，這些經(jīng)歷為我日后做數(shù)據(jù)可視化打下了堅(jiān)實(shí)的基礎(chǔ)，我知道了商務(wù)色彩搭配及圖表的綜合簡(jiǎn)潔等，我知道怎么將自己與別人做的圖表專業(yè)的區(qū)分開(kāi)來(lái)。后來(lái)看了大前研一先生的著作，了解到了專業(yè)精神，我曾經(jīng)寫(xiě)下這樣一句話，以此勉勵(lì)自己：

所謂專業(yè)即每一個(gè)細(xì)節(jié)都經(jīng)得起推敲

后來(lái)有一天我舍友看到我用excel做圖，嘲笑我孤陋寡聞，推薦我學(xué)習(xí)R語(yǔ)言，然后我就開(kāi)始搜尋一些R的入門讀物閱讀，慢慢的知道了這門語(yǔ)言的皮毛知識(shí)。
這個(gè)時(shí)候就是研二下半學(xué)期了，我需要為自己未來(lái)的工作做打算了，我是步入園林行業(yè)還是就此轉(zhuǎn)行？必須做一個(gè)決斷，我發(fā)現(xiàn)我真的對(duì)植物分類提不起精氣，而我做家教的學(xué)生他媽媽是星空傳媒的一個(gè)經(jīng)理，平時(shí)他們家待我很好（原因自己想），阿姨說(shuō)畢業(yè)可以介紹我去做市場(chǎng)研究，我了解了一下市場(chǎng)研究，發(fā)現(xiàn)他們?cè)谟靡恍?shù)據(jù)分析的內(nèi)容（現(xiàn)在看起來(lái)很簡(jiǎn)單），于是我決定從此踏上數(shù)據(jù)分析這條不歸路。
為了快速上手，熟悉統(tǒng)計(jì)學(xué)知識(shí)，我并沒(méi)有馬上深入的學(xué)習(xí)R，而是像以往一樣懶懶散散的學(xué)習(xí)（后悔當(dāng)時(shí)沒(méi)有實(shí)戰(zhàn)學(xué)習(xí)），但是我很快開(kāi)始學(xué)習(xí)spss，原因是對(duì)于無(wú)知的我這種傻瓜軟件更容易上手。另外我搜索市場(chǎng)研究的崗位他們好像將spss作為硬性要求，當(dāng)然偶爾也要求熟悉R（這是三年前的事了），于是SPSS幫助我鞏固了統(tǒng)計(jì)學(xué)知識(shí)，當(dāng)簡(jiǎn)單的統(tǒng)計(jì)知識(shí)學(xué)習(xí)完成后，我發(fā)現(xiàn)SPSS不夠靈活，很多功能也不夠用，做的圖表和excel一樣難看（這對(duì)于我來(lái)說(shuō)是無(wú)法忍受的），因此網(wǎng)絡(luò)上有一堆人鄙視，但很推崇R。于是我決定要深入的學(xué)習(xí)R，我先將SPSS的功能在R里面做了一遍，積累了一些自己的理解，我開(kāi)始想在自己的論文里做一些數(shù)據(jù)分析的內(nèi)容。
現(xiàn)在想來(lái)如果我直接實(shí)戰(zhàn)學(xué)習(xí)可能會(huì)節(jié)省更多的時(shí)間。

實(shí)戰(zhàn)更能鍛煉技能水平，閱讀是一種自我進(jìn)化

這時(shí)已經(jīng)研研二基本快結(jié)束了，開(kāi)始找工作了。我找工作的目的很明確，如果工作不是做數(shù)據(jù)分析數(shù)據(jù)研究，我寧愿放棄工作的機(jī)會(huì)。非數(shù)據(jù)研究的崗位我也不去面試，這樣又給我省下了大量的時(shí)間學(xué)習(xí)。

后來(lái)2013年畢業(yè)我去了一家醫(yī)藥市場(chǎng)研究公司，公司的工作并不太忙，我有大量的時(shí)間學(xué)習(xí)。但這時(shí)也暴露了我的弱點(diǎn)，公司的數(shù)據(jù)并不是很規(guī)整，往往需要標(biāo)準(zhǔn)化、整形等，而且數(shù)據(jù)規(guī)模也不再是之前練習(xí)時(shí)那么小，在面對(duì)這些臟數(shù)據(jù)、大點(diǎn)的數(shù)據(jù)時(shí)，我的數(shù)據(jù)清洗水平顯得手足無(wú)措，捉襟見(jiàn)肘。周圍的人都是excel高手，如果跟著他們學(xué)，估計(jì)也能成為高手，但是我一定要在R里面做數(shù)據(jù)清洗整理，反正公司的活不是很忙，我就一點(diǎn)一點(diǎn)的搜索學(xué)習(xí)積累，這樣我的數(shù)據(jù)處理能力就逐漸扎實(shí)起來(lái)了，期間使用兩天時(shí)間閱讀了《異類》這本書(shū)，感觸很深，閱讀經(jīng)歷已經(jīng)寫(xiě)了一篇文章在公眾號(hào)里分享了。

任何一個(gè)工具剛開(kāi)始學(xué)習(xí)時(shí)都會(huì)覺(jué)得它很糟糕，其實(shí)這并不是工具的問(wèn)題，而是自己的知識(shí)體系跟不上節(jié)奏，或者是它的很多方法與自己認(rèn)知相反，這是不要急于否定他，而是深入的學(xué)習(xí)他。知識(shí)體系是一個(gè)積累過(guò)程，為自己準(zhǔn)備一萬(wàn)個(gè)小時(shí)計(jì)劃吧

公司當(dāng)時(shí)做BI（商業(yè)智能），于是我接觸了市面上常見(jiàn)的BI，包括tableau、QV等等BI軟件，我熟悉他們的優(yōu)劣勢(shì)，也熟悉他們的數(shù)據(jù)可視化效果。曾經(jīng)試圖將R的頁(yè)面融入到BI中，這個(gè)時(shí)候我熟悉了shiny包，做了一些頁(yè)面，但我漸漸了解到R作為統(tǒng)計(jì)語(yǔ)言做這些通用語(yǔ)言的工作時(shí)所暴露的缺點(diǎn)，開(kāi)始接觸python。

后來(lái)我們公司的合作公司聽(tīng)說(shuō)我比較熟悉R，他們的總經(jīng)理就向我請(qǐng)教，我們一起討論了R和數(shù)據(jù)挖掘的東西，得知他們?cè)谧?a href='/map/wenbenwajue/' style='color:#000;font-size:inherit;'>文本挖掘。于是我閑暇時(shí)間開(kāi)始學(xué)習(xí)中文文本挖掘的內(nèi)容，沒(méi)有成型的數(shù)據(jù)，我就看帖子，去一個(gè)一個(gè)的實(shí)現(xiàn)，然后積累經(jīng)驗(yàn)，這時(shí)我的R語(yǔ)言操作算的上非常熟練了，從實(shí)現(xiàn)到速度優(yōu)化（并行計(jì)算等等）知識(shí)已經(jīng)非常熟練，積累的代碼也非常多了。

后來(lái)那個(gè)經(jīng)理找我做醫(yī)院處方數(shù)據(jù)的挖掘，先給他做一個(gè)shiny的demo。我給他做了，沒(méi)有收一分錢。再后來(lái)他請(qǐng)我去他公司負(fù)責(zé)法院文本挖掘，我沒(méi)去。但成了他們的外援，仍然沒(méi)收到錢，他們給這邊搭建的一臺(tái)服務(wù)器也幫助我了解了不少Linux的知識(shí)。

剛開(kāi)始鍛煉自己的機(jī)會(huì)遠(yuǎn)遠(yuǎn)比錢重要，反正自己閑著也是閑著，但是這只是剛開(kāi)始

后來(lái)公司推出了微信公眾號(hào)平臺(tái)，我開(kāi)始給公司的公眾號(hào)提供文章。期間為公司寫(xiě)了多篇綜合排名的文章，最高閱讀量達(dá)到4萬(wàn)多，要知道公司的公眾號(hào)當(dāng)時(shí)的粉絲才兩千人左右。后期又制作了評(píng)價(jià)醫(yī)院市場(chǎng)趨勢(shì)的綜合指標(biāo)，現(xiàn)在公司也一直在沿用這套指標(biāo)，這些工作的小點(diǎn)子都是在公交車上完成的。

工作除了是一中謀生手段外，在學(xué)習(xí)階段必須當(dāng)成自己的極大興趣去做，要么不做，要么做好

另外我在公交上讀完了《Data Mining with R learning by case studies》、《Machine.Learning.for.Hackers》、《R Graphics Cookbook》等書(shū)籍，之所以提這三本書(shū)是因?yàn)槲也恢挂槐榈淖x，這三本書(shū)很有特色，前者幫助我學(xué)習(xí)了各種算法，中間的幫我接觸了實(shí)際應(yīng)用中的知識(shí)，后者幫我熟練了ggplot的元素結(jié)構(gòu)。我開(kāi)始學(xué)會(huì)利用零散的時(shí)間，堅(jiān)持積累也開(kāi)始學(xué)習(xí)高度自律。

古之成大事者,不惟有超世之才,亦必有堅(jiān)韌不拔之志?！K軾

第一家公司入職的時(shí)候我的薪水很低，才5k。但我總能拿到公司的各種獎(jiǎng)勵(lì)、福利，也算是公司對(duì)我的一種補(bǔ)助，為了增加自己的收入，我有時(shí)也為外面的網(wǎng)站寫(xiě)一些市場(chǎng)評(píng)論文章，不過(guò)現(xiàn)在不寫(xiě)了。后來(lái)也就是2014年十月份，公司由于市場(chǎng)環(huán)境等種種原因進(jìn)行了一次大裁員，也就是在這個(gè)時(shí)期，公司為我提薪到7k。這時(shí)我開(kāi)始在實(shí)戰(zhàn)中學(xué)習(xí)python，也是給自己立一個(gè)小項(xiàng)目（比如一篇數(shù)據(jù)分析的文章），用R做一遍，用python做一遍。

過(guò)了年之后，我覺(jué)得公司給我再加薪的可能性不大，而我一直在做知識(shí)輸出，在公司接觸不到什么新鮮的東西了，于是我準(zhǔn)備跳槽。正好有家公司聯(lián)系我，開(kāi)我翻倍的薪水，雖然這個(gè)數(shù)字對(duì)于很多人來(lái)說(shuō)算是中下水平，但是對(duì)于當(dāng)時(shí)的我來(lái)說(shuō)算是一個(gè)翻身戰(zhàn)了，后來(lái)就辭職了。

其實(shí)我一直幻想著有一個(gè)自己想寫(xiě)什么就寫(xiě)什么的平臺(tái)，于是，我和小伙伴創(chuàng)建了這個(gè)公眾號(hào)，直到現(xiàn)在，我們更注重文章的可讀性、趣味性，而不僅僅是技術(shù)，但是每一篇文章都可以作為一個(gè)小項(xiàng)目鍛煉一下希望學(xué)習(xí)數(shù)據(jù)分析的同學(xué)的技能。

同學(xué)長(zhǎng)問(wèn)數(shù)據(jù)分析一定要學(xué)編程嗎？還有就是為什么要看英文資料？針對(duì)同學(xué)們的兩個(gè)主要問(wèn)題我編制了這樣一段對(duì)話，希望你能在對(duì)話中找到答案。

為什么學(xué)習(xí)數(shù)據(jù)分析？賺錢！什么樣的人容易賺錢？技能比別人高的！英語(yǔ)是不是一般人的難關(guān)？是不是大家都想學(xué)習(xí)傻瓜式操作軟件？是??！那么如果大家都這么想你應(yīng)該怎么做？很明顯你要做其他人不愿意做的事情才能賺到別人不能賺的錢！

作為分析師一定要將自己和技術(shù)區(qū)分開(kāi)來(lái)，分析數(shù)據(jù)挖掘數(shù)據(jù)本質(zhì)上是窺視數(shù)據(jù)背后的人心，挖掘人們的欲望、需求、態(tài)度等等，所以數(shù)據(jù)分析師還要盡量拓寬自己的視野和知識(shí)結(jié)構(gòu)，盡自己所能的博覽群書(shū)。

我的經(jīng)歷大概如此，中間會(huì)有各種迷茫各種蒼白無(wú)力，但是如果你缺少什么，搜集資料，做出判斷，努力去爭(zhēng)取，這一點(diǎn)總不會(huì)錯(cuò)。
作為一個(gè)技術(shù)人員，要時(shí)刻保持自己的知識(shí)在進(jìn)步！這是一種宿命。