學(xué)了數(shù)據(jù)挖掘之后能干啥？數(shù)據(jù)挖掘職業(yè)規(guī)劃總結(jié)

文 | 宿痕

很多人不明白學(xué)習(xí)數(shù)據(jù)挖掘以后干什么，這個(gè)問(wèn)題也經(jīng)常被問(wèn)到。記得剛學(xué)數(shù)據(jù)挖掘的時(shí)候，有一個(gè)老師說(shuō)學(xué)數(shù)據(jù)挖掘有什么用，你以后咋找工作。當(dāng)時(shí)聽(tīng)了，覺(jué)得很詫異，不知道他為何有此一問(wèn)。數(shù)據(jù)挖掘在國(guó)外是一份很不錯(cuò)的工作。我喜歡數(shù)據(jù)挖掘，因?yàn)樗苡腥?。很高興以后就從事這方面的工作啦。寫(xiě)論文之余，也考慮一下數(shù)據(jù)挖掘工程師的職業(yè)規(guī)劃。

以下是從網(wǎng)上找的一些相關(guān)資料介紹，和即將走上數(shù)據(jù)挖掘崗位或是想往這方面發(fā)展的朋友共享：

數(shù)據(jù)挖掘從業(yè)人員工作分析

1.數(shù)據(jù)挖掘從業(yè)人員的愿景：

數(shù)據(jù)挖掘就業(yè)的途徑從我看來(lái)有以下幾種，(注意：本文所說(shuō)的數(shù)據(jù)挖掘不包括數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)庫(kù)管理員的角色)。

A：做科研(在高校、科研單位以及大型企業(yè)，主要研究算法、應(yīng)用等)

B：算法工程師(在企業(yè)做數(shù)據(jù)挖掘及其相關(guān)程序算法的實(shí)現(xiàn)等)

C：數(shù)據(jù)分析師(在存在海量數(shù)據(jù)的企事業(yè)單位做咨詢(xún)、分析等)

2.數(shù)據(jù)挖掘從業(yè)人員切入點(diǎn)：

根據(jù)上面的從業(yè)方向來(lái)說(shuō)說(shuō)需要掌握的技能。

A：做科研：這里的科研相對(duì)來(lái)說(shuō)比較概括，屬于技術(shù)型的相對(duì)高級(jí)級(jí)別，需要對(duì)開(kāi)發(fā)、數(shù)據(jù)分析的必備基礎(chǔ)知識(shí)。

B：算法工程師：主要是實(shí)現(xiàn)數(shù)據(jù)挖掘現(xiàn)有的算法和研發(fā)新的算法以及根據(jù)實(shí)際需要結(jié)合核心算法做一些程序開(kāi)發(fā)實(shí)現(xiàn)工作。要想扮演好這個(gè)角色，你不但需要熟悉至少一門(mén)編程語(yǔ)言如(C，C++，Java，Delphi等)和數(shù)據(jù)庫(kù)原理和操作，對(duì)數(shù)據(jù)挖掘基礎(chǔ)課程有所了解，讀過(guò)《數(shù)據(jù)挖掘概念與技術(shù)》(韓家煒著)、《人工智能及其應(yīng)用》。有一點(diǎn)了解以后，如果對(duì)程序比較熟悉的話并且時(shí)間允許，可以尋找一些開(kāi)源的數(shù)據(jù)挖掘軟件研究分析，也可以參考如《數(shù)據(jù)挖掘：實(shí)用機(jī)器學(xué)習(xí)技術(shù)及Java實(shí)現(xiàn)》等一些教程。

C：數(shù)據(jù)分析師：需要有深厚的數(shù)理統(tǒng)計(jì)基礎(chǔ)，可以不知道人工智能和計(jì)算機(jī)編程等相關(guān)技術(shù)，但是需要熟練使用主流的數(shù)據(jù)挖掘(或統(tǒng)計(jì)分析)工具。從這個(gè)方面切入數(shù)據(jù)挖掘領(lǐng)域的話你需要學(xué)習(xí)《數(shù)理統(tǒng)計(jì)》、《概率論》、《統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)：數(shù)據(jù)挖掘、推理與預(yù)測(cè)》、《金融數(shù)據(jù)挖掘》，《業(yè)務(wù)建模與數(shù)據(jù)挖掘》、《數(shù)據(jù)挖掘實(shí)踐 》等，當(dāng)然也少不了你使用的工具的對(duì)應(yīng)說(shuō)明書(shū)了，如SPSS、SAS等廠商的《SAS數(shù)據(jù)挖掘與分析》、《數(shù)據(jù)挖掘Clementine應(yīng)用實(shí)務(wù)》、《EXCEL 2007數(shù)據(jù)挖掘完全手冊(cè)》等，如果多看一些如《數(shù)據(jù)挖掘原理》 等書(shū)籍那就更好了。

數(shù)據(jù)挖掘人員需具備以下基本條件，才可以完成數(shù)據(jù)挖掘項(xiàng)目中的相關(guān)任務(wù)。

一、專(zhuān)業(yè)技能

本科或碩士以上學(xué)歷，數(shù)據(jù)挖掘、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)相關(guān)專(zhuān)業(yè)，熟練掌握關(guān)系數(shù)據(jù)庫(kù)技術(shù)，具有數(shù)據(jù)庫(kù)系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)；

熟練掌握常用的數(shù)據(jù)挖掘算法；

具備數(shù)理統(tǒng)計(jì)理論基礎(chǔ)，并熟悉常用的統(tǒng)計(jì)工具軟件。

二、行業(yè)知識(shí)

具有相關(guān)的行業(yè)知識(shí)，或者能夠很快熟悉相關(guān)的行業(yè)知識(shí)

三、合作精神

具有良好的團(tuán)隊(duì)合作精神，能夠主動(dòng)和項(xiàng)目中其他成員緊密合作

四、客戶(hù)關(guān)系能力

具有良好的客戶(hù)溝通能力，能夠明確闡述數(shù)據(jù)挖掘項(xiàng)目的重點(diǎn)和難點(diǎn)，善于調(diào)整客戶(hù)對(duì)數(shù)據(jù)挖掘的誤解和過(guò)高期望；

具有良好的知識(shí)轉(zhuǎn)移能力，能夠盡快地讓模型維護(hù)人員了解并掌握數(shù)據(jù)挖掘方法論及建模實(shí)施能力。

進(jìn)階能力要求

數(shù)據(jù)挖掘人員具備如下條件，可以提高數(shù)據(jù)挖掘項(xiàng)目的實(shí)施效率，縮短項(xiàng)目周期。

具有數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目實(shí)施經(jīng)驗(yàn)，熟悉數(shù)據(jù)倉(cāng)庫(kù)技術(shù)及方法論

熟練掌握SQL語(yǔ)言，包括復(fù)雜查詢(xún)、性能調(diào)優(yōu)

熟練掌握ETL開(kāi)發(fā)工具和技術(shù)

熟練掌握Microsoft Office軟件，包括Excel和PowerPoint中的各種統(tǒng)計(jì)圖形技術(shù)

善于將挖掘結(jié)果和客戶(hù)的業(yè)務(wù)管理相結(jié)合，根據(jù)數(shù)據(jù)挖掘的成果向客戶(hù)提供有價(jià)值的可行性操作方案

五、應(yīng)用及就業(yè)領(lǐng)域

當(dāng)前數(shù)據(jù)挖掘應(yīng)用主要集中在電信(客戶(hù)分析)，零售(銷(xiāo)售預(yù)測(cè))，農(nóng)業(yè)(行業(yè)數(shù)據(jù)預(yù)測(cè))，網(wǎng)絡(luò)日志(網(wǎng)頁(yè)定制)，銀行(客戶(hù)欺詐)，電力(客戶(hù)呼叫)，生物(基因)，天體(星體分類(lèi))，化工，醫(yī)藥等方面。

當(dāng)前它能解決的問(wèn)題典型在于：數(shù)據(jù)庫(kù)營(yíng)銷(xiāo)(Database Marketing)、客戶(hù)群體劃分(Customer Segmentation &Classification)、背景分析(Profile Analysis)、交叉銷(xiāo)售(Cross-selling)等市場(chǎng)分析行為，以及客戶(hù)流失性分析(Churn Analysis)、客戶(hù)信用記分(Credit Scoring)、欺詐發(fā)現(xiàn)(Fraud Detection)等等，在許多領(lǐng)域得到了成功的應(yīng)用。如果你訪問(wèn)著名的亞馬遜網(wǎng)上書(shū)店會(huì)發(fā)現(xiàn)當(dāng)你選中一本書(shū)后，會(huì)出現(xiàn)相關(guān)的推薦數(shù)目“Customers who bought this book alsobought”，這背后就是數(shù)據(jù)挖掘技術(shù)在發(fā)揮作用。

數(shù)據(jù)挖掘的對(duì)象是某一專(zhuān)業(yè)領(lǐng)域中積累的數(shù)據(jù)；挖掘過(guò)程是一個(gè)人機(jī)交互、多次反復(fù)的過(guò)程；挖掘的結(jié)果要應(yīng)用于該專(zhuān)業(yè)。因此數(shù)據(jù)挖掘的整個(gè)過(guò)程都離不開(kāi)應(yīng)用領(lǐng)域的專(zhuān)業(yè)知識(shí)?！?/span>Business First， techniquesecond”是數(shù)據(jù)挖掘的特點(diǎn)。因此學(xué)習(xí)數(shù)據(jù)挖掘不意味著丟棄原有專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)。相反，有其它行業(yè)背景是從事數(shù)據(jù)挖掘的一大優(yōu)勢(shì)。如有銷(xiāo)售，財(cái)務(wù)，機(jī)械，制造，call center等工作經(jīng)驗(yàn)的，通過(guò)學(xué)習(xí)數(shù)據(jù)挖掘，可以提升個(gè)人職業(yè)層次，在不改變?cè)瓕?zhuān)業(yè)的情況下，從原來(lái)的事務(wù)型角色向分析型角色轉(zhuǎn)變。從80年代末的初露頭角到90年代末的廣泛應(yīng)用，以數(shù)據(jù)挖掘為核心的商業(yè)智能(BI)已經(jīng)成為IT及其它行業(yè)中的一個(gè)新寵。

重點(diǎn)介紹下對(duì)數(shù)據(jù)挖掘的幾個(gè)崗位

數(shù)據(jù)采集分析專(zhuān)員

職位介紹：數(shù)據(jù)采集分析專(zhuān)員的主要職責(zé)是把公司運(yùn)營(yíng)的數(shù)據(jù)收集起來(lái)，再?gòu)闹型诰虺鲆?guī)律性的信息來(lái)指導(dǎo)公司的戰(zhàn)略方向。這個(gè)職位常被忽略，但相當(dāng)重要。由于數(shù)據(jù)庫(kù)技術(shù)最先出現(xiàn)于計(jì)算機(jī)領(lǐng)域，同時(shí)計(jì)算機(jī)數(shù)據(jù)庫(kù)具有海量存儲(chǔ)、查找迅速、分析半自動(dòng)化等特點(diǎn)，數(shù)據(jù)采集分析專(zhuān)員最先出現(xiàn)于計(jì)算機(jī)行業(yè)，后來(lái)隨著計(jì)算機(jī)應(yīng)用的普及擴(kuò)展到了各個(gè)行業(yè)。該職位一般提供給懂?dāng)?shù)據(jù)庫(kù)應(yīng)用和具有一定統(tǒng)計(jì)分析能力的人。有計(jì)算機(jī)特長(zhǎng)的統(tǒng)計(jì)專(zhuān)業(yè)人員，或?qū)W過(guò)數(shù)據(jù)挖掘的計(jì)算機(jī)專(zhuān)業(yè)人員都可以勝任此工作，不過(guò)最好能夠?qū)λ谛袠I(yè)的市場(chǎng)情況具有一定的了解。

求職建議：由于很多公司追求短期利益而不注重長(zhǎng)期戰(zhàn)略的現(xiàn)狀，目前國(guó)內(nèi)很多企業(yè)對(duì)此職位的重視程度不夠。但大型公司、外企對(duì)此職位的重視程度較高，隨著時(shí)間的推移該職位會(huì)有升溫的趨勢(shì)。另外，數(shù)據(jù)采集分析專(zhuān)員很容易獲得行業(yè)經(jīng)驗(yàn)，他們?cè)诜治鲞^(guò)程中能夠很輕易地把握該行業(yè)的市場(chǎng)情況、客戶(hù)習(xí)慣、渠道分布等關(guān)鍵情況，因此如果想在某行創(chuàng)業(yè)，從數(shù)據(jù)采集分析專(zhuān)員干起是一個(gè)不錯(cuò)的選擇。

市場(chǎng)/數(shù)據(jù)分析師

1、市場(chǎng)數(shù)據(jù)分析是現(xiàn)代市場(chǎng)營(yíng)銷(xiāo)科學(xué)必不可少的關(guān)鍵環(huán)節(jié)： Marketing/Data Analyst從業(yè)最多的行業(yè)： Direct Marketing (直接面向客戶(hù)的市場(chǎng)營(yíng)銷(xiāo)) 吧，自90年代以來(lái)，Direct Marketing越來(lái)越成為公司推銷(xiāo)其產(chǎn)品的主要手段。

根據(jù)加拿大市場(chǎng)營(yíng)銷(xiāo)組織(Canadian MarketingAssociation)的統(tǒng)計(jì)數(shù)據(jù)： 僅1999年一年 Direct Marketing就創(chuàng)造了470000 個(gè)工作機(jī)會(huì)。從1999至2000，工作職位又增加了30000個(gè)。為什么Direct Marketing需要這么多Analyst呢？ 舉個(gè)例子， 隨著商業(yè)競(jìng)爭(zhēng)日益加劇，公司希望能最大限度的從廣告中得到銷(xiāo)售回報(bào)， 他們希望能有更多的用戶(hù)來(lái)響應(yīng)他們的廣告。所以他們就必需要在投放廣告之前做大量的市場(chǎng)分析工作。

例如，根據(jù)自己的產(chǎn)品結(jié)合目標(biāo)市場(chǎng)顧客的家庭收入，教育背景和消費(fèi)趨向分析出哪些地區(qū)的住戶(hù)或居民最有可能響應(yīng)公司的銷(xiāo)售廣告，購(gòu)買(mǎi)自己的產(chǎn)品或成為客戶(hù)，從而廣告只針對(duì)這些特定的客戶(hù)群。這樣有的放矢的篩選廣告的投放市場(chǎng)既節(jié)省開(kāi)銷(xiāo)又提高了銷(xiāo)售回報(bào)率。但是所有的這些分析都是基于數(shù)據(jù)庫(kù)，通過(guò)數(shù)據(jù)處理，挖掘，建模得出的，其間，市場(chǎng)分析師的工作是必不可少的。

2、行業(yè)適應(yīng)性強(qiáng)： 幾乎所有的行業(yè)都會(huì)應(yīng)用到數(shù)據(jù)， 所以作為一名數(shù)據(jù)/市場(chǎng)分析師不僅僅可以在華人傳統(tǒng)的IT行業(yè)就業(yè)，也可以在政府，銀行，零售，醫(yī)藥業(yè)，制造業(yè)和交通傳輸?shù)阮I(lǐng)域服務(wù)。

算法工程師

應(yīng)該來(lái)說(shuō)目前算法工程師基本上都集中在中大型企業(yè)中，因?yàn)橐话阈」竞苌儆玫剿惴▉?lái)解決問(wèn)題，如果這公司就是做數(shù)據(jù)相關(guān)產(chǎn)業(yè)的。而算法一般的應(yīng)用場(chǎng)景有推薦、廣告、搜索等，所以大家常見(jiàn)的在廣告領(lǐng)域、個(gè)性化推薦方面是有不少的同仁。常見(jiàn)的要求是懂JAVA/PYTHON/R中其中一種，能夠知道常規(guī)的回歸、隨機(jī)森林、決策樹(shù)、GBDT等算法，能夠有行業(yè)背景最佳等。如果是deep learning方向可能對(duì)圖論、畫(huà)像識(shí)別等方面要求更高些。

求職建議：background稍微好一些，再把一些基本的算法都弄明白，能說(shuō)清楚之間的區(qū)別和優(yōu)缺點(diǎn)，包括常見(jiàn)的一些應(yīng)用場(chǎng)景都有哪些。對(duì)于公司來(lái)說(shuō)，特別是BAT這樣使用機(jī)器學(xué)習(xí)的公司，算法工程師是很重要的一塊資產(chǎn)。

現(xiàn)狀與前景

數(shù)據(jù)挖掘是適應(yīng)信息社會(huì)從海量的數(shù)據(jù)庫(kù)中提取信息的需要而產(chǎn)生的新學(xué)科。它是統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)庫(kù)、模式識(shí)別、人工智能等學(xué)科的交叉。在中國(guó)各重點(diǎn)院校中都已經(jīng)開(kāi)了數(shù)據(jù)挖掘的課程或研究課題。比較著名的有中科院計(jì)算所、復(fù)旦大學(xué)、清華大學(xué)等。另外，政府機(jī)構(gòu)和大型企業(yè)也開(kāi)始重視這個(gè)領(lǐng)域。

據(jù)IDC對(duì)歐洲和北美62家采用了商務(wù)智能技術(shù)的企業(yè)的調(diào)查分析發(fā)現(xiàn)，這些企業(yè)的3年平均投資回報(bào)率為401%，其中25%的企業(yè)的投資回報(bào)率超過(guò)600%。調(diào)查結(jié)果還顯示，一個(gè)企業(yè)要想在復(fù)雜的環(huán)境中獲得成功，高層管理者必須能夠控制極其復(fù)雜的商業(yè)結(jié)構(gòu)，若沒(méi)有詳實(shí)的事實(shí)和數(shù)據(jù)支持，是很難辦到的。因此，隨著數(shù)據(jù)挖掘技術(shù)的不斷改進(jìn)和日益成熟，它必將被更多的用戶(hù)采用，使更多的管理者得到更多的商務(wù)智能。

根據(jù)IDC(International DataCorporation)預(yù)測(cè)說(shuō)2004年估計(jì)BI行業(yè)市場(chǎng)在140億美元?，F(xiàn)在，隨著我國(guó)加入WTO，我國(guó)在許多領(lǐng)域，如金融、保險(xiǎn)等領(lǐng)域?qū)⒅鸩綄?duì)外開(kāi)放，這就意味著許多企業(yè)將面臨來(lái)自國(guó)際大型跨國(guó)公司的巨大競(jìng)爭(zhēng)壓力。國(guó)外發(fā)達(dá)國(guó)家各種企業(yè)采用商務(wù)智能的水平已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了我國(guó)。美國(guó)Palo Alto 管理集團(tuán)公司1999年對(duì)歐洲、北美和日本375家大中型企業(yè)的商務(wù)智能技術(shù)的采用情況進(jìn)行了調(diào)查。結(jié)果顯示，在金融領(lǐng)域，商務(wù)智能技術(shù)的應(yīng)用水平已經(jīng)達(dá)到或接近70%，在營(yíng)銷(xiāo)領(lǐng)域也達(dá)到50%，并且在未來(lái)的3年中，各個(gè)應(yīng)用領(lǐng)域?qū)υ摷夹g(shù)的采納水平都將提高約50%。

現(xiàn)在，許多企業(yè)都把數(shù)據(jù)看成寶貴的財(cái)富，紛紛利用商務(wù)智能發(fā)現(xiàn)其中隱藏的信息，借此獲得巨額的回報(bào)。國(guó)內(nèi)暫時(shí)還沒(méi)有官方關(guān)于數(shù)據(jù)挖掘行業(yè)本身的市場(chǎng)統(tǒng)計(jì)分析報(bào)告，但是國(guó)內(nèi)數(shù)據(jù)挖掘在各個(gè)行業(yè)都有一定的研究。據(jù)國(guó)外專(zhuān)家預(yù)測(cè)，在今后的5—10年內(nèi)，隨著數(shù)據(jù)量的日益積累以及計(jì)算機(jī)的廣泛應(yīng)用，數(shù)據(jù)挖掘將在中國(guó)形成一個(gè)產(chǎn)業(yè)。

眾所周知，IT就業(yè)市場(chǎng)競(jìng)爭(zhēng)已經(jīng)相當(dāng)激烈，而數(shù)據(jù)處理的核心技術(shù)—數(shù)據(jù)挖掘更是得到了前所未有的重視。數(shù)據(jù)挖掘和商業(yè)智能技術(shù)位于整個(gè)企業(yè)IT-業(yè)務(wù)構(gòu)架的金字塔塔尖，目前國(guó)內(nèi)數(shù)據(jù)挖掘專(zhuān)業(yè)的人才培養(yǎng)體系尚不健全，人才市場(chǎng)上精通數(shù)據(jù)挖掘技術(shù)、商業(yè)智能的供應(yīng)量極小，而另一方面企業(yè)、政府機(jī)構(gòu)和和科研單位對(duì)此類(lèi)人才的潛在需求量極大，供需缺口極大。如果能將數(shù)據(jù)挖掘技術(shù)與個(gè)人已有專(zhuān)業(yè)知識(shí)相結(jié)合，您必將開(kāi)辟職業(yè)生涯的新天地！

職業(yè)薪酬

就目前來(lái)看，和大多IT業(yè)的職位一樣，數(shù)據(jù)挖掘方面的人才在國(guó)內(nèi)的需求工作也是低端飽和，高端緊缺。從BAT的招聘情況來(lái)看，數(shù)據(jù)挖掘領(lǐng)域相對(duì)來(lái)說(shuō)門(mén)檻還是比較高的，但是薪酬福利也相對(duì)來(lái)說(shuō)比較好，常見(jiàn)的比如騰訊、阿里都會(huì)給到年薪20W+。而厲害的資深算法專(zhuān)家年薪百萬(wàn)也是常有的事情，所以大家在算法方面還是大有可能。另外隨著金融越來(lái)越互聯(lián)網(wǎng)化，大量的算法工程師會(huì)成為以后互聯(lián)網(wǎng)金融公司緊缺的人才。

大家共勉！

來(lái)自知乎