十個問題讓你了解數(shù)據(jù)挖掘工程師

對于如何學(xué)習(xí)大數(shù)據(jù)技能？大多資深數(shù)據(jù)分析師都會建議在學(xué)習(xí)書本的基礎(chǔ)上參加競賽，從實踐中發(fā)現(xiàn)問題提升自己。今天跟我們分享的就是一位長期參加比賽的數(shù)據(jù)挖掘工程師，他有四年的工作經(jīng)驗，利用業(yè)余時間參加kaggle，目前也正在參加DataCastle舉辦的職位預(yù)測競賽。因為熱愛分享，他被其他參賽者親切稱為蒼老師！

1、蒼老師，請簡單介紹一下你的學(xué)習(xí)背景吧？

蒼老師：我大學(xué)是在佐治亞理工學(xué)的計算機科學(xué)專業(yè)。畢業(yè)之初也從事一些軟件開發(fā)類的職位，但在開發(fā)過程中逐漸接觸到一些數(shù)據(jù)挖掘方面的工作，諸如推薦系統(tǒng)，算法模型一類的東西，我覺得這些非常有趣，久而久之開始專攻這一方面?，F(xiàn)在就職于上海大豈網(wǎng)絡(luò)科技有限公司，職位是數(shù)據(jù)挖掘工程師。

2、你覺得你有這樣的學(xué)習(xí)背景有優(yōu)勢嗎？在工作中還需要怎么提高？

蒼老師：技術(shù)方面當(dāng)然會有一些優(yōu)勢，但是工作總因為面臨到的問題會各不相同，其內(nèi)因也不同，因此尤其要自己發(fā)明或習(xí)慣一種問題思考與處理的流程，學(xué)會習(xí)慣在理解數(shù)據(jù)之后再進(jìn)行后續(xù)的操作。從鍛煉技術(shù)的角度上來說競賽是一個絕佳的練習(xí)與驗證。通過競賽可以學(xué)習(xí)到以后工作過程中數(shù)據(jù)處理的各個環(huán)節(jié)。同時掌握一些以后可能用到的工具與一些工程理念。

3、現(xiàn)在的工作主要都做些什么呢？

蒼老師：現(xiàn)在在招聘領(lǐng)域，主要從事在CTR預(yù)測與推薦這兩方面。

4、哪些部分你比較喜歡？不喜歡哪些？

蒼老師：我最喜歡的是特征工程的部分，因為這部分牽涉到最多對于數(shù)據(jù)內(nèi)部誘因的探尋，也是最能夠提升模型效果的部分。這部分工作的挑戰(zhàn)最高帶來的優(yōu)化也最高。最不喜歡的是參數(shù)的調(diào)優(yōu)，因為需要花費大量的時間去尋找一套最優(yōu)的參數(shù)，是比較枯燥的環(huán)節(jié)，需要做的是大量計算資源和時間。同時對于ensemble工作也是有些愛恨交織的，好的ensemble可以提升效果，但是如果單個模型的效果不理想或者某一類的模型訓(xùn)練不到位則會拖累整體效果。

5、你認(rèn)為想從事數(shù)據(jù)分析挖掘，哪些技術(shù)工具是必須要掌握的呢？在校學(xué)生應(yīng)該學(xué)習(xí)哪些技能？

蒼老師：我在工作中使用python，當(dāng)然其他諸如R語言，Julia也是數(shù)據(jù)科學(xué)家可選的工具。
對于在校學(xué)生我建議是先將編程基礎(chǔ)打扎實，無論未來想從事數(shù)據(jù)挖掘行業(yè)的哪一類工作，對于變成算法和數(shù)學(xué)基礎(chǔ)的要求都是一樣的。
還有就是數(shù)據(jù)庫方面，涉及到數(shù)據(jù)的存儲和處理，以后都是非常有用的。
數(shù)學(xué)基礎(chǔ)也很重要，概率論和線性代數(shù)是非常有用的工具，能夠幫助理解算法模型，并且在業(yè)務(wù)處理過程中更好的讀懂?dāng)?shù)據(jù)。
還有就是多關(guān)心一些新技術(shù)的動態(tài)。雖然并不一定會用到，但是新工具和技術(shù)的誕生必將會給業(yè)界帶來一些變革和方便。

6、工作已經(jīng)每天都要和數(shù)據(jù)打交道了，你為什么還會利用業(yè)余時間參加競賽呢？

蒼老師：首先我覺得做數(shù)據(jù)是很有趣的一件事，并不會因為處理數(shù)據(jù)的問題而覺得枯燥。所以參加競賽除了是自己的休閑方式之外，還能保持一種對于數(shù)據(jù)的敏感度。這能更好的幫助自己在工作中的發(fā)揮。

7、你目前在DC的職位預(yù)測中排名第一，但是你也同時跟別人分享比賽經(jīng)驗，不擔(dān)心別人超過你？有信心繼續(xù)提高自己的成績嗎？

蒼老師：這個不會，相反我覺得能夠提供一些思路上的幫助對于一些新入門機器學(xué)習(xí)領(lǐng)域的同學(xué)來說會有幫助，免去很多我當(dāng)初學(xué)習(xí)過程走的彎路。算法的調(diào)整是一個迭代過程，任何新的想法都會被放入模型中被驗證，還有時間，應(yīng)該還有上升的空間。

8、根據(jù)你說的，數(shù)據(jù)分析師對綜合技能要求很強啊，除了競賽還有別的學(xué)習(xí)途徑嗎？

蒼老師：多看論文，要有足夠可信度的，還有關(guān)注一些業(yè)內(nèi)大公司的發(fā)現(xiàn)。他們公布的一些算法模型，以及提供的開元代碼實現(xiàn)，學(xué)習(xí)他人的代碼能夠帶來自己的提升。

9、有些人認(rèn)為某些特定領(lǐng)域?qū)I(yè)知識比統(tǒng)計或者編程知識更重要，你覺得呢？

蒼老師：我也這么覺得，其實數(shù)據(jù)挖掘業(yè)內(nèi)都認(rèn)為70%甚至更高的工作量都在于數(shù)據(jù)的預(yù)處理階段，特征的提取和分析以及轉(zhuǎn)換都是和業(yè)務(wù)理解息息相關(guān)的，這就需要對業(yè)務(wù)有一定的理解。但是如果你從一個行業(yè)跳到另一個行業(yè)，比如從招聘到金融，還是可以針對數(shù)據(jù)挖掘設(shè)計出一個固定的流程，特征提取方面應(yīng)當(dāng)是結(jié)合領(lǐng)域知識不斷完善有效特征，但這并不妨礙原有的架構(gòu)的搭建。

10、最后給想往數(shù)據(jù)分析方向發(fā)展的學(xué)生們一點建議吧 ！

蒼老師：數(shù)據(jù)方向的幾個發(fā)展職位,數(shù)據(jù)科學(xué)家,數(shù)據(jù)分析師,數(shù)據(jù)工程師,數(shù)據(jù)架構(gòu)師.每一種掌握的技能都不太相同，不過基本上編程能力都是必備的。同時掌握1門數(shù)據(jù)分析用的開發(fā)語言諸如python，R，julia也是必備的推薦的技能包括了c/c++/java，這一類在工程應(yīng)用中會經(jīng)常遇到。數(shù)據(jù)庫，關(guān)系型和非關(guān)系型的優(yōu)點缺點都可以熟悉下。再來就是更復(fù)雜的分布式計算，云存儲等框架結(jié)構(gòu)。養(yǎng)成從數(shù)據(jù)角度去思考的思維模式。

……

其實說了這么多歸根結(jié)底是先定好一個目標(biāo)，向著那個目標(biāo)去努力，循序漸進(jìn)的去儲備自己的專業(yè)知識，有機會實踐并檢驗自己的能力，在數(shù)據(jù)和算法過程中會遇到很多瓶頸阻礙，不要怕，相信你學(xué)習(xí)的越多越有可能去解決這些問題。