關(guān)于數(shù)據(jù)挖掘就業(yè)方面的問(wèn)題

最近在招聘這方面的工程師，我想通過(guò)回答題主的這些問(wèn)題，來(lái)幫助一些新人選擇方向和正確的入門。

1.數(shù)據(jù)挖掘主要是做算法還是做應(yīng)用？分別都要求什么？

這個(gè)問(wèn)題太籠統(tǒng)，基本上算法和應(yīng)用是兩個(gè)人來(lái)做的，可能是數(shù)據(jù)挖掘職位。做算法的比較少，也比較高級(jí)，其實(shí)所謂做算法大多數(shù)時(shí)候都不是設(shè)計(jì)新的算法（這個(gè)可以寫(xiě)論文了），更多的是技術(shù)選型，特征工程抽取，最多是實(shí)現(xiàn)一些已經(jīng)有論文但是還沒(méi)有開(kāi)源模塊的算法等，還是要求扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)功底，以及豐富的分布式計(jì)算的知識(shí)的，以及不錯(cuò)的英文閱讀和寫(xiě)作能力。但即使是這樣也是百里挑一的，很難找到。絕大讀書(shū)數(shù)據(jù)挖掘崗位都是做應(yīng)用，數(shù)據(jù)清洗，用現(xiàn)成的庫(kù)建模，如果你自己不往算法或者架構(gòu)方面繼續(xù)提升，和其他的開(kāi)發(fā)崗位的性質(zhì)基本沒(méi)什么不同，只要會(huì)編程都是很容易入門的。

2.北上廣以外的普通公司用的多嗎？待遇如何？

實(shí)際情況不太清楚，由于數(shù)據(jù)挖掘和大數(shù)據(jù)這個(gè)概念太火了，肯定到處都有人招聘響應(yīng)的崗位，但是二線城市可能僅僅是停留在概念上，很多實(shí)際的工作并沒(méi)有接觸到足夠大的數(shù)據(jù)，都是生搬硬套框架（從我面試的人的工作經(jīng)驗(yàn)上看即使是在北上廣深這種情況也比較多見(jiàn)）。只是在北上廣深，可能接觸到大數(shù)據(jù)的機(jī)會(huì)多一些。而且做數(shù)據(jù)挖掘現(xiàn)在熱點(diǎn)的技術(shù)比如Python，Spark，Scala，R這些技術(shù)除了在一線城市之外基本上沒(méi)有足夠的市場(chǎng)（因?yàn)闀?huì)的人太少了，二線城市的公司找不到掌握這些技術(shù)的人，不招也沒(méi)人學(xué)），所以我推測(cè)二線城市最多的還是用JAVA+Hadoop，或者用JAVA寫(xiě)一些Spark程序。北上廣深和二線城市程序員比待遇是欺負(fù)人，就不討論了。

3.和前端后端程序員比有什么區(qū)別？有什么優(yōu)缺點(diǎn)？

和傳統(tǒng)的前后端程序員相比，最主要的去別就是對(duì)編程水平的要求。從我招聘的情況來(lái)看，做數(shù)據(jù)挖掘的人編程水平要求可以降低一個(gè)檔次，甚至都不用掌握面向?qū)ο蟆５且蠹夹g(shù)全面，編程、SQL，Linux，正則表達(dá)式，Hadoop，Spark，爬蟲(chóng)，機(jī)器學(xué)習(xí)模型等技術(shù)都要掌握一些。前后端可能是要求精深，數(shù)據(jù)挖掘更強(qiáng)調(diào)廣博，有架構(gòu)能力更好。

4.目前在學(xué)習(xí)機(jī)器學(xué)習(xí)，如果想找數(shù)據(jù)挖掘方面的工作應(yīng)該學(xué)習(xí)哪些內(nèi)容？

打基礎(chǔ)是最重要的，學(xué)習(xí)一門數(shù)據(jù)挖掘常用的語(yǔ)言，比如Python，Scala，R；學(xué)習(xí)足夠的Linux經(jīng)驗(yàn)，能夠通過(guò)awk，grep等Linux命令快速的處理文本文件。掌握SQL，MySQL或者PostgreSQL都是比較常用的關(guān)系型數(shù)據(jù)庫(kù)，搞數(shù)據(jù)的別跟我說(shuō)不會(huì)用數(shù)據(jù)庫(kù)。

補(bǔ)充的一些技能，比如NoSQL的使用，Elasticsearch的使用，分詞（jieba等模塊的使用），算法的數(shù)據(jù)結(jié)構(gòu)的知識(shí)。

5.hadoop,hive之類的需要學(xué)習(xí)嗎？

我覺(jué)得應(yīng)當(dāng)學(xué)習(xí)，首先Hadoop和Hive很簡(jiǎn)單（如果你用AWS的話你可以開(kāi)一臺(tái)EMR，上面直接就有Hadoop和Hive，可以直接從使用學(xué)起）。我覺(jué)得如果不折騰安裝和部署，還有Linux和MySQL的經(jīng)驗(yàn)，只要半天到一天就能熟悉Hadoop和Hive的使用（當(dāng)然你得有Linux和MySQL的基礎(chǔ)，如果沒(méi)有就先老老實(shí)實(shí)的學(xué)Linux和MySQL，這兩個(gè)都可以在自己的PC上安裝，自己折騰）。Spark對(duì)很多人來(lái)說(shuō)才是需要學(xué)習(xí)的，如果你有JAVA經(jīng)驗(yàn)大可以從JAVA入門。如果沒(méi)有那么還是建議從Scala入門，但是實(shí)際上如果沒(méi)有JAVA經(jīng)驗(yàn)，Scala入門也會(huì)有一定難度，但是可以慢慢補(bǔ)。所以總的來(lái)說(shuō)Spark才足夠難，以至于需要學(xué)習(xí)。

最后的最后我有一些建議。第一要對(duì)自己有一個(gè)系統(tǒng)的認(rèn)知，自己的編程水平夠么，SQL會(huì)用么，Linux會(huì)用么，能流暢的看英文文檔么？如果上面任何一個(gè)問(wèn)題的答案是No，我都不建議直接轉(zhuǎn)行或者申請(qǐng)高級(jí)的數(shù)據(jù)挖掘職位（因?yàn)槟愫茈y找到一個(gè)正經(jīng)的數(shù)據(jù)挖掘崗位，頂多是一些打擦邊球的崗位，無(wú)論是實(shí)際干的工作還是未來(lái)的成長(zhǎng)可能對(duì)你的幫助都不大）。無(wú)論你現(xiàn)在是學(xué)生還是已經(jīng)再做一些前段后端、運(yùn)維之類的工作你都有足夠的時(shí)間補(bǔ)齊這些基礎(chǔ)知識(shí)。補(bǔ)齊了這些知識(shí)之后，第一件事就是了解大數(shù)據(jù)生態(tài)，Hadoop生態(tài)圈，Spark生態(tài)圈，機(jī)器學(xué)習(xí)，深度學(xué)習(xí)（后兩者需要高等數(shù)學(xué)和線性代數(shù)基礎(chǔ)，如果你的大學(xué)專業(yè)學(xué)這些不要混）。選定其中一個(gè)方向做一些鉆研和學(xué)習(xí)，網(wǎng)上有很多現(xiàn)成的資料（基本上是英文的，所以我說(shuō)了，不能看英文的趕緊去背單詞），科學(xué)上網(wǎng)用谷歌這個(gè)大家都懂。希望我的建議能對(duì)你有一些幫助。