數(shù)據(jù)分析師會被機(jī)器學(xué)習(xí)和算法取代么？

《疑犯追蹤》里的那個“機(jī)器”，主要工作就是分析人的行為，然后找出一些“目標(biāo)人員”，再由業(yè)務(wù)人員去接觸?？瓷先ィ@個機(jī)器完全是代替了數(shù)據(jù)分析師的工作啊。

拋開美劇里的這種有所夸張的內(nèi)容，在現(xiàn)實(shí)中，當(dāng)一個數(shù)據(jù)分析師跟別人聊天的時候，經(jīng)常會被問一些問題：

Q：數(shù)據(jù)分析人員能做什么？

A：從紛繁的數(shù)據(jù)里提煉出有價值的信息并給公司提供支持啊。

Q：你怎么提煉?。?/span>

A：寫程序采集啊，清洗啊，用一定的算法計(jì)算數(shù)據(jù)內(nèi)部聯(lián)系，根據(jù)業(yè)務(wù)做出判斷啊……

Q：如果都是用已有的算法，這些事情為什么不能用現(xiàn)成的流程來做呢？或者為什么不能寫成程序，讓機(jī)器自己實(shí)現(xiàn)呢？

A：呃…………

作為一名數(shù)據(jù)分析師，跟人聊天聊成這樣，非常常見也非常令人不爽。但我們數(shù)據(jù)分析師是不是僅能手工操作一些算法，等著機(jī)器和算法逐步取代我們么？并不是！

照例觀點(diǎn)先行：數(shù)據(jù)分析不等于數(shù)據(jù)分析算法/程序，數(shù)據(jù)分析算法/程序只是分析師手中的工具，數(shù)據(jù)分析要取得成功必須依賴人的力量，數(shù)據(jù)分析師的作用在于根據(jù)對業(yè)務(wù)的理解，合理使用分析工具，完成分析目標(biāo)。

結(jié)合業(yè)務(wù)的數(shù)據(jù)分析才是科學(xué)的，一切只看計(jì)算機(jī)輸出結(jié)果不考慮業(yè)務(wù)實(shí)際情況的數(shù)據(jù)分析都是無（shua）用（liu）功（mang）。計(jì)算機(jī)能實(shí)現(xiàn)的算法也好，程序也好，只是數(shù)據(jù)分析中的一部分；如何選擇分析切入點(diǎn)，如何選擇數(shù)據(jù)來源，如何確定算法，如何解讀結(jié)論，這些機(jī)器統(tǒng)統(tǒng)做不了，需要我們數(shù)據(jù)分析師來解決。

觀點(diǎn)在上邊兩段里已經(jīng)充分展示了，接下來我要愉快的展（che）開（dan）觀點(diǎn)內(nèi)容了：

數(shù)據(jù)分析通常包括幾個階段：提出/發(fā)現(xiàn)問題——獲取并清洗數(shù)據(jù)——建?！{(diào)整優(yōu)化——輸出結(jié)論。

這是一個閉環(huán)流程，每一步都需要人工參與，程序會參與中間三步，算法在建模中會用到，而數(shù)據(jù)分析的最重要兩步，問題和結(jié)論，目前是不可能完全交給計(jì)算機(jī)去處理的（其實(shí)我個人認(rèn)為這兩步在真正的人工智能出現(xiàn)前，絕不可能由計(jì)算機(jī)自動處理），因此數(shù)據(jù)分析人員最大的優(yōu)勢，就是“經(jīng)驗(yàn)”，也就是業(yè)務(wù)理解能力和數(shù)據(jù)分析經(jīng)驗(yàn)。

詳細(xì)解釋一下數(shù)據(jù)分析的幾個階段：

提出/發(fā)現(xiàn)問題階段：

大多數(shù)時候，數(shù)據(jù)分析都是為了解決一個問題（鎖定某個產(chǎn)品的目標(biāo)客戶，對同樣的人群做營銷活動用A方案好還是B方案好，等等），或者驗(yàn)證一個猜想（不讓旅游者上班高峰坐地鐵是不是會大幅度緩解擁擠現(xiàn)象，啤酒和尿布放一起是不是真的會提升啤酒的銷售額，等等），總之需要達(dá)到一個目標(biāo)。即使是探索性分析（拿著一大堆數(shù)據(jù)看看能不能找出點(diǎn)什么結(jié)論），那也需要先預(yù)設(shè)一個或多個目標(biāo)作為切入點(diǎn)，然后在探索過程中逐步修正。

提出和發(fā)現(xiàn)問題的過程，交給計(jì)算機(jī)干不太靠譜，首先計(jì)算機(jī)不會提出問題（因?yàn)楸浚?，其次?jì)算機(jī)能發(fā)現(xiàn)的問題也一定是人已經(jīng)發(fā)現(xiàn)了的問題（還是因?yàn)楸浚?，需要先有人來設(shè)定規(guī)則，然后計(jì)算機(jī)才能根據(jù)規(guī)則發(fā)現(xiàn)問題。而數(shù)據(jù)分析師，就是設(shè)定規(guī)則的人。

目標(biāo)和規(guī)則的設(shè)定，一定要基于業(yè)務(wù)，這樣分析結(jié)果才有用，否則會得出正確但無用的結(jié)論。舉個栗子，訂閱報(bào)紙的數(shù)據(jù)扔給計(jì)算機(jī)去分析關(guān)聯(lián)關(guān)系，看有哪些報(bào)紙可以進(jìn)行組合促銷，最后得出個光明日報(bào)和人民日報(bào)關(guān)聯(lián)系數(shù)90%多，所以這倆報(bào)紙可以組合起來賣，問題是這倆報(bào)紙本來就是要求黨政機(jī)關(guān)訂閱的黨報(bào)，組合起來毫無意義，該訂的還是要訂，不訂的還是不訂，這就是典型的正確但無用的分析結(jié)果。懂業(yè)務(wù)能讓分析師少做這種無用功，但是計(jì)算機(jī)要想懂業(yè)務(wù)就得由人來教，教還不一定能教會，教完了又不能觸類旁通（報(bào)紙的關(guān)聯(lián)算法拿到電商去完全不能用啊），這樣的計(jì)算機(jī)永遠(yuǎn)都不如分析師懂業(yè)務(wù)。

獲取并清洗數(shù)據(jù)：
這個階段計(jì)算機(jī)參與的較多，分析師的工作是指出拿什么數(shù)據(jù)，拿哪些字段，數(shù)據(jù)獲取到以后用哪些規(guī)則進(jìn)行清洗整理。如果數(shù)據(jù)源不變，需要重復(fù)或定期進(jìn)行分析時，這個階段的規(guī)則可以固化，由計(jì)算機(jī)來自動執(zhí)行，但規(guī)則仍然是由分析師來制定的。

建模、調(diào)整優(yōu)化：
這兩個階段中，分析算法出場了，描述分析、關(guān)聯(lián)分析、回歸、分類、聚類、時間序列，每個類別里都有一大堆的固定算法，分析師不能通過手算得出結(jié)論，需要借助封裝好算法的分析工具（圖形化的SPSS，命令行方式的R，等等），看來這一階段計(jì)算機(jī)要超越分析師了！

等等，建模哪有這么簡單，計(jì)算機(jī)解決不了的問題一大堆呢：什么時候用哪個類別的算法（該做分類還是聚類），同一類別不同算法哪個更適合當(dāng)前情況（K-means還是兩步聚類，這是個問題），同一個算法怎么調(diào)整參數(shù)能使效果更好（到底該把用戶聚成幾類呢），算法輸出的結(jié)果是否正常（有一部分?jǐn)?shù)據(jù)出了問題導(dǎo)致分析結(jié)果出現(xiàn)偏差）等等。這些問題計(jì)算機(jī)統(tǒng)統(tǒng)不知道耶，需要分析師來告訴它該做什么事。

打個比方，數(shù)據(jù)分析就是打仗，算法是機(jī)槍、大炮、坦克等等技術(shù)兵器，分析師是士兵、炮手、駕駛員（操縱者），不能因?yàn)槭勘约翰荒芤环昼娡鲁鰩装侔l(fā)子彈或者炮手自己不能一下子拆掉一個碉堡，就讓機(jī)槍大炮坦克把操縱者扔下，自己上陣去打仗……就算是無人機(jī)，那也得有個拿遙控器的駕駛員蹲在辦公室里操作啊……

算法始終只是工具，數(shù)據(jù)分析效果如何還是要看用工具的分析師功力如何。一個做過幾十個分析項(xiàng)目的分析師，功力通常來說比剛?cè)胄械姆治鰩熁蛘呒冮_發(fā)人員要深厚一些（極少數(shù)天賦異稟的不算……），選算法調(diào)參數(shù)建模型的能力更強(qiáng)一些，分析出來的結(jié)果也會相對靠譜一些——沒錯，經(jīng)驗(yàn)在這兩個階段就是優(yōu)勢。

輸出結(jié)論：
這一階段計(jì)算機(jī)的工作已經(jīng)基本完成了，對模型輸出的數(shù)據(jù)進(jìn)行解讀，那完全是分析師的天下——同一份數(shù)據(jù)給不同的分析師，可能會得出不同的結(jié)論，很多時候分析師并不單單根據(jù)數(shù)據(jù)本身得出結(jié)論，還要結(jié)合很多外界因素來修正結(jié)論。分析師的經(jīng)驗(yàn)越豐富，擁有的有效信息量越多，得出的結(jié)論就越接近事實(shí)（之所以用接近，是因?yàn)閷?shù)據(jù)解讀的準(zhǔn)確度永遠(yuǎn)達(dá)不到100%，影響結(jié)果的因素太多了，比如一個企業(yè)銷售額連續(xù)增長10年，分析師根據(jù)公司數(shù)據(jù)和市場情況判斷下一年還會繼續(xù)增長，結(jié)果老板出事跑路了，企業(yè)直接倒閉），而這個過程是計(jì)算機(jī)目前沒辦法自主進(jìn)行的，商業(yè)智能系統(tǒng)做的再好，也需要由分析師來設(shè)定規(guī)則，告訴計(jì)算機(jī)在什么時間需要做什么。

也許隨著大數(shù)據(jù)和人工智能的發(fā)展，有一天計(jì)算機(jī)可以完全不依賴人工設(shè)定的規(guī)則（不需要確定數(shù)據(jù)來源，不需要選擇算法和模型，不需要人工干預(yù)來修正模型，等等），自己對數(shù)據(jù)進(jìn)行全方位的分析，加入所有因素的影響，并輸出準(zhǔn)確度非常高的報(bào)告，只有到那時候，分析師才會失業(yè)啊。

不過，真到了那一天，恐怕不光是分析師失業(yè)的問題吧……