大數(shù)據(jù)泡沫時(shí)代：是時(shí)候?qū)Υ髷?shù)據(jù)回歸理性了

大數(shù)據(jù)時(shí)代來(lái)臨，社會(huì)對(duì)數(shù)據(jù)人才的理解和評(píng)價(jià)存在泡沫，是時(shí)候需要回歸到理性。從智聯(lián)網(wǎng)的招聘信息看到，很多公司招聘高級(jí)數(shù)據(jù)分析，都特別提出類(lèi)似的要求：熟練使用SAS、SPSS、R等工具。這些軟件都是統(tǒng)計(jì)軟件，里面的算法都是上個(gè)世紀(jì)不懂公司業(yè)務(wù)的人弄出來(lái)的。既然是統(tǒng)計(jì)領(lǐng)域的知識(shí)，為什么特別強(qiáng)調(diào)這部分知識(shí)呢？其他知識(shí)重要性都較輕嗎？公司不需要？

很多公司招高級(jí)數(shù)據(jù)分析如此，阿里巴巴數(shù)據(jù)分析專(zhuān)家盧輝寫(xiě)的書(shū)也有類(lèi)似的問(wèn)題。很多人都有光環(huán)效應(yīng)（他們認(rèn)為由于阿里的數(shù)據(jù)厲害，所以阿里的數(shù)據(jù)分析專(zhuān)家寫(xiě)的都是對(duì)的，其實(shí)阿里發(fā)展好，是整個(gè)團(tuán)隊(duì)多年努力出來(lái)的）。目前開(kāi)始有些相對(duì)聰明的人慢慢從這個(gè)泡沫中從模糊中感覺(jué)到不妥，而我本身就是讀統(tǒng)計(jì)的，由于敢于說(shuō)真話讓我先后被兩個(gè)中國(guó)新聞人物器重和教導(dǎo)。經(jīng)驗(yàn)不是一篇文章就能說(shuō)清楚，我這里只說(shuō)說(shuō)我對(duì)阿里巴巴數(shù)據(jù)分析專(zhuān)家盧輝著的書(shū)《數(shù)據(jù)挖掘與數(shù)據(jù)化運(yùn)營(yíng)實(shí)戰(zhàn)》，下文簡(jiǎn)稱(chēng)盧書(shū)的一些看法，希望推動(dòng)社會(huì)對(duì)數(shù)據(jù)人員的認(rèn)識(shí)更理性。
     CDA數(shù)據(jù)分析師是指在互聯(lián)網(wǎng)、零售、金融、電信、醫(yī)學(xué)、旅游等行業(yè)專(zhuān)門(mén)從事數(shù)據(jù)的采集、清洗、處理、分析并能制作業(yè)務(wù)報(bào)告、提供決策的新型數(shù)據(jù)分析人才。CDA數(shù)據(jù)分析師覆蓋了國(guó)內(nèi)企業(yè)招聘數(shù)據(jù)分析師所要求的所有技能，包括統(tǒng)計(jì)知識(shí)、軟件應(yīng)用（SPSS/SAS/R等）、數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)、報(bào)告撰寫(xiě)、項(xiàng)目經(jīng)驗(yàn)等。CDA數(shù)據(jù)分析師分為L(zhǎng)EVEL ⅠⅡⅢ三個(gè)等級(jí)，成為一名合格的CDA數(shù)據(jù)分析師能夠勝任企業(yè)不同層次的數(shù)據(jù)分析工作。 
筆者去年年底看了盧書(shū)，有些地方跟筆者有共識(shí)，但是書(shū)上也有很多問(wèn)題。

先舉個(gè)例子，大家都知道同樣頭暈，病根可能是不同的，所以學(xué)醫(yī)的學(xué)生全部科目都要學(xué)，實(shí)習(xí)要全部科室都走一趟。如果醫(yī)生知識(shí)面不夠廣的話，就容易誤診。如果你同意上面例子的話，那么統(tǒng)計(jì)方面，知識(shí)面不夠廣就會(huì)有問(wèn)題，這結(jié)論大家就能理解了。

例如盧書(shū)第17頁(yè)提到“數(shù)據(jù)挖掘很多時(shí)候并不需要特別專(zhuān)業(yè)的統(tǒng)計(jì)背景作為必要條件，不過(guò)需要強(qiáng)調(diào)的是基本的統(tǒng)計(jì)知識(shí)和技能是必需的”。什么才算基本？懂法律才算最基本吧？統(tǒng)計(jì)法規(guī)定統(tǒng)計(jì)的職權(quán)是調(diào)查、報(bào)告、監(jiān)督看出，國(guó)家強(qiáng)調(diào)的是調(diào)查，不是統(tǒng)計(jì)分析。而第2章提到統(tǒng)計(jì)分析與數(shù)據(jù)挖掘的差異以及書(shū)后面介紹的內(nèi)容，看出盧書(shū)作者對(duì)統(tǒng)計(jì)的認(rèn)識(shí)只停留是統(tǒng)計(jì)分析上。這樣有什么問(wèn)題呢？

第6章數(shù)據(jù)挖掘項(xiàng)目完整應(yīng)用案例演示，提到某公司存在用戶流失的情況，大家都很自然想到調(diào)查原因，有些原因可以通過(guò)分析日志記錄的用戶行為數(shù)據(jù)就能知道大概的問(wèn)題，也可能公司并沒(méi)有相關(guān)的數(shù)據(jù)，需要做調(diào)查，包含市場(chǎng)調(diào)查或業(yè)務(wù)調(diào)查。不論是否有相關(guān)的用戶行為數(shù)據(jù)，都屬于統(tǒng)計(jì)這個(gè)大范圍內(nèi)。

但是盧書(shū)在第6章提到的方法，浪費(fèi)大量人力物力，卻沒(méi)得到大家真正關(guān)心的答案。書(shū)中介紹的做法是：“本案例主要集中是3個(gè)方面：1、模型投入應(yīng)用后提前鎖定有高流失風(fēng)險(xiǎn)的高活躍用戶群體；2、可以將建模過(guò)程中發(fā)現(xiàn)的有價(jià)值的，最可能影響流失的重要字段和指標(biāo)選擇性地提供給運(yùn)營(yíng)方；3、針對(duì)影響流失的核心指標(biāo)和字段，可以提供給業(yè)務(wù)方，作為參考線索?！币簿褪腔撕芏嗟臅r(shí)間和人力成本卻沒(méi)直接回答流失原因，對(duì)于沒(méi)有相關(guān)的數(shù)據(jù)，不懂調(diào)查也不想做調(diào)查的人就說(shuō)這不是他們的工作范圍。

另外，盧書(shū)封面寫(xiě)“以業(yè)務(wù)為核心，以思路為重點(diǎn)，以挖掘技術(shù)為輔佐”，這點(diǎn)筆者同意，但是書(shū)中內(nèi)容多處違背這個(gè)道理。例如按照“以業(yè)務(wù)為核心，以思路為重點(diǎn)”的說(shuō)法，業(yè)務(wù)分析和報(bào)告應(yīng)該是具有邏輯性，可讀性。但是盧書(shū)中第17頁(yè)提到“神經(jīng)網(wǎng)絡(luò)挖掘技術(shù)，它里面的隱蔽層就是一個(gè)黑箱，沒(méi)有人能在所有的情況下讀懂”“在實(shí)踐應(yīng)用中，這種情況常會(huì)讓習(xí)慣統(tǒng)計(jì)分析公式的分析師或者業(yè)務(wù)人員感到困惑”“只要模型能正確預(yù)測(cè)客戶行為”“業(yè)務(wù)部門(mén)、運(yùn)營(yíng)部門(mén)不了解技術(shù)細(xì)節(jié)，又有何不可呢？”按照“以業(yè)務(wù)為核心，以思路為重點(diǎn)”的說(shuō)法，計(jì)算不符合業(yè)務(wù)邏輯的情況是應(yīng)該選擇其他方法去實(shí)現(xiàn)，但盧書(shū)采用了“以挖掘技術(shù)為主，思路為輔”的做法，以只要能正確預(yù)測(cè)用戶行為試圖讓大家覺(jué)得這樣做可行。試想如果黑箱算法預(yù)測(cè)的結(jié)果出了問(wèn)題，容易查問(wèn)題和解決嗎？

面對(duì)著業(yè)務(wù)人員對(duì)他們使用的計(jì)算不理解時(shí)，盧書(shū)第59頁(yè)提到的做法是“業(yè)務(wù)團(tuán)隊(duì)”“應(yīng)該具備”“能理解數(shù)據(jù)分析師的分析報(bào)告”。這再一次為上一個(gè)說(shuō)不清的問(wèn)題找了個(gè)借口。真正以“以業(yè)務(wù)為核心，以思路為重點(diǎn)”的做法，是要求數(shù)據(jù)分析師的報(bào)告要讓業(yè)務(wù)團(tuán)隊(duì)的人看得懂。統(tǒng)計(jì)法規(guī)定統(tǒng)計(jì)的職權(quán)是調(diào)查、報(bào)告、監(jiān)督。報(bào)告最起碼就是要讓別人看得懂，有可讀性。盧書(shū)把這個(gè)邏輯顛倒了。強(qiáng)調(diào)使用SAS、SPSS、R等工具進(jìn)行分析的數(shù)據(jù)分析師、數(shù)據(jù)挖掘，他們做的報(bào)告也偏向于盧書(shū)提到的情況，甚至干脆不寫(xiě)報(bào)告。

數(shù)據(jù)分析、數(shù)據(jù)挖掘是這幾年才新興的職位，他們使用的只是統(tǒng)計(jì)知識(shí)中很少一部分的內(nèi)容加上互聯(lián)網(wǎng)需要的知識(shí)，但是統(tǒng)計(jì)的其他知識(shí)都沒(méi)用嗎？社會(huì)對(duì)數(shù)據(jù)人員的評(píng)價(jià)高還是對(duì)統(tǒng)計(jì)的評(píng)價(jià)高？統(tǒng)計(jì)局做人口調(diào)查應(yīng)該是家喻戶曉的常識(shí)，為什么很多數(shù)據(jù)人員不愿意提，甚至希望與調(diào)查劃清界線。面試過(guò)很多公司的數(shù)據(jù)分析，他們都說(shuō)自己很喜歡統(tǒng)計(jì)，當(dāng)深入問(wèn)的時(shí)候，原來(lái)他們只喜歡數(shù)據(jù)分析那部分工作，這反映社會(huì)現(xiàn)狀和教育問(wèn)題了。他們只做了統(tǒng)計(jì)工作中，報(bào)告職能里面數(shù)據(jù)分析的工作而已，但是要求社會(huì)給予的報(bào)酬只是統(tǒng)計(jì)的小部分嗎？目前社會(huì)對(duì)哪個(gè)的評(píng)價(jià)更高呢？

CDA注冊(cè)數(shù)據(jù)分析師協(xié)會(huì)會(huì)員是來(lái)自學(xué)界、實(shí)務(wù)界，國(guó)內(nèi)大陸、臺(tái)灣及國(guó)外數(shù)據(jù)分析和數(shù)據(jù)挖掘相關(guān)領(lǐng)域的教授、專(zhuān)家、工程師及企業(yè)高端人才，名師薈萃，學(xué)術(shù)濃厚，技術(shù)前沿，代表了國(guó)內(nèi)數(shù)據(jù)分析研究領(lǐng)域的最高水平。

CDA數(shù)據(jù)分析師的就業(yè)前景可選擇于通訊、醫(yī)療、銀行、證券、保險(xiǎn)、制造、商業(yè)、市場(chǎng)研究、科研、教育等多個(gè)行業(yè)和領(lǐng)域。，根據(jù)三個(gè)不同的等級(jí)勝任不同的數(shù)據(jù)分析工作任務(wù)。

報(bào)名參加CDA協(xié)會(huì)等級(jí)認(rèn)證考試（報(bào)名入口）。證書(shū)含金量高，可以作為部分企業(yè)事業(yè)單位選拔和聘用專(zhuān)業(yè)人才的任職參考依據(jù)。