想提高數(shù)據(jù)分析工作效率？有技巧

我剛和一位老友恢復(fù)了聯(lián)系。她一直對(duì)數(shù)據(jù)科學(xué)很感興趣，但10個(gè)月前才涉足這一領(lǐng)域——作為一個(gè)數(shù)據(jù)科學(xué)家加入了一個(gè)組織。我明顯感覺(jué)到她已經(jīng)在新的崗位上學(xué)到了很多東西。然而，我們聊天時(shí)，她提到了一個(gè)至今在我腦海里都揮之不去的事實(shí)或者說(shuō)是問(wèn)題。她說(shuō)，不論她表現(xiàn)如何，每一個(gè)項(xiàng)目或分析任務(wù)在令經(jīng)理滿意之前都要做好多次。她還提到，往往事后發(fā)現(xiàn)原本不需要花這么多時(shí)間！

聽起來(lái)是不是很像你的遭遇？你會(huì)不會(huì)在得出像樣的答案之前反復(fù)分析很多次？或者一遍又一遍地為類似的活動(dòng)寫著代碼？如果是這樣的話，這篇文章正好適合你。我會(huì)分享一些提高效率和減少不必要的重復(fù)工作的方法。

備注：請(qǐng)別誤會(huì)。我不是說(shuō)迭代都不好。這篇文章的重點(diǎn)在于如何識(shí)別哪些迭代是必要的，哪些是不必要且需要避免的。

什么原因?qū)е铝藬?shù)據(jù)分析中的重復(fù)工作？

我認(rèn)為沒(méi)有加入新信息，就沒(méi)必要重復(fù)分析（后面提到一個(gè)例外）。下面這些重復(fù)工作都是可以避免的：

對(duì)客戶問(wèn)題的診斷有偏差，不能滿足需求，所以要重做。

重復(fù)分析的目的在于收集更多的變量，而你之前認(rèn)為不需要這些變量。

之前沒(méi)有考慮到影響你分析活動(dòng)的偏差或假設(shè)，后來(lái)考慮到了所以要重做。

哪些迭代是必要的呢？下面舉兩個(gè)例子，一、你先建立了一個(gè)6個(gè)月后的模型，隨后有了新的信息，由此導(dǎo)致的迭代是健康的。二、你有意地從簡(jiǎn)單的模型開始逐漸深入理解并構(gòu)建復(fù)雜模型。

上面沒(méi)有涵蓋所有可能的情況，但我相信這些例子足夠幫助你判斷你的分析迭代是不是健康的。

這些生產(chǎn)力殺手的影響？

我們很清楚一點(diǎn)——沒(méi)有人想在分析中出現(xiàn)不健康的迭代和生產(chǎn)力殺手。不是每個(gè)數(shù)據(jù)科學(xué)家都樂(lè)于一邊做一邊增加變量并反復(fù)運(yùn)行整個(gè)分析過(guò)程。

分析師和數(shù)據(jù)科學(xué)家會(huì)因?yàn)椴唤】档蛦适识罡写鞌。狈Τ删透?。那么讓我們盡一切努力來(lái)避免它們吧。

小貼士：如何避免不健康迭代并增加效率

技巧1: 只關(guān)注重大問(wèn)題

每個(gè)組織都有很多可以用數(shù)據(jù)解決的小問(wèn)題!但雇一個(gè)數(shù)據(jù)科學(xué)家的主要目的不在于解決這些小問(wèn)題。好鋼要用在刀刃上，應(yīng)該選取3到4個(gè)對(duì)整個(gè)組織影響最大的數(shù)據(jù)問(wèn)題交給數(shù)據(jù)科學(xué)家來(lái)解決。這些問(wèn)題一般具有挑戰(zhàn)性，會(huì)給你的分析活動(dòng)帶來(lái)最大杠桿（或者收獲滿滿或者顆粒無(wú)收，想象一下借貸炒股）。當(dāng)更大的問(wèn)題沒(méi)被解決時(shí)，你不應(yīng)當(dāng)去解決小問(wèn)題。

聽起來(lái)沒(méi)什么，但實(shí)際上很多組織都沒(méi)做好這一點(diǎn)!我看到很多銀行沒(méi)用數(shù)據(jù)分析去改善風(fēng)險(xiǎn)評(píng)分，而是去做市場(chǎng)營(yíng)銷。有些保險(xiǎn)公司沒(méi)用數(shù)據(jù)分析提升客戶留存率，而是試圖建立針對(duì)代理機(jī)構(gòu)的獎(jiǎng)勵(lì)計(jì)劃。

技巧2: 一開始就創(chuàng)建數(shù)據(jù)分析的演示文稿 (可能的布局和結(jié)構(gòu))

我一直這樣做并且受益匪淺。把分析演示稿的框架搭起來(lái)應(yīng)該是項(xiàng)目啟動(dòng)后的第一件事。這聽起來(lái)或許有悖常理，然而一旦你養(yǎng)成這個(gè)習(xí)慣，就可以節(jié)省時(shí)間。

如何搭框架呢？

你可以用ppt、word、或者一段話來(lái)搭框架，形式是無(wú)關(guān)緊要的。重要的是一開始就要把所有可能情況列出來(lái)。例如，如果你試圖降低壞賬沖銷率，那么可以像下面一樣布局你的演示文稿：

接下來(lái)，你可以考慮每個(gè)因素如何影響壞賬沖銷率？例如，由于給客戶增加了信用額度導(dǎo)致銀行的壞賬沖銷率增加，你可以：

首先，確定那些信用額度沒(méi)被增加的客戶并沒(méi)有導(dǎo)致此次壞賬沖銷率增加。

下一步，用一個(gè)數(shù)學(xué)公式來(lái)測(cè)量這個(gè)影響。

一旦你把分析中的每一個(gè)分支都考慮到了，那么你已經(jīng)為自己創(chuàng)造了一個(gè)良好的起點(diǎn)。

技巧3: 事先定義數(shù)據(jù)需求

數(shù)據(jù)需求直接源于最后的分析結(jié)果。如果你已經(jīng)全面地規(guī)劃了要做哪些分析、產(chǎn)生什么結(jié)果，那么你將知道數(shù)據(jù)需求是什么。這里有幾個(gè)提示來(lái)幫助你:

? 試著賦予數(shù)據(jù)需求一個(gè)結(jié)構(gòu): 不單是記下變量列表，你應(yīng)該分門別類地想清楚分析活動(dòng)需要哪些表格。以上面增加壞賬沖銷率為例，你將需要客戶人口統(tǒng)計(jì)表，過(guò)往市場(chǎng)營(yíng)銷活動(dòng)統(tǒng)計(jì)表，客戶過(guò)去 12 個(gè)月的交易記錄，銀行信貸政策變更文件等資料。

? 收集你可能需要的所有數(shù)據(jù): 即使你不是 100%肯定是否需要所有的變量，在這一階段你應(yīng)該把所有數(shù)據(jù)都收集起來(lái)。這樣做工作量大一些，但是與在以后的環(huán)節(jié)增加變量收集數(shù)據(jù)相比，還是更有效率一些。

? 定義您感興趣的數(shù)據(jù)的時(shí)間區(qū)間。

技巧 4: 確保你的分析可重現(xiàn)

這個(gè)提示聽起來(lái)可能很簡(jiǎn)單——但初學(xué)者和高級(jí)分析人員都難以把握好這一點(diǎn)。初學(xué)者會(huì)用Excel執(zhí)行每一步活動(dòng)，其中包括復(fù)制粘貼數(shù)據(jù)。對(duì)于高級(jí)用戶，任何通過(guò)命令行界面完成的工作都可能不可重現(xiàn)。

同樣，使用記事本（notebook）時(shí)需要格外小心。你應(yīng)該克制自己修改以前的步驟，尤其是在前面的數(shù)據(jù)已經(jīng)被后面的步驟使用的情況下。記事本在維護(hù)這種涉及前后數(shù)據(jù)勾稽關(guān)系的數(shù)據(jù)流方面表現(xiàn)地非常強(qiáng)大。但是如果記事本中沒(méi)維護(hù)這種數(shù)據(jù)流，它也會(huì)非常沒(méi)用。

技巧5: 建標(biāo)準(zhǔn)代碼庫(kù)

沒(méi)必要為簡(jiǎn)單的操作一次又一次重寫代碼。它不僅浪費(fèi)時(shí)間，還可能會(huì)造成語(yǔ)法錯(cuò)誤。另一個(gè)竅門是創(chuàng)建常見操作的標(biāo)準(zhǔn)代碼庫(kù)并在整個(gè)團(tuán)隊(duì)中共享。

這將不僅確保整個(gè)團(tuán)隊(duì)使用相同的代碼，而且也使他們更有效率。

技巧6: 建中間數(shù)據(jù)集市

很多的時(shí)候，你會(huì)反復(fù)需要同一批信息。例如，你將在多個(gè)分析和報(bào)告中用到所有客戶信用卡消費(fèi)記錄。雖然你可以每次都從交易記錄表中提取，但是創(chuàng)建包含這些表的中間數(shù)據(jù)集市，可以有效節(jié)省時(shí)間和精力。同樣，市場(chǎng)營(yíng)銷活動(dòng)的匯總表也沒(méi)必要每次都查詢提取一次。

技巧7: 使用保留樣本和交叉驗(yàn)證防止過(guò)度擬合

很多初學(xué)者低估了保留樣本和交叉驗(yàn)證的強(qiáng)大。很多人傾向于認(rèn)為只要訓(xùn)練集足夠大，幾乎不會(huì)過(guò)擬合，因此沒(méi)必要交叉驗(yàn)證或保留樣本。

有這種想法，往往會(huì)在最后出岔子。不單我這樣說(shuō)——可以看一下Kaggle上任意競(jìng)賽公開或非公開的排行榜。你會(huì)發(fā)現(xiàn)前十名中有些人不再過(guò)擬合時(shí)他們的排名就不再下降了。你可以想象這些都是高級(jí)數(shù)據(jù)科學(xué)家。

技巧8: 集中一段時(shí)間工作并且有規(guī)律地休息

對(duì)于我來(lái)說(shuō)，最佳的工作狀態(tài)是集中利用2-3小時(shí)解決一個(gè)問(wèn)題或項(xiàng)目。作為一名數(shù)據(jù)科學(xué)家，你很難同時(shí)完成多項(xiàng)任務(wù)。你需要以自己的最佳狀態(tài)對(duì)待一個(gè)單獨(dú)的問(wèn)題。對(duì)于我來(lái)說(shuō)，2-3 小時(shí)的時(shí)間窗口最有效率，你可以依據(jù)個(gè)人情況自行設(shè)定。

后記

上面這些就是我提高工作效率的一些方法。我不強(qiáng)調(diào)非要第一次就把事情做好，但是你必須養(yǎng)成每一次都能做好的習(xí)慣——這樣你才能成為一個(gè)專業(yè)的數(shù)據(jù)科學(xué)家。

翻譯筆記

1、catch up with sb.還特指同某人恢復(fù)聯(lián)系,相當(dāng)于become current with what’s going on in someone’s life when you haven’t been in touch for a while

所以這句話的意思是說(shuō) “再次聯(lián)絡(luò)到（碰到/遇到）你真好”,特指有段時(shí)間和你沒(méi)有見面或者聯(lián)絡(luò)時(shí)候的說(shuō)法。

2、productivity killers，生產(chǎn)效率殺手，降低生產(chǎn)效率的因素，阻礙提高生產(chǎn)效率的因素。

3、壞賬沖銷率，信用卡行業(yè)的重要指標(biāo)，每月發(fā)生壞賬除以當(dāng)月初信用卡應(yīng)收款總額的年化比例，主要用于衡量資產(chǎn)的信用水平。

4、插圖中Brand strategy change，品牌戰(zhàn)略變更可能會(huì)導(dǎo)致壞賬沖銷率增加。例如，當(dāng)采用競(jìng)爭(zhēng)品牌或者邊際品牌戰(zhàn)略時(shí)可能會(huì)導(dǎo)致壞賬沖銷率的增加。

5、品牌戰(zhàn)略：

形象品牌。在品牌競(jìng)爭(zhēng)中形象品牌能有效地贏得公眾的信賴，形成良好的“口碑”效應(yīng)，對(duì)累積、提升品牌資本有著極為重要的作用，能促進(jìn)企業(yè)其它品牌的推廣。例如，雀巢公司的“雀巢”作為母品牌就是形象品牌，它有力地推動(dòng)了其眾多的子品牌。因此，企業(yè)的品牌經(jīng)營(yíng)戰(zhàn)略不能沒(méi)有形象品牌。

競(jìng)爭(zhēng)品牌，通常是針對(duì)市場(chǎng)上同類產(chǎn)品而推出的，它將通過(guò)其特殊的市場(chǎng)定位如技術(shù)上的、價(jià)格上的或服務(wù)上的特色撕開競(jìng)爭(zhēng)對(duì)手的防線，或開辟嶄新的目標(biāo)市場(chǎng)。顯然，競(jìng)爭(zhēng)品牌的主要目的就是為企業(yè)爭(zhēng)奪更多的市場(chǎng)份額，創(chuàng)立企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)。這種類型的品牌也許現(xiàn)在并不能為企業(yè)帶來(lái)多少利潤(rùn)，但發(fā)展?jié)摿O大，是企業(yè)參與未來(lái)市場(chǎng)品牌競(jìng)爭(zhēng)的關(guān)鍵和希望。

利潤(rùn)品牌，是企業(yè)多品牌經(jīng)營(yíng)的中心。利潤(rùn)品牌為企業(yè)創(chuàng)造利潤(rùn)是現(xiàn)代品牌經(jīng)營(yíng)的重要特征。利潤(rùn)品牌一般都是企業(yè)獨(dú)特技術(shù)（企業(yè)核心競(jìng)爭(zhēng)力）的代表，競(jìng)爭(zhēng)者難于在較短時(shí)間內(nèi)進(jìn)入這一領(lǐng)域?yàn)槠髽I(yè)創(chuàng)造很大的利潤(rùn)空間，甚至是超額利潤(rùn)。當(dāng)然這類品牌如果不加以提升和改善，就有進(jìn)入衰退期的可能。

邊際品牌，是企業(yè)多品牌經(jīng)營(yíng)戰(zhàn)略的必要補(bǔ)充。邊際品牌不是企業(yè)的形象品牌、競(jìng)爭(zhēng)品牌，從其表象看難于創(chuàng)造利潤(rùn)但因其具有一定的客戶基礎(chǔ)，不像其它品牌那樣需要高額的投資。因此，即使該品牌的銷售額停滯不前或緩慢下降，仍有一批忠誠(chéng)的消費(fèi)者不會(huì)放棄這類品牌。邊際品牌的作用就是創(chuàng)造盈余資源，并為企業(yè)的競(jìng)爭(zhēng)品牌、形象品牌和利潤(rùn)品牌提供資源支持，為沖銷企業(yè)的固定經(jīng)營(yíng)費(fèi)用做出貢獻(xiàn)。

6、插圖中“Acquisition driven”，acquisition意為（1）（對(duì)公司的）收購(gòu)，并購(gòu)；（2）(圖書館通過(guò)采購(gòu)、交換贈(zèng)閱等)圖書資料的獲得；獲得的書籍(或報(bào)刊、雜志)；（3）（知識(shí)、技能等的）獲得，習(xí)得。例如，data acquisition指數(shù)據(jù)采集。

7、插圖中“Spend simulation”，譯者在此只依文解義的翻成了“花費(fèi)模擬”。在ask.com搜索引擎中，沒(méi)有相應(yīng)內(nèi)容，網(wǎng)站提示是否搜索spent simulation，spent是一個(gè)互動(dòng)游戲，由一個(gè)幫助流浪者和貧窮者的公益組織發(fā)起，玩家用1000美元生活一個(gè)月模擬貧窮的生活狀態(tài)，玩家參與互動(dòng)游戲時(shí)會(huì)面臨很多選擇，比如Cover the minimum on your credit cards or pay the rent?支付信用卡還是支付房租。這個(gè)游戲從2011年2月第一次舉辦到2014年7月已經(jīng)有200萬(wàn)人在218個(gè)國(guó)家玩超過(guò)400萬(wàn)次。如果客戶參與這類活動(dòng)，可能會(huì)導(dǎo)致信用卡超期未付。參考鏈接：http://umdurham.org/  https://en.wikipedia.org/wiki/SPENT_(online_game)#cite_note-2

8、data requirement，數(shù)據(jù)需求，與之相關(guān)的還有Market requirement，Production requirement，其中產(chǎn)品需求與數(shù)據(jù)需求關(guān)系緊密。因?yàn)閿?shù)據(jù)需求隨著產(chǎn)品業(yè)務(wù)邏輯展開。要收集一個(gè)產(chǎn)品的數(shù)據(jù)，首先需要了解產(chǎn)品業(yè)務(wù)邏輯，例如功能之間的交互關(guān)系以及單一功能的業(yè)務(wù)邏輯。其次將業(yè)務(wù)邏輯節(jié)點(diǎn)化，識(shí)別出重要節(jié)點(diǎn)并列出優(yōu)先級(jí)。再次將節(jié)點(diǎn)化的業(yè)務(wù)代碼化，主要將列出的重要節(jié)點(diǎn)（需要統(tǒng)計(jì)的節(jié)點(diǎn)）添加統(tǒng)計(jì)事件和統(tǒng)計(jì)參數(shù)。最后形成數(shù)據(jù)需求文檔。

9、more often than not，往往。

讀后感

譯完這篇文章，我感覺(jué)數(shù)據(jù)分析人員可以從兩個(gè)方面借鑒經(jīng)驗(yàn)，一是從傳統(tǒng)管理咨詢行業(yè)借力，DA需要具備的能力包括傳統(tǒng)咨詢行業(yè)解決問(wèn)題的能力加上數(shù)據(jù)處理技能。比如本文的第二點(diǎn)提示，類似于咨詢行業(yè)的重要方法——結(jié)構(gòu)化思維?？梢詤⒖及虐爬っ魍芯帉懙摹禠ogic in writing, thinking and problem solving》（中文譯名：金字塔原理——思考、表達(dá)和解決問(wèn)題的邏輯），這本書是麥肯錫的經(jīng)典培訓(xùn)教材，介紹了很多實(shí)用的方法，幫助讀者在思考表達(dá)時(shí)重點(diǎn)突出、邏輯清晰、主次分明。二是可以從傳統(tǒng)的數(shù)據(jù)資源規(guī)劃中得到啟發(fā)。本文第三點(diǎn)提示，如何確定數(shù)據(jù)需求，恰恰可以參照傳統(tǒng)數(shù)據(jù)資源規(guī)劃中從業(yè)務(wù)需求得到數(shù)據(jù)需求，并對(duì)業(yè)務(wù)和數(shù)據(jù)進(jìn)行建模的系統(tǒng)化方法，具體可以參考高復(fù)先教授的《信息資源規(guī)劃:信息化建設(shè)基礎(chǔ)工程》。

本文最后提到工作和休息，這點(diǎn)因人而異。我覺(jué)得需要關(guān)注以下幾點(diǎn)：

一是評(píng)估綜合效率。一周有一兩次效率特高，但綜合效率或許不如一周都保持一個(gè)平穩(wěn)的節(jié)奏?？梢試L試用番茄鐘這種時(shí)間管理工具來(lái)量化分析一下自己的情況；

二是調(diào)整生活習(xí)慣。數(shù)據(jù)分析工作需要飽滿的精力，影響精力的因素很多，比如暴飲暴食可能就會(huì)帶來(lái)負(fù)面影響。

三是關(guān)注呼吸，如果我們高效率的時(shí)候身心舒暢，呼吸自然，那么這種狀態(tài)是可持續(xù)的。如果精力集中時(shí)，經(jīng)常屏住呼吸，這種方式更傾向于消耗。冥想和正念訓(xùn)練或許會(huì)有幫助。

工作有如跑馬拉松，有些人的目標(biāo)不為跑得快只為跑得年頭久，希望60歲依然能去跑，這類人對(duì)控制心率的需求大過(guò)提高速度。有些人希望盡快提高成績(jī)，去沖刺幾個(gè)重要賽事，因而自愿承擔(dān)自由基增加的代價(jià)。做數(shù)據(jù)分析也一樣，設(shè)定怎樣的目標(biāo)，那就怎樣去奔跑吧。