從商業(yè)視角理解數(shù)據(jù)：數(shù)據(jù)科學(xué)家的思維之路

在過(guò)去的幾個(gè)月內(nèi)，來(lái)自不同行業(yè)人不約而同問(wèn)我能否提供一個(gè)端到端的視圖，使他們了解成為一個(gè)數(shù)據(jù)科學(xué)家的思維過(guò)程。為這個(gè)問(wèn)題尋找答案時(shí)，我想的不僅僅是提供一個(gè)端到端的視圖過(guò)程，而是面對(duì)一個(gè)分析問(wèn)題時(shí)我們應(yīng)該更深入的了解他/她是怎么想的。

接下來(lái)我將分五個(gè)板塊帶領(lǐng)大家體驗(yàn)數(shù)據(jù)科學(xué)家的思維之路。文章的前半部分將介紹數(shù)據(jù)科學(xué)家如何進(jìn)行任務(wù)的公式化建模以及數(shù)據(jù)點(diǎn)的工程化，這樣可以為我們后續(xù)數(shù)據(jù)科學(xué)之旅提供規(guī)范和方向。我們還將深入了解整個(gè)生命周期中的另外兩個(gè)重要因素,即探索性數(shù)據(jù)分析和特征工程。這些過(guò)程在制定問(wèn)題的正確模型方面是很重要的。

當(dāng)我們?cè)噲D解開(kāi)數(shù)據(jù)科學(xué)家的思維過(guò)程時(shí)，我們需要經(jīng)歷如下五個(gè)過(guò)程：

以上是對(duì)數(shù)據(jù)科學(xué)家試著定位問(wèn)題時(shí)思維迷宮的一個(gè)鳥(niǎo)瞰圖。所以讓我們沿著這些路徑指示并開(kāi)始踏上數(shù)據(jù)科學(xué)家思維之旅。

一、業(yè)務(wù)探索：開(kāi)始

每次開(kāi)始總有一些業(yè)務(wù)挑戰(zhàn)或問(wèn)題，這些困難為以后的數(shù)據(jù)科學(xué)鋪平了道路。

為了更能理解，我們先舉個(gè)例子，假設(shè)一個(gè)農(nóng)產(chǎn)品公司生產(chǎn)雞蛋，然后找到我們,希望能夠幫助他們預(yù)測(cè)雞蛋的產(chǎn)量。為了能解決這些業(yè)務(wù)預(yù)測(cè)問(wèn)題，他們給了我們內(nèi)部系統(tǒng)中的可用歷史數(shù)據(jù)。

那你認(rèn)為我們應(yīng)該從哪里開(kāi)始著手這個(gè)任務(wù)呢?最好的方法是對(duì)不利于我們預(yù)測(cè)的變量建立直覺(jué)和假設(shè)。我們可以稱(chēng)它為響應(yīng)變量，在該例子中就是產(chǎn)蛋量。為了獲得影響我們響應(yīng)變量關(guān)鍵因素的直覺(jué)，我們必須采取一些輔助研究并且跟該公司的相關(guān)人員進(jìn)行接洽。我們可以把這一階段作為熟悉、業(yè)務(wù)發(fā)現(xiàn)的階段。

在這個(gè)階段，我們建立對(duì)影響我們響應(yīng)變量關(guān)鍵因素的直覺(jué)。這些關(guān)鍵因素稱(chēng)為獨(dú)立變量或特征。通過(guò)業(yè)務(wù)發(fā)現(xiàn)(上面也譯為發(fā)現(xiàn))階段，我們可發(fā)現(xiàn)影響雞蛋產(chǎn)量的關(guān)鍵特征是溫度、電力、好的水源、營(yíng)養(yǎng)成分、雞飼料質(zhì)量、疾病流行情況、疫苗接種等。除了關(guān)鍵特性的識(shí)別，我們還基于特征和響應(yīng)變量之間的關(guān)系上構(gòu)建直覺(jué)。

比如——

溫度和雞蛋產(chǎn)量上存在哪種關(guān)系?

那種雞飼料會(huì)影響產(chǎn)量嗎?

電力和產(chǎn)量之間是否有關(guān)聯(lián)?

……

一開(kāi)始建立的直覺(jué)將幫助我們下一階段的數(shù)據(jù)探索工作。從變量上的直覺(jué)開(kāi)始發(fā)揮作用了且變量之間存在關(guān)聯(lián)，那下一個(gè)任務(wù)就是驗(yàn)證我們的直覺(jué)和假設(shè)。讓我們看看接下來(lái)如何做到這一點(diǎn)。

二、歷練：準(zhǔn)備好數(shù)據(jù)來(lái)驗(yàn)證我們的直覺(jué)和假設(shè) 

為了驗(yàn)證前面得到的直覺(jué)和假設(shè)，我們需要與解決問(wèn)題相關(guān)的數(shù)據(jù)點(diǎn)。統(tǒng)一數(shù)據(jù)點(diǎn)的數(shù)據(jù)格式，這將是我們旅程中最乏味的部分。許多數(shù)據(jù)點(diǎn)在組織內(nèi)可能以不同的形式和模式提供，還需要補(bǔ)充組織內(nèi)部可用的數(shù)據(jù)與外部可用的數(shù)據(jù)。比如社交媒體數(shù)據(jù)或者公共領(lǐng)域的可用開(kāi)放數(shù)據(jù)。我們的目標(biāo)是格式化所有相關(guān)數(shù)據(jù)點(diǎn)，以方便我們的工作。對(duì)這一工作，并沒(méi)有規(guī)定我們?nèi)绾稳?shí)現(xiàn)。我們解決問(wèn)題的唯一指南是需解決問(wèn)題的相關(guān)描述。然而，這一部分是整個(gè)旅程中最耗時(shí)的部分之一。

當(dāng)我們?cè)谡務(wù)摐?zhǔn)備數(shù)據(jù)時(shí)，需做好數(shù)據(jù)的四個(gè)V：

1、數(shù)據(jù)量(Volume of data)

2、數(shù)據(jù)多樣性(Variety of data)

3、數(shù)據(jù)速率(Velocity of data)

4、數(shù)據(jù)真實(shí)性(Veracity of data)

數(shù)據(jù)量：容量決定了我們可以使用的數(shù)據(jù)量。在大多數(shù)情況下，數(shù)據(jù)量越大，創(chuàng)建的模型就越好、越具代表性。然而，更大的數(shù)據(jù)量也對(duì)我們手頭處理這些數(shù)據(jù)的資源的速度和能力提出了挑戰(zhàn)。數(shù)據(jù)量評(píng)估將有助于我們?cè)谔幚頂?shù)據(jù)時(shí)采用合適的并行處理技術(shù)來(lái)加快處理時(shí)間。

數(shù)據(jù)多樣性：指的是我們的數(shù)據(jù)點(diǎn)產(chǎn)生于那些不同的數(shù)據(jù)源，數(shù)據(jù)可能存在多種形式，比如傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)、文本數(shù)據(jù)、圖像、視頻、日志文件等等，這些數(shù)據(jù)的存儲(chǔ)形式越多樣，我們的聚合過(guò)程就越復(fù)雜。數(shù)據(jù)點(diǎn)的多樣性能夠?yàn)槲覀儾捎谜_的數(shù)據(jù)聚合技術(shù)提供線(xiàn)索。

數(shù)據(jù)速率：即是數(shù)據(jù)處理時(shí)產(chǎn)生數(shù)據(jù)點(diǎn)的頻率。可以是生成非常規(guī)則的數(shù)據(jù)，如WEB流數(shù)據(jù)，也可以是間歇性產(chǎn)生的數(shù)據(jù)。所以數(shù)據(jù)速率特征工程和采用正確的數(shù)據(jù)聚合技術(shù)的重要考慮因素。

數(shù)據(jù)的真實(shí)性：真實(shí)性是每個(gè)數(shù)據(jù)點(diǎn)在整個(gè)業(yè)務(wù)過(guò)程中產(chǎn)生的值(既可能是真實(shí)的數(shù)據(jù)，也有可能是噪聲)。如果我們未能在選擇數(shù)據(jù)多樣性的同時(shí)正確判斷其真實(shí)性被大量的噪音所淹沒(méi)，如此的變量選擇方法是不明智的，這會(huì)讓我們很難從手握的數(shù)據(jù)中提取有效的數(shù)據(jù)。

所有上述因素都必須記住，當(dāng)我們統(tǒng)一的數(shù)據(jù)格式后，這將使以后任務(wù)分析更加容易。 在整個(gè)過(guò)程中涉及的復(fù)雜性和重要性已經(jīng)產(chǎn)生為流，稱(chēng)之為數(shù)據(jù)工程流。 簡(jiǎn)而言之，數(shù)據(jù)工程是關(guān)于提取，收集和處理無(wú)數(shù)的數(shù)據(jù)點(diǎn)，為后續(xù)處理提供一致性。

三、數(shù)據(jù)發(fā)現(xiàn)階段 

這個(gè)階段是整個(gè)周期中最關(guān)鍵的階段之一。在這個(gè)階段，需要努力調(diào)整和適應(yīng)數(shù)據(jù)結(jié)構(gòu)和變量之間的關(guān)系。通常來(lái)說(shuō)，對(duì)于如何處理數(shù)據(jù)發(fā)現(xiàn)階段，存在兩種看法，一種是從商業(yè)的角度出發(fā)，另一種是從統(tǒng)計(jì)的角度出發(fā)。兩種視角描述如下：

商業(yè)視角用于處理來(lái)自商業(yè)問(wèn)題領(lǐng)域的變量之間的關(guān)系。相對(duì)的，統(tǒng)計(jì)學(xué)視角則更多地關(guān)注數(shù)據(jù)的統(tǒng)計(jì)特性，如其分布，正態(tài)性，偏移等。為了幫助闡明這些概念，讓我們通過(guò)一個(gè)案例進(jìn)行說(shuō)明。

假設(shè)一個(gè)擁有多種基站的客戶(hù)聯(lián)系我們，希望我們幫助他們解決一個(gè)耗費(fèi)很多精力但仍然得不到解決的問(wèn)題。他們想預(yù)先獲知各基站供電電池的健康狀態(tài)，希望預(yù)測(cè)出電池何時(shí)會(huì)發(fā)生故障。這樣情況下，他們需要提供與測(cè)量相關(guān)的歷史數(shù)據(jù)。讀取到的一些關(guān)鍵變量包括電導(dǎo)、電壓、電流、溫度、基站所在位置等。

客戶(hù)也需要提供電池發(fā)生故障條件的線(xiàn)索。他們希望我們關(guān)注電導(dǎo)值的走向，如果隨著時(shí)間推移電導(dǎo)值急劇下降，表示電池很可能發(fā)生故障了。配置這些數(shù)據(jù)后，讓我們看看數(shù)據(jù)發(fā)現(xiàn)是怎樣開(kāi)展的。我們首先從商業(yè)視角開(kāi)始。

四、商業(yè)視角的數(shù)據(jù)發(fā)現(xiàn)階段 

最佳方法是從業(yè)務(wù)問(wèn)題的角度思考。我們的業(yè)務(wù)問(wèn)題是預(yù)測(cè)可能會(huì)發(fā)生的電池故障。在我們頭腦中呈現(xiàn)出的最關(guān)鍵的問(wèn)題是什么是電池故障?當(dāng)然在此時(shí)此刻我們不可能對(duì)電池故障有明確的說(shuō)明，然而我們所擁有的是一個(gè)需要遵循的線(xiàn)索，這個(gè)線(xiàn)索是隨著時(shí)間的推移電導(dǎo)呈現(xiàn)下降趨勢(shì)的電池。

遵循這一線(xiàn)索，我們需要將呈現(xiàn)下降的趨勢(shì)的電池與那些沒(méi)有呈現(xiàn)下降趨勢(shì)的電池分離開(kāi)。那么，下一個(gè)問(wèn)題就是，我們?nèi)绾伟涯切┯邢陆第厔?shì)的電池從其他的電池中分離出來(lái)?最好的方法是用與我們的業(yè)務(wù)問(wèn)題相關(guān)的基本單元的聚集度量。讓我通過(guò)數(shù)據(jù)集圖像來(lái)闡述。

我們的數(shù)據(jù)樣本如上圖所示。 我們有大約20,000個(gè)的電池。 對(duì)于每個(gè)電池，讀取大約2 – 3年時(shí)間內(nèi)的電導(dǎo)。 每個(gè)電池與一個(gè)設(shè)備(基站位置)相關(guān)聯(lián)。 一個(gè)設(shè)備可以具有多個(gè)電池，然而電池僅與一個(gè)設(shè)備相關(guān)聯(lián)。 現(xiàn)在我們已經(jīng)看到了數(shù)據(jù)集的結(jié)構(gòu)，回到前面的語(yǔ)句，即“與業(yè)務(wù)問(wèn)題相關(guān)的基本單元的聚合度量”。

有兩個(gè)主要術(shù)語(yǔ)是重要的——

1.基本單位(Basic Unit)

2.聚合度量(Aggregating Metric)

在我們的案例中，與業(yè)務(wù)問(wèn)題相關(guān)的基本單元是單個(gè)電池本身。如果我們的業(yè)務(wù)問(wèn)題是預(yù)測(cè)可能會(huì)出現(xiàn)故障的基站設(shè)備，那么基本單位將是每個(gè)基站設(shè)備。第二項(xiàng)，即聚合度量，它是考慮了與基本單元相關(guān)聯(lián)變量的聚合度量。在我們的案例中，它是每個(gè)電池電導(dǎo)的一些聚合。同樣，聚合度量的類(lèi)型將取決于業(yè)務(wù)問(wèn)題。

所以，讓我們回到剛才的問(wèn)題，我們關(guān)心的是識(shí)別出有下降趨勢(shì)的電池。下降趨勢(shì)越明顯，它更可能是一個(gè)故障電池。因此，當(dāng)我們考慮一個(gè)聚合度量時(shí)，應(yīng)該著重考慮數(shù)據(jù)的范圍。表示數(shù)據(jù)散布范圍非常方便的度量是標(biāo)準(zhǔn)偏差(Standard deviation)。因此，如果我們通過(guò)采用每個(gè)電池的電導(dǎo)標(biāo)準(zhǔn)偏差來(lái)聚集每個(gè)電池的值，將有一個(gè)非常有效的方法來(lái)識(shí)別我們想要的電池組。同樣的情況在下面的圖中表示。

上圖是沿x軸的電池圖和沿y軸的電導(dǎo)標(biāo)準(zhǔn)偏差。 我們可以清楚地看到，使用我們的聚合度量，我們清楚地有兩組電池，一個(gè)標(biāo)準(zhǔn)偏差小于100，另一個(gè)大于300.第二組電池A&C的標(biāo)準(zhǔn)偏差高于其余的電池，正是我們所尋找的。 接下來(lái)我們?cè)賴(lài)L試?yán)L制這些電池的實(shí)際電導(dǎo)值隨時(shí)間的變化趨勢(shì)，以證實(shí)我們的假設(shè)。

從上述曲線(xiàn)可以清楚地看出，電池A和C顯示出由這些電池的高標(biāo)準(zhǔn)偏差所表明的下降趨勢(shì)。 所以采取這樣的聚合度量將有助于對(duì)想進(jìn)一步挖掘的案例進(jìn)行歸零。

五、深入挖掘 

現(xiàn)在我們已經(jīng)確定了可能有問(wèn)題的一組電池，下一步是深入研究這些案例，并嘗試識(shí)別與電導(dǎo)率下降相關(guān)的其他指標(biāo)。我們需要仔細(xì)觀察數(shù)據(jù)的一些圖形表示，然后提出進(jìn)一步的問(wèn)題：

這些趨勢(shì)發(fā)生的時(shí)間是否呈現(xiàn)在一個(gè)時(shí)間段之中?

是否有任何特定的模式，我們可以發(fā)現(xiàn)電導(dǎo)率下降趨勢(shì)?

有任何特別的曲線(xiàn)的斜率顯示一個(gè)下降趨勢(shì)?

……

我們需要觀察所有具有變量的可辨別的模式，并構(gòu)建我們對(duì)這些模式的直接辨識(shí)能力。一旦我們?cè)谝粋€(gè)變量上構(gòu)建出了直接辨識(shí)能力，就可以進(jìn)行下一步并關(guān)聯(lián)其他變量?？梢砸肴珉妷?，電流，溫度等變量，并看看相對(duì)于只有一個(gè)變量(電導(dǎo))時(shí)所看到的特定趨勢(shì)，這些變量的變化。

可以看到的趨勢(shì)如下——

當(dāng)電導(dǎo)降低時(shí)，電壓，電流或溫度如何表現(xiàn)?

在電導(dǎo)率呈現(xiàn)下降趨勢(shì)之前，這些變量有什么特殊趨勢(shì)嗎?

這些變量在電導(dǎo)值下降后如何表現(xiàn)?

除了已有的變量，是否還存在其他變量的可能?

……

這些是有助于我們發(fā)現(xiàn)存在于數(shù)據(jù)集中變量的各種關(guān)系的問(wèn)題。通過(guò)這些問(wèn)題劃分到每個(gè)變量幫助我們實(shí)現(xiàn)以下：

幫助確定變量的相對(duì)重要性

提供關(guān)于變量之間的關(guān)系的一個(gè)粗略的想法

深入了解需要根據(jù)現(xiàn)有變量得到的任何變量

讓我們直觀了解需要引入的任何新變量

通過(guò)提出上述問(wèn)題而獲得的洞見(jiàn)，能夠在后續(xù)的建模過(guò)程中提供極大幫助。

六、總結(jié) 

現(xiàn)在我們已經(jīng)開(kāi)始從商業(yè)視角了解數(shù)據(jù)發(fā)現(xiàn)階段，這個(gè)過(guò)程中的主要步驟包括：

1.識(shí)別一個(gè)變量，即能夠潛在地給出我們要解決的問(wèn)題指示的變量

2.為識(shí)別的變量導(dǎo)出一些聚合度量，以幫助分解與問(wèn)題相關(guān)的基本單元

3.深入了解情況，并尋找關(guān)于我們正在尋找的變量的趨勢(shì)

4.引入其他變量，并尋找新引入的變量和我們看到的第一個(gè)變量的趨勢(shì)的聯(lián)系。

5.尋找給出問(wèn)題線(xiàn)索的變量之間的關(guān)系。

6.對(duì)可以引入的任何新變量，構(gòu)建一個(gè)能夠直接辨識(shí)的形式，這有助于解決問(wèn)題。

以上是一套廣泛的指導(dǎo)方針，用以指導(dǎo)從數(shù)據(jù)發(fā)現(xiàn)的商業(yè)視角構(gòu)建思維過(guò)程。