數(shù)據(jù)科學(xué)有助于數(shù)據(jù)挖掘，數(shù)據(jù)分析

“數(shù)據(jù)科學(xué)家”這一術(shù)語尚未失去吸引力，據(jù)Metamarkets公司的共同創(chuàng)始人及首席技術(shù)官M(fèi)ichael Driscoll說。Metamarkets是一家為數(shù)字、社交和移動(dòng)媒體公司提供預(yù)測分析的創(chuàng)業(yè)公司。 

當(dāng)Driscoll 用這個(gè)術(shù)語描述在分析和商業(yè)智能領(lǐng)域出新出現(xiàn)的一種角色時(shí)，其他人并不打算這樣做，并且這個(gè)頭銜倍受爭議。

Driscoll把數(shù)據(jù)科學(xué)家們形容成土木工程師。 

“土木工程師一部分是物理學(xué)家,一部分是建筑工人，”他說。同時(shí)，數(shù)據(jù)科學(xué)家必須能夠在數(shù)據(jù)領(lǐng)域里找到理論和實(shí)踐之間的平衡。 

最近業(yè)務(wù)調(diào)查分析公司與Driscoll一起談?wù)摿?/span>數(shù)據(jù)科學(xué)家以及他們?nèi)绾卫妙A(yù)測分析闡明未來。

什么是數(shù)據(jù)科學(xué)?

Michael Driscoll：數(shù)據(jù)科學(xué)是一種新詞語，因此像所有的新詞一樣，它是一個(gè)進(jìn)化的術(shù)語和標(biāo)題。實(shí)際上，數(shù)據(jù)科學(xué)家是那些將數(shù)學(xué)家和統(tǒng)計(jì)學(xué)家的理論專業(yè)知識(shí)和注重實(shí)踐的軟件開發(fā)人員的工程操作相結(jié)合的人。在過去的十年里，處于統(tǒng)計(jì)分析、應(yīng)用數(shù)學(xué)和計(jì)算機(jī)科學(xué)交叉領(lǐng)域的機(jī)器學(xué)習(xí)正在復(fù)興。但要讓所有這些理論被利用，最后還需要進(jìn)行編碼。所以數(shù)據(jù)科學(xué)家能將這些理論和實(shí)際相結(jié)合的人。

當(dāng)你談?wù)摂?shù)據(jù)科學(xué)的實(shí)踐這一塊時(shí)，你指的是什么?

Driscoll：我一般以三種技能來描述數(shù)據(jù)科學(xué)，首先，“數(shù)據(jù)轉(zhuǎn)型”，它包括切片和切塊的能力，轉(zhuǎn)換，提取和以一種輕便、流動(dòng)的方式處理數(shù)據(jù)。第二個(gè)技能是數(shù)據(jù)建模，它主要是得到一組數(shù)據(jù)并能夠在數(shù)據(jù)中開發(fā)一種模式的假設(shè)，再利用統(tǒng)計(jì)工具對(duì)這一假設(shè)進(jìn)行測試。第三個(gè)技能是數(shù)據(jù)可視化。一旦你將數(shù)據(jù)轉(zhuǎn)換成可利用的形式 （ 第一個(gè)技能）， 你就已經(jīng)開發(fā)出一種關(guān)于一些數(shù)據(jù)特征的模型可能涉及到一系列觀察，一些數(shù)據(jù)的結(jié)果 （ 第個(gè)二技能）。然后你需要以一種決策制定者能了解的方式傳達(dá)這樣的洞察力。這需要能夠講一個(gè)故事或建立一種視覺敘事的能力，而這正是數(shù)據(jù)可視化要解決的問題。

為什么是建立一種敘述是如此的重要?

Driscoll：如果一位數(shù)據(jù)科學(xué)家正致力于這個(gè)海量信息及大量信息輸出的時(shí)代，我們需要一種以同等高效率來消費(fèi)這些信息的方法。數(shù)據(jù)可視化是其中的方式之一。事實(shí)上，它可能是我們可以一種非常高的效率來消費(fèi)信息的最重要的方式。

預(yù)測分析如何與數(shù)據(jù)科學(xué)組合在一起?

Driscoll：數(shù)據(jù)做數(shù)據(jù)的事情。所有這些數(shù)據(jù)科學(xué)的目標(biāo)最終是預(yù)測系統(tǒng)和消費(fèi)者的行為。實(shí)際上，僅擁有數(shù)據(jù)表面的洞察力是不夠的。你希望能夠?qū)ο乱徊綍?huì)發(fā)生什么進(jìn)行預(yù)測。據(jù)Karl Popper說，科學(xué)的整體目標(biāo)是做出可以否定的預(yù)測。而做出預(yù)測真的是數(shù)據(jù)科學(xué)家所有工作的最終目標(biāo)。它是前瞻，而不是后顧。有人或許會(huì)說，商業(yè)智能和這種報(bào)表的領(lǐng)域都是關(guān)于過去的；預(yù)測分析是關(guān)于未來的。

然而，一些人說預(yù)測分析需要回顧才能預(yù)測未來。 

Driscoll：絕對(duì)的。數(shù)據(jù)挖掘,預(yù)測分析的目標(biāo)是研究過去，但最終能生成對(duì)未來的預(yù)測。我舉個(gè)例子。Facebook嘗試去了解在Facebook 系統(tǒng)上什么類型的用戶行為會(huì)導(dǎo)致更高的參與平臺(tái)，才可能會(huì)在注冊(cè)后三個(gè)月保持活躍。所以他們查看了所有用戶的過去。他們查看用戶的性別，有多少朋友，他們都在什么樣的學(xué)校。他們查看所有的這些不同用戶特征的觀察，然后，三個(gè)月之后，他們研究了這些被觀察到的特征中有哪些最有可能會(huì)響應(yīng)不久后的高層次的活動(dòng)。他們發(fā)現(xiàn)導(dǎo)致三個(gè)月后更活躍地使用Facebook的最高相關(guān)特征是你擁有的朋友數(shù)量。這就是一種預(yù)測力解析的洞察力。結(jié)果，一旦人們?cè)贔acebook上注冊(cè)，他們就努力建議盡可能多的人加入你的網(wǎng)絡(luò)。預(yù)測分析本質(zhì)上是將觀察的事件和結(jié)果之間建立聯(lián)系；這可能是最簡單的解決方式。有很多方法來切分它，但最終，你是在建立一個(gè)系統(tǒng)的數(shù)學(xué)模型。為了測試數(shù)學(xué)模型是否是正確的，你做出預(yù)測，然后觀察未來事件是否能證實(shí)或反駁你對(duì)系統(tǒng)做出的假設(shè)。

但是，你真的需要一個(gè)數(shù)據(jù)科學(xué)家來建立你的模型嗎?

Driscoll：這里有一個(gè)預(yù)測模型的例子：你想看看用信用卡購物的行為特征以及是否它是欺騙性的采購。讓我們假設(shè)你的兩個(gè)特征是一天之中的時(shí)間和采購所處的國家。在某些情況下，通過國家進(jìn)行的信用卡欺詐行為的簡單可視化數(shù)據(jù)會(huì)跳到你面前。任何在愛沙尼亞發(fā)生的采購，如果信用卡持有人在美國，就會(huì)是欺詐購買。你不需要一個(gè)統(tǒng)計(jì)模型告訴你這一切。它只是對(duì)數(shù)據(jù)的測繪。事實(shí)是當(dāng)差異變小了，那么你需要依靠統(tǒng)計(jì)來告訴你是否觀察到的趨勢是有意義的。顯而易見的事情是容易的。歸結(jié)為更加細(xì)致入微的區(qū)別時(shí)，需要統(tǒng)計(jì)區(qū)分出噪音和信號(hào)之間的區(qū)別。