大數(shù)據(jù)技術(shù)如何才能發(fā)揮最佳狀態(tài)_數(shù)據(jù)分析師考試

過去的經(jīng)驗(yàn)表明，充分發(fā)揮規(guī)模化優(yōu)勢能夠切實(shí)提升分析機(jī)制所帶來的實(shí)踐價(jià)值。不過如果把大數(shù)據(jù)看作一柄榔頭，可并不是所有問題都屬于等待敲下的釘子。

　　很多人都誤以為在大數(shù)據(jù)解決方案中，處理對象的規(guī)?？偸窃酱笤胶谩Ｊ聦?shí)上，人們往往會從不同的立場出發(fā)，對“越大越好”這一命題給出自己的答案，而我匯總出了幾下幾種典型情況：

　　深信不疑: 這是一種根深蒂固的觀念，有些人認(rèn)為無論實(shí)際情況如何，更龐大的規(guī)模、更迅捷的速度以及/或者更多樣的數(shù)據(jù)類型總是能夠帶來更具實(shí)踐價(jià)值的分析結(jié)論，而這也正是他們眼中大數(shù)據(jù)分析的核心價(jià)值所在。如果在實(shí)際操作中找到理想的結(jié)論，那么根據(jù)他們的思維方式，這僅僅是由于具體處理者不夠努力、不夠聰明或者沒有使用正確的工具及方法。

　　盲目迷信: 這種觀點(diǎn)認(rèn)為，大數(shù)據(jù)的絕對規(guī)模本身就是其價(jià)值的切實(shí)體現(xiàn)，而這與我們是否能夠從中獲取到實(shí)際結(jié)論并無關(guān)系。根據(jù)這種思維方式，如果我們以大數(shù)據(jù)所支持的特定企業(yè)應(yīng)用程序?yàn)槌霭l(fā)點(diǎn)對大數(shù)據(jù)功能進(jìn)行評估，那么完全不需要像當(dāng)下分析領(lǐng)域這樣迫切需要數(shù)據(jù)科學(xué)家的幫助、而能夠任意將數(shù)據(jù)保存在數(shù)據(jù)湖當(dāng)中以支持未來的探索活動。

　　視為負(fù)擔(dān): 這種觀點(diǎn)認(rèn)為，數(shù)據(jù)的龐大規(guī)模并不是帶來正面或者負(fù)面結(jié)果的必要條件。不過有一項(xiàng)事實(shí)明確而不容否認(rèn)，即現(xiàn)有數(shù)據(jù)庫在存儲與處理能力方面的匱乏根本無力負(fù)擔(dān)大數(shù)據(jù)的高強(qiáng)度負(fù)載，因此需要新的平臺加以支撐(例如Hadoop)。如果我們不能將發(fā)展腳步與數(shù)據(jù)的迅猛增長保持一致，那么這種觀點(diǎn)認(rèn)為企業(yè)的當(dāng)務(wù)之急是將核心業(yè)務(wù)轉(zhuǎn)移到新型數(shù)據(jù)庫當(dāng)中。

　　絕佳機(jī)遇: 就我個(gè)人而言，這才是看待大數(shù)據(jù)的正確方式。其核心實(shí)質(zhì)在于隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大、數(shù)據(jù)流速度的不斷提升以及數(shù)據(jù)來源與格式的持續(xù)增長，我們需要以更加快捷而有效的方式所數(shù)據(jù)中提取出前所未有的分析結(jié)論。這種觀點(diǎn)不會迷信或者過度依賴大數(shù)據(jù)，因?yàn)槲覀兂姓J(rèn)某些結(jié)論完全可以通過小規(guī)模數(shù)據(jù)分析方式得出。同時(shí)，這種觀點(diǎn)也不會將數(shù)據(jù)規(guī)模視為一種負(fù)擔(dān)，而單純只是需要通過新型數(shù)據(jù)庫平臺、工具以及實(shí)踐方案解決的另一項(xiàng)技術(shù)挑戰(zhàn)。

　　去年，我曾在一篇博文中談到大數(shù)據(jù)中的核心用例，主要探討角度是從“絕佳機(jī)遇”層面出發(fā)。而去年年底，我通過親身觀察發(fā)現(xiàn)大數(shù)據(jù)的核心“業(yè)務(wù)”價(jià)值主要受到增量化內(nèi)容在提供增量化背景信息方面的影響。如果大家希望通過數(shù)據(jù)分析來了解事物的全貌以及蘊(yùn)藏在其背后的深層含義，那么背景信息總是越多越好。同理，如果大家希望將與當(dāng)前問題相關(guān)的所有變量、關(guān)系以及模式進(jìn)行全面考量的話，內(nèi)容也總是越多越好?？傮w而言：更多背景信息加上更多相關(guān)內(nèi)容通常意味著更大的數(shù)據(jù)規(guī)模。

　　大數(shù)據(jù)的價(jià)值還更多地體現(xiàn)在其糾正錯(cuò)誤的能力，這種價(jià)值在小規(guī)模數(shù)據(jù)當(dāng)中往往很難體現(xiàn)。在博文中，我曾援引某位第三方數(shù)據(jù)科學(xué)家的觀察結(jié)果，發(fā)現(xiàn)培訓(xùn)信息集合當(dāng)中包含的數(shù)量量越小、幾類常見風(fēng)險(xiǎn)狀況的發(fā)生可能性就越高。首先，小規(guī)模數(shù)據(jù)往往會令我們忽視某些至關(guān)重要的預(yù)測性變量。大家也有可能對某些切實(shí)具備代表性的樣本信息產(chǎn)生誤解。除此之外，大家往往能夠在具備更為復(fù)雜并能切實(shí)體現(xiàn)底層工作關(guān)系的數(shù)據(jù)集的前提下，保證自身將某些虛假的相關(guān)性聯(lián)系排除出去。

　　規(guī)模化的美好

　　相信每個(gè)人都已經(jīng)意識到，某些數(shù)據(jù)類型及特定用例在規(guī)?；瘲l件下能夠比其它資源帶來更出色的分析結(jié)論推動作用。

　　在這方面，我最近發(fā)現(xiàn)了一篇非常出色的評述文章，其中對一種特殊類型的數(shù)據(jù)——也就是低密度細(xì)化行為數(shù)據(jù)——進(jìn)行了深入闡釋，指出其能夠在規(guī)?；瘲l件下顯著提高預(yù)測性分析的準(zhǔn)確率。該文作者Junqué de Fortuny、Martens以及Provost指出，“此類數(shù)據(jù)集的關(guān)鍵特性在于其低密度：對于任何給定實(shí)例，絕大多數(shù)特征對于實(shí)際價(jià)值的貢獻(xiàn)為零、或者說‘沒有意義’?！?/span>

　　其中最值得注意的(作者們也引用了大量研究資料來支持他們的討論)是，此類數(shù)據(jù)已經(jīng)成為不少關(guān)注于客戶分析任務(wù)的大數(shù)據(jù)應(yīng)用程序的核心所在。社交媒體行為數(shù)據(jù)完全滿足以上描述，而Web瀏覽行為數(shù)據(jù)、移動行為數(shù)據(jù)、廣告響應(yīng)行為數(shù)據(jù)以及自然語言行為數(shù)據(jù)等等也全部與之相符。

　　“事實(shí)上，”三位作者指出，“對于大多數(shù)常見的預(yù)測分析型業(yè)務(wù)應(yīng)用程序來說，例如針對銀行及電信、信用評分以及資源消耗管理等任務(wù)的應(yīng)用，此類數(shù)據(jù)已經(jīng)被普遍作為預(yù)測性分析的關(guān)鍵性素材……其特性往往體現(xiàn)在人口、地理位置以及個(gè)人心理傾向方面，并且包括對特定行為的統(tǒng)計(jì)匯總——例如企業(yè)此前進(jìn)行過的采購行為?！?/span>

　　在談到規(guī)模較大的行為數(shù)據(jù)集往往比小規(guī)模數(shù)據(jù)集更具分析價(jià)值的核心原因時(shí)，三位作者指出：“少數(shù)特定的已知行為往往無法在沒有龐大數(shù)據(jù)量作為依托的前提下被準(zhǔn)確觀察得出?！边@是因?yàn)樵谛⌒蛿?shù)據(jù)集當(dāng)中，除非其表現(xiàn)超出預(yù)先設(shè)定的具體范圍，否則個(gè)人行為是不會被記錄下來的。但當(dāng)我們把目光投向所有相關(guān)人員整體，很有可能會觀察到那些僅僅出現(xiàn)過數(shù)次甚至一次、但卻指向特定利基層面的特殊行為類型。在小規(guī)模數(shù)據(jù)集當(dāng)中，由于對象數(shù)量與行為特征相對有限，我們很可能會忽略掉上述更為豐富的細(xì)節(jié)信息。

　　行為數(shù)據(jù)集的來源越豐富、預(yù)測模型就越能獲得理想的施展空間，從而為未來可能出現(xiàn)的更為廣泛的潛在場景提供更具參考價(jià)值的預(yù)測結(jié)論。因此，規(guī)模越大通常意味著分析效果越好。

　　有時(shí)候越大意味著越難理解

　　盡管如此，三位作者也注意到在某些情況下、上述結(jié)論可能并不成立，而這一切都要?dú)w結(jié)于特定行為特征的預(yù)測價(jià)值層面。基本上，權(quán)衡機(jī)制充當(dāng)著行為預(yù)測模型的基礎(chǔ)。

　　每一種被納入到預(yù)測模型內(nèi)的新型增量化行為特征都應(yīng)當(dāng)具備與分析目標(biāo)的高度相關(guān)性，只有這樣才能提高分析收益并保證預(yù)測模型有能力克服更顯著的內(nèi)容差異化狀況——也就是過度擬合與錯(cuò)誤預(yù)測——但這往往需要有規(guī)模更大的功能集作為依托。正如幾位作者指出：“如果不能對模型進(jìn)行平衡與改進(jìn)(假定已經(jīng)選定了正確的數(shù)據(jù)子集)，與核心主旨無關(guān)的大量信息只會增加出現(xiàn)偏差與過度擬合狀況的機(jī)率?！?/span>

　　很明顯，當(dāng)不利于得出預(yù)測性結(jié)論時(shí)，數(shù)據(jù)規(guī)模并非越大越好。相信沒人愿意在大數(shù)據(jù)分析過程中受到其臃腫規(guī)模的嚴(yán)重拖累。在這種情況下，我們的數(shù)據(jù)科學(xué)家則需要開動腦筋，想辦法將導(dǎo)入模型的數(shù)據(jù)規(guī)模盡量縮小、從而使其最大程度與當(dāng)前分析任務(wù)的特性相匹配。