大數(shù)據(jù)技術(shù)如何才能發(fā)揮最佳狀態(tài)_數(shù)據(jù)分析師考試

過去的經(jīng)驗表明，充分發(fā)揮規(guī)?；瘍?yōu)勢能夠切實提升分析機制所帶來的實踐價值。不過如果把大數(shù)據(jù)看作一柄榔頭，可并不是所有問題都屬于等待敲下的釘子。

　　很多人都誤以為在大數(shù)據(jù)解決方案中，處理對象的規(guī)模總是越大越好。事實上，人們往往會從不同的立場出發(fā)，對“越大越好”這一命題給出自己的答案，而我匯總出了幾下幾種典型情況：

　　深信不疑: 這是一種根深蒂固的觀念，有些人認為無論實際情況如何，更龐大的規(guī)模、更迅捷的速度以及/或者更多樣的數(shù)據(jù)類型總是能夠帶來更具實踐價值的分析結(jié)論，而這也正是他們眼中大數(shù)據(jù)分析的核心價值所在。如果在實際操作中找到理想的結(jié)論，那么根據(jù)他們的思維方式，這僅僅是由于具體處理者不夠努力、不夠聰明或者沒有使用正確的工具及方法。

　　盲目迷信: 這種觀點認為，大數(shù)據(jù)的絕對規(guī)模本身就是其價值的切實體現(xiàn)，而這與我們是否能夠從中獲取到實際結(jié)論并無關(guān)系。根據(jù)這種思維方式，如果我們以大數(shù)據(jù)所支持的特定企業(yè)應(yīng)用程序為出發(fā)點對大數(shù)據(jù)功能進行評估，那么完全不需要像當下分析領(lǐng)域這樣迫切需要數(shù)據(jù)科學(xué)家的幫助、而能夠任意將數(shù)據(jù)保存在數(shù)據(jù)湖當中以支持未來的探索活動。

　　視為負擔: 這種觀點認為，數(shù)據(jù)的龐大規(guī)模并不是帶來正面或者負面結(jié)果的必要條件。不過有一項事實明確而不容否認，即現(xiàn)有數(shù)據(jù)庫在存儲與處理能力方面的匱乏根本無力負擔大數(shù)據(jù)的高強度負載，因此需要新的平臺加以支撐(例如Hadoop)。如果我們不能將發(fā)展腳步與數(shù)據(jù)的迅猛增長保持一致，那么這種觀點認為企業(yè)的當務(wù)之急是將核心業(yè)務(wù)轉(zhuǎn)移到新型數(shù)據(jù)庫當中。

　　絕佳機遇: 就我個人而言，這才是看待大數(shù)據(jù)的正確方式。其核心實質(zhì)在于隨著數(shù)據(jù)規(guī)模的不斷擴大、數(shù)據(jù)流速度的不斷提升以及數(shù)據(jù)來源與格式的持續(xù)增長，我們需要以更加快捷而有效的方式所數(shù)據(jù)中提取出前所未有的分析結(jié)論。這種觀點不會迷信或者過度依賴大數(shù)據(jù)，因為我們承認某些結(jié)論完全可以通過小規(guī)模數(shù)據(jù)分析方式得出。同時，這種觀點也不會將數(shù)據(jù)規(guī)模視為一種負擔，而單純只是需要通過新型數(shù)據(jù)庫平臺、工具以及實踐方案解決的另一項技術(shù)挑戰(zhàn)。

　　去年，我曾在一篇博文中談到大數(shù)據(jù)中的核心用例，主要探討角度是從“絕佳機遇”層面出發(fā)。而去年年底，我通過親身觀察發(fā)現(xiàn)大數(shù)據(jù)的核心“業(yè)務(wù)”價值主要受到增量化內(nèi)容在提供增量化背景信息方面的影響。如果大家希望通過數(shù)據(jù)分析來了解事物的全貌以及蘊藏在其背后的深層含義，那么背景信息總是越多越好。同理，如果大家希望將與當前問題相關(guān)的所有變量、關(guān)系以及模式進行全面考量的話，內(nèi)容也總是越多越好?？傮w而言：更多背景信息加上更多相關(guān)內(nèi)容通常意味著更大的數(shù)據(jù)規(guī)模。

　　大數(shù)據(jù)的價值還更多地體現(xiàn)在其糾正錯誤的能力，這種價值在小規(guī)模數(shù)據(jù)當中往往很難體現(xiàn)。在博文中，我曾援引某位第三方數(shù)據(jù)科學(xué)家的觀察結(jié)果，發(fā)現(xiàn)培訓(xùn)信息集合當中包含的數(shù)量量越小、幾類常見風(fēng)險狀況的發(fā)生可能性就越高。首先，小規(guī)模數(shù)據(jù)往往會令我們忽視某些至關(guān)重要的預(yù)測性變量。大家也有可能對某些切實具備代表性的樣本信息產(chǎn)生誤解。除此之外，大家往往能夠在具備更為復(fù)雜并能切實體現(xiàn)底層工作關(guān)系的數(shù)據(jù)集的前提下，保證自身將某些虛假的相關(guān)性聯(lián)系排除出去。

　　規(guī)?；拿篮?/span>

　　相信每個人都已經(jīng)意識到，某些數(shù)據(jù)類型及特定用例在規(guī)?；瘲l件下能夠比其它資源帶來更出色的分析結(jié)論推動作用。

　　在這方面，我最近發(fā)現(xiàn)了一篇非常出色的評述文章，其中對一種特殊類型的數(shù)據(jù)——也就是低密度細化行為數(shù)據(jù)——進行了深入闡釋，指出其能夠在規(guī)?；瘲l件下顯著提高預(yù)測性分析的準確率。該文作者Junqué de Fortuny、Martens以及Provost指出，“此類數(shù)據(jù)集的關(guān)鍵特性在于其低密度：對于任何給定實例，絕大多數(shù)特征對于實際價值的貢獻為零、或者說‘沒有意義’?！?/span>

　　其中最值得注意的(作者們也引用了大量研究資料來支持他們的討論)是，此類數(shù)據(jù)已經(jīng)成為不少關(guān)注于客戶分析任務(wù)的大數(shù)據(jù)應(yīng)用程序的核心所在。社交媒體行為數(shù)據(jù)完全滿足以上描述，而Web瀏覽行為數(shù)據(jù)、移動行為數(shù)據(jù)、廣告響應(yīng)行為數(shù)據(jù)以及自然語言行為數(shù)據(jù)等等也全部與之相符。

　　“事實上，”三位作者指出，“對于大多數(shù)常見的預(yù)測分析型業(yè)務(wù)應(yīng)用程序來說，例如針對銀行及電信、信用評分以及資源消耗管理等任務(wù)的應(yīng)用，此類數(shù)據(jù)已經(jīng)被普遍作為預(yù)測性分析的關(guān)鍵性素材……其特性往往體現(xiàn)在人口、地理位置以及個人心理傾向方面，并且包括對特定行為的統(tǒng)計匯總——例如企業(yè)此前進行過的采購行為?！?/span>

　　在談到規(guī)模較大的行為數(shù)據(jù)集往往比小規(guī)模數(shù)據(jù)集更具分析價值的核心原因時，三位作者指出：“少數(shù)特定的已知行為往往無法在沒有龐大數(shù)據(jù)量作為依托的前提下被準確觀察得出?！边@是因為在小型數(shù)據(jù)集當中，除非其表現(xiàn)超出預(yù)先設(shè)定的具體范圍，否則個人行為是不會被記錄下來的。但當我們把目光投向所有相關(guān)人員整體，很有可能會觀察到那些僅僅出現(xiàn)過數(shù)次甚至一次、但卻指向特定利基層面的特殊行為類型。在小規(guī)模數(shù)據(jù)集當中，由于對象數(shù)量與行為特征相對有限，我們很可能會忽略掉上述更為豐富的細節(jié)信息。

　　行為數(shù)據(jù)集的來源越豐富、預(yù)測模型就越能獲得理想的施展空間，從而為未來可能出現(xiàn)的更為廣泛的潛在場景提供更具參考價值的預(yù)測結(jié)論。因此，規(guī)模越大通常意味著分析效果越好。

　　有時候越大意味著越難理解

　　盡管如此，三位作者也注意到在某些情況下、上述結(jié)論可能并不成立，而這一切都要歸結(jié)于特定行為特征的預(yù)測價值層面。基本上，權(quán)衡機制充當著行為預(yù)測模型的基礎(chǔ)。

　　每一種被納入到預(yù)測模型內(nèi)的新型增量化行為特征都應(yīng)當具備與分析目標的高度相關(guān)性，只有這樣才能提高分析收益并保證預(yù)測模型有能力克服更顯著的內(nèi)容差異化狀況——也就是過度擬合與錯誤預(yù)測——但這往往需要有規(guī)模更大的功能集作為依托。正如幾位作者指出：“如果不能對模型進行平衡與改進(假定已經(jīng)選定了正確的數(shù)據(jù)子集)，與核心主旨無關(guān)的大量信息只會增加出現(xiàn)偏差與過度擬合狀況的機率?！?/span>

　　很明顯，當不利于得出預(yù)測性結(jié)論時，數(shù)據(jù)規(guī)模并非越大越好。相信沒人愿意在大數(shù)據(jù)分析過程中受到其臃腫規(guī)模的嚴重拖累。在這種情況下，我們的數(shù)據(jù)科學(xué)家則需要開動腦筋，想辦法將導(dǎo)入模型的數(shù)據(jù)規(guī)模盡量縮小、從而使其最大程度與當前分析任務(wù)的特性相匹配。