為什么說你的數(shù)據(jù)不是大數(shù)據(jù)

現(xiàn)如今，我們已經(jīng)能夠保存下每個(gè)業(yè)務(wù)流程當(dāng)中的數(shù)據(jù)，甚至已經(jīng)可以保存下用戶訪問頁面的數(shù)據(jù)或者觀眾觀看哪些節(jié)目的數(shù)據(jù)。物聯(lián)網(wǎng)的出現(xiàn)改變了游戲規(guī)則，為我們開啟了一扇門。然而每一條數(shù)據(jù)、每一條記錄的價(jià)值卻在下降。

可以這樣說，一條信用卡的交易記錄是相對(duì)豐富的數(shù)據(jù)，它包含了人、地點(diǎn)、時(shí)間以及更多附加在數(shù)據(jù)上的價(jià)值，因此很自然我們想要收集這些數(shù)據(jù)，用來促進(jìn)銷售的循環(huán)。然而相比而言，一條用戶在網(wǎng)上的瀏覽點(diǎn)擊行為數(shù)據(jù)就沒有那么“值錢”了。這些數(shù)據(jù)也許包含了用戶的行為習(xí)慣信息，但單獨(dú)拿出一條記錄也許是沒有任何價(jià)值的。你只有在想要分析用戶的行為時(shí)，才會(huì)大量收集這樣的數(shù)據(jù)。

而現(xiàn)在的情況是，存儲(chǔ)這些數(shù)據(jù)的成本是比較低的，而且你收集越多的數(shù)據(jù)，通過比對(duì)不同的趨勢，你就可能獲得更多的價(jià)值。拿觀眾觀看電視的數(shù)據(jù)來說，大量收集這些記錄，然后與節(jié)目表和廣告數(shù)據(jù)整合在一起進(jìn)行分析，就能更好地理解觀眾喜歡什么樣的節(jié)目，愛看什么樣的電視劇，客戶也可以更精準(zhǔn)地投放廣告。這時(shí)候大數(shù)據(jù)的價(jià)值就會(huì)凸顯出來，就像最近火的一塌糊涂的《紙牌屋》。

因此我們可以判斷，當(dāng)應(yīng)對(duì)大量的記錄時(shí)，如果每一條單獨(dú)記錄越?。〝?shù)據(jù)量，關(guān)聯(lián)性），那么它是大數(shù)據(jù)的可能性就越大。而“大數(shù)據(jù)分析”所面臨的挑戰(zhàn)是，從這些信息的小小元素中提煉出意義，我們可能要把它們與上述的豐富的數(shù)據(jù)放到一起來提供上下文，識(shí)別其中隱藏著的模式。這算不上是大海撈針，更準(zhǔn)確的說法應(yīng)該是從一堆針頭中找到你所需要的那一個(gè)。

大數(shù)據(jù)與“熱”數(shù)據(jù)

還有一種常見的錯(cuò)誤觀點(diǎn)，即你不僅擁有很多數(shù)據(jù)，而且用戶訪問這些數(shù)據(jù)的頻率很高，因此就需要我們用“大數(shù)據(jù)思維”來處理這些數(shù)據(jù)。

這些數(shù)據(jù)其實(shí)不一定是大數(shù)據(jù)，而是所謂的“熱數(shù)據(jù)”，它們并不適用于處理大數(shù)據(jù)的方式。熱數(shù)據(jù)是純粹的擴(kuò)展性問題，你需要把系統(tǒng)的性能調(diào)整到最佳，降低系統(tǒng)的延遲同時(shí)確保它能夠被所有提出訪問需求的用戶訪問到。

大數(shù)據(jù)與它正相反，我們可以說它是“冷數(shù)據(jù)”。也就是說，大數(shù)據(jù)并不是你頻繁訪問的數(shù)據(jù)，除了作為分析之用，甚至你從來不會(huì)去用到它。事實(shí)上，除了分析之外，我們可以把大數(shù)據(jù)“冷凍”起來。盡管有時(shí)候我們會(huì)把大數(shù)據(jù)與新鮮快速的記錄一起進(jìn)行分析，但大數(shù)據(jù)池至少需要從概念上與活動(dòng)的熱數(shù)據(jù)隔離開來。否則二者會(huì)互相造成不良的影響。將冷熱數(shù)據(jù)分開存儲(chǔ)是公認(rèn)的最佳實(shí)踐，無論是存儲(chǔ)還是應(yīng)用，它們都是完全不同的數(shù)據(jù)。

很不幸的是，有很多人并沒有認(rèn)清這一點(diǎn)，他們還在將大數(shù)據(jù)處理方式應(yīng)用到各種各樣的數(shù)據(jù)類型當(dāng)中。最終的結(jié)果也就可想而知。

不要輕視其他數(shù)據(jù)的價(jià)值

現(xiàn)在，你需要從大數(shù)據(jù)的狂熱中退一步思考，你現(xiàn)在最重要的數(shù)據(jù)也許并不是那些大數(shù)據(jù)，而是我們所說的熱數(shù)據(jù)。你也許已經(jīng)建立了大數(shù)據(jù)系統(tǒng)，時(shí)刻準(zhǔn)備從大數(shù)據(jù)金礦上挖掘潛在的價(jià)值，但一定不要忽視其他數(shù)據(jù)的價(jià)值。你還有業(yè)務(wù)數(shù)據(jù)，它需要你快速、高效、一致地交付這些數(shù)據(jù)，同時(shí)要解決擴(kuò)展性的問題。記住，大數(shù)據(jù)的最佳實(shí)踐并不適合這些數(shù)據(jù)。你的數(shù)據(jù)也許這是一些重要的有價(jià)值的數(shù)據(jù)，它們并不是大數(shù)據(jù)。