你想知道的大數(shù)據(jù)知識都在這

毋庸置疑，現(xiàn)如今是屬于大數(shù)據(jù)(Big Data)的，革命性的時代。從社交媒體到企業(yè)，每時每刻都在產(chǎn)生大量的數(shù)據(jù)。無所作為，從而把這樣的寶藏白白浪費(fèi)掉是及其愚蠢的。企業(yè)已經(jīng)學(xué)會了收集大數(shù)據(jù)以獲取更高的利潤，并提供更好的服務(wù)以及更深入地了解其目標(biāo)客戶。

大數(shù)據(jù)主要是指企業(yè)中日常生成的，大量的有組織以及無組織的數(shù)據(jù)。在這種情況下，組織如何處理這些數(shù)據(jù)，與數(shù)據(jù)量是無關(guān)的。對大數(shù)據(jù)分析可以產(chǎn)生改善戰(zhàn)略商務(wù)決策(Strategic business decision-making)的洞察力。

大數(shù)據(jù)的重要性

如前所述，大數(shù)據(jù)的價值不在于您擁有多少信息，而在于您要如何利用它。您可以從任何一個點(diǎn)收集數(shù)據(jù)(并對其進(jìn)行檢查)，以找到下面四種情況的解決方案：

物價回降(Price reductions)

時間縮減(Time reductions)

新產(chǎn)品開發(fā)，以及改進(jìn)產(chǎn)品

做出明智的判斷

當(dāng)您耗費(fèi)大量精力分析聚合大數(shù)據(jù)時，下面這些業(yè)務(wù)關(guān)聯(lián)的任務(wù)就可能實(shí)現(xiàn)：

實(shí)時識別故障原因、問題以及缺陷。

根據(jù)客戶的購買歷史，在銷售端(Point-of-sale)生成憑證(Voucher)。

在幾分鐘內(nèi)計算出特定功能的全部風(fēng)險。

在欺騙行為影響到您的組織之前，將其檢測出來。

▲圖1 大數(shù)據(jù)基礎(chǔ)結(jié)構(gòu)

大數(shù)據(jù)實(shí)例

汽車行業(yè) ：福特現(xiàn)代混合動力車型 Fusion，它每小時產(chǎn)生高達(dá) 25GB 的數(shù)據(jù)。這些數(shù)據(jù)可以用于解釋駕駛習(xí)慣和駕駛模式，以預(yù)防意外事故，轉(zhuǎn)向碰撞等情況。

娛樂 ：電子游戲行業(yè)每天都在使用大數(shù)據(jù)技術(shù)來檢查超過 500GB 的有組織數(shù)據(jù)，以及 4TB 的功能性積壓(Functional backlogs)。

社交媒體效應(yīng) ：每天，社交媒體網(wǎng)站 Facebook 的數(shù)據(jù)庫中都會增加大約 500TB 的新數(shù)據(jù)。

大數(shù)據(jù)類型

大數(shù)據(jù)可以分為以下三大類。

結(jié)構(gòu)化 ：可以以固定數(shù)據(jù)格式存儲、處理和改進(jìn)的數(shù)據(jù)稱為結(jié)構(gòu)化數(shù)據(jù)。隨著時間的推移，如今計算機(jī)科學(xué)已經(jīng)能夠開發(fā)使用這些數(shù)據(jù)的方法，并從中獲得價值。不過近來我們正預(yù)測與龐大數(shù)量的這類數(shù)據(jù)相關(guān)的問題，這些數(shù)據(jù)量將成為 ZB(10 億 TB 等于 1ZB)級別的。

非結(jié)構(gòu)化 ：非映射(Unmapped)形式的數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)。如何從大量的非結(jié)構(gòu)化數(shù)據(jù)中獲取價值，這其中充滿挑戰(zhàn)。例如，包含了簡單文本文件、圖片、音頻，以及視頻錄像之集合的異構(gòu)數(shù)據(jù)源(Heterogeneous data source)，這些數(shù)據(jù)將難以進(jìn)行分析。當(dāng)下，組織擁有大量可用的數(shù)據(jù)，但不幸的是，他們并何從下手以提取數(shù)據(jù)的價值，因為這些數(shù)據(jù)是未經(jīng)處理的形式。

半結(jié)構(gòu)化 ：這可以包含兩種形式的數(shù)據(jù)。另外，我們可以將半結(jié)構(gòu)化數(shù)據(jù)視為一種形式上的結(jié)構(gòu)，但實(shí)際上數(shù)據(jù)本身并未定義。例如，XML 文件中所描述的數(shù)據(jù)。

大數(shù)據(jù)的四個 "V" 值

一些共同特征如圖 2 所示。

體積(Volume) ：數(shù)據(jù)量是決定大數(shù)據(jù)價值的重要因素。因此，體積是處理大數(shù)據(jù)時需要考慮的一個屬性。

種類(Variety) ：指的是各種數(shù)據(jù)源以及數(shù)據(jù)的性質(zhì)，這其中既有結(jié)構(gòu)的，也有非結(jié)構(gòu)化的。曾經(jīng)，電子表格和數(shù)據(jù)庫是大多數(shù)實(shí)際應(yīng)用中唯一考慮的數(shù)據(jù)來源。但現(xiàn)在，調(diào)查應(yīng)用中還會考慮到電子郵件，圖片，錄音，以及監(jiān)控設(shè)備等形式的數(shù)據(jù)。

速率(Velocity) ：該術(shù)語是指 “數(shù)據(jù)是如何迅速生成的”。數(shù)據(jù)創(chuàng)建和提煉的速率要有多快，才能滿足特定需求，這決定了它的真正潛力。大數(shù)據(jù)的速率是數(shù)據(jù)從業(yè)務(wù)流程、應(yīng)用程序日志、網(wǎng)站等來源流出的速度。大數(shù)據(jù)流動的速度非常高，幾乎從不間斷。

精確性(Veracity) ：這是指所生成數(shù)據(jù)的各種格式之間的不兼容性，這限制了挖掘或管理數(shù)據(jù)的過程。

▲圖2 大數(shù)據(jù)的特征

大數(shù)據(jù)架構(gòu)

大數(shù)據(jù)架構(gòu)包含一致的、可擴(kuò)展的，以及完全計算機(jī)化的數(shù)據(jù)管道(Data pipelines)。構(gòu)建這種基礎(chǔ)架構(gòu)需要具有深入了解堆中的每一層的能力，即從集群設(shè)計(Cluster design)開始，直到設(shè)置負(fù)責(zé)處理數(shù)據(jù)的頂級鏈(Top chain)。圖 3 展示了堆棧的復(fù)雜性以及數(shù)據(jù)管道工程如何觸及其每個部分。

在圖 3 中，數(shù)據(jù)管道收集原始數(shù)據(jù)并將其轉(zhuǎn)化為有價值的東西。同時，大數(shù)據(jù)工程師必須計劃好數(shù)據(jù)會發(fā)生什么情況，數(shù)據(jù)存儲在集群中的方式，內(nèi)部許可的訪問方式，用于處理數(shù)據(jù)的設(shè)備，以及提供給外界訪問的模式。那些設(shè)計和實(shí)現(xiàn)這種架構(gòu)的人被稱為大數(shù)據(jù)工程師。

大數(shù)據(jù)技術(shù)

眾所周知，大數(shù)據(jù)的主題非常廣泛，并且滲透到了許多新技術(shù)的發(fā)展中。以下對一些技術(shù)的概述旨在幫助用戶對大數(shù)據(jù)進(jìn)行改造。

1. MapReduce(映射化簡)：這使得任務(wù)的實(shí)現(xiàn)具有能夠跨越數(shù)千臺服務(wù)器的可擴(kuò)展性。

Map ：將輸入數(shù)據(jù)集轉(zhuǎn)換為一組不同的值。

Reduce ： 將 Map 任務(wù)的輸出聯(lián)合起來，形成一組簡化的值。

2. hadoop：這是 MapReduce 最令人欽佩的執(zhí)行方式，它是一個完全開源的處理大數(shù)據(jù)的平臺。Hadoop 足夠靈活，它能夠處理多種數(shù)據(jù)源，例如聚合數(shù)據(jù)以進(jìn)行大規(guī)模處理，從數(shù)據(jù)庫讀取數(shù)據(jù)等。

3. Hive：這是一個類似 SQL 的鏈接，允許 BI(商業(yè)智能) 應(yīng)用程序在 Hadoop 集群旁運(yùn)行查詢。這是由 Facebook 開發(fā)的，它已經(jīng)被開源了一段時間，并且它還是 Hadoop 框架的更高層次的概念。此外，它允許每個人對存儲在 Hadoop 集群中的數(shù)據(jù)進(jìn)行查詢，并改進(jìn)了 Hadoop 的功能，使其成為了 BI 用戶的理想選擇。

▲圖3 大數(shù)據(jù)體系結(jié)構(gòu)

大數(shù)據(jù)處理的優(yōu)勢

處理大數(shù)據(jù)的能力具有多種益處。

企業(yè)可以在進(jìn)行決策時利用外腦(Outside brainpower)：使用來自搜索引擎以及 Facebook 和 Twitter 等網(wǎng)站的社交數(shù)據(jù)的權(quán)利，可以幫助企業(yè)改進(jìn)商務(wù)戰(zhàn)略。

增強(qiáng)客戶服務(wù)：客戶響應(yīng)系統(tǒng)正在被使用了大數(shù)據(jù)技術(shù)的新系統(tǒng)所取代。在這些新系統(tǒng)中，大數(shù)據(jù)技術(shù)用于理解與評估消費(fèi)者的反應(yīng)。

在早期識別服務(wù)風(fēng)險：可以事先識別風(fēng)險因素，以提供完美的數(shù)據(jù)。

提高操作能力：大數(shù)據(jù)技術(shù)可用于在決定將哪些數(shù)據(jù)移入數(shù)據(jù)倉庫之前，為新數(shù)據(jù)構(gòu)建暫存區(qū)(Staging areas)或著陸區(qū)(Landing zones)。此外，這種大數(shù)據(jù)和數(shù)據(jù)倉庫技術(shù)的結(jié)合可幫助企業(yè)繞過不經(jīng)常訪問的數(shù)據(jù)。

挑戰(zhàn)

雖然很容易陷入各種關(guān)于大數(shù)據(jù)的炒作之中，但它未得到充分利用的原因之一就是，在使用到它的技術(shù)中仍有許多挑戰(zhàn)需要解決。其中一些挑戰(zhàn)如下：

公司面臨著的問題是：識別正確的數(shù)據(jù)，以及審查如何最好地利用它們。構(gòu)建與數(shù)據(jù)有關(guān)的商業(yè)案例，這往往意味著形成 “開箱即用(Out-of-the-box)” 的意見，以及尋找與傳統(tǒng)商業(yè)模式截然不同的收入模式。

公司不情愿去挑選同時具有使用新技術(shù)和審查數(shù)據(jù)(以發(fā)掘重要的商業(yè)洞察)能力的優(yōu)秀人才。

大量數(shù)據(jù)點(diǎn)還沒有進(jìn)行鏈接，公司通常沒有合適的平臺來整合和管理整個企業(yè)的數(shù)據(jù)。

數(shù)據(jù)世界的技術(shù)發(fā)展日新月異。借用數(shù)據(jù)之力，意味著能夠與良好的、具有開拓性的伙伴一起運(yùn)營 —— 這些公司可以幫助創(chuàng)建正確的 IT 設(shè)計，從而以良好的組織方式適應(yīng)環(huán)境的變化。

大數(shù)據(jù)的可訪問性(Accessibility)，便宜的硬件產(chǎn)品，以及新的信息管理和分析軟件聚合在一起，在數(shù)據(jù)分析的歷史中創(chuàng)造了獨(dú)特的時刻。我們現(xiàn)在有能力快速且經(jīng)濟(jì)高效地審查這些驚人的數(shù)據(jù)集，這是有史以來的第一次。這種能力象征著真正的飛躍，同時也象征著一個在工作效率、收入和成功方面大幅進(jìn)步的機(jī)會。