你想知道的大數(shù)據(jù)知識都在這

毋庸置疑，現(xiàn)如今是屬于大數(shù)據(jù)(Big Data)的，革命性的時代。從社交媒體到企業(yè)，每時每刻都在產(chǎn)生大量的數(shù)據(jù)。無所作為，從而把這樣的寶藏白白浪費掉是及其愚蠢的。企業(yè)已經(jīng)學會了收集大數(shù)據(jù)以獲取更高的利潤，并提供更好的服務以及更深入地了解其目標客戶。

大數(shù)據(jù)主要是指企業(yè)中日常生成的，大量的有組織以及無組織的數(shù)據(jù)。在這種情況下，組織如何處理這些數(shù)據(jù)，與數(shù)據(jù)量是無關的。對大數(shù)據(jù)分析可以產(chǎn)生改善戰(zhàn)略商務決策(Strategic business decision-making)的洞察力。

大數(shù)據(jù)的重要性

如前所述，大數(shù)據(jù)的價值不在于您擁有多少信息，而在于您要如何利用它。您可以從任何一個點收集數(shù)據(jù)(并對其進行檢查)，以找到下面四種情況的解決方案：

物價回降(Price reductions)

時間縮減(Time reductions)

新產(chǎn)品開發(fā)，以及改進產(chǎn)品

做出明智的判斷

當您耗費大量精力分析聚合大數(shù)據(jù)時，下面這些業(yè)務關聯(lián)的任務就可能實現(xiàn)：

實時識別故障原因、問題以及缺陷。

根據(jù)客戶的購買歷史，在銷售端(Point-of-sale)生成憑證(Voucher)。

在幾分鐘內(nèi)計算出特定功能的全部風險。

在欺騙行為影響到您的組織之前，將其檢測出來。

▲圖1 大數(shù)據(jù)基礎結(jié)構(gòu)

大數(shù)據(jù)實例

汽車行業(yè) ：福特現(xiàn)代混合動力車型 Fusion，它每小時產(chǎn)生高達 25GB 的數(shù)據(jù)。這些數(shù)據(jù)可以用于解釋駕駛習慣和駕駛模式，以預防意外事故，轉(zhuǎn)向碰撞等情況。

娛樂 ：電子游戲行業(yè)每天都在使用大數(shù)據(jù)技術(shù)來檢查超過 500GB 的有組織數(shù)據(jù)，以及 4TB 的功能性積壓(Functional backlogs)。

社交媒體效應 ：每天，社交媒體網(wǎng)站 Facebook 的數(shù)據(jù)庫中都會增加大約 500TB 的新數(shù)據(jù)。

大數(shù)據(jù)類型

大數(shù)據(jù)可以分為以下三大類。

結(jié)構(gòu)化 ：可以以固定數(shù)據(jù)格式存儲、處理和改進的數(shù)據(jù)稱為結(jié)構(gòu)化數(shù)據(jù)。隨著時間的推移，如今計算機科學已經(jīng)能夠開發(fā)使用這些數(shù)據(jù)的方法，并從中獲得價值。不過近來我們正預測與龐大數(shù)量的這類數(shù)據(jù)相關的問題，這些數(shù)據(jù)量將成為 ZB(10 億 TB 等于 1ZB)級別的。

非結(jié)構(gòu)化 ：非映射(Unmapped)形式的數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)。如何從大量的非結(jié)構(gòu)化數(shù)據(jù)中獲取價值，這其中充滿挑戰(zhàn)。例如，包含了簡單文本文件、圖片、音頻，以及視頻錄像之集合的異構(gòu)數(shù)據(jù)源(Heterogeneous data source)，這些數(shù)據(jù)將難以進行分析。當下，組織擁有大量可用的數(shù)據(jù)，但不幸的是，他們并何從下手以提取數(shù)據(jù)的價值，因為這些數(shù)據(jù)是未經(jīng)處理的形式。

半結(jié)構(gòu)化 ：這可以包含兩種形式的數(shù)據(jù)。另外，我們可以將半結(jié)構(gòu)化數(shù)據(jù)視為一種形式上的結(jié)構(gòu)，但實際上數(shù)據(jù)本身并未定義。例如，XML 文件中所描述的數(shù)據(jù)。

大數(shù)據(jù)的四個 "V" 值

一些共同特征如圖 2 所示。

體積(Volume) ：數(shù)據(jù)量是決定大數(shù)據(jù)價值的重要因素。因此，體積是處理大數(shù)據(jù)時需要考慮的一個屬性。

種類(Variety) ：指的是各種數(shù)據(jù)源以及數(shù)據(jù)的性質(zhì)，這其中既有結(jié)構(gòu)的，也有非結(jié)構(gòu)化的。曾經(jīng)，電子表格和數(shù)據(jù)庫是大多數(shù)實際應用中唯一考慮的數(shù)據(jù)來源。但現(xiàn)在，調(diào)查應用中還會考慮到電子郵件，圖片，錄音，以及監(jiān)控設備等形式的數(shù)據(jù)。

速率(Velocity) ：該術(shù)語是指 “數(shù)據(jù)是如何迅速生成的”。數(shù)據(jù)創(chuàng)建和提煉的速率要有多快，才能滿足特定需求，這決定了它的真正潛力。大數(shù)據(jù)的速率是數(shù)據(jù)從業(yè)務流程、應用程序日志、網(wǎng)站等來源流出的速度。大數(shù)據(jù)流動的速度非常高，幾乎從不間斷。

精確性(Veracity) ：這是指所生成數(shù)據(jù)的各種格式之間的不兼容性，這限制了挖掘或管理數(shù)據(jù)的過程。

▲圖2 大數(shù)據(jù)的特征

大數(shù)據(jù)架構(gòu)

大數(shù)據(jù)架構(gòu)包含一致的、可擴展的，以及完全計算機化的數(shù)據(jù)管道(Data pipelines)。構(gòu)建這種基礎架構(gòu)需要具有深入了解堆中的每一層的能力，即從集群設計(Cluster design)開始，直到設置負責處理數(shù)據(jù)的頂級鏈(Top chain)。圖 3 展示了堆棧的復雜性以及數(shù)據(jù)管道工程如何觸及其每個部分。

在圖 3 中，數(shù)據(jù)管道收集原始數(shù)據(jù)并將其轉(zhuǎn)化為有價值的東西。同時，大數(shù)據(jù)工程師必須計劃好數(shù)據(jù)會發(fā)生什么情況，數(shù)據(jù)存儲在集群中的方式，內(nèi)部許可的訪問方式，用于處理數(shù)據(jù)的設備，以及提供給外界訪問的模式。那些設計和實現(xiàn)這種架構(gòu)的人被稱為大數(shù)據(jù)工程師。

大數(shù)據(jù)技術(shù)

眾所周知，大數(shù)據(jù)的主題非常廣泛，并且滲透到了許多新技術(shù)的發(fā)展中。以下對一些技術(shù)的概述旨在幫助用戶對大數(shù)據(jù)進行改造。

1. MapReduce(映射化簡)：這使得任務的實現(xiàn)具有能夠跨越數(shù)千臺服務器的可擴展性。

Map ：將輸入數(shù)據(jù)集轉(zhuǎn)換為一組不同的值。

Reduce ： 將 Map 任務的輸出聯(lián)合起來，形成一組簡化的值。

2. hadoop：這是 MapReduce 最令人欽佩的執(zhí)行方式，它是一個完全開源的處理大數(shù)據(jù)的平臺。Hadoop 足夠靈活，它能夠處理多種數(shù)據(jù)源，例如聚合數(shù)據(jù)以進行大規(guī)模處理，從數(shù)據(jù)庫讀取數(shù)據(jù)等。

3. Hive：這是一個類似 SQL 的鏈接，允許 BI(商業(yè)智能) 應用程序在 Hadoop 集群旁運行查詢。這是由 Facebook 開發(fā)的，它已經(jīng)被開源了一段時間，并且它還是 Hadoop 框架的更高層次的概念。此外，它允許每個人對存儲在 Hadoop 集群中的數(shù)據(jù)進行查詢，并改進了 Hadoop 的功能，使其成為了 BI 用戶的理想選擇。

▲圖3 大數(shù)據(jù)體系結(jié)構(gòu)

大數(shù)據(jù)處理的優(yōu)勢

處理大數(shù)據(jù)的能力具有多種益處。

企業(yè)可以在進行決策時利用外腦(Outside brainpower)：使用來自搜索引擎以及 Facebook 和 Twitter 等網(wǎng)站的社交數(shù)據(jù)的權(quán)利，可以幫助企業(yè)改進商務戰(zhàn)略。

增強客戶服務：客戶響應系統(tǒng)正在被使用了大數(shù)據(jù)技術(shù)的新系統(tǒng)所取代。在這些新系統(tǒng)中，大數(shù)據(jù)技術(shù)用于理解與評估消費者的反應。

在早期識別服務風險：可以事先識別風險因素，以提供完美的數(shù)據(jù)。

提高操作能力：大數(shù)據(jù)技術(shù)可用于在決定將哪些數(shù)據(jù)移入數(shù)據(jù)倉庫之前，為新數(shù)據(jù)構(gòu)建暫存區(qū)(Staging areas)或著陸區(qū)(Landing zones)。此外，這種大數(shù)據(jù)和數(shù)據(jù)倉庫技術(shù)的結(jié)合可幫助企業(yè)繞過不經(jīng)常訪問的數(shù)據(jù)。

挑戰(zhàn)

雖然很容易陷入各種關于大數(shù)據(jù)的炒作之中，但它未得到充分利用的原因之一就是，在使用到它的技術(shù)中仍有許多挑戰(zhàn)需要解決。其中一些挑戰(zhàn)如下：

公司面臨著的問題是：識別正確的數(shù)據(jù)，以及審查如何最好地利用它們。構(gòu)建與數(shù)據(jù)有關的商業(yè)案例，這往往意味著形成 “開箱即用(Out-of-the-box)” 的意見，以及尋找與傳統(tǒng)商業(yè)模式截然不同的收入模式。

公司不情愿去挑選同時具有使用新技術(shù)和審查數(shù)據(jù)(以發(fā)掘重要的商業(yè)洞察)能力的優(yōu)秀人才。

大量數(shù)據(jù)點還沒有進行鏈接，公司通常沒有合適的平臺來整合和管理整個企業(yè)的數(shù)據(jù)。

數(shù)據(jù)世界的技術(shù)發(fā)展日新月異。借用數(shù)據(jù)之力，意味著能夠與良好的、具有開拓性的伙伴一起運營 —— 這些公司可以幫助創(chuàng)建正確的 IT 設計，從而以良好的組織方式適應環(huán)境的變化。

大數(shù)據(jù)的可訪問性(Accessibility)，便宜的硬件產(chǎn)品，以及新的信息管理和分析軟件聚合在一起，在數(shù)據(jù)分析的歷史中創(chuàng)造了獨特的時刻。我們現(xiàn)在有能力快速且經(jīng)濟高效地審查這些驚人的數(shù)據(jù)集，這是有史以來的第一次。這種能力象征著真正的飛躍，同時也象征著一個在工作效率、收入和成功方面大幅進步的機會。