你想知道的大數(shù)據(jù)知識都在這里

大數(shù)據(jù)主要是指企業(yè)中日常生成的，大量的有組織以及無組織的數(shù)據(jù)。在這種情況下，組織如何處理這些數(shù)據(jù)，與數(shù)據(jù)量是無關(guān)的。對大數(shù)據(jù)分析可以產(chǎn)生改善戰(zhàn)略商務(wù)決策（Strategic business decision-making）的洞察力。

大數(shù)據(jù)的重要性

如前所述，大數(shù)據(jù)的價值不在于您擁有多少信息，而在于您要如何利用它。您可以從任何一個點收集數(shù)據(jù)（并對其進行檢查），以找到下面四種情況的解決方案：

• 物價回降（Price reductions）
• 時間縮減（Time reductions）
• 新產(chǎn)品開發(fā)，以及改進產(chǎn)品
• 做出明智的判斷

當(dāng)您耗費大量精力分析聚合大數(shù)據(jù)時，下面這些業(yè)務(wù)關(guān)聯(lián)的任務(wù)就可能實現(xiàn)：

• 實時識別故障原因、問題以及缺陷。
• 根據(jù)客戶的購買歷史，在銷售端（Point-of-sale）生成憑證（Voucher）。
• 在幾分鐘內(nèi)計算出特定功能的全部風(fēng)險。
• 在欺騙行為影響到您的組織之前，將其檢測出來。

• 汽車行業(yè)：福特現(xiàn)代混合動力車型 Fusion，它每小時產(chǎn)生高達 25GB 的數(shù)據(jù)。這些數(shù)據(jù)可以用于解釋駕駛習(xí)慣和駕駛模式，以預(yù)防意外事故，轉(zhuǎn)向碰撞等情況。
• 娛樂：電子游戲行業(yè)每天都在使用大數(shù)據(jù)技術(shù)來檢查超過 500GB 的有組織數(shù)據(jù)，以及 4TB 的功能性積壓（Functional backlogs）。
• 社交媒體效應(yīng)：每天，社交媒體網(wǎng)站 Facebook 的數(shù)據(jù)庫中都會增加大約 500TB 的新數(shù)據(jù)。

大數(shù)據(jù)類型

大數(shù)據(jù)可以分為以下三大類。

1. 結(jié)構(gòu)化：可以以固定數(shù)據(jù)格式存儲、處理和改進的數(shù)據(jù)稱為結(jié)構(gòu)化數(shù)據(jù)。隨著時間的推移，如今計算機科學(xué)已經(jīng)能夠開發(fā)使用這些數(shù)據(jù)的方法，并從中獲得價值。不過近來我們正預(yù)測與龐大數(shù)量的這類數(shù)據(jù)相關(guān)的問題，這些數(shù)據(jù)量將成為 ZB（10 億 TB 等于 1ZB）級別的。
2. 非結(jié)構(gòu)化：非映射（Unmapped）形式的數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)。如何從大量的非結(jié)構(gòu)化數(shù)據(jù)中獲取價值，這其中充滿挑戰(zhàn)。例如，包含了簡單文本文件、圖片、音頻，以及視頻錄像之集合的異構(gòu)數(shù)據(jù)源（Heterogeneous data source），這些數(shù)據(jù)將難以進行分析。當(dāng)下，組織擁有大量可用的數(shù)據(jù)，但不幸的是，他們并何從下手以提取數(shù)據(jù)的價值，因為這些數(shù)據(jù)是未經(jīng)處理的形式。
3. 半結(jié)構(gòu)化：這可以包含兩種形式的數(shù)據(jù)。另外，我們可以將半結(jié)構(gòu)化數(shù)據(jù)視為一種形式上的結(jié)構(gòu)，但實際上數(shù)據(jù)本身并未定義。例如，XML 文件中所描述的數(shù)據(jù)。

大數(shù)據(jù)的四個 "V" 值

一些共同特征如圖 2 所示。

1. 積（Volume）：數(shù)據(jù)量是決定大數(shù)據(jù)價值的重要因素。因此，體積是處理大數(shù)據(jù)時需要考慮的一個屬性。
2. 種類（Variety）：指的是各種數(shù)據(jù)源以及數(shù)據(jù)的性質(zhì)，這其中既有結(jié)構(gòu)的，也有非結(jié)構(gòu)化的。曾經(jīng)，電子表格和數(shù)據(jù)庫是大多數(shù)實際應(yīng)用中唯一考慮的數(shù)據(jù)來源。但現(xiàn)在，調(diào)查應(yīng)用中還會考慮到電子郵件，圖片，錄音，以及監(jiān)控設(shè)備等形式的數(shù)據(jù)。
3. 速率（Velocity）：該術(shù)語是指 “數(shù)據(jù)是如何迅速生成的”。數(shù)據(jù)創(chuàng)建和提煉的速率要有多快，才能滿足特定需求，這決定了它的真正潛力。大數(shù)據(jù)的速率是數(shù)據(jù)從業(yè)務(wù)流程、應(yīng)用程序日志、網(wǎng)站等來源流出的速度。大數(shù)據(jù)流動的速度非常高，幾乎從不間斷。
4. 精確性（Veracity）：這是指所生成數(shù)據(jù)的各種格式之間的不兼容性，這限制了挖掘或管理數(shù)據(jù)的過程。

大數(shù)據(jù)架構(gòu)包含一致的、可擴展的，以及完全計算機化的數(shù)據(jù)管道（Data pipelines）。構(gòu)建這種基礎(chǔ)架構(gòu)需要具有深入了解堆中的每一層的能力，即從集群設(shè)計（Cluster design）開始，直到設(shè)置負責(zé)處理數(shù)據(jù)的頂級鏈（Top chain）。圖 3 展示了堆棧的復(fù)雜性以及數(shù)據(jù)管道工程如何觸及其每個部分。

在圖 3 中，數(shù)據(jù)管道收集原始數(shù)據(jù)并將其轉(zhuǎn)化為有價值的東西。同時，大數(shù)據(jù)工程師必須計劃好數(shù)據(jù)會發(fā)生什么情況，數(shù)據(jù)存儲在集群中的方式，內(nèi)部許可的訪問方式，用于處理數(shù)據(jù)的設(shè)備，以及提供給外界訪問的模式。那些設(shè)計和實現(xiàn)這種架構(gòu)的人被稱為大數(shù)據(jù)工程師。

大數(shù)據(jù)技術(shù)

眾所周知，大數(shù)據(jù)的主題非常廣泛，并且滲透到了許多新技術(shù)的發(fā)展中。以下對一些技術(shù)的概述旨在幫助用戶對大數(shù)據(jù)進行改造。

1. MapReduce（映射化簡）：這使得任務(wù)的實現(xiàn)具有能夠跨越數(shù)千臺服務(wù)器的可擴展性。

• Map：將輸入數(shù)據(jù)集轉(zhuǎn)換為一組不同的值。
• Reduce： 將 Map 任務(wù)的輸出聯(lián)合起來，形成一組簡化的值。

2. Hadoop：這是 MapReduce 最令人欽佩的執(zhí)行方式，它是一個完全開源的處理大數(shù)據(jù)的平臺。Hadoop 足夠靈活，它能夠處理多種數(shù)據(jù)源，例如聚合數(shù)據(jù)以進行大規(guī)模處理，從數(shù)據(jù)庫讀取數(shù)據(jù)等。

3. Hive：這是一個類似 SQL 的鏈接，允許 BI（商業(yè)智能） 應(yīng)用程序在 Hadoop 集群旁運行查詢。這是由 Facebook 開發(fā)的，它已經(jīng)被開源了一段時間，并且它還是 Hadoop 框架的更高層次的概念。此外，它允許每個人對存儲在 Hadoop 集群中的數(shù)據(jù)進行查詢，并改進了 Hadoop 的功能，使其成為了 BI 用戶的理想選擇。

處理大數(shù)據(jù)的能力具有多種益處。

1. 企業(yè)可以在進行決策時利用外腦（Outside brainpower）：使用來自搜索引擎以及 Facebook 和 Twitter 等網(wǎng)站的社交數(shù)據(jù)的權(quán)利，可以幫助企業(yè)改進商務(wù)戰(zhàn)略。
2. 增強客戶服務(wù)：客戶響應(yīng)系統(tǒng)正在被使用了大數(shù)據(jù)技術(shù)的新系統(tǒng)所取代。在這些新系統(tǒng)中，大數(shù)據(jù)技術(shù)用于理解與評估消費者的反應(yīng)。
3. 在早期識別服務(wù)風(fēng)險：可以事先識別風(fēng)險因素，以提供完美的數(shù)據(jù)。
4. 提高操作能力：大數(shù)據(jù)技術(shù)可用于在決定將哪些數(shù)據(jù)移入數(shù)據(jù)倉庫之前，為新數(shù)據(jù)構(gòu)建暫存區(qū)（Staging areas）或著陸區(qū)（Landing zones）。此外，這種大數(shù)據(jù)和數(shù)據(jù)倉庫技術(shù)的結(jié)合可幫助企業(yè)繞過不經(jīng)常訪問的數(shù)據(jù)。

挑戰(zhàn)

雖然很容易陷入各種關(guān)于大數(shù)據(jù)的炒作之中，但它未得到充分利用的原因之一就是，在使用到它的技術(shù)中仍有許多挑戰(zhàn)需要解決。其中一些挑戰(zhàn)如下：

1. 公司面臨著的問題是：識別正確的數(shù)據(jù)，以及審查如何最好地利用它們。構(gòu)建與數(shù)據(jù)有關(guān)的商業(yè)案例，這往往意味著形成 “開箱即用（Out-of-the-box）” 的意見，以及尋找與傳統(tǒng)商業(yè)模式截然不同的收入模式。
2. 公司不情愿去挑選同時具有使用新技術(shù)和審查數(shù)據(jù)（以發(fā)掘重要的商業(yè)洞察）能力的優(yōu)秀人才。
3. 大量數(shù)據(jù)點還沒有進行鏈接，公司通常沒有合適的平臺來整合和管理整個企業(yè)的數(shù)據(jù)。
4. 數(shù)據(jù)世界的技術(shù)發(fā)展日新月異。借用數(shù)據(jù)之力，意味著能夠與良好的、具有開拓性的伙伴一起運營 —— 這些公司可以幫助創(chuàng)建正確的 IT 設(shè)計，從而以良好的組織方式適應(yīng)環(huán)境的變化。

大數(shù)據(jù)的可訪問性（Accessibility），便宜的硬件產(chǎn)品，以及新的信息管理和分析軟件聚合在一起，在數(shù)據(jù)分析的歷史中創(chuàng)造了獨特的時刻。我們現(xiàn)在有能力快速且經(jīng)濟高效地審查這些驚人的數(shù)據(jù)集，這是有史以來的第一次。這種能力象征著真正的飛躍，同時也象征著一個在工作效率、收入和成功方面大幅進步的機會。