五分鐘快速了解大數(shù)據(jù)及其必備技能

當前，整個互聯(lián)網(wǎng)正在從IT時代向DT時代演進，大數(shù)據(jù)技術也正在助力企業(yè)和公眾敲開DT世界大門。雖然大數(shù)據(jù)潮流在默默的推進各種變革，但您真的了解大數(shù)據(jù)么？

大數(shù)據(jù)定義

一般而言，大數(shù)據(jù)是指數(shù)量龐大而復雜，傳統(tǒng)的數(shù)據(jù)處理產(chǎn)品無法在合理的時間內(nèi)捕獲、管理和處理的數(shù)據(jù)集合。

這些大數(shù)據(jù)集可以包括結構化、非結構化和半結構化數(shù)據(jù)，需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

究竟有多少數(shù)據(jù)才能實構成“大”數(shù)據(jù)呢？這也是有爭議的，大數(shù)據(jù)的大小經(jīng)常改變，截至2012年，單一數(shù)據(jù)集的大小從數(shù)太字節(jié)（TB）至數(shù)十兆億字節(jié)（PB）不等。

大數(shù)據(jù)通常以三個V來表征：

＊ 數(shù)據(jù)量的大?。╲olume）

＊ 數(shù)據(jù)類型的多樣性（Variety）

＊ 數(shù)據(jù)處理和分析的速度（Velocity）

構成大數(shù)據(jù)存儲的數(shù)據(jù)可以來自包括網(wǎng)站、社交媒體、桌面和移動應用、科學實驗以及物聯(lián)網(wǎng)（IoT）中越來越多的傳感器和其他設備。

大數(shù)據(jù)概念包含了一組相關的組件，使企業(yè)能夠將數(shù)據(jù)實際使用并解決一些業(yè)務問題。其中包括支持大數(shù)據(jù)所需的IT基礎架構、分析應用于數(shù)據(jù)、大數(shù)據(jù)項目所需的技術、相關技能組合、以及對大數(shù)據(jù)有意義的實際使用案例。

大數(shù)據(jù)和分析

應用于數(shù)據(jù)的分析才是真正能夠從大數(shù)據(jù)集合中獲得價值的所在。沒有分析，大數(shù)據(jù)集合也只是一堆有限的商業(yè)數(shù)據(jù)。

通過對大數(shù)據(jù)進行分析，企業(yè)可以從分析結果中得出諸如增加銷售額、改善客戶服務、提高效率等結論，全面提升企業(yè)競爭力。數(shù)據(jù)分析包括檢查數(shù)據(jù)集，以獲得對其所包含內(nèi)容得出的結論，例如關于未來活動的趨勢和預測。通過分析數(shù)據(jù)，企業(yè)可以做出更明智的業(yè)務決策，例如該在何時何地進行營銷活動等。

分析可以參考基本的商業(yè)智能應用程序或更高級的預測性分析，例如科學組織使用的分析。在最先進的數(shù)據(jù)分析類型中，數(shù)據(jù)挖掘是分析師評估大型數(shù)據(jù)集以識別關系的一種方式。

數(shù)據(jù)分析可以包括探索性數(shù)據(jù)分析（識別數(shù)據(jù)中的模式和關系）和驗證性數(shù)據(jù)分析（應用統(tǒng)計技術來確定關于特定數(shù)據(jù)集的假設是否屬實）。另一個區(qū)分是定量數(shù)據(jù)分析（或數(shù)字數(shù)據(jù)分析，其中有可量化的變量，可以進行統(tǒng)計比較）與定性數(shù)據(jù)分析（側重于非數(shù)字數(shù)據(jù)、如視頻、圖像和文本）。

IT基礎架構來支持大數(shù)據(jù)

為了能讓大數(shù)據(jù)概念發(fā)揮作用，企業(yè)需要有適當?shù)幕A設施來收集和存儲數(shù)據(jù)，提供對數(shù)據(jù)的訪問，并在存儲和傳輸過程中保護信息。在高層次上，這其中包括為大數(shù)據(jù)、數(shù)據(jù)管理和集成軟件、商業(yè)智能和數(shù)據(jù)分析軟件以及大數(shù)據(jù)應用設計的存儲系統(tǒng)和服務器。

由于公司希望繼續(xù)利用數(shù)據(jù)中心投資，因此大部分基礎架構可能都是內(nèi)部部署的。但越來越多的企業(yè)依靠云計算服務來處理大部分大數(shù)據(jù)需求。

數(shù)據(jù)收集這一過程需要數(shù)據(jù)源。網(wǎng)絡應用程序、社交媒體渠道、移動應用程序和電子郵件檔案已經(jīng)到位，但隨著物聯(lián)網(wǎng)逐漸成熟，企業(yè)可能需要在各種設備、車輛和產(chǎn)品上部署傳感器來收集數(shù)據(jù)，以及生成用戶數(shù)據(jù)的新應用程序。

為了存儲所有傳入的數(shù)據(jù)，企業(yè)需要有適當?shù)臄?shù)據(jù)存儲。存儲選項包括傳統(tǒng)的數(shù)據(jù)倉庫、數(shù)據(jù)湖和基于云的存儲。

安全基礎設施工具可能包括數(shù)據(jù)加密、用戶身份驗證和其他訪問控制、監(jiān)控系統(tǒng)、防火墻、企業(yè)移動管理以及其他保護系統(tǒng)和數(shù)據(jù)的產(chǎn)品。

大數(shù)據(jù)的特定技術

一般來說，除了上述用于數(shù)據(jù)的IT基礎設施之外。您的IT基礎架構應該支持特定于大數(shù)據(jù)的幾種技術。

1. Hadoop生態(tài)系統(tǒng)

Hadoop是與大數(shù)據(jù)密切相關的技術之一。 Apache Hadoop項目為可擴展的分布式計算開發(fā)開源軟件。Hadoop軟件庫是一個框架，可以使用簡單的編程模型在整個計算機集群上分布式處理大型數(shù)據(jù)集。它旨在從單個服務器擴展到數(shù)千個服務器，每一個都提供本地計算和存儲。該項目包括幾個模塊：

＊ Hadoop Common，支持其他Hadoop模塊的常用工具；

＊ Hadoop分布式文件系統(tǒng)，提供對應用程序數(shù)據(jù)的高吞吐量訪問；

＊ Hadoop YARN，作業(yè)調(diào)度和集群資源管理的框架；

＊ Hadoop MapReduce，一個基于YARN的并行處理大型數(shù)據(jù)集的系統(tǒng)。

2. Apache Spark

作為Hadoop生態(tài)系統(tǒng)的一部分，Apache Spark是一個開源的集群計算框架，可用作在Hadoop中處理大數(shù)據(jù)的引擎。 Spark已經(jīng)成為關鍵的大數(shù)據(jù)分布式處理框架之一，并且可以以各種方式進行部署。它為Java、Scala、Python和R編程語言提供本地綁定，并支持SQL、流數(shù)據(jù)、機器學習和圖形處理。

3. 數(shù)據(jù)湖

數(shù)據(jù)湖泊是存儲庫，它以本機格式存儲極大量的原始數(shù)據(jù)。數(shù)字化轉型舉措和物聯(lián)網(wǎng)的發(fā)展促進了數(shù)據(jù)湖的發(fā)展。數(shù)據(jù)湖的設計是為了方便用戶在需要時訪問大量的數(shù)據(jù)。

4. NoSQL數(shù)據(jù)庫

傳統(tǒng)的SQL數(shù)據(jù)庫是為可靠的事務和即席查詢而設計的，但是它們有嚴格的架構等限制，這使得它們不太適合某些類型的應用程序。NoSQL數(shù)據(jù)庫解決了這些限制，并以高速運行和高度靈活性的方式存儲和管理數(shù)據(jù)。與SQL數(shù)據(jù)庫不同，許多NoSQL數(shù)據(jù)庫可以在數(shù)百或數(shù)千臺服務器上橫向擴展。

5. 內(nèi)存數(shù)據(jù)庫

內(nèi)存數(shù)據(jù)庫（IMDB）是一種數(shù)據(jù)庫管理系統(tǒng)，主要依靠主內(nèi)存來存儲數(shù)據(jù)。內(nèi)存數(shù)據(jù)庫比磁盤優(yōu)化數(shù)據(jù)庫要快。

大數(shù)據(jù)技能

大數(shù)據(jù)和大數(shù)據(jù)分析工作都需要特定的技能。這些技能中的很多都與關鍵的大數(shù)據(jù)技術組件（如Hadoop、Spark、NoSQL數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫和分析軟件）相關。

其他則專門針對數(shù)據(jù)科學、數(shù)據(jù)挖掘、統(tǒng)計和定量分析、數(shù)據(jù)可視化、通用編程以及數(shù)據(jù)結構和算法等學科，還需要有整體管理技能。鑒于大數(shù)據(jù)分析項目已經(jīng)非常普及，卻缺乏擁有這些技能的人才，尋找有經(jīng)驗的專業(yè)人員可能是企業(yè)面臨的最大挑戰(zhàn)之一。

大數(shù)據(jù)用例

大數(shù)據(jù)和分析可以應用于許多業(yè)務問題和用例。這里有一些例子：

＊ 客戶分析。公司可以檢查客戶數(shù)據(jù)以改善客戶體驗，提高轉換率并增加留存率。

＊ 運營分析。提高運營績效，更好地利用企業(yè)資產(chǎn)是許多公司的目標。大數(shù)據(jù)分析可以幫助企業(yè)找到更高效運營和提高績效的方法。

＊ 預防詐騙。數(shù)據(jù)分析可幫助組織識別可能指示欺詐行為并有助于降低風險的可疑活動和模式。

＊ 價格優(yōu)化。公司可以使用大數(shù)據(jù)分析來優(yōu)化產(chǎn)品和服務收取的價格，從而幫助提高收入。