大數(shù)據(jù)對于數(shù)據(jù)分析師意味著什么？

大數(shù)據(jù)從無人談及，到現(xiàn)在的大肆炒作，到底什么才是大數(shù)據(jù)，對于數(shù)據(jù)分析師，它有意味著什么？本文將為您解答?！?

我用Google搜索了一下“Big Data”，得到了19,600,000個結(jié)果……而使用同樣的詞語，在兩年前你幾乎搜索不到什么內(nèi)容，而現(xiàn)在大數(shù)據(jù)的內(nèi)容被大肆炒作，內(nèi)容多得讓人眼花繚亂。而這些內(nèi)容主要是來自IBM、麥肯錫和O’Reilly ，大多數(shù)文章都是基于營銷目的的夸夸其談，對真實的情況并不了解，有些觀點甚至是完全錯誤的。我問自己…… 大數(shù)據(jù)之于數(shù)據(jù)分析師，它意味著什么呢？

如下圖所示，谷歌趨勢顯示，與“網(wǎng)站分析”（web analytics）和”商業(yè)智能”（business intelligence）較為平穩(wěn)的搜索曲線相比，“大數(shù)據(jù)”（big data）的搜索量迎來了火箭式的大幅度增長。

大數(shù)據(jù) – 炒作

Gartner把“大數(shù)據(jù)”的發(fā)展階段定位在“社交電視”和“移動機器人”之間，正向著中部期望的高峰點邁進，而現(xiàn)在是達到較為成熟的階段前的二至五年。這種定位有著其合理性。各種奏唱著“大數(shù)據(jù)”頌歌的產(chǎn)品數(shù)量正在迅速增長，大眾媒體也進入了“大數(shù)據(jù)”主題的論辯中，比如紐約時報的“大數(shù)據(jù)的時代“，以及一系列在福布斯上發(fā)布的題為” 大數(shù)據(jù)技術(shù)評估檢查表“的文章。

進步的一面體現(xiàn)在，大數(shù)據(jù)的概念正在促使內(nèi)部組織的文化發(fā)生轉(zhuǎn)變，對過時的“商務智能”形成挑戰(zhàn)，并促進了“分析”意識的提升。

基于大數(shù)據(jù)的創(chuàng)新技術(shù)可以很容易地被應用到類似數(shù)據(jù)分析的各種環(huán)境中。值得一提的是，企業(yè)組織通過應用先進的業(yè)務分析，業(yè)務將變得更廣泛、更復雜，價值也更高，而傳統(tǒng)的網(wǎng)站分析受到的關注將會有所減弱。

大數(shù)據(jù) – 定義

什么是“大數(shù)據(jù)”，目前并沒有統(tǒng)一的定義。維基百科提供的定義有些拙劣，也不完整：“ 大數(shù)據(jù)，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過主流的工具，在合理的時間內(nèi)擷取、管理、處理、并整理成為人們所能解讀的信息 “。

IBM 提供了一個充分的簡單易懂的概述：

大數(shù)據(jù)有以下三個特點：大批量（Volume）、高速度（Velocity）和多樣化（Variety） 。

大批量 – 大數(shù)據(jù)體積龐大。企業(yè)里到處充斥著數(shù)據(jù)，信息動不動就達到了TB級，甚至是PB級。

高速度 – 大數(shù)據(jù)通常對時間敏感。為了最大限度地發(fā)揮其業(yè)務價值，大數(shù)據(jù)必須及時使用起來。

多樣化 – 大數(shù)據(jù)超越了結(jié)構(gòu)化數(shù)據(jù)，它包括所有種類的非結(jié)構(gòu)化數(shù)據(jù)，如文本、音頻、視頻、點擊流、日志文件等等都可以是大數(shù)據(jù)的組成部分。

MSDN的布萊恩·史密斯在IBM的基礎上增加了第四點：

變異性 – 數(shù)據(jù)可以使用不同的定義方式來進行解釋。不同的問題需要不同的闡釋。