為何人人都在談大數(shù)據(jù)？

某日，一飯店電話鈴聲響起，客服妹子接起電話。

妹子：你好，這里是XX飯店，請(qǐng)問有什么需要為您服務(wù)的呢?

顧客：你好，我想要一份……

妹子：女士，麻煩先把您的會(huì)員卡號(hào)告訴我一下。

顧客：261478941

妹子：李女士，你好，您是住在海淀區(qū)蘇州街XX小區(qū)23號(hào)樓15層1503室，您的電話是186XXXXXX.您家固定電話5698xxxx

顧客：你是怎么知道的......

妹子：女士，因?yàn)槲覀兟?lián)機(jī)到CRM系統(tǒng)。

顧客：我想要一份小龍蝦……

妹子：女士，小龍蝦不適合您。

顧客：為什么?

妹子：因?yàn)閾?jù)您的醫(yī)療記錄顯示，您對(duì)小龍蝦是過敏的....

正當(dāng)時(shí)    大數(shù)據(jù)告訴你不能說的秘密

從上面的對(duì)話可以看出，從國防安全到衣食住行，大數(shù)據(jù)早已滲透到我們社會(huì)生活的方方面面。在現(xiàn)如今的大數(shù)據(jù)時(shí)代，我們變得越來越透明。通過網(wǎng)絡(luò)，我們支付會(huì)產(chǎn)生數(shù)據(jù);我們打車，會(huì)產(chǎn)生數(shù)據(jù);我們聊天，會(huì)產(chǎn)生數(shù)據(jù);就連我們訂餐，都會(huì)產(chǎn)生數(shù)據(jù)。我們賴以生存的手機(jī)、電腦上都存留著我們的痕跡。信息時(shí)代，大數(shù)據(jù)成為了新的生產(chǎn)要素。

馬云曾經(jīng)在一次演講中提到，未來的時(shí)代將不是IT時(shí)代，而是DT時(shí)代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對(duì)于阿里巴巴集團(tuán)來說舉足輕重。

到底大數(shù)據(jù)是什么?

最早提出大數(shù)據(jù)時(shí)代到來的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！?

這里，可以引用3個(gè)比較常用的大數(shù)據(jù)定義：

1、需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。—— Gartner

2、海量的數(shù)據(jù)規(guī)模(Volume)、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系(Velocity)、多樣的數(shù)據(jù)類型(Variety)、巨大的數(shù)據(jù)價(jià)值(Value)?！?IDC

3、或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的信息?！?Wiki

要理解大數(shù)據(jù)這一概念，可以先從"大"入手，"大"是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個(gè)V來總結(jié)。

大數(shù)據(jù)的4V特點(diǎn)：

Volume(大量)：從TB級(jí)別，躍升到PB級(jí)別。

Velocity(高速)：1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。

Variety(多樣)：如網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等。

Value(價(jià)值)：以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。

有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。對(duì)于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)鍵。

大數(shù)據(jù)的價(jià)值體現(xiàn)在：對(duì)大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷;做小而美模式的中小微企業(yè)可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型;面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時(shí)俱進(jìn)充分利用大數(shù)據(jù)的價(jià)值

大數(shù)據(jù)時(shí)代 隱私成最大挑戰(zhàn)

對(duì)純理論者來說，大數(shù)據(jù)是指超過傳統(tǒng)數(shù)據(jù)庫能力的數(shù)據(jù)集軟件。對(duì)于不斷增長的人群來說，大數(shù)據(jù)是用來快速進(jìn)行預(yù)測(cè)分析。對(duì)其他人來說，大數(shù)據(jù)意味著一個(gè)由1和0組成的驚人的數(shù)字組合。不過，大數(shù)據(jù)的類型大致可分為以下幾方面：

1、傳統(tǒng)企業(yè)數(shù)據(jù)(Traditional enterprise data)：包括傳統(tǒng)的ERP數(shù)據(jù)，庫存數(shù)據(jù)以及賬目數(shù)據(jù)等。

2、機(jī)器和傳感器數(shù)據(jù)(Machine-generated /sensor data)：包括呼叫記錄、智能儀表、工業(yè)設(shè)備傳感器及交易數(shù)據(jù)等

3、社交數(shù)據(jù)(Social data):包括用戶行為記錄、反饋數(shù)據(jù)等，比如微信、QQ這樣的社交媒體平臺(tái)。

隨著大數(shù)據(jù)的應(yīng)用范圍不斷擴(kuò)大，越來越多的公司開始部署大數(shù)據(jù)戰(zhàn)略。同時(shí)，大數(shù)據(jù)技術(shù)也使得商業(yè)發(fā)展的速度更快、效率更高。通過大數(shù)據(jù)技術(shù)，企業(yè)可以更輕松地獲取信息，以便進(jìn)行更準(zhǔn)確地決策。未來，大數(shù)據(jù)發(fā)展又該如何呢?

1、隱私問題將成最大挑戰(zhàn)

據(jù)一項(xiàng)調(diào)查機(jī)構(gòu)顯示，到2018年，近50%的企業(yè)都將面臨隱私泄露問題。大數(shù)據(jù)時(shí)代，解決用戶隱私泄露問題，就是解決大數(shù)據(jù)發(fā)展與使用的問題。

2、人工智能將廣泛應(yīng)用

在過去的一年中，我們親眼見證了人工智能的爆發(fā)：無人駕駛汽車試駕成功、AlphaGo圍棋獲勝。隨著人工智能技術(shù)日益成熟，未來公司企業(yè)將很大程度上依賴于這項(xiàng)技術(shù)。

3、將推出更多分析工具

隨著數(shù)據(jù)量的不斷增長，數(shù)據(jù)分析方法也將進(jìn)一步提高。雖然SQL依然會(huì)是數(shù)據(jù)分析的標(biāo)準(zhǔn)方法，但是新興分析工具也不可小覷。Spark，作為大數(shù)據(jù)時(shí)代下的一個(gè)快速處理數(shù)據(jù)分析工作的框架，如Google，F(xiàn)acebook等現(xiàn)已紛紛轉(zhuǎn)向Spark框架。

總之，大數(shù)據(jù)帶來了前所未有的機(jī)遇，讓我們做好準(zhǔn)備，迎接新一年的大數(shù)據(jù)元年。