大數(shù)據(jù)時(shí)代，你需要知道的六件事_數(shù)據(jù)分析師

大數(shù)據(jù)為什么會(huì)改變企業(yè)?因?yàn)榇髷?shù)據(jù)是一種全新的思維方式。過(guò)去我們總是在考慮樣本空間、顆粒度、選擇方法等等問(wèn)題，而隨著大數(shù)據(jù)的普及，這些問(wèn)題統(tǒng)統(tǒng)稱為了過(guò)去式;以前很復(fù)雜的問(wèn)題，現(xiàn)在也變得越來(lái)越簡(jiǎn)單了。但正是由于大數(shù)據(jù)神乎其神的效果，因此越來(lái)越多的用戶開(kāi)始神化大數(shù)據(jù)，也在大數(shù)據(jù)的使用過(guò)程中產(chǎn)生了一些誤解。

毫無(wú)疑問(wèn)，大數(shù)據(jù)是個(gè)系統(tǒng)性的綜合工程，而在這個(gè)領(lǐng)域中Informatica是公認(rèn)的先行者。作為先行者，Informatica對(duì)于大數(shù)據(jù)有自己獨(dú)到的見(jiàn)解。

而作為前提，關(guān)于大數(shù)據(jù)，你需要知道以下六件事

1、大數(shù)據(jù)思路已有，離成功尚遠(yuǎn)

大數(shù)據(jù)真正開(kāi)始做始于去年，通過(guò)兩年的嘗試、積累，思路已有，但離成功還很遠(yuǎn)。一些國(guó)外的大數(shù)據(jù)案例、大數(shù)據(jù)故事無(wú)非是商務(wù)智能(BI)、數(shù)據(jù)倉(cāng)庫(kù)(BW)的改頭換面，新瓶裝舊酒而已。就如數(shù)據(jù)倉(cāng)庫(kù)一樣，建設(shè)了近20年才讓每個(gè)企業(yè)真正承認(rèn)其價(jià)值，大數(shù)據(jù)也不能期望很快就獲得成功，需要一個(gè)沉淀時(shí)間。

大數(shù)據(jù)發(fā)展可以用一個(gè)波浪式的圖來(lái)形容，現(xiàn)在還處于第一個(gè)峰頂，必須經(jīng)過(guò)低谷再升起，幾輪反復(fù)。這期間，大家可能會(huì)看到許多大數(shù)據(jù)真實(shí)的案例，不管是成功的還是失敗的都會(huì)給我們啟示。只要嘗試了就不一定完全失敗，就如數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，幾年前很多報(bào)告都顯示80%的項(xiàng)目失敗，但仔細(xì)分析后發(fā)現(xiàn)，只是在發(fā)展過(guò)程當(dāng)中沒(méi)有達(dá)到預(yù)期價(jià)值而已。前人淌過(guò)的路，后邊的人可以少走一些雷區(qū)。

2、真正的大數(shù)據(jù)思維：允許數(shù)據(jù)的不精確性

以前，由于可獲得的數(shù)據(jù)量比較小，為此我們必須盡量準(zhǔn)確的記錄下所獲得的所有數(shù)據(jù)，做出個(gè)KPI供領(lǐng)導(dǎo)參考，采樣過(guò)程的精確度被放在重要的地位。顯然，這種對(duì)精確性的執(zhí)著是信息缺乏時(shí)代的產(chǎn)物。大數(shù)據(jù)時(shí)代，數(shù)據(jù)的收集問(wèn)題不再成為困擾，采集全量的數(shù)據(jù)成為現(xiàn)實(shí)，但海量數(shù)據(jù)的涌現(xiàn)一定會(huì)增加數(shù)據(jù)的混亂性且造成結(jié)果的不準(zhǔn)確性，如果仍執(zhí)迷精確性，那么將無(wú)法應(yīng)對(duì)這個(gè)新的時(shí)代。

大數(shù)據(jù)通常都用概率說(shuō)話，且大數(shù)據(jù)處理之前是可以對(duì)之進(jìn)行清洗從而減少部分的錯(cuò)誤數(shù)據(jù)。所以，與致力于避免錯(cuò)誤相比，對(duì)錯(cuò)誤的包容將會(huì)帶給我們更多信息。其實(shí)，允許數(shù)據(jù)的混雜性和容許結(jié)果的不精確性才是我們擁抱大數(shù)據(jù)的正確態(tài)度，只要做到10%準(zhǔn)確結(jié)果，能夠達(dá)成業(yè)務(wù)數(shù)十倍的增長(zhǎng)即可，這是真正的大數(shù)據(jù)思維，未來(lái)我們應(yīng)當(dāng)習(xí)慣這種思維。

3、大數(shù)據(jù)不是一個(gè)純技術(shù)的問(wèn)題

大數(shù)據(jù)不是一個(gè)純技術(shù)問(wèn)題，會(huì)包含很多管理、業(yè)務(wù)方面的內(nèi)容。并不是說(shuō)，購(gòu)買(mǎi)了一套數(shù)據(jù)挖掘工具，組建了一個(gè)Hadoop環(huán)境，就能稱為做了大數(shù)據(jù)。除了設(shè)備、技術(shù)上的投資，企業(yè)還需要從組織結(jié)構(gòu)、人員意識(shí)、管理方式、企業(yè)文化等方面都有一個(gè)轉(zhuǎn)變。大數(shù)據(jù)的前期準(zhǔn)備工作很多，這是一種思維上的全面變革。大家都是摸著石頭過(guò)河，走一步想一想，然后再走一步再想，直到最后成功上岸。

在這樣的一個(gè)過(guò)程當(dāng)中，人們的思想還要跟隨大數(shù)據(jù)技術(shù)的發(fā)展不斷更新，同時(shí)也要對(duì)一些過(guò)去的想法進(jìn)行糾正和改變。當(dāng)然，這個(gè)時(shí)間不會(huì)像以前數(shù)據(jù)倉(cāng)庫(kù)那樣花費(fèi)20年，大數(shù)據(jù)可能會(huì)縮短一半時(shí)間。因?yàn)?a href='/map/shujucangku/' style='color:#000;font-size:inherit;'>數(shù)據(jù)倉(cāng)庫(kù)時(shí)代是從無(wú)到有，而大數(shù)據(jù)時(shí)代是從有到更好，人們已經(jīng)從建設(shè)數(shù)據(jù)倉(cāng)庫(kù)中積累了很多的經(jīng)驗(yàn)、技術(shù)、教訓(xùn)，甚至有效的管理方法，可以很好地借鑒。

4、大數(shù)據(jù)技術(shù)解決的是非結(jié)構(gòu)化數(shù)據(jù)的問(wèn)題，非也

新興的大數(shù)據(jù)技術(shù)提供了非常有效的手段，讓人們可以花很低的代價(jià)去分析、處理非結(jié)構(gòu)化的數(shù)據(jù)，但是這些非結(jié)構(gòu)化數(shù)據(jù)有一個(gè)特點(diǎn)，就是密度還很低，它遠(yuǎn)不如結(jié)構(gòu)化數(shù)據(jù)有非常高的價(jià)值密度，可能100G的非結(jié)構(gòu)化數(shù)據(jù)，最終有效的才1G。這表明，非結(jié)構(gòu)化數(shù)據(jù)是對(duì)數(shù)據(jù)完整度的很大補(bǔ)充，但是并不能說(shuō)大數(shù)據(jù)就是做非結(jié)構(gòu)化數(shù)據(jù)，其實(shí)最終的目的還是要發(fā)掘數(shù)據(jù)價(jià)值。另外一方面，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)能夠完成現(xiàn)有結(jié)構(gòu)化數(shù)據(jù)90%的利用程度，在這種背景下，人們才會(huì)把大數(shù)據(jù)的焦點(diǎn)放在對(duì)非結(jié)構(gòu)化的處理上。

當(dāng)前，非結(jié)構(gòu)化數(shù)據(jù)大量產(chǎn)生，如機(jī)器日志、傳感器的數(shù)據(jù)、社交媒體的數(shù)據(jù)，都是以非結(jié)構(gòu)化形式存在，而傳統(tǒng)的方式對(duì)這些數(shù)據(jù)的處理能力比較欠缺。如果用木桶效應(yīng)來(lái)比喻，首先要把這個(gè)短板補(bǔ)上，與結(jié)構(gòu)化數(shù)據(jù)處理的效率和能力齊平之后，更多的就是圍繞數(shù)據(jù)如何使用來(lái)進(jìn)行更深一步的研究。還要認(rèn)識(shí)到一點(diǎn)，大數(shù)據(jù)技術(shù)能夠處理半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，不過(guò)，這些數(shù)據(jù)總是要轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)才能分析，算法可能輸入的是非結(jié)構(gòu)化的，如視頻信息，但是剛進(jìn)來(lái)不到10秒就變成結(jié)構(gòu)化，最后顯示出來(lái)的還是表格式結(jié)構(gòu)化的結(jié)果。

5、大數(shù)據(jù)應(yīng)用的必要前提

在紛繁雜亂的大數(shù)據(jù)面前，沒(méi)有良好的數(shù)據(jù)質(zhì)量，沒(méi)有更加良好的數(shù)據(jù)管理策略，用于業(yè)務(wù)應(yīng)用的投資將隨著應(yīng)用組合在企業(yè)內(nèi)的增長(zhǎng)和擴(kuò)展而日漸縮水。做大數(shù)據(jù)，90%的企業(yè)走的路子都不可能實(shí)現(xiàn)放煙花式的很炫效果，他們首先還是要踏踏實(shí)實(shí)地解決數(shù)據(jù)整合、數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理等問(wèn)題，而這些恰恰是Informatica公司的核心競(jìng)爭(zhēng)力所在。

現(xiàn)在，越來(lái)越多的企業(yè)從以前的粗獷式數(shù)據(jù)管理方式向精細(xì)化方向發(fā)展，更加注重?cái)?shù)據(jù)質(zhì)量和主數(shù)據(jù)管理，注重全數(shù)據(jù)視圖的構(gòu)建等等。目前，Informatica已經(jīng)有了11個(gè)方面，30多小項(xiàng)的解決方案，Informatica數(shù)據(jù)集成平臺(tái)提供了將數(shù)據(jù)轉(zhuǎn)化為可信、可行且可靠的信息資產(chǎn)所需的全部功能，可以隨時(shí)隨地集成任何的數(shù)據(jù)碎片、控制企業(yè)內(nèi)或“云中”數(shù)據(jù)、高速傳送數(shù)據(jù)、與合作伙伴共享數(shù)據(jù)、查找并解決數(shù)據(jù)質(zhì)量問(wèn)題、給予您憑借數(shù)據(jù)主動(dòng)采取行動(dòng)的能力、創(chuàng)建針對(duì)最重要數(shù)據(jù)資產(chǎn)的可靠視圖等等，這些技術(shù)組合能夠天衣無(wú)縫地配合運(yùn)作，且可通過(guò)有效利用硬件基礎(chǔ)設(shè)施來(lái)降低總體擁有成本，實(shí)現(xiàn)更精細(xì)化數(shù)據(jù)管理。

6、大數(shù)據(jù)時(shí)代，隱私高于一切

近兩年，國(guó)家政府著重強(qiáng)調(diào)信息安全，企業(yè)都非常關(guān)注數(shù)據(jù)安全問(wèn)題。敏感的個(gè)人、財(cái)務(wù)和健康信息受到多種不同行業(yè)和政府?dāng)?shù)據(jù)隱私法規(guī)的管制，如果企業(yè)無(wú)法保持?jǐn)?shù)據(jù)隱私，他們就會(huì)面臨嚴(yán)重的財(cái)務(wù)和法律懲罰，同時(shí)還會(huì)在客戶與市場(chǎng)信心方面蒙受可觀損失。在這種情況下，數(shù)據(jù)脫敏技術(shù)應(yīng)運(yùn)而生，并且在最近兩年，開(kāi)始被越來(lái)越多的企業(yè)用戶所采用。Informatica在數(shù)據(jù)讀取和使用兩方面使用動(dòng)態(tài)或靜態(tài)的數(shù)據(jù)脫敏手段來(lái)保證數(shù)據(jù)的隱私，在保存數(shù)據(jù)原始特征的同時(shí)改變它的數(shù)值，從而保護(hù)敏感數(shù)據(jù)免于未經(jīng)授權(quán)的訪問(wèn)，同時(shí)又可以進(jìn)行相關(guān)的數(shù)據(jù)處理。

2014年，Informatica數(shù)據(jù)安全方案因滿足市場(chǎng)熱點(diǎn)需求而成為業(yè)務(wù)增長(zhǎng)較快的單元。而另一種市場(chǎng)需求很大的是數(shù)據(jù)歸檔類(lèi)方案。企業(yè)經(jīng)過(guò)幾年發(fā)展，積累了大量歷史數(shù)據(jù)希望存檔，Informatica提供了一些運(yùn)算、存儲(chǔ)等系列新技術(shù)，能夠?qū)v史數(shù)據(jù)進(jìn)行歸檔、留存及分析，實(shí)現(xiàn)全生命周期數(shù)據(jù)的管理。

Informatica的 IDP理念

大數(shù)據(jù)時(shí)代最缺乏的是什么?是對(duì)數(shù)據(jù)能夠有效掌握和分析的人，這不僅僅是指高端的數(shù)據(jù)分析專家，更是包括能夠有效的獲取和利用數(shù)據(jù)價(jià)值的企業(yè)業(yè)務(wù)人員。Informatica IDP(Intelligent Data Platform)智能數(shù)據(jù)集成平臺(tái)，可以讓業(yè)務(wù)部門(mén)成為真正數(shù)據(jù)受益者，IDP直接面向業(yè)務(wù)部門(mén)，將人員、位置與事物以更加智能的方式緊密相連，業(yè)務(wù)人員可以根據(jù)自己的需求，自助式的獲得他所要的數(shù)據(jù)。

從實(shí)現(xiàn)手段來(lái)看，IDP并不是一個(gè)IT工具，更像是一個(gè)平臺(tái)，包括數(shù)據(jù)的自助式服務(wù)、數(shù)據(jù)的虛擬化等等，這些方法從底層通過(guò)技術(shù)的手段將各種各樣的數(shù)據(jù)呈現(xiàn)到最終業(yè)務(wù)用戶面前，讓他們自由地選擇希望使用、瀏覽、分析什么樣的數(shù)據(jù)，甚至能夠參與到數(shù)據(jù)的操作過(guò)程中來(lái)。目前IDP還沒(méi)有落地的產(chǎn)品，但是從發(fā)展理念來(lái)看，這是將Informatica傳統(tǒng)業(yè)務(wù)、優(yōu)勢(shì)產(chǎn)品與智能化產(chǎn)品進(jìn)行組合的一整套解決方案。