大數(shù)據(jù)還處于探索期_數(shù)據(jù)分析師考試

大數(shù)據(jù)市場還在持續(xù)升溫。但是在人們?yōu)榇髷?shù)據(jù)時代的到來歡呼雀躍的同時，又有誰能真正說得清如何更好地利用大數(shù)據(jù)，并正確挖掘出其大數(shù)據(jù)的價值呢?

數(shù)據(jù)隱私與數(shù)據(jù)開放

如今，信息安全已經(jīng)被提升到國家戰(zhàn)略的層面。在IT領(lǐng)域，政府強調(diào)自主、可控創(chuàng)新，其中一個很重要的原因就是為了保證信息的安全。在面對云計算、大數(shù)據(jù)的浪潮時，企業(yè)都更加關(guān)注數(shù)據(jù)的安全、隱私問題。

敏感的個人身份、財務(wù)和健康信息正受到越來越多來自不同行業(yè)和政府的數(shù)據(jù)隱私法規(guī)的保護(hù)。如果一個企業(yè)無法保護(hù)數(shù)據(jù)隱私，不僅會面臨嚴(yán)重的財務(wù)和法律懲罰，同時也會令客戶和市場對這家企業(yè)的信心受損。在這種情況下，數(shù)據(jù)脫敏技術(shù)應(yīng)運而生，并且在最近兩年被越來越多的企業(yè)用戶所采用。Informatica在數(shù)據(jù)讀取和使用兩方面，使用動態(tài)或靜態(tài)的數(shù)據(jù)脫敏手段來保證數(shù)據(jù)的隱私，在保存數(shù)據(jù)原始特征的同時改變它的數(shù)值，從而保護(hù)敏感數(shù)據(jù)免于未經(jīng)授權(quán)的訪問，同時又可以讓具有權(quán)限的人進(jìn)行相關(guān)的數(shù)據(jù)處理。

2014年，Informatica的數(shù)據(jù)安全方案成為增長較快的業(yè)務(wù)之一。除了安全解決方案以外，另一類市場需求較大的方案是數(shù)據(jù)歸檔類方案。經(jīng)過多年的發(fā)展，大多數(shù)企業(yè)都積累了海量的歷史數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行存檔，不僅可以更長久、安全地保護(hù)數(shù)據(jù)，而且可以有效地降低數(shù)據(jù)保護(hù)的成本。Informatica提供了一系列運算、存儲等方面的新技術(shù)，能夠?qū)v史數(shù)據(jù)進(jìn)行歸檔、留存和分析，從而實現(xiàn)全生命周期數(shù)據(jù)的管理。

在強調(diào)數(shù)據(jù)隱私、數(shù)據(jù)安全的同時，我們也注意到各行各業(yè)對數(shù)據(jù)公開的呼聲越來越高漲。大數(shù)據(jù)只有得到充分的共享才能真正發(fā)揮其應(yīng)有的價值。

在今年的“兩會”期間，來自IT界的全國人大代表、政協(xié)委員都談到了政府?dāng)?shù)據(jù)公開的問題，甚至為此提出了積極的建議。騰訊公司董事會主席兼首席執(zhí)行官馬化騰在參加廣東代表團(tuán)全體會議時就表示，為了更好地推動互聯(lián)網(wǎng)與其他產(chǎn)業(yè)的融合，政府應(yīng)該研究制定公共數(shù)據(jù)開放戰(zhàn)略，將政府公共信息與數(shù)據(jù)向全社會開放，從而打破行業(yè)的信息孤島，確保社會公眾能及時獲取與使用公共信息，并逐步建立數(shù)據(jù)安全保護(hù)體系和數(shù)據(jù)開發(fā)利用的標(biāo)準(zhǔn)，確保數(shù)據(jù)的有效使用和相關(guān)方權(quán)益。

神州數(shù)碼控股有限公司董事局主席郭為也認(rèn)為，當(dāng)前，大數(shù)據(jù)應(yīng)用落地的關(guān)鍵不僅在于相關(guān)的技術(shù)，更在于資源的流通，即讓具有數(shù)據(jù)挖掘能力的一方可以方便地找到足夠大的數(shù)據(jù)庫去挖掘和分析。

現(xiàn)在，世界主要發(fā)達(dá)國家都非常重視政府?dāng)?shù)據(jù)開放，并制定了嚴(yán)格的規(guī)范或計劃。比如，2009年，美國提出了“開放政府計劃”，并設(shè)立政府?dāng)?shù)據(jù)開放門戶網(wǎng)站依托公眾力量對政府所持有的數(shù)據(jù)進(jìn)行加工利用。全國人大代表、浪潮集團(tuán)董事長兼CEO孫丕恕在“兩會”期間提出了“推動政府?dāng)?shù)據(jù)開放工作”的建議，主要內(nèi)容包括：加快政府開放數(shù)據(jù)的步伐，進(jìn)行統(tǒng)籌規(guī)劃;出臺指導(dǎo)意見和行動規(guī)劃，大力推動政府開放數(shù)據(jù)標(biāo)準(zhǔn)的制定工作;鼓勵社會化力量廣泛參與政府?dāng)?shù)據(jù)開放。

Informatica的技術(shù)專家表示，歡迎政府和相關(guān)企業(yè)開放數(shù)據(jù)。不過，因為各家的利益不同，數(shù)據(jù)不可能無條件地開放，畢竟還有數(shù)據(jù)的安全、數(shù)據(jù)利益的分配等實際問題要考慮。現(xiàn)在，國內(nèi)有一些行業(yè)，比如移動廣告業(yè)，已經(jīng)在考慮建立行業(yè)內(nèi)的數(shù)據(jù)共享平臺。

不是工具是平臺

提到大數(shù)據(jù)，你首先會想到什么?大數(shù)據(jù)分析工具，還是那些“高高在上”的數(shù)據(jù)科學(xué)家?Informatica公司大中國區(qū)首席產(chǎn)品顧問但彬表示，大數(shù)據(jù)時代最缺少的就是能夠有效掌握并分析數(shù)據(jù)的人。這些人不僅包括高端的數(shù)據(jù)分析專家，也包括能夠有效地獲取和利用數(shù)據(jù)價值的普通的企業(yè)業(yè)務(wù)人員。不過，大數(shù)據(jù)工具通常是復(fù)雜和難以掌握的。Informatica的一項使命就是如何讓大數(shù)據(jù)分析變得更容易。Informatica IDP(Intelligent Data Platform)智能數(shù)據(jù)集成平臺可以讓企業(yè)的業(yè)務(wù)部門真正成為數(shù)據(jù)價值的受益者。

Informatica IDP并不僅僅是一個IT工具，而更像是一個平臺，包括數(shù)據(jù)自助式服務(wù)、數(shù)據(jù)的虛擬化等。互聯(lián)網(wǎng)企業(yè)通常會強調(diào)細(xì)節(jié)和微創(chuàng)新，把產(chǎn)品的某一項功能做到極致，借此牢牢吸引大量用戶。但是企業(yè)級廠商則不同，它們更傾向于將產(chǎn)品平臺化。平臺化的好處是可以把盡量多的功能集成在一起，方便部署與管理，而且可以借平臺屏蔽底層架構(gòu)的復(fù)雜性。軟件廠商尤喜平臺化，數(shù)據(jù)保護(hù)廠商有數(shù)據(jù)保護(hù)和統(tǒng)一管理平臺，大數(shù)據(jù)產(chǎn)品廠商有大數(shù)據(jù)處理通用平臺等。

Informatica IDP就是一個集成化的平臺，它通過豐富的技術(shù)手段將各種各樣的數(shù)據(jù)呈現(xiàn)到最終用戶面前，讓它們可以自由地使用、瀏覽和分析各類數(shù)據(jù)，甚至可以親身參與數(shù)據(jù)的操作過程。Informatica IDP直接面向企業(yè)的業(yè)務(wù)部門，將人員、位置、事物以更加智能的方式緊密相連，業(yè)務(wù)人員可以根據(jù)自己的需求，自助式地獲得所要的數(shù)據(jù)。

Informatica IDP包含三大技術(shù)核心：第一，Informatica Vibe虛擬數(shù)據(jù)機。Vibe是一種嵌入式的數(shù)據(jù)處理引擎，可以提供針對任何位置、格式或來源的數(shù)據(jù)的普遍的訪問能力，且支持客戶“一次映射，多次部署”。第二，數(shù)據(jù)基礎(chǔ)設(shè)施。數(shù)據(jù)基礎(chǔ)設(shè)施層能夠在任何規(guī)模的環(huán)境中系統(tǒng)、連續(xù)地交付干凈、安全、互連的數(shù)據(jù)，從部門級到企業(yè)級，從事務(wù)數(shù)據(jù)到大數(shù)據(jù)，從內(nèi)部部署到云端皆可。第三，數(shù)據(jù)智能。Informatica獨創(chuàng)的數(shù)據(jù)智能層將為客戶重新定位數(shù)據(jù)基礎(chǔ)設(shè)施層所創(chuàng)建的元數(shù)據(jù)，從而提高數(shù)據(jù)的可見性，改善決策過程，并提升運營的智能化水平。Informatica IDP代表了Informatica對大數(shù)據(jù)處理的一種構(gòu)想和框架，具體的產(chǎn)品落地還需要一段時間。

大數(shù)據(jù)也像云計算一樣，正進(jìn)入落地的階段。大數(shù)據(jù)與企業(yè)的業(yè)務(wù)需求緊密相關(guān)。因此，大數(shù)據(jù)不僅僅是一個技術(shù)問題，而是包含很多管理、業(yè)務(wù)方面的內(nèi)容。企業(yè)只要購買了一套高端的數(shù)據(jù)挖掘工具，或者構(gòu)建了一個Hadoop平臺，就意味完成了大數(shù)據(jù)的任務(wù)嗎?當(dāng)然不是。因為除了設(shè)備、技術(shù)上的投資以外，企業(yè)還需要從組織結(jié)構(gòu)、人員意識、管理方式、企業(yè)文化等多方面實現(xiàn)徹底的轉(zhuǎn)變。大數(shù)據(jù)意味著一種思維上的全面變革。實施大數(shù)據(jù)項目前，企業(yè)還需要做很多準(zhǔn)備工作，包括人才、技術(shù)、工具等。在大數(shù)據(jù)方面，所有企業(yè)都是摸著石頭過河，走一步想一想，直到最后成功到達(dá)彼岸。

隨著大數(shù)據(jù)技術(shù)的發(fā)展，人在不斷更新管理思維的同時，也要對過去的一些想法、做法進(jìn)行修正和改變。但彬認(rèn)為，實現(xiàn)這一轉(zhuǎn)變的過程，不會像以前人們接受數(shù)據(jù)倉庫那樣需要花費20年時間，人們接受大數(shù)據(jù)的時間可能會縮短一半。因為在數(shù)據(jù)倉庫時代，數(shù)據(jù)倉庫是從無到有，而大數(shù)據(jù)則是從有到更好。企業(yè)已經(jīng)在建設(shè)數(shù)據(jù)倉庫的過程中積累了豐富的技術(shù)、經(jīng)驗、有效的管理方式，甚至是教訓(xùn)，這些方法和經(jīng)驗都值得大數(shù)據(jù)項目借鑒。

但彬認(rèn)為，大數(shù)據(jù)真正落地是從2014年才開始的。通過一些摸索、嘗試和積累，企業(yè)已經(jīng)有了大數(shù)據(jù)落地的基本思路，但距大數(shù)據(jù)的成功應(yīng)用還有很長的路要走。現(xiàn)在，我們經(jīng)?？吹降囊恍┧^的大數(shù)據(jù)的成功案例，很多是基于傳統(tǒng)的商務(wù)智能(BI)、數(shù)據(jù)倉庫(BW)改頭換面而來，或是新瓶裝舊酒而已。以數(shù)據(jù)倉庫的應(yīng)用為例，大約經(jīng)過將近20年，企業(yè)才真正認(rèn)同了其價值。“我們不能期望大數(shù)據(jù)短期內(nèi)就能獲得巨大成功。大數(shù)據(jù)被企業(yè)接受還需要一段時間，更需要慢慢沉淀和積累。”但彬表示。

大數(shù)據(jù)的發(fā)展是波浪式前進(jìn)的。目前，大數(shù)據(jù)的發(fā)展正處于第一個峰頂，還要經(jīng)過幾輪波峰波谷，才能讓企業(yè)真正認(rèn)識到大數(shù)據(jù)的價值。現(xiàn)在，我們看到的一些真實的大數(shù)據(jù)案例，不論是成功的還是失敗的，都會給我們啟示?！捌鋵?，嘗試就是一個良好的開端。只有經(jīng)過不過嘗試、摸索，才能慢慢接近大數(shù)據(jù)的最終目標(biāo)。頭幾年的報告顯示，企業(yè)的數(shù)據(jù)倉庫建設(shè)，大約80%的項目都以失敗告終。但仔細(xì)分析后發(fā)現(xiàn)，這些項目并不是失敗，而是在發(fā)展過程當(dāng)中沒有實現(xiàn)預(yù)期的價值而已。隨著經(jīng)驗的慢慢積累，大數(shù)據(jù)的應(yīng)用會越來越廣泛。”但彬表示。