數(shù)據(jù)融合的六個基本步驟

數(shù)據(jù)融合：大數(shù)據(jù)分析的瓶頸

數(shù)據(jù)處理新工具使數(shù)據(jù)科學(xué)家從數(shù)據(jù)準備的繁瑣工作中解放出來，但如何根據(jù)每個數(shù)據(jù)分析項目量體定制，融合多源數(shù)據(jù)以形成有效的分析數(shù)據(jù)集仍是數(shù)據(jù)科學(xué)家必須面對的一個更具挑戰(zhàn)性的瓶頸。

利用互聯(lián)網(wǎng)購物的營銷數(shù)據(jù)來追蹤和勾畫消費行為并以此為據(jù)促銷是大數(shù)據(jù)應(yīng)用的成功典型案例。有些人已此將大數(shù)據(jù)吹得神乎其神，好像它能成為萬能藥。其實，這只是大數(shù)據(jù)應(yīng)用中的很小一部分。作為智能決策的支持手段之一，大數(shù)據(jù)在企業(yè)、事業(yè)、政府、社會管理和發(fā)展上的應(yīng)用是更重要的挑戰(zhàn)。在這里，多源數(shù)據(jù)的融合就成為大數(shù)據(jù)分析中的瓶頸。

每個親身參加過大數(shù)據(jù)項目的數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、數(shù)據(jù)庫管理員都會告訴你，項目的80%的時間和經(jīng)費花在數(shù)據(jù)的準備工作上。這其中多源數(shù)據(jù)的融合是最耗費資源的任務(wù)之一。難怪最近紐約時報驚呼：“數(shù)據(jù)科學(xué)家把高達 80%的時間用于數(shù)據(jù)準備而不是用來發(fā)現(xiàn)新的商業(yè)智能”。

傳統(tǒng)的統(tǒng)計分析經(jīng)常是對單一數(shù)據(jù)源(營銷數(shù)據(jù)、行政報表、問卷調(diào)查、人口普查等)進行深入的追蹤和分析。分析人員對數(shù)據(jù)的來源和結(jié)構(gòu)有一定的控制和深層的了解。在大數(shù)據(jù)時代，數(shù)據(jù)源是多樣的、自然形成的、海量的數(shù)據(jù)常常是半結(jié)構(gòu)或無結(jié)構(gòu)的。這就要求數(shù)據(jù)科學(xué)家和分析師駕馭多樣、多源的數(shù)據(jù)，將它們梳理后進行挖掘和分析。在這個過程中，數(shù)據(jù)融合(data blending)就成為不可或缺的一步。

數(shù)據(jù)融合與數(shù)據(jù)倉庫(Data Warehouse)、數(shù)據(jù)一體化(Data Integration)不同。它的目的不是將一個企業(yè)(Enterprise)或組織的所有數(shù)據(jù)集中在一起并標準化而產(chǎn)生唯一的真相(Single Truth)。它是以產(chǎn)生決策智能為目標將多種數(shù)據(jù)源中的相關(guān)數(shù)據(jù)提取、融合、梳理整合成一個分析數(shù)據(jù)集(Analytic Dataset)。這個分析數(shù)據(jù)集是個獨立的和靈活的實體，可隨數(shù)據(jù)源的變化重組、調(diào)整和更新。數(shù)據(jù)融合勝于數(shù)據(jù)倉庫和數(shù)據(jù)一體化的另一點是它能包容多源數(shù)據(jù)。

數(shù)據(jù)融合有六個基本步驟：

連接所需多源數(shù)據(jù)庫并獲取相關(guān)數(shù)據(jù)，

研究和理解所獲得的數(shù)據(jù)，

梳理和清理數(shù)據(jù)，

數(shù)據(jù)轉(zhuǎn)換和建立結(jié)構(gòu)，

數(shù)據(jù)組合，

建立分析數(shù)據(jù)集。

這個過程的每一步都需要數(shù)據(jù)工作者認真細致的思考、辨認、測試、清理、最后產(chǎn)生可信賴、有意義的分析數(shù)據(jù)庫。在過去，這個數(shù)據(jù)準備過程很大程度上是通過手動，十分費時和艱辛。即使有數(shù)據(jù)處理的軟件(如Excel, SAS, SPSS等)，每個數(shù)據(jù)工作者也都是自己使用所熟悉的工具，形成個性化的，充其量是半自動的數(shù)據(jù)準備程序。最近幾年，大數(shù)據(jù)技術(shù)公司將數(shù)據(jù)處理整合過程中相關(guān)技術(shù)集合，組合，提升后開發(fā)出專門用于數(shù)據(jù)融合的新工具。應(yīng)用這些直觀、可視、高效的軟件工具，數(shù)據(jù)準備的過程的工效大大提高，在一定程度上解決了數(shù)據(jù)融合的技術(shù)瓶頸。

數(shù)據(jù)融合的另一瓶頸是思維。打個比方，數(shù)據(jù)融合就像水泥的現(xiàn)場合成。水泥制作可以從人工攪拌變?yōu)闄C械合成，提高了工效。但水泥配置仍需要正確的配方;沙、石、混凝土的比例，以及相關(guān)化學(xué)成份的添加對達到水泥的質(zhì)量標準至關(guān)重要。數(shù)據(jù)處理新工具使數(shù)據(jù)科學(xué)家從數(shù)據(jù)準備的繁瑣工作中解放了出來，但如何根據(jù)每個數(shù)據(jù)分析項目量體定制，融合多源數(shù)據(jù)以形成有效的分析數(shù)據(jù)集仍是數(shù)據(jù)科學(xué)家必須面對的一個更具挑戰(zhàn)性的瓶頸。

多源的數(shù)據(jù)可以歸納為三大類：

一手數(shù)據(jù)(Primary Data)，包括企業(yè)或組織直接采集掌控的內(nèi)部運行數(shù)據(jù)和營銷數(shù)據(jù)，

二級數(shù)據(jù)(Secondary Data)，第三者采集、整理、和提供的二手數(shù)據(jù)，如經(jīng)濟指標、人口普查、民意調(diào)查、網(wǎng)路數(shù)據(jù)等，

科學(xué)數(shù)據(jù)(Scientific Data)，包括科學(xué)研究 的成果、指數(shù)、算法、模型等。

這三類數(shù)據(jù)為數(shù)據(jù)為驅(qū)動的智能決策提供了不同的觀察角度。一手數(shù)據(jù)具體、靈活、快速積累能夠?qū)崟r或接近實時地為決策者提供監(jiān)測、追蹤、描述信息。二級數(shù)據(jù)一般是定期公布的數(shù)據(jù)，它能提供國家、地區(qū)、行業(yè)的狀況信息，成為數(shù)據(jù)分析中的可比性坐標?？茖W(xué)數(shù)據(jù)的更新是不定時的，但它代表著目前科研成果，對數(shù)據(jù)分析的建模和算法提供科學(xué)基礎(chǔ)。在大數(shù)據(jù)分析項目中，數(shù)據(jù)科學(xué)家需要針對具體研究課題同時收集、整理、融合相關(guān)的三類數(shù)據(jù)。數(shù)據(jù)科學(xué)家的水平就體現(xiàn)在將三類數(shù)據(jù)合理、有效、有意義的融合上。

數(shù)據(jù)融合是目前大數(shù)據(jù)應(yīng)用和智能決策過程中一個瓶頸。這個挑戰(zhàn)引發(fā)了新一輪大數(shù)據(jù)工具的快速發(fā)展。根據(jù)2016年高德納公司數(shù)據(jù)管理和分析軟件工具的評估報告，自我服務(wù)式數(shù)據(jù)準備軟件(Self-service Data Preparation)已成為發(fā)展最快的工具之一。這一發(fā)展趨勢應(yīng)引起我們的關(guān)注。同時，數(shù)據(jù)融合的思維瓶頸仍是所有數(shù)據(jù)科學(xué)家必須面對的更高層次的挑戰(zhàn)。