大數(shù)據(jù)時代的數(shù)據(jù)分析淺析

近些年，由于以社交網(wǎng)站、基于位置的服務(wù)LBS 等為代表的新型信息產(chǎn)生方式的涌現(xiàn)，以及云計算、移動和物聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，無處不在的移動、無線傳感器等設(shè)備無時不刻都在產(chǎn)生數(shù)據(jù)，數(shù)以億計用戶的互聯(lián)網(wǎng)服務(wù)時時刻刻都在產(chǎn)生著數(shù)據(jù)交互，大數(shù)據(jù)時代已經(jīng)到來。在當(dāng)下，大數(shù)據(jù)炙手可熱，不管是企業(yè)還是個人都在談?wù)摶蛘邚氖麓髷?shù)據(jù)相關(guān)的話題與業(yè)務(wù)，我們創(chuàng)造大數(shù)據(jù)同時也被大數(shù)據(jù)時代包圍。雖然大數(shù)據(jù)的市場前景讓人充滿期待，但是在公眾眼中，對于數(shù)據(jù)量早已逾越TB、增長率驚人、實時性高的大數(shù)據(jù)，如何分析、管理、利用大數(shù)據(jù)等工作仍將面臨若干的挑戰(zhàn)。
    目前，對于大數(shù)據(jù)的定義尚未達成完全的共識。維基百科對大數(shù)據(jù)的定義為：所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到獲取、管理、處理、并整理幫助企業(yè)經(jīng)營決策更積極目的的資訊?；ヂ?lián)網(wǎng)數(shù)據(jù)中心對大數(shù)據(jù)的定義為：為更經(jīng)濟地從高頻率的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價值而設(shè)計的新一代構(gòu)架和技術(shù)。所有對大數(shù)據(jù)的定義基本上是從大數(shù)據(jù)的特征出發(fā)，通過這些特征的闡述和歸納給出其定義。在這些定義中，可將大數(shù)據(jù)的特點總結(jié)為：規(guī)模性（volume）、多樣性（variety）、高速型（velocity）和價值性（value）。
   1.大數(shù)據(jù)的可視化分析
    從最初的數(shù)據(jù)集成到數(shù)據(jù)分析，直到最后的數(shù)據(jù)解釋，數(shù)據(jù)易用性應(yīng)當(dāng)貫穿整大數(shù)據(jù)分析的流程。大數(shù)據(jù)時代的數(shù)據(jù)量大且數(shù)據(jù)結(jié)構(gòu)多樣化，其復(fù)雜程度早已超過了傳統(tǒng)意義上的關(guān)系數(shù)據(jù)庫。另外，隨著大數(shù)據(jù)已經(jīng)滲透到人們生活的各個領(lǐng)域，很多行業(yè)都開始增加對大數(shù)據(jù)的需求。但普通用戶往往更關(guān)心結(jié)果的展示，數(shù)據(jù)的復(fù)雜性限制了普通用戶從大數(shù)據(jù)中直接獲取知識。因此，數(shù)據(jù)的可視化在進行大數(shù)據(jù)的分析工作時應(yīng)當(dāng)被研究工作者加以重視并進一步提升。
    （1）可視化技術(shù)。可視化技術(shù)是目前解釋大量數(shù)據(jù)最有效的手段之一，通過將分析結(jié)果用形象的可視化方式向用戶展示結(jié)果，且圖形化方式比傳統(tǒng)的文字展示方式更容易理解與接收。在數(shù)據(jù)可視化中，數(shù)據(jù)結(jié)果展現(xiàn)從底層的平臺處理的數(shù)據(jù)挖掘結(jié)果中的圖片，映射關(guān)系或表格，以簡單，友好，醫(yī)用的圖形化，智能化的形式呈現(xiàn)給用戶供其分析使用。目前面對大數(shù)據(jù)常見的可視化技術(shù)有標(biāo)簽云（tag cloud）、歷史流（history flow）、空間信息流（spatial information flow）等。對級數(shù)達到PB 甚至更大的大數(shù)據(jù)，傳統(tǒng)的圖表方式已經(jīng)很難實現(xiàn)其可視化，需引進能夠快速而準(zhǔn)確地處理海量數(shù)據(jù)的科學(xué)計算方法?？茖W(xué)計算可以用2D,3D 的圖形實現(xiàn)數(shù)據(jù)的可視化，為數(shù)據(jù)分心及研究提供了更加直觀的表現(xiàn)形式，其涉及計算機圖形學(xué)，圖像處理，計算機視覺及圖形用戶界面等多個研究領(lǐng)域。數(shù)據(jù)的可視化全球最大的商業(yè)網(wǎng)站之一eBay 選擇Tableau 公司提供的數(shù)據(jù)可視化軟件，使得在給定的時間內(nèi)，所有員工都能夠看到圖形化的搜索聯(lián)系及監(jiān)督客戶的反饋及情感分析，為eBay 帶去了商業(yè)的洞察力。
    （2）Web 可視化。網(wǎng)絡(luò)的飛速發(fā)展、網(wǎng)絡(luò)性能的不斷提升，使得基于Web 的數(shù)據(jù)可視技術(shù)成為一個熱點。網(wǎng)絡(luò)上已有很多的Web 圖表工具，它們常用來展現(xiàn)股票、天氣數(shù)據(jù)等。目前最為廣泛使用的是JavaScript、Flash、Java Applet 等，這些技術(shù)都可以實現(xiàn)在Web 上的圖形繪制。對于需要處理萬級以上的大數(shù)據(jù)量的科學(xué)計算數(shù)據(jù)，可以采用EJSChart 或者JFreeChart，其繪圖速度快、兼容性強且具有良好的交互性，可以作為首選的繪圖工具；對于繪圖工具的開發(fā)，可以選擇JavaScript 和Flash，這兩者繪圖速度快且差異不大?，F(xiàn)在很多瀏覽器支持HTML5，包括手機和平板電腦，如果要求具有更好的跨平臺兼容性，JavaScript 是個不錯的選擇。
    2.數(shù)據(jù)挖掘常用的方法
    在大數(shù)據(jù)時代，數(shù)據(jù)挖掘是最關(guān)鍵的工作。大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機的大型數(shù)據(jù)庫中發(fā)現(xiàn)隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。其主要基于人工智能，機器學(xué)習(xí)，模式學(xué)習(xí)，統(tǒng)計學(xué)等。通過對大數(shù)據(jù)高度自動化地分析，做出歸納性的推理，從中挖掘出潛在的模式，可以幫助企業(yè)、商家、用戶調(diào)整市場政策、減少風(fēng)險、理性面對市場，并做出正確的決策。目前，在很多領(lǐng)域尤其是在商業(yè)領(lǐng)域如銀行、電信、電商等，數(shù)據(jù)挖掘可以解決很多問題，包括市場營銷策略制定、背景分析、企業(yè)管理危機等。大數(shù)據(jù)的挖掘常用的方法有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)方法、Web 數(shù)據(jù)挖掘等。這些方法從不同的角度對數(shù)據(jù)進行挖掘。
    （1）分類。分類是找出數(shù)據(jù)庫中的一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到摸個給定的類別中?？梢詰?yīng)用到涉及到應(yīng)用分類、趨勢預(yù)測中，如淘寶商鋪將用戶在一段時間內(nèi)的購買情況劃分成不同的類，根據(jù)情況向用戶推薦關(guān)聯(lián)類的商品，從而增加商鋪的銷售量。
    （2）回歸分析。回歸分析反映了數(shù)據(jù)庫中數(shù)據(jù)的屬性值的特性，通過函數(shù)表達數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系。它可以應(yīng)用到對數(shù)據(jù)序列的預(yù)測及相關(guān)關(guān)系的研究中去。在市場營銷中，回歸分析可以被應(yīng)用到各個方面。如通過對本季度銷售的回歸分析，對下一季度的銷售趨勢作出預(yù)測并做出針對性的營銷改變。
    （3）聚類。聚類類似于分類，但與分類的目的不同，是針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。屬于同一類別的數(shù)據(jù)間的相似性很大，但不同類別之間數(shù)據(jù)的相似性很小，跨類的數(shù)據(jù)關(guān)聯(lián)性很低。
    （4）關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則是隱藏在數(shù)據(jù)項之間的關(guān)聯(lián)或相互關(guān)系，即可以根據(jù)一個數(shù)據(jù)項的出現(xiàn)推導(dǎo)出其他數(shù)據(jù)項的出現(xiàn)。關(guān)聯(lián)規(guī)則的挖掘過程主要包括兩個階段：第一階段為從海量原始數(shù)據(jù)中找出所有的高頻項目組；第二極端為從這些高頻項目組產(chǎn)生關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則挖掘技術(shù)已經(jīng)被廣泛應(yīng)用于金融行業(yè)企業(yè)中用以預(yù)測客戶的需求，各銀行在自己的ATM 機上通過捆綁客戶可能感興趣的信息供用戶了解并獲取相應(yīng)信息來改善自身的營銷。
    （5）神經(jīng)網(wǎng)絡(luò)方法。神經(jīng)網(wǎng)絡(luò)作為一種先進的人工智能技術(shù)，因其自身自行處理、分布存儲和高度容錯等特性非常適合處理非線性的以及那些以模糊、不完整、不嚴密的知識或數(shù)據(jù)為特征的處理問題，它的這一特點十分適合解決數(shù)據(jù)挖掘的問題。典型的神經(jīng)網(wǎng)絡(luò)模型主要分為三大類：第一類是以用于分類預(yù)測和模式識別的前饋式神經(jīng)網(wǎng)絡(luò)模型，其主要代表為函數(shù)型網(wǎng)絡(luò)、感知機；第二類是用于聯(lián)想記憶和優(yōu)化算法的反饋式神經(jīng)網(wǎng)絡(luò)模型，以Hopfield 的離散模型和連續(xù)模型為代表。第三類是用于聚類的自組織映射方法，以ART 模型為代表。雖然神經(jīng)網(wǎng)絡(luò)有多種模型及算法，但在特定領(lǐng)域的數(shù)據(jù)挖掘中使用何種模型及算法并沒有統(tǒng)一的規(guī)則，而且人們很難理解網(wǎng)絡(luò)的學(xué)習(xí)及決策過程。
    （6）Web數(shù)據(jù)挖掘。Web數(shù)據(jù)挖掘是一項綜合性技術(shù)，指Web 從文檔結(jié)構(gòu)和使用的集合C 中發(fā)現(xiàn)隱含的模式P，如果將C看做是輸入，P 看做是輸出，那么Web 挖掘過程就可以看做是從輸入到輸出的一個映射過程。其流程如圖所示：

圖1 Web數(shù)據(jù)挖流程圖
    當(dāng)前越來越多的Web 數(shù)據(jù)都是以數(shù)據(jù)流的形式出現(xiàn)的，因此對Web 數(shù)據(jù)流挖掘就具有很重要的意義。目前常用的Web數(shù)據(jù)挖掘算法有：PageRank算法，HITS算法以及LOGSOM 算法。這三種算法提到的用戶都是籠統(tǒng)的用戶，并沒有區(qū)分用戶的個體。目前Web 數(shù)據(jù)挖掘面臨著一些問題，包括：用戶的分類問題、網(wǎng)站內(nèi)容時效性問題，用戶在頁面停留時間問題，頁面的鏈入與鏈出數(shù)問題等。在Web 技術(shù)高速發(fā)展的今天，這些問題仍舊值得研究并加以解決。
    3.數(shù)據(jù)分析技術(shù)
    數(shù)據(jù)的分析是大數(shù)據(jù)處理的核心。傳統(tǒng)數(shù)據(jù)分析主要是針對結(jié)構(gòu)化數(shù)據(jù)，其大致過程為：首先利用數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)，在此基礎(chǔ)上構(gòu)建數(shù)據(jù)倉庫，根據(jù)需要再構(gòu)建相應(yīng)立方體并進行聯(lián)機分析處理。這一過程在處理相對較少的結(jié)構(gòu)化數(shù)據(jù)時非常高效。但對于大數(shù)據(jù)而言，分析技術(shù)面臨3 個直觀問題：大容量數(shù)據(jù)、多格式數(shù)據(jù)及分析速度，這使得標(biāo)準(zhǔn)存儲技術(shù)無法對大數(shù)據(jù)進行存儲，從而需要引進更加合理的分析平臺進行大數(shù)據(jù)分析。目前，開源的Hadoop 是廣泛應(yīng)用的大數(shù)據(jù)處理技術(shù)，它也是分析處理大數(shù)據(jù)的核心技術(shù)。
   Hadoop是一個基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架，用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運算和存儲。其基本工作原理為：將規(guī)模巨大的數(shù)據(jù)分解成較小、易訪問的批量數(shù)據(jù)并分發(fā)到多臺服務(wù)器來分析。主要包括文件系統(tǒng)（HDFS）、數(shù)據(jù)處理（MapReduce）兩部分功能模塊，最底層是HDFS 用來存儲Hadoop集群中所有存儲節(jié)點上的文件，HDFS 上一層是MapReduce 引擎，該引擎由Job Trackers 和Task Trackers 組成。其組成架構(gòu)如圖所示：

圖2Hadoop組成架構(gòu)圖
    鑒于商用的硬件集群上。所謂商用硬件并非低端硬件，其故障率比低端硬件要低很多。Hadoop不需要運行在價格昂貴并且高度可靠的硬件上，即使對于節(jié)點故障的幾率較高的龐大集群，HDFS在遇到故障時仍能夠繼續(xù)運行且不讓用戶察覺到明顯的中斷，這種設(shè)計降低了對機器的維護成本，尤其是在用戶管理上百臺甚至上千臺機器時。
   Hadoop的設(shè)計是基于一次寫入、多次讀取的高效訪問模式。每次對數(shù)據(jù)的分析會涉及到數(shù)據(jù)所在的整個數(shù)據(jù)集，這種高數(shù)據(jù)的吞吐量會造成高的時間延遲，對于低延遲的數(shù)據(jù)訪問，HBase是更好的選擇。HDFS 采用master/slave 的構(gòu)架，即一個HDFS集群由一個NameNode（master）和多個DataNode（slave）組成。NameNode 是一個中心服務(wù)器，負責(zé)管理HDFS 的命名空間，并維護HDFS 的所有文件及目錄。這些信息以命名空間鏡像文件和編輯日志文件的形式永久地保存在本地磁盤上。它還記錄著每個文件中各個塊所在的DataNode 信息，但不永久保存塊的位置信息，因為DataNode 會在系統(tǒng)啟動時重新建立新的位置信息。同時，NameCode 還負責(zé)控制外部Client 的訪問。
    DataNode 是HDFS 的工作節(jié)點，在集群中一般為一個機器節(jié)點一個，負責(zé)管理節(jié)點上附帶的存儲。它們根據(jù)客戶端需要或NameNode 調(diào)度存儲并檢索數(shù)據(jù)塊（Block），執(zhí)行創(chuàng)建、刪除和復(fù)制數(shù)據(jù)塊的命令，并定期向NameNode 發(fā)送存儲數(shù)據(jù)塊列表的動態(tài)信息，NameNode 獲取每個DataNode 的動態(tài)信息并據(jù)此驗證塊映射和文件系統(tǒng)元數(shù)據(jù)。
   3.2 MapReduce
    MapReduce是用于處理大數(shù)據(jù)的軟件框架。其核心設(shè)計思想為：將問題分塊處理，把計算推到數(shù)據(jù)而非把數(shù)據(jù)推向計算。最簡單的MapReduce應(yīng)用程序至少包含3 個部分：Map函數(shù)、Reduce 函數(shù)和main函數(shù)，其模型相對簡單，將用戶的原始數(shù)據(jù)進行分塊，然后交給不同的Map任務(wù)區(qū)執(zhí)行Map函數(shù)處理輸出中間結(jié)果，Reduce函數(shù)讀取數(shù)據(jù)列表并對數(shù)據(jù)進行排序并輸出最終結(jié)果。其流程如圖所示：
   3.3Hadoop的優(yōu)勢及問題
   Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，同時是以一種可靠、高效、可伸縮的方式進行處理?？煽渴且驗樗僭O(shè)計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理；高效是因為它以并行的方式工作，通過并行處理加快處理速度；可伸縮是說它能夠處理PB 級數(shù)據(jù)。
    但與其他新興科技一樣，Hadoop同樣面臨一些需要解決的問題。（1）目前Hadoop缺乏企業(yè)級的數(shù)據(jù)保護功能，開發(fā)人員必須手動設(shè)置HDFS 的數(shù)據(jù)復(fù)制參數(shù)， 而依賴開發(fā)人員來確定復(fù)制參數(shù)很可能會導(dǎo)致對存儲空間的浪費。（2）Hadoop需要投資建設(shè)專用的計算集群，但這通常會產(chǎn)生獨立存儲、計算資源以及存儲或CPU 資源利用問題，且這種存儲在與其他程序的共享問題中也存在兼容性問題。
   4.預(yù)測性分析能力
    對數(shù)據(jù)挖掘可以讓用戶更好的理解數(shù)據(jù)，而對大數(shù)據(jù)進行預(yù)測性分析可以讓用戶根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷。
    與傳統(tǒng)的數(shù)據(jù)分析相比較，大數(shù)據(jù)分析的一個重要目標(biāo)就是從海量，數(shù)據(jù)繁多的數(shù)據(jù)庫中找出隱藏的規(guī)律，使數(shù)據(jù)庫發(fā)揮最大的價值。數(shù)據(jù)的價值遠不止于數(shù)據(jù)本身，而是隱藏在數(shù)據(jù)之間的關(guān)系隱含的知識。比如，現(xiàn)在企業(yè)與客戶之間的接觸途道和界面越來越豐富，而這些途徑承載了客戶與企業(yè)之間、客戶與產(chǎn)品之間、客戶與品牌之間的大量互動信息與數(shù)據(jù)。如果可將這些數(shù)據(jù)整合，企業(yè)便有更多的機會準(zhǔn)確了解現(xiàn)有的用戶及挖掘潛在的用戶群體。
    為了充分發(fā)揮和利用大數(shù)據(jù)的價值，對可視化分析及數(shù)據(jù)挖掘后的結(jié)果進行預(yù)測性分析。在大數(shù)據(jù)時代，對數(shù)據(jù)進行預(yù)測性分析，為企業(yè)帶來了洞察客戶的機會，更全面更深入地了解和把握客戶的需求特征、興趣愛好、消費傾向和消費心理等，幫助企業(yè)提升運營管理能力及績效。
    5.結(jié)論
    隨著數(shù)據(jù)爆炸式的增長，我們正被各種數(shù)據(jù)包圍著。正確利用大數(shù)據(jù)將給人們帶來極大的便利，但與此同時也給傳統(tǒng)的數(shù)據(jù)分析帶來了技術(shù)的挑戰(zhàn)。本文對大數(shù)據(jù)的分析關(guān)鍵技術(shù)進行了詳細的分析，主要闡述了大數(shù)據(jù)分析時的可視化技術(shù)、挖掘技術(shù)、分析技術(shù)以數(shù)據(jù)挖掘后的預(yù)測性分析問題。總的來說，雖然我們已經(jīng)進入大數(shù)據(jù)時代，但是“大數(shù)據(jù)”技術(shù)還仍處于起步階段，進一步地開發(fā)以完善大數(shù)據(jù)分析技術(shù)仍舊是大數(shù)據(jù)研究課題的熱點。