大數(shù)據(jù)時(shí)代的數(shù)據(jù)分析淺析

  近些年，由于以社交網(wǎng)站、基于位置的服務(wù)LBS 等為代表的新型信息產(chǎn)生方式的涌現(xiàn)，以及云計(jì)算、移動(dòng)和物聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，無(wú)處不在的移動(dòng)、無(wú)線傳感器等設(shè)備無(wú)時(shí)不刻都在產(chǎn)生數(shù)據(jù)，數(shù)以億計(jì)用戶的互 聯(lián)網(wǎng)服務(wù)時(shí)時(shí)刻刻都在產(chǎn)生著數(shù)據(jù)交互，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)。在當(dāng)下，大數(shù)據(jù)炙手可熱，不管是企業(yè)還是個(gè)人都在談?wù)摶蛘邚氖麓髷?shù)據(jù)相關(guān)的話題與業(yè)務(wù)，我們創(chuàng) 造大數(shù)據(jù)同時(shí)也被大數(shù)據(jù)時(shí)代包圍。雖然大數(shù)據(jù)的市場(chǎng)前景讓人充滿期待，但是在公眾眼中，對(duì)于數(shù)據(jù)量早已逾越TB、增長(zhǎng)率驚人、實(shí)時(shí)性高的大數(shù)據(jù)，如何分 析、管理、利用大數(shù)據(jù)等工作仍將面臨若干的挑戰(zhàn)。
　　目前，對(duì)于大數(shù)據(jù)的定義尚未達(dá)成完全的共識(shí)。維基百科對(duì)大數(shù)據(jù)的定義為：所涉及的資料量規(guī)模 巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到獲取、管理、處理、并整理幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊?；ヂ?lián)網(wǎng)數(shù)據(jù)中心對(duì)大數(shù)據(jù)的定義為：為更經(jīng) 濟(jì)地從高頻率的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價(jià)值而設(shè)計(jì)的新一代構(gòu)架和技術(shù)。所有對(duì)大數(shù)據(jù)的定義基本上是從大數(shù)據(jù)的特征出發(fā)，通過(guò)這些特征的闡 述和歸納給出其定義。在這些定義中，可將大數(shù)據(jù)的特點(diǎn)總結(jié)為：規(guī)模性(volume)、多樣性(variety)、高速型(velocity)和價(jià)值性 (value)。
　　1.大數(shù)據(jù)的可視化分析
　　從最初的數(shù)據(jù)集成到數(shù)據(jù)分析，直到最后的數(shù)據(jù)解釋，數(shù)據(jù)易用性應(yīng)當(dāng)貫穿整大數(shù)據(jù)分析的流 程。大數(shù)據(jù)時(shí)代的數(shù)據(jù)量大且數(shù)據(jù)結(jié)構(gòu)多樣化，其復(fù)雜程度早已超過(guò)了傳統(tǒng)意義上的關(guān)系數(shù)據(jù)庫(kù)。另外，隨著大數(shù)據(jù)已經(jīng)滲透到人們生活的各個(gè)領(lǐng)域，很多行業(yè)都開(kāi) 始增加對(duì)大數(shù)據(jù)的需求。但普通用戶往往更關(guān)心結(jié)果的展示，數(shù)據(jù)的復(fù)雜性限制了普通用戶從大數(shù)據(jù)中直接獲取知識(shí)。因此，數(shù)據(jù)的可視化在進(jìn)行大數(shù)據(jù)的分析工作 時(shí)應(yīng)當(dāng)被研究工作者加以重視并進(jìn)一步提升。
　　(1)可視化技術(shù)?？梢暬夹g(shù)是目前解釋大量數(shù)據(jù)最有效的手段之一，通過(guò)將分析結(jié)果用形象的可視化 方式向用戶展示結(jié)果，且圖形化方式比傳統(tǒng)的文字展示方式更容易理解與接收。在數(shù)據(jù)可視化中，數(shù)據(jù)結(jié)果展現(xiàn)從底層的平臺(tái)處理的數(shù)據(jù)挖掘結(jié)果中的圖片，映射關(guān) 系或表格，以簡(jiǎn)單，友好，醫(yī)用的圖形化，智能化的形式呈現(xiàn)給用戶供其分析使用。目前面對(duì)大數(shù)據(jù)常見(jiàn)的可視化技術(shù)有標(biāo)簽云(tag cloud)、歷史流(history flow)、空間信息流(spatial information flow)等。對(duì)級(jí)數(shù)達(dá)到PB 甚至更大的大數(shù)據(jù)，傳統(tǒng)的圖表方式已經(jīng)很難實(shí)現(xiàn)其可視化，需引進(jìn)能夠快速而準(zhǔn)確地處理海量數(shù)據(jù)的科學(xué)計(jì)算方法?？茖W(xué)計(jì)算可以用2D,3D 的圖形實(shí)現(xiàn)數(shù)據(jù)的可視化，為數(shù)據(jù)分心及研究提供了更加直觀的表現(xiàn)形式，其涉及計(jì)算機(jī)圖形學(xué)，圖像處理，計(jì)算機(jī)視覺(jué)及圖形用戶界面等多個(gè)研究領(lǐng)域。數(shù)據(jù)的可 視化全球最大的商業(yè)網(wǎng)站之一eBay 選擇Tableau 公司提供的數(shù)據(jù)可視化軟件，使得在給定的時(shí)間內(nèi)，所有員工都能夠看到圖形化的搜索聯(lián)系及監(jiān)督客戶的反饋及情感分析，為eBay 帶去了商業(yè)的洞察力。
　 　(2)Web 可視化。網(wǎng)絡(luò)的飛速發(fā)展、網(wǎng)絡(luò)性能的不斷提升，使得基于Web 的數(shù)據(jù)可視技術(shù)成為一個(gè)熱點(diǎn)。網(wǎng)絡(luò)上已有很多的Web 圖表工具，它們常用來(lái)展現(xiàn)股票、天氣數(shù)據(jù)等。目前最為廣泛使用的是JavaScript、Flash、Java Applet 等，這些技術(shù)都可以實(shí)現(xiàn)在Web 上的圖形繪制。對(duì)于需要處理萬(wàn)級(jí)以上的大數(shù)據(jù)量的科學(xué)計(jì)算數(shù)據(jù)，可以采用EJSChart 或者JFreeChart，其繪圖速度快、兼容性強(qiáng)且具有良好的交互性，可以作為首選的繪圖工具;對(duì)于繪圖工具的開(kāi)發(fā)，可以選擇JavaScript 和Flash，這兩者繪圖速度快且差異不大?，F(xiàn)在很多瀏覽器支持HTML5，包括手機(jī)和平板電腦，如果要求具有更好的跨平臺(tái)兼容性，JavaScript 是個(gè)不錯(cuò)的選擇。
　　2.預(yù)測(cè)性分析能力
　　對(duì)數(shù)據(jù)挖掘可以讓用戶更好的理解數(shù)據(jù)，而對(duì)大數(shù)據(jù)進(jìn)行預(yù)測(cè)性分析可以讓用戶根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性的判斷。
　 　與傳統(tǒng)的數(shù)據(jù)分析相比較，大數(shù)據(jù)分析的一個(gè)重要目標(biāo)就是從海量，數(shù)據(jù)繁多的數(shù)據(jù)庫(kù)中找出隱藏的規(guī)律，使數(shù)據(jù)庫(kù)發(fā)揮最大的價(jià)值。數(shù)據(jù)的價(jià)值遠(yuǎn)不止于數(shù)據(jù)本 身，而是隱藏在數(shù)據(jù)之間的關(guān)系隱含的知識(shí)。比如，現(xiàn)在企業(yè)與客戶之間的接觸途道和界面越來(lái)越豐富，而這些途徑承載了客戶與企業(yè)之間、客戶與產(chǎn)品之間、客戶 與品牌之間的大量互動(dòng)信息與數(shù)據(jù)。如果可將這些數(shù)據(jù)整合，企業(yè)便有更多的機(jī)會(huì)準(zhǔn)確了解現(xiàn)有的用戶及挖掘潛在的用戶群體。
　　為了充分發(fā)揮和利用大數(shù)據(jù)的價(jià)值，對(duì)可視化分析及數(shù)據(jù)挖掘后的結(jié)果進(jìn)行預(yù)測(cè)性分析。在大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)性分析，為企業(yè)帶來(lái)了洞察客戶的機(jī)會(huì)，更全面更深入地了解和把握客戶的需求特征、興趣愛(ài)好、消費(fèi)傾向和消費(fèi)心理等，幫助企業(yè)提升運(yùn)營(yíng)管理能力及績(jī)效。
　　結(jié)論
　 　隨著數(shù)據(jù)爆炸式的增長(zhǎng)，我們正被各種數(shù)據(jù)包圍著。正確利用大數(shù)據(jù)將給人們帶來(lái)極大的便利，但與此同時(shí)也給傳統(tǒng)的數(shù)據(jù)分析帶來(lái)了技術(shù)的挑戰(zhàn)。本文對(duì)大數(shù)據(jù) 的分析關(guān)鍵技術(shù)進(jìn)行了詳細(xì)的分析，主要闡述了大數(shù)據(jù)分析時(shí)的可視化技術(shù)、挖掘技術(shù)、分析技術(shù)以數(shù)據(jù)挖掘后的預(yù)測(cè)性分析問(wèn)題?？偟膩?lái)說(shuō)，雖然我們已經(jīng)進(jìn)入大 數(shù)據(jù)時(shí)代，但是“大數(shù)據(jù)”技術(shù)還仍處于起步階段，進(jìn)一步地開(kāi)發(fā)以完善大數(shù)據(jù)分析技術(shù)仍舊是大數(shù)據(jù)研究課題的熱點(diǎn)。