2015年年大數(shù)據(jù)新趨勢：大數(shù)據(jù)變小_數(shù)據(jù)分析師

大數(shù)據(jù)，這個用來形容資料爆炸量、多樣化以及數(shù)據(jù)更新快速的專有名詞，主要還是由物聯(lián)網(wǎng)傳感器、行動裝置…等小型設備所運算結果集結成的。

　　有人預測2015年，將是大數(shù)據(jù)相當成功的一年。諷刺的是，這裡指的不是因為他們能精通Hadoop或Spark等復雜卻高效率的分布式計算系統(tǒng)。反過來說，2015 年我們將使用更優(yōu)于Hadoop 工具的方式，來處理過去使用大數(shù)據(jù)時伴隨而來的問題。

　　其中最大的變化在于，能有效佈署與管理收納網(wǎng)路服務的 Docker、企業(yè)計算容量等…開源技術的崛起，但相較于大數(shù)據(jù)能造成的潛在影響力還是相形見絀。知名彈性整合公司 SnapLogic 的 Darren Cunninhgam 更強調，幾乎所有具指標性的大企業(yè)，趨勢顯示最終還是會回歸數(shù)據(jù)基本面。

　　▲ SnapLogic 公司的 Darren Cunninhgam 在 Twitter 以 Big、small、fast、slow…等來形容大數(shù)據(jù)Big Data 千變萬化特性。

　　但問題是，大多時刻我們探討這些數(shù)據(jù)的機會，遠多于投入實際使用。早在2013 年，Darren Cunninhgam 即指出每個人都知道他們需要做的事情與大數(shù)據(jù)息息相關，但實際上卻很少人懂得如何運用。即便2014年都快已過完，這現(xiàn)象始終沒改變。大多數(shù)企業(yè)仍然沒有對這些數(shù)據(jù)資料花費太多心思，甚至對一些人來說這更是個復雜難題，除了專業(yè)科學家會好好使用外，這些付費就能取得的open-source 工具，對一般人來說要使用實在太困難了。

　　甚至多數(shù)人對大數(shù)據(jù)長久下來一直充滿誤解。舉個例子，來自Bloomberg(專業(yè)財經(jīng)媒體)負責人Matt Hunt 宣稱：「在Bloomberg 我們并沒有大數(shù)據(jù)問題，反而是有中量資訊(medium data)問題，這裡指的中量資訊指的是量夠大、但適用于單一設備上，但并不需要龐大巨量的集群數(shù)據(jù)，相當于Terabytes 兆位元，而不需要達PB 等級。」

　　日前與相關IT 機構合作的NewVantage 透過調查表示，大數(shù)據(jù)能以PB 等級的驚人單位產生新聞，但大多數(shù)企業(yè)實際上也只需要管理到Terabytes 等級的數(shù)量。只有28% 的人認為，與其挑戰(zhàn)大數(shù)據(jù)所帶來龐大的資料數(shù)據(jù)，他們更關心的是資料種類多樣性與更新速度。

　　在即將邁入2015 年此刻，許多企業(yè)仍因被迫使用 Hadoop 工具來面對他們的數(shù)據(jù)而飽受掙扎，特別當他們不斷使用這些錯誤工具，套用在只能處理中量資訊資料的應用程序中。

　　提到2015 大數(shù)趨勢，用「Big Data Gets Little」這句話就能看出端倪。于物聯(lián)網(wǎng)之于行動裝置的重要性，我們不能再單純以近乎失去判斷力、甚至盲從迷信的心態(tài)面對這些大數(shù)據(jù)工具。不過，Hadoop 是否還能像今年在物聯(lián)網(wǎng)中扮演重要角色?「那當然!」Cloudera 公司創(chuàng)始人之一 Mike Olson 如是說：「新一代數(shù)據(jù)庫技術，并不會去破壞現(xiàn)有大企業(yè)習于使用的 OLTP 及OLAP 等結構化數(shù)據(jù)處理與分析的市場，它雖然擁有前所未有的對于新數(shù)據(jù)分析與解鎖能力，甚至能讓我們以不同觀點去瞭解這世界上各種事物，無論是創(chuàng)造新機會或新市場，對大數(shù)據(jù)來說基本上還是須依靠物聯(lián)網(wǎng)，才能創(chuàng)造出更巨大機會?！?/span>

　　不過對 Hadoop 來說，雖為目前最理想用來處理大量數(shù)據(jù)的工具，卻沒有足夠即時分析數(shù)據(jù)的能力。為能有效追蹤物聯(lián)網(wǎng)數(shù)據(jù)，NoSQL 數(shù)據(jù)庫對 Hadoop 來說扮演重要輔助角色，使得能夠即時回應實用數(shù)據(jù)成為可能。

　　有鑑于物聯(lián)網(wǎng)產生數(shù)據(jù)(包括透過全新傳感器、全新的數(shù)據(jù)類型…等)不斷變化的特性，像 NoSQL這樣的數(shù)據(jù)庫是必須存在的，Machina 在一份研究中更假設：「從來自愈來愈多不同傳感器、設備、或應用程序產生出愈來愈多的指數(shù)，一個事件會伴隨出更多樣化結構數(shù)據(jù)，這些附加數(shù)據(jù)範圍從企業(yè)系統(tǒng)到眾包數(shù)據(jù)，都必須經(jīng)過整合才能傳成有效資料?！?/span>

　　很多大數(shù)據(jù)工作迄今已將 Hadoop 與相關數(shù)據(jù)庫系統(tǒng)或 RDBMS 做整合，但這卻不是最理想的整合方式。根據(jù)權威 IT 行業(yè)分析機構 Gartner 指出，「因為物聯(lián)網(wǎng)與各種行動裝置應正迫使我們思考產生變化，并影響到我們之于這些數(shù)據(jù)的互動方式?！?/span>

　　在 2015 年，更多的大數(shù)據(jù)將同步從企業(yè)數(shù)據(jù)資料庫轉移至 Hadoop 端、或從嚴謹?shù)?RDBMS 轉移到更靈活的 NoSQL。毫無疑問地，物聯(lián)網(wǎng)是成為這場變革的最大驅動力。