大數(shù)據(jù)時(shí)代中求生存：9個(gè)必殺絕技?xì)⑦M(jìn)大數(shù)據(jù)市場

拜網(wǎng)絡(luò)普及與科技進(jìn)步之賜，大數(shù)據(jù)的熱潮越燒越烈，許多處理數(shù)據(jù)分析與管理的技術(shù)因應(yīng)而出，迎來了大數(shù)據(jù)的時(shí)代。要能在這大數(shù)據(jù)市場中殺出一條血路，以下這 9 個(gè)必殺絕技你一定要學(xué)起來。

    1) Apache Hadoop 黃色小象幫手

     Hadoop 的兩大核心功能 —— 儲存及處理數(shù)據(jù)所用到的分散式檔案系統(tǒng) HDFS 跟 MapReduce 平行運(yùn)算架構(gòu)。

    基于 Hadoop 處理大數(shù)據(jù)的種種優(yōu)勢，像是解決了檔案存放、系統(tǒng)擴(kuò)張、數(shù)據(jù)處理及備份等問題，因此 Hadoop 被廣泛應(yīng)用于大數(shù)據(jù)儲存和大數(shù)據(jù)分析，成為大數(shù)據(jù)的主流技術(shù)。

    在近幾年內(nèi)，叢集運(yùn)算在商用性與非商用性的領(lǐng)域也越來越普遍且應(yīng)用的相當(dāng)廣泛，2014年無庸置疑成為了 Hadoop 的豐收年，對于 Hadoop 生態(tài)系例如 Flume, Oozie, Hive, Pig, HBase, YARN 等技能的市場需求也逐漸提高。

    2) 大數(shù)據(jù)黑馬：Apache Spark

    如果 Hadoop 是大數(shù)據(jù)市場里的老大哥，那 Spark 則是具有超凡潛力的一匹黑馬！

    Spark 是一個(gè)用途廣泛的叢集運(yùn)算引擎，簡單來說就是一個(gè)能讓原本使用 Hadoop 來處理及分析數(shù)據(jù)的系統(tǒng)快 10 到 100 倍的好工具。

    由于 Hadoop 分析數(shù)據(jù)時(shí)需要將中間產(chǎn)生的數(shù)據(jù)存在硬碟中，因此會(huì)有讀寫數(shù)據(jù)的延遲問題；有別于 Hadoop 的 MapReduce 架構(gòu)，Spark 使用了「記憶體內(nèi)運(yùn)算技術(shù)（In-Memory Computing）」，能在數(shù)據(jù)尚未寫入硬碟時(shí)，就在記憶體內(nèi)進(jìn)行分析運(yùn)算，號稱比原先的 Hadoop 快 100 倍。

    去年在數(shù)據(jù)排序基準(zhǔn)競賽（Sort Benchmark Competition）中，Spark 用 23 分鐘完成 100 TB 的數(shù)據(jù)排序，刷新了原本由 Hadoop 保持的 72 分鐘世界記錄1。

    3) 不只是 SQL：NoSQL

    最近幾年網(wǎng)絡(luò)上的數(shù)據(jù)量開始快速大量成長、數(shù)據(jù)量與日遽增，為了解決數(shù)據(jù)庫在進(jìn)行大量數(shù)據(jù)存取時(shí)，所衍生出效能、擴(kuò)充、維護(hù)等問題，近年來業(yè)界紛紛舍棄了以結(jié)構(gòu)化查詢語言（SQL）為基礎(chǔ)的關(guān)聯(lián)式數(shù)據(jù)庫管理系統(tǒng)（RDBMS），改以 NoSQL 數(shù)據(jù)庫來提升效能與擴(kuò)充彈性。

    NoSQL 最早是指「No SQL」，號稱不使用 SQL 作為查詢語言的數(shù)據(jù)庫系統(tǒng)。但近來則普遍將 NoSQL 視為「Not Only SQL」，也就是「不只是 SQL」的意思，希望結(jié)合 SQL 優(yōu)點(diǎn)并混用關(guān)聯(lián)式數(shù)據(jù)庫和 NoSQL 數(shù)據(jù)庫來達(dá)成最佳的儲存效果。

    在大數(shù)據(jù)所帶動(dòng)的潮流下，各種不同形態(tài)的NoSQL數(shù)據(jù)庫如雨後春筍般竄起，其中 MongoDB 是眾多 NoSQL 數(shù)據(jù)庫軟體中較為人熟知的一種。

    4) 機(jī)器學(xué)習(xí)與數(shù)據(jù)處理超屌！

    在大數(shù)據(jù)中如何摸索出數(shù)據(jù)所要表達(dá)的意涵、提煉出「數(shù)據(jù)精華」是非常重要的課題，于是「機(jī)器學(xué)習(xí)（Machine Learning）」與「數(shù)據(jù)處理（Data Mining）」成為了大數(shù)據(jù)時(shí)代中的重點(diǎn)領(lǐng)域。

    機(jī)器學(xué)習(xí)可以從過去收集的數(shù)據(jù)與經(jīng)驗(yàn)中，萃取出感興趣的部份，構(gòu)造出模型（Model）和規(guī)律（Pattern）當(dāng)作我們參考的基準(zhǔn)，對未來進(jìn)行預(yù)測。應(yīng)用機(jī)器學(xué)習(xí)的方法處理大量數(shù)據(jù)庫的數(shù)據(jù)則稱為「數(shù)據(jù)處理」（Data Mining），顧名思義，就好比在地球上從一堆粗糙的石頭中進(jìn)行地物處理、尋找有價(jià)值的礦脈，數(shù)據(jù)處理就是從大數(shù)據(jù)中提取出未知的、有價(jià)值的潛在資訊。

    機(jī)器學(xué)習(xí)跟數(shù)據(jù)處理到底有多屌？LinkedIn 之前發(fā)表的 2014 年「最熱門工作技能」排行榜2，數(shù)據(jù)處理榮登排行榜第一名這樣屌。

    5) 統(tǒng)計(jì)及量化分析

    大數(shù)據(jù)時(shí)代，統(tǒng)計(jì)與數(shù)據(jù)分析是根本中的根本，數(shù)學(xué)跟統(tǒng)計(jì)學(xué)則是基礎(chǔ)中的基礎(chǔ)。數(shù)據(jù)專家或量化分析師的專業(yè)包含了統(tǒng)計(jì)學(xué)、電腦科學(xué)和數(shù)學(xué)，過去這些人才都搶著要進(jìn)華爾街工作，但多虧了  帶來的風(fēng)潮，現(xiàn)在各行各業(yè)都在尋找擁有量化分析、統(tǒng)計(jì)學(xué)背景的工程師、數(shù)據(jù)專家。

    如果數(shù)學(xué)是你的拿手強(qiáng)項(xiàng)，基本上你已經(jīng)贏在起跑點(diǎn)了，接下來再學(xué)習(xí)市面上的一些數(shù)據(jù)分析軟體及程式語言，像是 R、SAS、Matlab、SPSS、Stata 等，具備了以上技能，相信要進(jìn)大數(shù)據(jù)一行不成問題。

    6) 結(jié)構(gòu)化查詢語言 SQL

    結(jié)構(gòu)化查詢語言，簡稱 SQL，是專門用于關(guān)連式數(shù)據(jù)庫的一種查詢語言，可以用來定義數(shù)據(jù)庫結(jié)構(gòu)、建立表格、指定欄位型態(tài)與長度，也能新增、異動(dòng)或查詢數(shù)據(jù)。簡單來說，SQL 是一種用來從數(shù)據(jù)庫讀取與儲存數(shù)據(jù)的電腦語言。

    SQL 歷經(jīng)了四十多年的考驗(yàn)仍然在蓬勃發(fā)展，雖然 NoSQL （上述第三點(diǎn)）的出現(xiàn)帶來了一些影響，但 SQL 仍然主導(dǎo)著市場，并在大數(shù)據(jù)領(lǐng)域贏得了很多投資與廣泛部屬。像是 Cloudera 推出了即時(shí)查詢開源工具 Impala –– 一款用來跑在 Hadoop 架構(gòu)上的互動(dòng) SQL 查詢引擎，在這些工具發(fā)展下 SQL 在大數(shù)據(jù)領(lǐng)域中更是歷久不衰。

    7) 看圖說故事：數(shù)據(jù)視覺化

    大數(shù)據(jù)的重要性與日俱增，不少企業(yè)如電子商務(wù)、零售業(yè)及半導(dǎo)體制造業(yè)等，開始廣泛運(yùn)用大數(shù)據(jù)為公司擬定企業(yè)策略，不過并不是人人都是數(shù)據(jù)專家、數(shù)據(jù)科學(xué)家，如果要讓主管跟客戶們清楚了解數(shù)據(jù)背後的意義，那倒不如讓他們「一目了然」。

    數(shù)據(jù)視覺化（Data Visualization）是關(guān)于數(shù)據(jù)之視覺表現(xiàn)形式的研究，數(shù)據(jù)視覺化的技術(shù)可以幫助不同背景的工程人員溝通、理解，以達(dá)良好的設(shè)計(jì)與分析結(jié)果。市面上已經(jīng)有許多工具、軟體為人們提供這方面的需求，像是Tableau、QlikView 等工具就擁有絕佳的視覺化呈現(xiàn)效果，可以不限數(shù)據(jù)量、數(shù)據(jù)形式或主題，透過圖像化和便捷的操作介面制作出客制化報(bào)表，無需撰寫程式就能得到分析結(jié)果。


    8) 基本程序開發(fā)能力

    市場分析機(jī)構(gòu) Wanted Analytics 公布的數(shù)據(jù)3中，具有數(shù)據(jù)分析背景的電腦程式開發(fā)人員職位正在逐年增加中，2014 年最後四個(gè)月就增加了 2000 個(gè)相關(guān)的新職缺，比起 2013 年同期多出了 337%！

    因此，基本程序開發(fā)能力也是在這大數(shù)據(jù)市場中生存的必要條件之一，在數(shù)據(jù)科學(xué)界里，Java、C、Python、Scala 都是十分受歡迎的程式語言。

    9) 創(chuàng)造力和問題解決能力

    大數(shù)據(jù)的型態(tài)及發(fā)展會(huì)不斷的演化，無論你的程式開發(fā)能力有多好、精通多少項(xiàng)數(shù)據(jù)分析工具，要在大數(shù)據(jù)時(shí)代中活得好、長得壯，創(chuàng)造力（Creativity）和解決問題能力（Problem Solving）的重要性不可忽視，更是以上提到的工具跟技術(shù)都無法取代的必殺技！