大數(shù)據(jù)時(shí)代中求生存：9個(gè)必殺絕技?xì)⑦M(jìn)大數(shù)據(jù)市場(chǎng)

拜網(wǎng)絡(luò)普及與科技進(jìn)步之賜，大數(shù)據(jù)的熱潮越燒越烈，許多處理數(shù)據(jù)分析與管理的技術(shù)因應(yīng)而出，迎來(lái)了大數(shù)據(jù)的時(shí)代。要能在這大數(shù)據(jù)市場(chǎng)中殺出一條血路，以下這 9 個(gè)必殺絕技你一定要學(xué)起來(lái)。

    1) Apache Hadoop 黃色小象幫手

     Hadoop 的兩大核心功能 —— 儲(chǔ)存及處理數(shù)據(jù)所用到的分散式檔案系統(tǒng) HDFS 跟 MapReduce 平行運(yùn)算架構(gòu)。

    基于 Hadoop 處理大數(shù)據(jù)的種種優(yōu)勢(shì)，像是解決了檔案存放、系統(tǒng)擴(kuò)張、數(shù)據(jù)處理及備份等問(wèn)題，因此 Hadoop 被廣泛應(yīng)用于大數(shù)據(jù)儲(chǔ)存和大數(shù)據(jù)分析，成為大數(shù)據(jù)的主流技術(shù)。

    在近幾年內(nèi)，叢集運(yùn)算在商用性與非商用性的領(lǐng)域也越來(lái)越普遍且應(yīng)用的相當(dāng)廣泛，2014年無(wú)庸置疑成為了 Hadoop 的豐收年，對(duì)于 Hadoop 生態(tài)系例如 Flume, Oozie, Hive, Pig, HBase, YARN 等技能的市場(chǎng)需求也逐漸提高。

    2) 大數(shù)據(jù)黑馬：Apache Spark

    如果 Hadoop 是大數(shù)據(jù)市場(chǎng)里的老大哥，那 Spark 則是具有超凡潛力的一匹黑馬！

    Spark 是一個(gè)用途廣泛的叢集運(yùn)算引擎，簡(jiǎn)單來(lái)說(shuō)就是一個(gè)能讓原本使用 Hadoop 來(lái)處理及分析數(shù)據(jù)的系統(tǒng)快 10 到 100 倍的好工具。

    由于 Hadoop 分析數(shù)據(jù)時(shí)需要將中間產(chǎn)生的數(shù)據(jù)存在硬碟中，因此會(huì)有讀寫數(shù)據(jù)的延遲問(wèn)題；有別于 Hadoop 的 MapReduce 架構(gòu)，Spark 使用了「記憶體內(nèi)運(yùn)算技術(shù)（In-Memory Computing）」，能在數(shù)據(jù)尚未寫入硬碟時(shí)，就在記憶體內(nèi)進(jìn)行分析運(yùn)算，號(hào)稱比原先的 Hadoop 快 100 倍。

    去年在數(shù)據(jù)排序基準(zhǔn)競(jìng)賽（Sort Benchmark Competition）中，Spark 用 23 分鐘完成 100 TB 的數(shù)據(jù)排序，刷新了原本由 Hadoop 保持的 72 分鐘世界記錄1。

    3) 不只是 SQL：NoSQL

    最近幾年網(wǎng)絡(luò)上的數(shù)據(jù)量開(kāi)始快速大量成長(zhǎng)、數(shù)據(jù)量與日遽增，為了解決數(shù)據(jù)庫(kù)在進(jìn)行大量數(shù)據(jù)存取時(shí)，所衍生出效能、擴(kuò)充、維護(hù)等問(wèn)題，近年來(lái)業(yè)界紛紛舍棄了以結(jié)構(gòu)化查詢語(yǔ)言（SQL）為基礎(chǔ)的關(guān)聯(lián)式數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS），改以 NoSQL 數(shù)據(jù)庫(kù)來(lái)提升效能與擴(kuò)充彈性。

    NoSQL 最早是指「No SQL」，號(hào)稱不使用 SQL 作為查詢語(yǔ)言的數(shù)據(jù)庫(kù)系統(tǒng)。但近來(lái)則普遍將 NoSQL 視為「Not Only SQL」，也就是「不只是 SQL」的意思，希望結(jié)合 SQL 優(yōu)點(diǎn)并混用關(guān)聯(lián)式數(shù)據(jù)庫(kù)和 NoSQL 數(shù)據(jù)庫(kù)來(lái)達(dá)成最佳的儲(chǔ)存效果。

    在大數(shù)據(jù)所帶動(dòng)的潮流下，各種不同形態(tài)的NoSQL數(shù)據(jù)庫(kù)如雨後春筍般竄起，其中 MongoDB 是眾多 NoSQL 數(shù)據(jù)庫(kù)軟體中較為人熟知的一種。

    4) 機(jī)器學(xué)習(xí)與數(shù)據(jù)處理超屌！

    在大數(shù)據(jù)中如何摸索出數(shù)據(jù)所要表達(dá)的意涵、提煉出「數(shù)據(jù)精華」是非常重要的課題，于是「機(jī)器學(xué)習(xí)（Machine Learning）」與「數(shù)據(jù)處理（Data Mining）」成為了大數(shù)據(jù)時(shí)代中的重點(diǎn)領(lǐng)域。

    機(jī)器學(xué)習(xí)可以從過(guò)去收集的數(shù)據(jù)與經(jīng)驗(yàn)中，萃取出感興趣的部份，構(gòu)造出模型（Model）和規(guī)律（Pattern）當(dāng)作我們參考的基準(zhǔn)，對(duì)未來(lái)進(jìn)行預(yù)測(cè)。應(yīng)用機(jī)器學(xué)習(xí)的方法處理大量數(shù)據(jù)庫(kù)的數(shù)據(jù)則稱為「數(shù)據(jù)處理」（Data Mining），顧名思義，就好比在地球上從一堆粗糙的石頭中進(jìn)行地物處理、尋找有價(jià)值的礦脈，數(shù)據(jù)處理就是從大數(shù)據(jù)中提取出未知的、有價(jià)值的潛在資訊。

    機(jī)器學(xué)習(xí)跟數(shù)據(jù)處理到底有多屌？LinkedIn 之前發(fā)表的 2014 年「最熱門工作技能」排行榜2，數(shù)據(jù)處理榮登排行榜第一名這樣屌。

    5) 統(tǒng)計(jì)及量化分析

    大數(shù)據(jù)時(shí)代，統(tǒng)計(jì)與數(shù)據(jù)分析是根本中的根本，數(shù)學(xué)跟統(tǒng)計(jì)學(xué)則是基礎(chǔ)中的基礎(chǔ)。數(shù)據(jù)專家或量化分析師的專業(yè)包含了統(tǒng)計(jì)學(xué)、電腦科學(xué)和數(shù)學(xué)，過(guò)去這些人才都搶著要進(jìn)華爾街工作，但多虧了  帶來(lái)的風(fēng)潮，現(xiàn)在各行各業(yè)都在尋找擁有量化分析、統(tǒng)計(jì)學(xué)背景的工程師、數(shù)據(jù)專家。

    如果數(shù)學(xué)是你的拿手強(qiáng)項(xiàng)，基本上你已經(jīng)贏在起跑點(diǎn)了，接下來(lái)再學(xué)習(xí)市面上的一些數(shù)據(jù)分析軟體及程式語(yǔ)言，像是 R、SAS、Matlab、SPSS、Stata 等，具備了以上技能，相信要進(jìn)大數(shù)據(jù)一行不成問(wèn)題。

    6) 結(jié)構(gòu)化查詢語(yǔ)言 SQL

    結(jié)構(gòu)化查詢語(yǔ)言，簡(jiǎn)稱 SQL，是專門用于關(guān)連式數(shù)據(jù)庫(kù)的一種查詢語(yǔ)言，可以用來(lái)定義數(shù)據(jù)庫(kù)結(jié)構(gòu)、建立表格、指定欄位型態(tài)與長(zhǎng)度，也能新增、異動(dòng)或查詢數(shù)據(jù)。簡(jiǎn)單來(lái)說(shuō)，SQL 是一種用來(lái)從數(shù)據(jù)庫(kù)讀取與儲(chǔ)存數(shù)據(jù)的電腦語(yǔ)言。

    SQL 歷經(jīng)了四十多年的考驗(yàn)仍然在蓬勃發(fā)展，雖然 NoSQL （上述第三點(diǎn)）的出現(xiàn)帶來(lái)了一些影響，但 SQL 仍然主導(dǎo)著市場(chǎng)，并在大數(shù)據(jù)領(lǐng)域贏得了很多投資與廣泛部屬。像是 Cloudera 推出了即時(shí)查詢開(kāi)源工具 Impala –– 一款用來(lái)跑在 Hadoop 架構(gòu)上的互動(dòng) SQL 查詢引擎，在這些工具發(fā)展下 SQL 在大數(shù)據(jù)領(lǐng)域中更是歷久不衰。

    7) 看圖說(shuō)故事：數(shù)據(jù)視覺(jué)化

    大數(shù)據(jù)的重要性與日俱增，不少企業(yè)如電子商務(wù)、零售業(yè)及半導(dǎo)體制造業(yè)等，開(kāi)始廣泛運(yùn)用大數(shù)據(jù)為公司擬定企業(yè)策略，不過(guò)并不是人人都是數(shù)據(jù)專家、數(shù)據(jù)科學(xué)家，如果要讓主管跟客戶們清楚了解數(shù)據(jù)背後的意義，那倒不如讓他們「一目了然」。

    數(shù)據(jù)視覺(jué)化（Data Visualization）是關(guān)于數(shù)據(jù)之視覺(jué)表現(xiàn)形式的研究，數(shù)據(jù)視覺(jué)化的技術(shù)可以幫助不同背景的工程人員溝通、理解，以達(dá)良好的設(shè)計(jì)與分析結(jié)果。市面上已經(jīng)有許多工具、軟體為人們提供這方面的需求，像是Tableau、QlikView 等工具就擁有絕佳的視覺(jué)化呈現(xiàn)效果，可以不限數(shù)據(jù)量、數(shù)據(jù)形式或主題，透過(guò)圖像化和便捷的操作介面制作出客制化報(bào)表，無(wú)需撰寫程式就能得到分析結(jié)果。


    8) 基本程序開(kāi)發(fā)能力

    市場(chǎng)分析機(jī)構(gòu) Wanted Analytics 公布的數(shù)據(jù)3中，具有數(shù)據(jù)分析背景的電腦程式開(kāi)發(fā)人員職位正在逐年增加中，2014 年最後四個(gè)月就增加了 2000 個(gè)相關(guān)的新職缺，比起 2013 年同期多出了 337%！

    因此，基本程序開(kāi)發(fā)能力也是在這大數(shù)據(jù)市場(chǎng)中生存的必要條件之一，在數(shù)據(jù)科學(xué)界里，Java、C、Python、Scala 都是十分受歡迎的程式語(yǔ)言。

    9) 創(chuàng)造力和問(wèn)題解決能力

    大數(shù)據(jù)的型態(tài)及發(fā)展會(huì)不斷的演化，無(wú)論你的程式開(kāi)發(fā)能力有多好、精通多少項(xiàng)數(shù)據(jù)分析工具，要在大數(shù)據(jù)時(shí)代中活得好、長(zhǎng)得壯，創(chuàng)造力（Creativity）和解決問(wèn)題能力（Problem Solving）的重要性不可忽視，更是以上提到的工具跟技術(shù)都無(wú)法取代的必殺技！