隨著大數(shù)據(jù)的熱潮不斷升溫，幾乎各個(gè)領(lǐng)域都有洪水傾瀉般的信息涌來(lái)，面對(duì)用戶成千上萬(wàn)的瀏覽記錄、記錄行為數(shù)據(jù)，如果就單純的Excel來(lái)進(jìn)行數(shù)據(jù)處理是遠(yuǎn)遠(yuǎn)不能滿足的。但如果只用一些操作軟件來(lái)分析，而不怎么如何用邏輯數(shù)據(jù)來(lái)分析的話，那也只是簡(jiǎn)單的數(shù)據(jù)處理。

    若要列出所有程序語(yǔ)言，你能忘記其他的沒(méi)關(guān)系，但最不能忘的就是R。從1997年悄悄地出現(xiàn)，最大的優(yōu)勢(shì)就是它免費(fèi)，為昂貴的統(tǒng)計(jì)軟件像是Matlab或SAS的另一種選擇。

    但是在過(guò)去幾年來(lái)，它的身價(jià)大翻轉(zhuǎn)，變成了資料科學(xué)界眼中的寶。不只是木訥的統(tǒng)計(jì)學(xué)家熟知它，包括WallStreet交易員、生物學(xué)家，以及硅谷開(kāi)發(fā)者，他們都相當(dāng)熟悉R。多元化的公司像是Google、Facebook、美國(guó)銀行以及NewYorkTimes通通都使用R，它的商業(yè)效用持續(xù)提高。

    R的好處在于它簡(jiǎn)單易上手，透過(guò)R，你可以從復(fù)雜的數(shù)據(jù)集中篩選你要的數(shù)據(jù)，從復(fù)雜的模型函數(shù)中操作數(shù)據(jù)，建立井然有序的圖表來(lái)呈現(xiàn)數(shù)字，這些都只需要幾行程序代碼就可以了，打個(gè)比方，它就像是好動(dòng)版本的Excel。

    R最棒的資產(chǎn)就是活躍的動(dòng)態(tài)系統(tǒng)，R社群持續(xù)地增加新的軟件包，還有以內(nèi)建豐富的功能集為特點(diǎn)。目前估計(jì)已有超過(guò)200萬(wàn)人使用R，最近的調(diào)查顯示，R在數(shù)據(jù)科學(xué)界里，到目前為止最受歡迎的語(yǔ)言，占了回復(fù)者的61%(緊追在后的是39%的Python)。

    它也吸引了WallStreet的注目。傳統(tǒng)而言，證券分析師在Excel檔從白天看到晚上，但現(xiàn)在R在財(cái)務(wù)建模的使用率逐漸增加，特別是可視化工具，美國(guó)銀行的副總裁NiallO’Conno說(shuō)，「R讓我們俗氣的表格變得突出」。

    在數(shù)據(jù)建模上，它正在往逐漸成熟的專業(yè)語(yǔ)言邁進(jìn)，雖然R仍受限于當(dāng)公司需要制造大規(guī)模的產(chǎn)品時(shí)，而有的人說(shuō)他被其他語(yǔ)言篡奪地位了。

所以接下來(lái)他用什么呢?

Python

　　Python結(jié)合了R的快速、處理復(fù)雜數(shù)據(jù)采礦的能力以及更務(wù)實(shí)的語(yǔ)言等各個(gè)特質(zhì)，迅速地成為主流，Python比起R，學(xué)起來(lái)更加簡(jiǎn)單也更直觀，而且它的生態(tài)系統(tǒng)近幾年來(lái)不可思議地快速成長(zhǎng)，在統(tǒng)計(jì)分析上比起R功能更強(qiáng)。

　　在數(shù)據(jù)處理范疇內(nèi)，通常在規(guī)模與復(fù)雜之間要有個(gè)取舍，而Python以折衷的姿態(tài)出現(xiàn)。IPythonNotebook(記事本軟件)和NumPy被用來(lái)暫時(shí)存取較低負(fù)擔(dān)的工作量，然而Python對(duì)于中等規(guī)模的數(shù)據(jù)處理是相當(dāng)好的工具;Python擁有豐富的資料族，提供大量的工具包和統(tǒng)計(jì)特征。

　　然而，雖然它的優(yōu)點(diǎn)能夠彌補(bǔ)R的缺點(diǎn)，它仍然不是最高效能的語(yǔ)言，偶爾才能處理龐大規(guī)模、核心的基礎(chǔ)建設(shè)。Driscoll是這么認(rèn)為的。

　　Julia

　　Julia仍太過(guò)于神秘而尚未被業(yè)界廣泛的采用，但是當(dāng)談到它的潛力足以搶奪R和Python的寶座時(shí)，數(shù)據(jù)黑客也難以解釋。原因在于Julia是個(gè)高階、不可思議的快速和善于表達(dá)的語(yǔ)言，比起R要快的許多，比起Python又有潛力處理更具規(guī)模的數(shù)據(jù)，也很容易上手。

      Driscoll說(shuō)，它就是因?yàn)樗贻p，才會(huì)有可能變成主流又有前景。

Java

　　Driscoll說(shuō)，Java和以Java為基礎(chǔ)的架構(gòu)，是由硅谷里最大的幾家科技公司的核心所建立的，如果你從Twitter、Linkedin或是Facebook里觀察，你會(huì)發(fā)現(xiàn)Java對(duì)于所有數(shù)據(jù)工程基礎(chǔ)架構(gòu)而言，是非?；A(chǔ)的語(yǔ)言。

　　Java沒(méi)有和R和Python一樣好的可視化功能，它也不是統(tǒng)計(jì)建模的最佳工具，但是如果你需要建立一個(gè)龐大的系統(tǒng)、使用過(guò)去的原型，那Java通常會(huì)是你最基的選擇。

　　為了迎合大量數(shù)據(jù)處理的需求，以Java為基礎(chǔ)的工具群興起。Hadoop為處理一批批數(shù)據(jù)處理，發(fā)展以Java為基礎(chǔ)的架構(gòu)關(guān)鍵;相較于其他處理工具，Hadoop慢許多，但是無(wú)比的準(zhǔn)確和可被后端數(shù)據(jù)庫(kù)分析廣泛使用。和Hive搭配的很好，Hive是基于查詢的架構(gòu)下，運(yùn)作的相當(dāng)好。

　　“Java像是用鋼鐵建造的;Scala則是讓你能夠把它拿進(jìn)窯烤然后變成鋼的黏土”Driscoll說(shuō)。

　　說(shuō)到當(dāng)你需要快速的、實(shí)時(shí)的分析時(shí)，你會(huì)想到什么?Kafka將會(huì)是你的最佳伙伴。其實(shí)它已經(jīng)出現(xiàn)五年有了，只是因?yàn)樽罱魈幚砼d起才變的越來(lái)越流行。

　　Kafka是從Linkedin內(nèi)誕生的，是一個(gè)特別快速的查詢訊息系統(tǒng)。Kafka的缺點(diǎn)呢?就是它太快了，因此在實(shí)時(shí)操作時(shí)它會(huì)犯錯(cuò)，有時(shí)候會(huì)漏掉東西。

　　魚(yú)與熊掌不可兼得，「必須要在準(zhǔn)確度跟速度之間做一個(gè)選擇」，Driscoll說(shuō)。所以全部在硅谷的科技大公司都利用兩個(gè)管道：用Kafka或Storm處理實(shí)時(shí)數(shù)據(jù)，接下來(lái)打開(kāi)Hadoop處理一批批處理數(shù)據(jù)系統(tǒng)，這樣聽(tīng)起來(lái)有點(diǎn)麻煩又會(huì)有些慢，但好處是，它非常非常精準(zhǔn)。

　　Storm是另一個(gè)從Scala寫(xiě)出來(lái)的架構(gòu)，在硅谷逐漸大幅增加它在串流處理的受歡迎程度，被Twitter并購(gòu)，這并不意外，因?yàn)門witter對(duì)快速事件處理有極大的興趣。

　　GO是另一個(gè)逐漸興起的新進(jìn)者，從Google開(kāi)發(fā)出來(lái)的，放寬點(diǎn)說(shuō)，它是從C語(yǔ)言來(lái)的，并且在建立強(qiáng)大的基礎(chǔ)架構(gòu)上，漸漸地成為Java和Python的競(jìng)爭(zhēng)者。

　　這么多的軟件可以使用，但我認(rèn)為不見(jiàn)得每個(gè)都一定要會(huì)才行，知道你的目標(biāo)和方向是什么，就選定一個(gè)最適合的工具使用吧!可以幫助你提升效率又達(dá)到精準(zhǔn)的結(jié)果。

                                                                                                            數(shù)據(jù)分析師