玩轉(zhuǎn)大數(shù)據(jù)，你可能需要這12種工具

你會如何度量一個(gè) 無論是在構(gòu)建大數(shù)據(jù)的應(yīng)用程序，還是僅僅只想從開發(fā)的移動應(yīng)用中得到一點(diǎn)點(diǎn)啟發(fā)，程序員現(xiàn)在比以往任何時(shí)候都需要數(shù)據(jù)分析工具。這絕對是一個(gè)好東西，所以很多公司從程序員的需求和技能出發(fā)，構(gòu)建了一些數(shù)據(jù)分析工具。

在過去的幾年里，Derrick看到了很多初創(chuàng)公司，各類項(xiàng)目以及開發(fā)工具等等，它們都旨在為程序員帶來先進(jìn)的數(shù)據(jù)分析能力。有時(shí)候，程序員們會使用簡單的腳本開發(fā)出強(qiáng)大的顯示效果，或者在開發(fā)過程中使用一種更簡易的方式來實(shí)現(xiàn)數(shù)據(jù)的交付功能，Derrick相信這是一個(gè)很有意義的發(fā)展趨勢。

在云計(jì)算和移動應(yīng)用的世界里，圍繞一個(gè)簡單的應(yīng)用開創(chuàng)一個(gè)新事業(yè)已經(jīng)比以往要容易的多。甚至在大公司，開發(fā)者都在為推銷應(yīng)用或者推進(jìn)應(yīng)用的貨幣化而奮斗。不過在應(yīng)用的開發(fā)過程中，開發(fā)者可能需要加入一些數(shù)據(jù)流，這樣才能讓應(yīng)用“火”起來。

毋庸置疑，大多數(shù)程序員的工作都是圍繞著鋪天蓋地的代碼而絕非數(shù)據(jù)流。所以程序員們可能需要一點(diǎn)點(diǎn)幫助，Derrick為開發(fā)者列舉了12種工具(按字母排序)，不過他表示也可能會有遺漏一些不錯(cuò)的選擇，如果細(xì)心的讀者發(fā)現(xiàn)的話，請?jiān)谖恼略u論中留言。

1. BitDeli

BitDeli是今年11月份在舊金山成立的一家初創(chuàng)公司。它能衡量出任何使用Python腳本的應(yīng)用程序的指標(biāo)，聯(lián)合創(chuàng)始人兼CEO Ville Tuulos告訴Derrick，腳本可以很簡單，也可以很復(fù)雜——甚至未來可以延伸到機(jī)器學(xué)習(xí)。不過和“重量級選手”Hadoop相比，BitDeli自認(rèn)為是一個(gè)輕量級的Ruby。

2. Continuuity

Continuuity是前Yahoo首席云架構(gòu)師Todd Papaioannou和Facebook HBase的工程師Jonathan Gray的心血結(jié)晶，Continuuity想讓所有的公司都能像Yahoo、Facebook一樣運(yùn)營。該團(tuán)隊(duì)創(chuàng)建了一個(gè)大數(shù)據(jù)工具，它可以簡化Hadoop以及HBase集群的復(fù)雜性，而且包含一系列開發(fā)套件，旨在幫助程序員開發(fā)大數(shù)據(jù)應(yīng)用，該平臺采用Hadoop技術(shù)，允許開發(fā)者在防火墻內(nèi)外對大數(shù)據(jù)應(yīng)用軟件進(jìn)行部署、擴(kuò)展和管理。公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官Todd Papaioannou表示，作為一家初創(chuàng)企業(yè)，Continuuity正在試圖掀起下一波大數(shù)據(jù)應(yīng)用軟件的浪潮，公司所提供的工具能夠大大提高處于開發(fā)狀態(tài)的軟件不同部分與階段的擴(kuò)展性。

3. Flurry

Flurry是移動應(yīng)用統(tǒng)計(jì)分析領(lǐng)域里的標(biāo)桿，正因?yàn)樵谛袠I(yè)內(nèi)獨(dú)特的優(yōu)勢，它每年的營收高達(dá)一億美元。Flurry擁有非常全面的功能，不僅僅只是幫助開發(fā)者構(gòu)建移動應(yīng)用，它還幫助開發(fā)者分析所有的數(shù)據(jù)，進(jìn)而產(chǎn)生更大的效益。其實(shí)數(shù)據(jù)也支撐了該公司的廣告網(wǎng)絡(luò)，他們通過數(shù)據(jù)分析可以幫助開發(fā)者推送準(zhǔn)確的廣告到需要的用戶面前。不過單純從移動應(yīng)用的數(shù)據(jù)統(tǒng)計(jì)功能來看，F(xiàn)lurry絕對是處于領(lǐng)先地位。其功能模塊設(shè)置合理，分析維度全面，分析流程也易于理解。

4. Google Prediction API

Google Prediction API可能是最酷的工具了!Google Prediction API是一個(gè)基于云服務(wù)的機(jī)器學(xué)習(xí)工具，它可以幫助開發(fā)者分析數(shù)據(jù)，并為應(yīng)用程序加入情感分析、反垃圾郵件、追加銷售分析、識別可疑活動和診斷等功能。 這套API支持眾多編程語言，比如.NET、Go 、Java、PHP、Ruby、Python、JavaScript、Objective-C以及應(yīng)用腳本語言等。Google的開發(fā)者主頁提供了相關(guān)的培訓(xùn)和開發(fā)指南，讀者可以訪問Prediction API介紹頁面進(jìn)行學(xué)習(xí)。

5. Infochimps

盡管Infochimps非常努力的想讓自己成為一家企業(yè)級的IT公司，但是顯然還有一定的差距。不過與公司同名的平臺的確為開發(fā)者們帶來了真正的價(jià)值。配置和管理大數(shù)據(jù)環(huán)境的工具稱之為Wukong——這是一個(gè)基于Ruby的命令行界面，開發(fā)者可以編寫大數(shù)據(jù)應(yīng)用調(diào)用Data Delivery Service或Hadoop，使用的語法也非常簡單，開發(fā)者無需學(xué)習(xí)MapReduce或者Flume。Infochimps的首席戰(zhàn)略官Dhruv Bansal介紹：常見的情況是，客戶用Infochimps的平臺開發(fā)程序處理分析數(shù)據(jù)，只有在需要批量分析海量數(shù)據(jù)時(shí)才會用到Hadoop。基于這種經(jīng)驗(yàn)，他們的新版本關(guān)注的重點(diǎn)是對數(shù)據(jù)的實(shí)時(shí)處理功能(而不是Hadoop)。

6. Keen IO

Keen IO贏得了Structure 2012 Launchpad的比賽，該賽事致力于為移動開發(fā)者提供強(qiáng)大的分析工具。開發(fā)者僅需要把一行代碼插入到指定的追蹤位置，該公司同時(shí)表示，開發(fā)者可以追蹤他們應(yīng)用程序中的任意代碼。如果是這樣的話，只需要再創(chuàng)建一個(gè)顯示面板或者查詢進(jìn)程就可以把所有的數(shù)據(jù)轉(zhuǎn)化成有用的信息。

7. Kontagent

Kontagent的基本業(yè)務(wù)主要是靠對移動、社交以及Web應(yīng)用的分析平臺，不過這一切都是建立在Hadoop基礎(chǔ)設(shè)施之上。在今年的早些時(shí)候，該公司擴(kuò)展了一項(xiàng)新業(yè)務(wù)：使用Hive打造了一個(gè)數(shù)據(jù)挖掘服務(wù)，并且提供了一個(gè)類似SQL的接口進(jìn)行查詢存儲在Hadoop上的數(shù)據(jù)，取代了追蹤預(yù)定義變量，他們可以對選擇項(xiàng)進(jìn)行更深入的挖掘。

8. Mortar Data

Mortar Data宣稱“Hadoop，沒有復(fù)雜性”。該公司提供了自己的云服務(wù)——整合了Pig和Python進(jìn)而取代了MapReduce——已經(jīng)有一年的時(shí)間了。在11月份，它發(fā)布了一個(gè)開源的Mortar框架旨在構(gòu)建一個(gè)社區(qū)，這樣不僅有利于成員之間共享數(shù)據(jù)集，也讓構(gòu)建Hadoop管道變得更容易。Mortar Data在AWS之上運(yùn)行，目前支持來自Amazon S3以及MongoDB(托管在Amazon EC2之上)的數(shù)據(jù)源。

9. Placed Analytics

Placed“干掉”了腳本、API還有其他需要開發(fā)者“跑腿”的工作，僅僅是交付結(jié)果。在Placed的案例中，結(jié)果顯示的都是一些細(xì)節(jié)性信息，例如在何時(shí)何地，用戶使用了移動應(yīng)用以及Web站點(diǎn)。這種類型的信息對吸引廣告商非常有幫助，同時(shí)也有助于應(yīng)用的設(shè)計(jì)。

10. Precog

Precog提供了一項(xiàng)服務(wù)Labcoat，它是一個(gè)交互式的開發(fā)環(huán)境，可以用來編寫基于開源的Quirrel(由Precog實(shí)現(xiàn)的統(tǒng)計(jì)查詢語言，Quirrel很多方面都與R編程語言比較相似)查詢語言的分析工作，該集成開發(fā)環(huán)境包含了一個(gè)語言學(xué)習(xí)教程以及一些復(fù)雜的函數(shù)。Precog的COO告訴Derrick，即使沒有任何編程經(jīng)驗(yàn)的人也能在幾個(gè)小時(shí)內(nèi)學(xué)會操作。

Precog可以從各種數(shù)據(jù)源抓取輸入數(shù)據(jù)，其中包括SQL數(shù)據(jù)庫、Amazon S3、Hadoop、MongoDB、客戶端Web應(yīng)用和后端服務(wù)器等。RESTful API支持開發(fā)者從外部源(如Twitter或Facebook)、CSV文件或移動設(shè)備抓取數(shù)據(jù)。抓取的數(shù)據(jù)保存到一個(gè)叫做PrecogDB的定制數(shù)據(jù)庫中，而且還可以使用人群統(tǒng)計(jì)、態(tài)度、位置和其他信息，使數(shù)據(jù)更為豐富。在一次采訪中，Precog的CEO和創(chuàng)始人John A.De Goes解釋到：“系統(tǒng)的架構(gòu)與數(shù)據(jù)庫分析有些相似，比如都包括面向列的存儲。但是其區(qū)別在于：前者支持完全異構(gòu)的、非規(guī)范化的數(shù)據(jù)，通過對Quirrel的支持，相對于使用RDBMS進(jìn)行分析，使用這種類似于“面向大數(shù)據(jù)的R”的語言，能夠很方便地執(zhí)行很多更為高級的計(jì)算?！?信息來源于infoQ)

11. Spring for Apache Hadoop

雖然Hadoop是用Java語言編寫，但是對Java開發(fā)者來說，并不意味著容易學(xué)習(xí)或者使用。在2012年的早些時(shí)候，SpringSource宣布把Spring框貢獻(xiàn)給Apache Hadoop項(xiàng)目，這就讓使用Spring框架構(gòu)建Java應(yīng)用程序變得更容易，不過這也意味著整合了其他的Spring框架應(yīng)用，使用了基于JVM的腳本以及使用Hadoop或者相關(guān)的技術(shù)如Hive、HBase來進(jìn)行開發(fā)應(yīng)用程序變得更容易。

12. StatsMix

StatsMix與BitDeli以及Keen IO算得上是一脈相承，StatsMix也是想實(shí)現(xiàn)對開發(fā)者使用的編程語言進(jìn)行應(yīng)用數(shù)據(jù)的搜集和分析。該服務(wù)可以自動追蹤特定的指標(biāo)，但是需要開發(fā)者添加StatsMix API以及預(yù)先確定代碼庫。最終的結(jié)果將通過一個(gè)用戶自定義的顯示面板呈現(xiàn)出來，用戶不僅可以在其上進(jìn)行分享，也可以把多個(gè)數(shù)據(jù)源整合成一張簡單的視圖。