數(shù)據(jù)分析軟件市場值得關(guān)注的八個鬼

緊張精彩的2015年已經(jīng)結(jié)束了，現(xiàn)在是時候回過頭來看一看數(shù)據(jù)分析軟件市場的潮流。 已經(jīng)有幾個趨勢繼續(xù)變得壯大（比如開源，云托管，基于Hadoop的SQL解決方案），同時AWS上的Redshift開始成為數(shù)據(jù)倉庫中的一支重要力量。

SQL解決方案繼續(xù)在Hadoop的生態(tài)系統(tǒng)里大行其道

除了Spark，大部分Hadoop的生態(tài)系統(tǒng)里的新聞都來自Presto, Impala and Drill。 關(guān)于MapReduce繼任者的斗爭還在持續(xù)，而在列表中的所有候選者的一個主要的共同點就是他們都提供SQL界面。這個趨勢從2010年Hive開始逐漸取代Pig就一直如此。

因為太多的Hadoop生態(tài)系統(tǒng)提供的價值圍繞在分析和商業(yè)智能上，而過去數(shù)十年整個分析世界已經(jīng)運行在SQL的基礎(chǔ)之上，并且圍繞它建立了很多無法替代的公司競爭力，所以在經(jīng)過了很多關(guān)于NoSQL和Hadoop的憧憬以后，大家發(fā)現(xiàn)還是要回過頭來面對這個事實。

Druid看起來要火

在主流的大規(guī)?；趦?nèi)存的OLAP數(shù)據(jù)庫中，LinkedIn的Pinot和Metamarkets的Druid是兩個主流選擇。 Druid似乎從Yahoo得到了不少關(guān)注，而且不少最前沿的高科技公司也開始越來越多地使用它來驅(qū)動實時商業(yè)智能（BI）。

十月份，Druid一些主要貢獻者宣布了Imply.io，一家為Druid提供商業(yè)支持及打造出圍繞Druid的生態(tài)系統(tǒng)的公司。總體而言，很多聰明人開始用Druid來做內(nèi)存數(shù)據(jù)庫，以便對海量數(shù)據(jù)集進行交互式分析。

開源機器學(xué)習(xí)庫Galore

十一月， 谷歌開源Tensor Flow ，一個利用數(shù)據(jù)流圖譜進行計算的廣義庫。 它被大量用于機器學(xué)習(xí)，特別是深度神經(jīng)網(wǎng)絡(luò)。 它還在加盟了十一月微軟發(fā)布的Theano，Torch，DMLT。

雖然上面提到的這些庫不是可以把人工智能添加到任何產(chǎn)品的簡單插件，但是以他們?yōu)榛魏斡凶銐蚨嗟臄?shù)據(jù)的人都可以來訓(xùn)練他們的系統(tǒng)來制造最先進的算法。 當(dāng)大家都開始在基石上建造，產(chǎn)品的整體復(fù)雜性，無論是分析相關(guān)還是其他方面，都會不斷提高。

IBM在Spark上發(fā)力

6月，IBM 宣布把3500研發(fā)人員放在Spark相關(guān)項目上。 Spark是在許多方面是Hadoop的生態(tài)系統(tǒng)里的MapReduce的繼承人。 它為開發(fā)人員提供了四大法寶（低級別數(shù)據(jù)處理語言，機器學(xué)習(xí)庫，圖形算法和SQL-on-Hadoop數(shù)據(jù)庫）來進行數(shù)據(jù)的混合及匹配。

雖然仍然在用戶實踐的最初階段，Spark已經(jīng)得到了背后龐大的開發(fā)者的支持。十月份，IBM宣布了基于Bluemix的Spark-as-a-service ，并且把其數(shù)據(jù)工程產(chǎn)品移植到Spark上。這件事情對以開發(fā)Apache Spark為主業(yè)的Databricks 公司的影響十分值得關(guān)注。

商業(yè)智能開源軟件開始興起的一年

從歷史上看，開源軟件的創(chuàng)新基本上在軟件堆棧的較底層。 隨著時間的推移，以及對開源軟件企業(yè)可行的商業(yè)模式的的發(fā)展，越來越多的面向最終用戶的軟件正在以開源的方式進行開放。

去年，兩個古董的開源BI公司之一的JasperSoft被Tibco以$ 1.85億美元收購。另一個公司，Pentaho，則在前年2月就被日立數(shù)據(jù)系統(tǒng)公司以超過$ 5億美元收購。

同時，在2015年還涌現(xiàn)出了多家輕量級的開源項目。AirPal和Re:Dash把重點放在使用戶能夠快速，輕松地在Redshift上進行SQL查詢（詳見下文），而Metabase還提供了一個非常易于安裝的工具，允許非技術(shù)用戶對多種數(shù)據(jù)庫進行數(shù)據(jù)查詢和分享數(shù)據(jù)報表。

專有事件分析公司繼續(xù)涌現(xiàn)

雖然Google Analytics仍然是大家默認的首選，仍然有很多人致力于開發(fā)以收集并分析在網(wǎng)站和移動應(yīng)用上的用戶行為為中心的，集所有功能于一身的分析系統(tǒng)。

與此同時，作為Google Analytics的主要競爭對手，Mixpanel（截止去年已募集$ 6.5億美金），于去年7月跟隨Heap公司的腳步，發(fā)布了Codeless Analytics。它主要是通過添加SDK到您的移動應(yīng)用里，自動對移動應(yīng)用進行數(shù)據(jù)埋點，并同時獲得對用戶行為事件的分析，而無需手動對特定事件進行埋點。 十一月，該公司發(fā)布了Predict，它可以讓你使用輕量級的機器學(xué)習(xí)來預(yù)測用戶是否會執(zhí)行一個動作（如轉(zhuǎn)換付費）。

與此同時 - Heap已經(jīng)因為它在移動和網(wǎng)絡(luò)事件的數(shù)據(jù)分析上的簡單易用性而獲得了一定的知名度; Amplitude在八月融資$ 9百萬美元；而以增快數(shù)據(jù)分析速度為核心業(yè)務(wù)的Interana也在一月份A系列融資$ 2000萬美元。

同時，廉價和簡單地運行一個數(shù)據(jù)倉庫的方案的出現(xiàn)（如AWS的Redshift）也對傳統(tǒng)的使用專有事件分析軟件的理念帶來了沖擊。

正在興起的建立于云端的分析架構(gòu)

在2015年，一個用于處理商業(yè)智能的新的標(biāo)準(zhǔn)正在越來越多的創(chuàng)業(yè)公司（以及愿意保持創(chuàng)業(yè)心態(tài)的中型公司）中形成： 上世紀90年代的統(tǒng)一數(shù)據(jù)倉庫的概念正在回歸。允許這樣做的關(guān)鍵因素是AWS Redshit作為分析數(shù)據(jù)倉庫的廣泛采用。

因為Redshitshift相對于老一輩的數(shù)據(jù)庫（如Aster，Vertica, Teradata等）比較容易維護，它很快成為科技創(chuàng)業(yè)公司里數(shù)據(jù)倉庫的首選。

有兩組初創(chuàng)企業(yè)乘著這股浪潮：那些幫助把你的數(shù)據(jù)轉(zhuǎn)移到Redshift上的和那些讓你對在Redshift上的數(shù)據(jù)進行分析的。

第一組包括一些公司講業(yè)務(wù)完全圍繞在將數(shù)據(jù)加載到Redshift（如Alooma，Etleap，Textur）。此外， Segment去年正式宣布了將數(shù)據(jù)送到Redshift上的能力。 同時，RJMetrics，一個電子商務(wù)分析的供應(yīng)商，推出了他們的系統(tǒng)里關(guān)于數(shù)據(jù)攝取的部分幫助您將數(shù)據(jù)送到Redshift。

總而言之，許多公司都把自己的賭注押在AWS上，絕大部分在去年秋天QuickSight發(fā)布前。隨著AWS的數(shù)據(jù)管道等攝入服務(wù)不斷完善，他們的業(yè)務(wù)模式是否仍然存在還有待觀察。鑒于AWS的移動分析SDK和數(shù)據(jù)攝入管道的存在，可能留給這些公司的生存空間會逐漸消失。

鑒于QuickSight的預(yù)覽版目前只能提供很基本的功能，一些BI軟件供應(yīng)商在2015年從在Redshift上投入巨資的客戶上獲得了很多業(yè)務(wù)。 Looker, Mode Analytics, Periscope and Metabase是在Redshift被用來做分析數(shù)據(jù)的產(chǎn)品里比較突出的。 然而，這個領(lǐng)域會怎樣發(fā)展很大程度上要看AWS來年會帶來怎樣的新產(chǎn)品。

總而言之，2016年正在成為一個非常值得紀念的一年，尤其在融資放緩的影響更加明顯的情況下。

偉大的回火（公司估值壓縮）

雖然在事件形成的過程中很難感覺到，但回過頭來看，股票市場里股價對營收比的壓縮對私募市場的影響很明顯，特別是當(dāng)Fidelity公開將它手中一大批其后期投資降低估值的時候。

在做分析軟件的公司中，Cloudera的估值變化不大，而Dataminr的估值下降了35％。 在一般情況下，分析創(chuàng)業(yè)公司的獲取資本的成本，無論是早期或晚期，都變高了很多。雖然大量的風(fēng)投公司扔在獲得新的資金，并有足夠的錢去投資，總的感覺是，對初創(chuàng)企業(yè)的估值已經(jīng)緩慢開始下調(diào)。

今年會有一些動蕩，無論是在募資上，還有更重要的是，在很多分析公司的客戶群的相關(guān)預(yù)算上。由于大多數(shù)公司的客戶終身價值對客戶流失的敏感度，2016年看起來會是一個需要系好安全帶準(zhǔn)備迎接大風(fēng)浪的時間。