數(shù)據(jù)分析軟件市場(chǎng)值得關(guān)注的八個(gè)鬼

緊張精彩的2015年已經(jīng)結(jié)束了，現(xiàn)在是時(shí)候回過頭來看一看數(shù)據(jù)分析軟件市場(chǎng)的潮流。 已經(jīng)有幾個(gè)趨勢(shì)繼續(xù)變得壯大（比如開源，云托管，基于Hadoop的SQL解決方案），同時(shí)AWS上的Redshift開始成為數(shù)據(jù)倉庫中的一支重要力量。

SQL解決方案繼續(xù)在Hadoop的生態(tài)系統(tǒng)里大行其道

除了Spark，大部分Hadoop的生態(tài)系統(tǒng)里的新聞都來自Presto, Impala and Drill。 關(guān)于MapReduce繼任者的斗爭(zhēng)還在持續(xù)，而在列表中的所有候選者的一個(gè)主要的共同點(diǎn)就是他們都提供SQL界面。這個(gè)趨勢(shì)從2010年Hive開始逐漸取代Pig就一直如此。

因?yàn)樘嗟?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop生態(tài)系統(tǒng)提供的價(jià)值圍繞在分析和商業(yè)智能上，而過去數(shù)十年整個(gè)分析世界已經(jīng)運(yùn)行在SQL的基礎(chǔ)之上，并且圍繞它建立了很多無法替代的公司競(jìng)爭(zhēng)力，所以在經(jīng)過了很多關(guān)于NoSQL和Hadoop的憧憬以后，大家發(fā)現(xiàn)還是要回過頭來面對(duì)這個(gè)事實(shí)。

Druid看起來要火

在主流的大規(guī)?；趦?nèi)存的OLAP數(shù)據(jù)庫中，LinkedIn的Pinot和Metamarkets的Druid是兩個(gè)主流選擇。 Druid似乎從Yahoo得到了不少關(guān)注，而且不少最前沿的高科技公司也開始越來越多地使用它來驅(qū)動(dòng)實(shí)時(shí)商業(yè)智能（BI）。

十月份，Druid一些主要貢獻(xiàn)者宣布了Imply.io，一家為Druid提供商業(yè)支持及打造出圍繞Druid的生態(tài)系統(tǒng)的公司?？傮w而言，很多聰明人開始用Druid來做內(nèi)存數(shù)據(jù)庫，以便對(duì)海量數(shù)據(jù)集進(jìn)行交互式分析。

開源機(jī)器學(xué)習(xí)庫Galore

十一月， 谷歌開源Tensor Flow ，一個(gè)利用數(shù)據(jù)流圖譜進(jìn)行計(jì)算的廣義庫。 它被大量用于機(jī)器學(xué)習(xí)，特別是深度神經(jīng)網(wǎng)絡(luò)。 它還在加盟了十一月微軟發(fā)布的Theano，Torch，DMLT。

雖然上面提到的這些庫不是可以把人工智能添加到任何產(chǎn)品的簡(jiǎn)單插件，但是以他們?yōu)榛魏斡凶銐蚨嗟臄?shù)據(jù)的人都可以來訓(xùn)練他們的系統(tǒng)來制造最先進(jìn)的算法。 當(dāng)大家都開始在基石上建造，產(chǎn)品的整體復(fù)雜性，無論是分析相關(guān)還是其他方面，都會(huì)不斷提高。

IBM在Spark上發(fā)力

6月，IBM 宣布把3500研發(fā)人員放在Spark相關(guān)項(xiàng)目上。 Spark是在許多方面是Hadoop的生態(tài)系統(tǒng)里的MapReduce的繼承人。 它為開發(fā)人員提供了四大法寶（低級(jí)別數(shù)據(jù)處理語言，機(jī)器學(xué)習(xí)庫，圖形算法和SQL-on-Hadoop數(shù)據(jù)庫）來進(jìn)行數(shù)據(jù)的混合及匹配。

雖然仍然在用戶實(shí)踐的最初階段，Spark已經(jīng)得到了背后龐大的開發(fā)者的支持。十月份，IBM宣布了基于Bluemix的Spark-as-a-service ，并且把其數(shù)據(jù)工程產(chǎn)品移植到Spark上。這件事情對(duì)以開發(fā)Apache Spark為主業(yè)的Databricks 公司的影響十分值得關(guān)注。

商業(yè)智能開源軟件開始興起的一年

從歷史上看，開源軟件的創(chuàng)新基本上在軟件堆棧的較底層。 隨著時(shí)間的推移，以及對(duì)開源軟件企業(yè)可行的商業(yè)模式的的發(fā)展，越來越多的面向最終用戶的軟件正在以開源的方式進(jìn)行開放。

去年，兩個(gè)古董的開源BI公司之一的JasperSoft被Tibco以$ 1.85億美元收購。另一個(gè)公司，Pentaho，則在前年2月就被日立數(shù)據(jù)系統(tǒng)公司以超過$ 5億美元收購。

同時(shí)，在2015年還涌現(xiàn)出了多家輕量級(jí)的開源項(xiàng)目。AirPal和Re:Dash把重點(diǎn)放在使用戶能夠快速，輕松地在Redshift上進(jìn)行SQL查詢（詳見下文），而Metabase還提供了一個(gè)非常易于安裝的工具，允許非技術(shù)用戶對(duì)多種數(shù)據(jù)庫進(jìn)行數(shù)據(jù)查詢和分享數(shù)據(jù)報(bào)表。

專有事件分析公司繼續(xù)涌現(xiàn)

雖然Google Analytics仍然是大家默認(rèn)的首選，仍然有很多人致力于開發(fā)以收集并分析在網(wǎng)站和移動(dòng)應(yīng)用上的用戶行為為中心的，集所有功能于一身的分析系統(tǒng)。

與此同時(shí)，作為Google Analytics的主要競(jìng)爭(zhēng)對(duì)手，Mixpanel（截止去年已募集$ 6.5億美金），于去年7月跟隨Heap公司的腳步，發(fā)布了Codeless Analytics。它主要是通過添加SDK到您的移動(dòng)應(yīng)用里，自動(dòng)對(duì)移動(dòng)應(yīng)用進(jìn)行數(shù)據(jù)埋點(diǎn)，并同時(shí)獲得對(duì)用戶行為事件的分析，而無需手動(dòng)對(duì)特定事件進(jìn)行埋點(diǎn)。 十一月，該公司發(fā)布了Predict，它可以讓你使用輕量級(jí)的機(jī)器學(xué)習(xí)來預(yù)測(cè)用戶是否會(huì)執(zhí)行一個(gè)動(dòng)作（如轉(zhuǎn)換付費(fèi)）。

與此同時(shí) - Heap已經(jīng)因?yàn)樗谝苿?dòng)和網(wǎng)絡(luò)事件的數(shù)據(jù)分析上的簡(jiǎn)單易用性而獲得了一定的知名度; Amplitude在八月融資$ 9百萬美元；而以增快數(shù)據(jù)分析速度為核心業(yè)務(wù)的Interana也在一月份A系列融資$ 2000萬美元。

同時(shí)，廉價(jià)和簡(jiǎn)單地運(yùn)行一個(gè)數(shù)據(jù)倉庫的方案的出現(xiàn)（如AWS的Redshift）也對(duì)傳統(tǒng)的使用專有事件分析軟件的理念帶來了沖擊。

正在興起的建立于云端的分析架構(gòu)

在2015年，一個(gè)用于處理商業(yè)智能的新的標(biāo)準(zhǔn)正在越來越多的創(chuàng)業(yè)公司（以及愿意保持創(chuàng)業(yè)心態(tài)的中型公司）中形成： 上世紀(jì)90年代的統(tǒng)一數(shù)據(jù)倉庫的概念正在回歸。允許這樣做的關(guān)鍵因素是AWS Redshit作為分析數(shù)據(jù)倉庫的廣泛采用。

因?yàn)镽edshitshift相對(duì)于老一輩的數(shù)據(jù)庫（如Aster，Vertica, Teradata等）比較容易維護(hù)，它很快成為科技創(chuàng)業(yè)公司里數(shù)據(jù)倉庫的首選。

有兩組初創(chuàng)企業(yè)乘著這股浪潮：那些幫助把你的數(shù)據(jù)轉(zhuǎn)移到Redshift上的和那些讓你對(duì)在Redshift上的數(shù)據(jù)進(jìn)行分析的。

第一組包括一些公司講業(yè)務(wù)完全圍繞在將數(shù)據(jù)加載到Redshift（如Alooma，Etleap，Textur）。此外， Segment去年正式宣布了將數(shù)據(jù)送到Redshift上的能力。 同時(shí)，RJMetrics，一個(gè)電子商務(wù)分析的供應(yīng)商，推出了他們的系統(tǒng)里關(guān)于數(shù)據(jù)攝取的部分幫助您將數(shù)據(jù)送到Redshift。

總而言之，許多公司都把自己的賭注押在AWS上，絕大部分在去年秋天QuickSight發(fā)布前。隨著AWS的數(shù)據(jù)管道等攝入服務(wù)不斷完善，他們的業(yè)務(wù)模式是否仍然存在還有待觀察。鑒于AWS的移動(dòng)分析SDK和數(shù)據(jù)攝入管道的存在，可能留給這些公司的生存空間會(huì)逐漸消失。

鑒于QuickSight的預(yù)覽版目前只能提供很基本的功能，一些BI軟件供應(yīng)商在2015年從在Redshift上投入巨資的客戶上獲得了很多業(yè)務(wù)。 Looker, Mode Analytics, Periscope and Metabase是在Redshift被用來做分析數(shù)據(jù)的產(chǎn)品里比較突出的。 然而，這個(gè)領(lǐng)域會(huì)怎樣發(fā)展很大程度上要看AWS來年會(huì)帶來怎樣的新產(chǎn)品。

總而言之，2016年正在成為一個(gè)非常值得紀(jì)念的一年，尤其在融資放緩的影響更加明顯的情況下。

偉大的回火（公司估值壓縮）

雖然在事件形成的過程中很難感覺到，但回過頭來看，股票市場(chǎng)里股價(jià)對(duì)營(yíng)收比的壓縮對(duì)私募市場(chǎng)的影響很明顯，特別是當(dāng)Fidelity公開將它手中一大批其后期投資降低估值的時(shí)候。

在做分析軟件的公司中，Cloudera的估值變化不大，而Dataminr的估值下降了35％。 在一般情況下，分析創(chuàng)業(yè)公司的獲取資本的成本，無論是早期或晚期，都變高了很多。雖然大量的風(fēng)投公司扔在獲得新的資金，并有足夠的錢去投資，總的感覺是，對(duì)初創(chuàng)企業(yè)的估值已經(jīng)緩慢開始下調(diào)。

今年會(huì)有一些動(dòng)蕩，無論是在募資上，還有更重要的是，在很多分析公司的客戶群的相關(guān)預(yù)算上。由于大多數(shù)公司的客戶終身價(jià)值對(duì)客戶流失的敏感度，2016年看起來會(huì)是一個(gè)需要系好安全帶準(zhǔn)備迎接大風(fēng)浪的時(shí)間。