觀察大數(shù)據(jù)行業(yè)的整體生態(tài)結(jié)構(gòu)

作為該系列的開篇文章，本期我們將從宏觀的角度帶你觀察大數(shù)據(jù)行業(yè)的整體生態(tài)結(jié)構(gòu)，對大數(shù)據(jù)采集、數(shù)據(jù)的分布式存儲與處理，以及在此基礎(chǔ)之上的數(shù)據(jù)分析、可視化和在眾多行業(yè)中的應(yīng)用進(jìn)行概述。其后的每篇文章我們都會挑選大約5個行業(yè)的數(shù)十家典型公司進(jìn)行詳細(xì)介紹，并會對其中一個重點(diǎn)行業(yè)進(jìn)行邏輯的梳理與詳細(xì)案例的剖析。那么首先我們就來說說大數(shù)據(jù)技術(shù)是如何產(chǎn)生的？

第一 大數(shù)據(jù)的技術(shù)基礎(chǔ)

早在1980年，著名未來學(xué)家托夫勒在其所著的《第三次浪潮》中就熱情地將“大數(shù)據(jù)”稱頌為 “第三次浪潮的華彩樂章”，這標(biāo)志著人們首次對海量數(shù)據(jù)所能夠產(chǎn)生的價值有了初步的了解。

但由于連接方式的局限，長期以來人們對于數(shù)據(jù)的應(yīng)用大多以企業(yè)內(nèi)部的商業(yè)智能為主，隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的普及，企業(yè)終于能夠直接與用戶產(chǎn)生鏈接并獲得大量的用戶行為與消費(fèi)等數(shù)據(jù)，大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用的輪廓才漸漸清晰。

2000年初Google為了實(shí)現(xiàn)對大量網(wǎng)頁的信息抓取、存儲，并完成索引的建立及排序功能，同時又希望降低硬件采購成本而逐漸摸索出了利用普通物理機(jī)實(shí)現(xiàn)的分布式存儲、計算體系。這一技術(shù)以MapReduce及GFS而為人所熟知，借此大數(shù)據(jù)得以分布存儲在多個數(shù)據(jù)庫中，并進(jìn)行大規(guī)模并發(fā)處理，解決了以往單一計算機(jī)存儲能力不夠，計算時間過長而不具備實(shí)用性的問題。

依據(jù)2003年底Google所發(fā)布的論文，前雅虎工程師開發(fā)出了類似的分布式存儲計算技術(shù)Hadoop，隨后圍繞Hadoop產(chǎn)生了龐大的生態(tài)體系，逐漸使大數(shù)據(jù)基礎(chǔ)架構(gòu)日臻完善。

Hadoop功能包括從數(shù)據(jù)采集、存儲、分析、轉(zhuǎn)運(yùn)、再到頁面展示，完整涵蓋了整個流程。例如HDFS實(shí)現(xiàn)了數(shù)據(jù)的分布式存儲，HBase負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)庫的功能，F(xiàn)lume執(zhí)行對數(shù)據(jù)的收集，Sqoop能夠?qū)?shù)據(jù)進(jìn)行轉(zhuǎn)移、治理， MapReduce可以通過算法實(shí)現(xiàn)分布式計算，Hive則做數(shù)據(jù)倉庫，Pig做數(shù)據(jù)流處理，Zookeeper實(shí)現(xiàn)了各節(jié)點(diǎn)間的反饋收集與負(fù)載平衡服務(wù)，Ambari能夠讓管理員了解架構(gòu)整體的工作運(yùn)行情況。

Hadoop生態(tài)技術(shù)架構(gòu)

而隨著技術(shù)的發(fā)展，一些適應(yīng)獨(dú)特應(yīng)用場景的數(shù)據(jù)庫、計算處理等軟件也越發(fā)豐富，例如非結(jié)構(gòu)化數(shù)據(jù)庫MongoDB就因為其較為強(qiáng)大的條件查詢功能以及靈活的數(shù)據(jù)結(jié)構(gòu)獲得了廣泛的應(yīng)用；Spark則將Hadoop中的存儲介質(zhì)替換為閃存，而獲得了百倍處理速度的增長，Databricks Cloud就是這一架構(gòu)下的產(chǎn)品化服務(wù)。

除此之外大數(shù)據(jù)生態(tài)中還存在著很多的技術(shù)發(fā)展路徑，其中MPP技術(shù)主要還是以關(guān)系型數(shù)據(jù)庫為主和Hadoop技術(shù)目標(biāo)類似，都為了將數(shù)據(jù)切分、獨(dú)立計算后再匯總。相對于SQL on Hadoop，MPP具有數(shù)據(jù)優(yōu)化程度高、計算速度快，擅長被用于進(jìn)行交叉分析等優(yōu)點(diǎn)，適合企業(yè)進(jìn)行數(shù)據(jù)分析使用，但其擴(kuò)展性相對Hadoop來說較弱，一般在10個節(jié)點(diǎn)以上便喪失了計算優(yōu)勢，并且由于非開源架構(gòu)導(dǎo)致其對特定硬件依賴程度較高。

采用MPP存儲模式的代表性公司有Teradata，能夠通過進(jìn)行企業(yè)數(shù)據(jù)分析幫助員工減輕大數(shù)據(jù)處理的精力消耗與費(fèi)用成本，使企業(yè)能夠更加專注于業(yè)務(wù)運(yùn)營。在傳統(tǒng)數(shù)據(jù)庫公司與意圖進(jìn)入數(shù)據(jù)庫市場的企業(yè)服務(wù)公司（例如SAP）掀起的收購熱潮中，Teradata是目前市場僅存的幾家大型獨(dú)立數(shù)據(jù)分析公司之一。

第二 大數(shù)據(jù)的數(shù)據(jù)來源

2011年麥肯錫發(fā)布了一份題為“Big Data: The Next Frontier for Innovation, Competition and Productivity”的報告，里面提到美國擁有1000人以上規(guī)模的公司平均存儲了超過200T的數(shù)據(jù)，如果對數(shù)據(jù)進(jìn)行價值挖掘?qū)⒓ぐl(fā)很多行業(yè)及公司的潛力，這一報告標(biāo)志了商業(yè)領(lǐng)域大數(shù)據(jù)熱潮的開端，也使企業(yè)服務(wù)軟件成為了大數(shù)據(jù)最初的數(shù)據(jù)源。

隨著存儲及計算能力的加強(qiáng)和國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)的興起，部分從業(yè)者在看到行業(yè)巨大前景的同時也意識到了國內(nèi)數(shù)據(jù)資源的缺乏，由于民生、電信、交通、電力等具有很高價值的數(shù)據(jù)都掌握在政府及大型國企中并不開放，如何獲取數(shù)據(jù)源成為了比如何提升數(shù)據(jù)處理方法更大的問題。

目前國內(nèi)能夠進(jìn)行脫敏并使用的市場數(shù)據(jù)的來源主要還是集中在手機(jī)、PC等單一渠道與場景中，TalkingData、友盟，以及艾瑞、易觀等數(shù)據(jù)分析及咨詢機(jī)構(gòu)很大程度上依賴著這些資源，卻也被這些資源所局限。而由于政府?dāng)?shù)據(jù)的敏感性，僅有少數(shù)機(jī)構(gòu)能夠?qū)诱當(dāng)?shù)據(jù)資源。因此預(yù)計隨著對數(shù)據(jù)需求的日益強(qiáng)烈以及數(shù)據(jù)資源價值被漸漸接受，政府?dāng)?shù)據(jù)資源將會成為數(shù)據(jù)源的重要組成部分。

而更大范圍的數(shù)據(jù)采集工作將會依托于物聯(lián)網(wǎng)領(lǐng)域。我們在《即將被281億個傳感器包圍，你卻還沒弄懂物聯(lián)網(wǎng)技術(shù)？》中曾講到，預(yù)計2020年我們將會被281億個傳感器包圍，本月27號中國聯(lián)通也宣布截至目前其物聯(lián)網(wǎng)聯(lián)通數(shù)量已超過5000萬個?？梢灶A(yù)見的是，在消費(fèi)者視角內(nèi)，未來衣食住行等方方面面都將會配備物聯(lián)網(wǎng)設(shè)備實(shí)時采集數(shù)據(jù)，而采集來的數(shù)據(jù)將會讓商家提供更優(yōu)質(zhì)、甚至是定制化的服務(wù)，形成雙贏。而在工業(yè)領(lǐng)域，物聯(lián)網(wǎng)所采集的大數(shù)據(jù)也將發(fā)揮很大的作用，形成良性循環(huán)。

同樣隨著數(shù)據(jù)樣本與采集渠道的豐富，針對數(shù)據(jù)采集過程、數(shù)據(jù)轉(zhuǎn)換與傳送和數(shù)據(jù)存儲環(huán)節(jié)的服務(wù)也已經(jīng)有了很大的發(fā)展，Informatica及Mulesoft就是多渠道數(shù)據(jù)的集成與數(shù)據(jù)治理行業(yè)中的代表性企業(yè)。

第三 大數(shù)據(jù)的分析及可視化

在有了足夠的存儲與計算能力，并獲得了大量的數(shù)據(jù)后，數(shù)據(jù)分析產(chǎn)業(yè)的發(fā)展水到渠成。目前通用性的數(shù)據(jù)分析行業(yè)，主要有數(shù)據(jù)分析、數(shù)據(jù)分析可視化、大數(shù)據(jù)檢索，以及延伸出的數(shù)據(jù)服務(wù)平臺、商業(yè)智能分析及大數(shù)據(jù)預(yù)測與咨詢這6大類業(yè)務(wù)。

數(shù)據(jù)分析的內(nèi)容將會在第二及第三篇文章中詳細(xì)介紹，今天僅介紹一下數(shù)據(jù)分析的整體情況，及未來可能的發(fā)展方向。

大數(shù)據(jù)分析的出現(xiàn)，對企業(yè)而言最大的價值就是能夠?qū)⒋罅砍恋淼挠脩粜袨閿?shù)據(jù)、消費(fèi)數(shù)據(jù)、企業(yè)服務(wù)軟件中的數(shù)據(jù)進(jìn)行整合，并通過對這些數(shù)據(jù)的分析來優(yōu)化產(chǎn)品設(shè)計、價格的制定和銷售方法的提升，同時降低企業(yè)內(nèi)部運(yùn)轉(zhuǎn)的成本提高運(yùn)營效率，例如Pentho通過抓取企業(yè)服務(wù)軟件（主要為SAP）中的各類數(shù)據(jù)并挖掘及分析，最終能夠幫助企業(yè)節(jié)約大量的報表制作時間，并讓管理者能夠?qū)崟r看到企業(yè)的運(yùn)行情況。

同樣對于電信、電力以及交通等專業(yè)領(lǐng)域的企業(yè)來說，通過收集用戶數(shù)據(jù)，可以分析并預(yù)測未來的需求，提前對價格進(jìn)行實(shí)時智能調(diào)節(jié)，并合理分配負(fù)載，從而實(shí)現(xiàn)利潤的最大化并保證運(yùn)行的安全。

而對輿情數(shù)據(jù)的分析能夠幫助企業(yè)及時了解市場情緒，并快速迭代自己的產(chǎn)品與服務(wù)，對于金融企業(yè)來說也可以快速獲知最新動態(tài)避免因為信息不對稱而暴露于風(fēng)險中。例如Datameer提供的數(shù)據(jù)分析引擎就能夠?qū)崟r監(jiān)測公共消息，檢測其語言和傳播方式，使用戶能夠早于媒體報道獲得最新資訊，并通過可視化的方式使用戶輕松快速上手。

大數(shù)據(jù)可視化，則是建立在大數(shù)據(jù)分析之上的，讓人們能夠更加便捷的理解數(shù)據(jù)分析結(jié)果的手段。大多數(shù)提供數(shù)據(jù)可視化業(yè)務(wù)的公司都將其作為對數(shù)據(jù)分析的延伸業(yè)務(wù)，例如Bottlenose 在進(jìn)行數(shù)據(jù)分析自動化業(yè)務(wù)的同時，提供對社交媒體分析的“聲納圖”，能夠讓用戶對復(fù)雜的關(guān)系及邏輯線條一目了然，提升了用戶對其數(shù)據(jù)分析業(yè)務(wù)的采納程度。

預(yù)計隨著數(shù)據(jù)分析手段與方法的不斷升級，數(shù)據(jù)的可視化工作將成為重點(diǎn)方向，將日益復(fù)雜化的數(shù)據(jù)分析結(jié)果與人相連接將會面臨技術(shù)不斷的挑戰(zhàn)。

第四 大數(shù)據(jù)的行業(yè)應(yīng)用

大數(shù)據(jù)技術(shù)已經(jīng)被視為了未來經(jīng)濟(jì)生活中的基礎(chǔ)設(shè)施，這意味著幾乎全部行業(yè)都能夠在大數(shù)據(jù)分析技術(shù)之上獲得經(jīng)濟(jì)效率的提升。星河研究院此次將大數(shù)據(jù)應(yīng)用的研究范圍覆蓋到了20多個行業(yè)，包含電子商務(wù)、媒體營銷、物流、企業(yè)服務(wù)、教育、汽車、金融科技等諸多產(chǎn)業(yè)，這一部分行業(yè)與公司的介紹將會放在第四到第七篇文章中。

在銷售行業(yè)中，通過輸入客戶的性格、穿搭習(xí)慣、所處行業(yè)及歷史銷售數(shù)據(jù)等信息，銷售員將會被大數(shù)據(jù)分析告知，何時給哪一位客戶打電話獲得訂單的概率最高；在品牌形象建立中，Persado能夠依據(jù)市場情緒的分析，寫出與用戶能夠產(chǎn)生共鳴的文案從而獲取消費(fèi)者好感；法律行業(yè)中Ravel能夠“閱讀”過去數(shù)十萬判決案例，針對用戶輸入的案件給出判決概率預(yù)測，幫助律師制定辯護(hù)策略，而長期來看法律大數(shù)據(jù)企業(yè)很有可能取代大部分初級律師；同樣在零售、廣告、醫(yī)療等諸多領(lǐng)域，大數(shù)據(jù)技術(shù)都能通過分析數(shù)據(jù)內(nèi)在的關(guān)系而幫助用戶實(shí)現(xiàn)購買預(yù)測、受眾精準(zhǔn)投放以及病情輔助判斷等功能。大數(shù)據(jù)的行業(yè)應(yīng)用精彩紛呈，遠(yuǎn)不止上文所提到的這些，接下來的文章中我們會逐一展現(xiàn)大數(shù)據(jù)應(yīng)用的神奇。

第五 大數(shù)據(jù)成為AI產(chǎn)業(yè)的燃料

人工智能技術(shù)一直是科學(xué)家與技術(shù)人員的追求，但其發(fā)展并不是一帆風(fēng)順。例如最初的自然語言識別技術(shù)中，科學(xué)家希望通過語法規(guī)則使計算機(jī)理解語義從而實(shí)現(xiàn)智能化，但顯示證明這一路徑并不可行，其后依據(jù)大量數(shù)據(jù)樣本的統(tǒng)計方法才有效的提升了自然語言處理的準(zhǔn)確度并逐漸達(dá)到可用水平。

如今隨著計算技術(shù)與數(shù)據(jù)量的提升，大數(shù)據(jù)能夠帶給我們的福利已經(jīng)不僅限于資料的查找，識別語言、視覺的AI技術(shù)提供給我們的，除了經(jīng)?？吹降摹皞€人助理”和動態(tài)美顏等功能外，仿照大腦結(jié)構(gòu)進(jìn)行寫作、自動記錄會議紀(jì)要、情緒識別與性格分析，甚至是視頻內(nèi)容的搜索等功能都能夠?qū)ι虡I(yè)及產(chǎn)業(yè)起到較大的推動作用。