關(guān)于大數(shù)據(jù)你不可不知的大企業(yè)及大布局_數(shù)據(jù)分析師考試

如果說有一家科技公司準確定義了“大數(shù)據(jù)”概念的話，那一定是谷歌。根據(jù)搜索研究公司康姆斯科（Comscore）的調(diào)查，僅2012年3月一個月的時間，谷歌處理的搜索詞條數(shù)量就高達122億條。

谷歌不僅存儲了它的搜索結(jié)果中出現(xiàn)的網(wǎng)絡(luò)連接，還會儲存所有人搜索關(guān)鍵詞的行為，它能夠精準地記錄下人們進行搜索行為的時間、內(nèi)容和方式。這些數(shù)據(jù)能夠讓谷歌優(yōu)化廣告排序，并將搜索流量轉(zhuǎn)化為盈利模式。谷歌不僅能追蹤人們的搜索行為，而且還能夠預(yù)測出搜索者下一步將要做什么。換言之，谷歌能在你意識到自己要找什么之前預(yù)測出你的意圖。這種抓取、存儲并對海量人機數(shù)據(jù)進行分析，然后據(jù)此進行預(yù)測的能力，就是所謂的“大數(shù)據(jù)”。

2012：大數(shù)據(jù)十字路口？

為什么大數(shù)據(jù)突然變得這么火？為什么《紐約時報》把2012年定義為“大數(shù)據(jù)的十字路口”？

大數(shù)據(jù)之所以進入主流大眾的視野，源自三種趨勢的合力:

第一，許多高端消費品公司加強了對大數(shù)據(jù)的應(yīng)用。社交網(wǎng)絡(luò)巨擎 Facebook 使用大數(shù)據(jù)來追蹤用戶在其網(wǎng)絡(luò)的行為，通過識別你在它的網(wǎng)絡(luò)中的好友，從而給出新的好友推薦建議，用戶擁有越多的好友，他們與 Facebook之間的黏度就越高。更多的好友意味著用戶會分享更多照片、發(fā)布更多狀態(tài)更新、玩更多的游戲。

商業(yè)網(wǎng)站LinkdIn則使用大數(shù)據(jù)在求職者和招聘職位之間建立關(guān)聯(lián)。有了LinkdIn,獵頭們再也不用向潛在的受聘者打陌生電話來碰運氣，而可以通過簡單的搜索找出潛在受聘者并聯(lián)系他們。與此相似，求職者也可以通過聯(lián)系網(wǎng)站上其他人，自然而然地將自己推銷給潛在的雇主。

第二，以上兩家公司都在2012年早些時候陸續(xù)上市。Facebook 在納斯達克上市,LinkedIn 在紐約證券交易所上市。這兩家企業(yè)和谷歌一樣，雖然表面上是消費品公司，然而其本質(zhì)是大數(shù)據(jù)企業(yè)。除去這兩家，Splunk 也在 2012 年完成了上市,它是一家?guī)椭笾行推髽I(yè)提供運營智能的大數(shù)據(jù)企業(yè)。這些企業(yè)的公開上市提高了華爾街對于大數(shù)據(jù)的興趣。這種興趣帶來了空前的盛況——硅谷的風險投資家們開始前仆后繼地投資大數(shù)據(jù)企業(yè)。大數(shù)據(jù)將引發(fā)下一波創(chuàng)業(yè)大潮，而這次浪潮有望讓硅谷在未來幾年取代華爾街。

第三，亞馬遜、Facebook、LinkedIn 和其他以數(shù)據(jù)為核心消費品的活躍用戶們，開始期待自己在工作中也能獲得暢通無阻地使用大數(shù)據(jù)的體驗，而不再僅僅限于生活娛樂。用戶們此前一直想不通，既然互聯(lián)網(wǎng)零售商亞馬遜可以推薦閱讀書目、推薦電影、推薦可供購買的產(chǎn)品，為什么他們所在的企業(yè)卻做不到類似的事情。

比如，既然汽車租賃公司擁有客戶過去租車的信息和現(xiàn)有可用車輛庫存的信息，這些公司為何就不能在向不同的租車人提供合適的車輛方面做得更智能一點？公司還可以通過新的技術(shù)，將公開信息利用起來——比如某個特定市場的狀況，會議活動信息，以及其他可能會影響市場需求和供給的事件。通過將內(nèi)部供應(yīng)鏈數(shù)據(jù)和外部市場數(shù)據(jù)結(jié)合在一起，公司就可以更加精確地預(yù)測什么車輛可用，以及可用時間。

與此類似，零售商應(yīng)當可以將來自外部的公開數(shù)據(jù)和內(nèi)部數(shù)據(jù)結(jié)合在一起，利用這種混合的數(shù)據(jù)進行產(chǎn)品定價和市場布局。同時還可以同時考慮影響現(xiàn)貨供應(yīng)能力的多種因素以及消費者購物習慣，包括哪兩種產(chǎn)品相搭配會賣得更好，這樣零售商就可以提升消費者的平均購買量，從而獲得更高的利潤。

谷歌的行動

谷歌的體量和規(guī)模，使它擁有比其他大多數(shù)企業(yè)更多的應(yīng)用大數(shù)據(jù)的途徑。谷歌的優(yōu)勢之一在于，它擁有一支軟件工程師部隊，這使得谷歌能夠從無到有地建立大數(shù)據(jù)技術(shù)。

谷歌的另一個優(yōu)勢在于它所擁有的基礎(chǔ)設(shè)施。谷歌搜索引擎本身的設(shè)計，就旨在讓它能夠無縫鏈接成千上萬的服務(wù)器。如果出現(xiàn)更多的處理或存儲需要，抑或某臺服務(wù)器崩潰，谷歌的工程師們只要再添加更多的服務(wù)器就能輕松搞定。

谷歌軟件技術(shù)的設(shè)計也秉持著同樣的基礎(chǔ)設(shè)施理念。MapReduce（谷歌開發(fā)的編程工具，用于大規(guī)模數(shù)據(jù)集的并行運算?！g者注）和谷歌文件系統(tǒng)（Google File System）就是兩個典型的例子?！哆B線》雜志在 2012年初夏曾報道稱，這兩個軟件系統(tǒng)“重塑了谷歌建立搜索索引的方式”。

為數(shù)眾多的企業(yè)如今開始使用Hadoop, 它是MapReduce和谷歌文件系統(tǒng)的一種開源衍生產(chǎn)品。Hadoop允許橫跨多臺電腦，對龐大的數(shù)據(jù)集合進行分布式處理。在其他企業(yè)剛剛開始使用Hadoop的時候，谷歌早已多年深耕大數(shù)據(jù)技術(shù)，這讓它在行業(yè)中獲得了巨大的領(lǐng)先優(yōu)勢。

如今谷歌正在進一步開放數(shù)據(jù)處理領(lǐng)域，將其和更多第三方共享。谷歌最近剛剛推出web服務(wù)BigQuery。該項服務(wù)允許使用者對超大量數(shù)據(jù)集進行交互式分析。按照谷歌目前的狀況，“超大量”，意味著數(shù)十億行數(shù)據(jù)。BigQuery 就是按指令在云端運行的數(shù)據(jù)分析。

除此以外，谷歌還坐擁人們在谷歌網(wǎng)站進行搜索及經(jīng)過其網(wǎng)絡(luò)時所產(chǎn)生的大量機器數(shù)據(jù)。用戶所輸入的每一個搜索請求，都會讓谷歌知道他在尋找什么，所有人類行為都會在互聯(lián)網(wǎng)上留下痕跡路徑，而谷歌占領(lǐng)了一個絕佳的點位來捕捉和分析該路徑。

不僅如此，谷歌在搜索之外還有更多獲取數(shù)據(jù)的途徑。企業(yè)安裝“谷歌分析（Google Analytics）”之類的產(chǎn)品來追蹤訪問者在其站點的足跡，而谷歌也可獲得這些數(shù)據(jù)。網(wǎng)站還使用“谷歌廣告聯(lián)盟（Google Adsense）”，將來自谷歌廣告客戶網(wǎng)的廣告展示在其站點，因此，谷歌不僅可以洞察自己網(wǎng)站上廣告的展示效果，同樣還可以對其他廣告發(fā)布站點的展示效果一覽無余。

將所有這些數(shù)據(jù)集合在一起所帶來的結(jié)果是：企業(yè)不僅從最好的技術(shù)中獲益，同樣還可以從最好的信息中獲益。在信息技術(shù)方面，許多企業(yè)可謂耗資巨大，然而在信息技術(shù)的組成部分之一——信息領(lǐng)域，谷歌所進行的龐大投入和所獲得的巨大成功，卻罕有企業(yè)能望其項背。

亞馬遜步步緊逼

谷歌并不是惟一一個推行大數(shù)據(jù)的大型技術(shù)公司?；ヂ?lián)網(wǎng)零售商亞馬遜已經(jīng)采取了一些激進的舉動，令其有可能成為谷歌的最大威脅。

曾有分析者預(yù)測，亞馬遜2015年營收將超過1000億美元，它即將趕超沃爾瑪成為世界最大的零售商。如同谷歌一樣，亞馬遜也要處理海量數(shù)據(jù)，只不過它處理數(shù)據(jù)帶有更強的電商傾向。消費者們在亞馬遜的網(wǎng)站上對想看的電視節(jié)目或是想買的產(chǎn)品所進行的每一次搜索，都會讓亞馬遜對該消費者的了解有所增加。基于搜索和產(chǎn)品購買行為，亞馬遜就可以知道接下來應(yīng)該推薦什么產(chǎn)品。而亞馬遜的聰明之處還不止于此，它還會在網(wǎng)站上持續(xù)不斷地測試新的設(shè)計方案，從而找出轉(zhuǎn)化率最高的方案。

你會認為亞馬遜網(wǎng)站上的某段頁面文字只是碰巧出現(xiàn)的嗎？如果你這樣認為的話，你應(yīng)該再好好想一想。整個網(wǎng)站的布局、字體大小、顏色、按鈕以及其他所有的設(shè)計，其實都是在多次審慎測試后的最優(yōu)結(jié)果。

以數(shù)據(jù)為導向的方法并不僅限于以上領(lǐng)域，按一位前員工的說法，亞馬遜的企業(yè)文化就是冷冰冰的數(shù)據(jù)導向型文化。數(shù)據(jù)顯示出什么是有效的、什么是無效的，新的商業(yè)投資項目必須要有數(shù)據(jù)的支撐。對數(shù)據(jù)的長期專注讓亞馬遜能夠以更低的售價提供更好的服務(wù)。消費者常常會完全跳過谷歌之類的搜索引擎，直接去亞馬遜網(wǎng)站搜索商品、并進行購買。

爭奪消費者控制權(quán)的戰(zhàn)爭硝煙還在彌漫擴散，蘋果、亞馬遜、谷歌，以及微軟，這四家公認的巨頭如今不僅在互聯(lián)網(wǎng)上廝殺，在移動領(lǐng)域同樣打得難解難分。鑒于消費者們把越來越多的時間花在手機和平板電腦等移動設(shè)備上，坐在電腦前的時間越來越少，因此，那些能進入消費者掌中移動設(shè)備的企業(yè)，將在銷售和獲取消費者行為信息方面更具有優(yōu)勢。企業(yè)掌握的消費者群體和個體信息越多，它就越能夠更好地制定內(nèi)容、廣告和產(chǎn)品。

從支撐新興技術(shù)企業(yè)的基礎(chǔ)設(shè)施到消費內(nèi)容的移動設(shè)備，令人難以置信的是，亞馬遜的觸角已觸及到更為廣闊的領(lǐng)域。亞馬遜在幾年前就預(yù)見了將服務(wù)器和存儲基礎(chǔ)設(shè)施開放給其他人的價值?！皝嗰R遜網(wǎng)絡(luò)服務(wù)（Amazon Web Services，簡稱 AWS）”是亞馬遜公司知名的面向公眾的云服務(wù)提供者，為新興企業(yè)和老牌公司提供可擴展的運算資源。雖然AWS 成立的時間不長，但已有分析者估計它每年的銷售額超過15億美元。

AWS所提供的運算資源為企業(yè)開展大數(shù)據(jù)行動鋪平了道路。當然，企業(yè)依然可以繼續(xù)投資建立以私有云為形式的自有基礎(chǔ)設(shè)施，而且很多企業(yè)還會這樣做。但是如果企業(yè)想盡快利用額外的、

可擴展的運算資源，他們還可以方便快捷地在亞馬遜的公共云上使用多個服務(wù)器。如今亞馬遜引領(lǐng)潮流、備受矚目，靠的不僅是它自己的網(wǎng)站和Kindle之類新的移動設(shè)備，支持著數(shù)千個熱門站點的基礎(chǔ)設(shè)施同樣功不可沒。

AWS帶來的結(jié)果是，大數(shù)據(jù)分析不再需要企業(yè)在IT上投入固定成本，如今，獲取數(shù)據(jù)、分析數(shù)據(jù)都能夠在云端簡單迅速地完成。換句話說，企業(yè)過去由于無法存儲而不得不拋棄數(shù)據(jù)，如今它們有能力獲取和分析規(guī)?？涨暗臄?shù)據(jù)。

實現(xiàn)信息優(yōu)勢

AWS之類的服務(wù)與Hadoop之類的開源技術(shù)相結(jié)合，意味著企業(yè)終于能夠嘗到信息技術(shù)在多年以前向世人所描繪的果實。

數(shù)十年來，人們對所謂“信息技術(shù)”的關(guān)注一直偏重于其中的“技術(shù)”部分。首席信息官的職責只不過是對服務(wù)器、存儲和網(wǎng)絡(luò)的購買及管理。而今，信息以及對信息的分析和存儲、依據(jù)信息進行預(yù)測的能力，正成為企業(yè)競爭優(yōu)勢的來源。

信息技術(shù)剛剛興起的時候，較早應(yīng)用信息技術(shù)的企業(yè)能夠更快地發(fā)展，超越他人。微軟在20世紀90年代樹立起威信，這不僅僅得益于它開發(fā)了世界上應(yīng)用最為廣泛的操作系統(tǒng)，還在于它當時在公司內(nèi)部將電子郵件作為標準溝通機制。

在許多企業(yè)仍在猶豫是否采用電子郵件的時候，電子郵件事實上已經(jīng)成為微軟討論招聘、產(chǎn)品決策、市場戰(zhàn)略之類事務(wù)的機制。雖然群發(fā)電子郵件的交流在如今已是司空見慣，但在當時，這樣的舉措讓微軟較之其他未采用電子郵件的公司，更加具有速度和協(xié)作優(yōu)勢。擁抱大數(shù)據(jù)、在不同的組織之間民主化地使用數(shù)據(jù)，將會給企業(yè)帶來與之相似的優(yōu)勢。諸如谷歌和Facebook之類的企業(yè)已經(jīng)從“數(shù)據(jù)民主”中獲益。

通過將內(nèi)部數(shù)據(jù)分析平臺開放給所有跟自己的公司相關(guān)的分析師、管理者和執(zhí)行者，谷歌、Facebook 及其他一些公司已經(jīng)讓組織中的所有成員都能向數(shù)據(jù)提出跟商業(yè)有關(guān)的問題、獲得答案

并迅速行動。 以Facebook為例，它將大數(shù)據(jù)推廣成為內(nèi)部的服務(wù)，這意味著該服務(wù)不僅是為工程師設(shè)計的，也是為終端用戶——生產(chǎn)線管理人員設(shè)計的，他們需要運用查詢來找出有效的方案。因此，管理者們不需要等待幾天或是幾周的時間來找出網(wǎng)站的哪些改變最有效，或者哪些廣告方式效果最好，他們可以使用內(nèi)部的大數(shù)據(jù)服務(wù)，而該服務(wù)就是為了滿足其需求而設(shè)計的，這使得數(shù)據(jù)分析的結(jié)果很容易就可以在員工之間被分享。

過去的二十年是信息技術(shù)的時代，接下來二十年的主題仍會是信息技術(shù)。這些企業(yè)能夠更快地處理數(shù)據(jù)，而公共數(shù)據(jù)資源和內(nèi)部數(shù)據(jù)資源一體化將帶來獨特的洞見，使他們能夠遠遠超越競爭對手。如同我所撰寫的《大數(shù)據(jù)的八大定律》（The Top 8 Laws Of Big Data）所言，你分析數(shù)據(jù)的速度越快，它的預(yù)測價值就越大。企業(yè)如今正在漸漸遠離批量處理（批量處理指先存儲數(shù)據(jù)，事件之后再慢慢進行分析處理），轉(zhuǎn)向?qū)崟r分析來獲取競爭優(yōu)勢。

對于高管們而言，好消息是：來自于大數(shù)據(jù)的信息優(yōu)勢不再只屬于谷歌、亞馬遜之類的大企業(yè)。Hadoop之類的開源技術(shù)讓其他企業(yè)同樣可以擁有這樣的優(yōu)勢。老牌財富100強企業(yè)和新興初創(chuàng)公司，都能夠以合理的價格，利用大數(shù)據(jù)來獲得競爭優(yōu)勢。

大數(shù)據(jù)的顛覆

大數(shù)據(jù)帶來的顛覆，不僅是與以往相比可以獲取和分析更多數(shù)據(jù)的能力，更重要的是獲取和分析等量數(shù)據(jù)的價格也正在顯著下降，而價格越低，銷量就會越高。然而，隱含其中的諷刺關(guān)系正如所謂的“杰文斯悖論”(Jevons Paradox)。經(jīng)濟學家杰文斯通過觀察工業(yè)革命得出該悖論，并以他的名字命名（杰文斯悖論的核心是，資源利用率的提高導致價格降低 , 最終會增加資源的使用量?！g者注）?？萍歼M步使儲存和分析數(shù)據(jù)的方式變得更有效率，公司將做更多的數(shù)據(jù)分析，因此并沒有減少工作。簡而言之，這就是大數(shù)據(jù)帶來的顛覆。

從亞馬遜到谷歌，從IBM到惠普和微軟，大量的大型技術(shù)公司紛紛投身大數(shù)據(jù)，而基于大數(shù)據(jù)解決方案，更多初創(chuàng)型企業(yè)如雨后春筍般涌現(xiàn)，實現(xiàn)開放源和共享云。大公司致力于橫向的大數(shù)據(jù)解決方案，與此同時，小公司則專注于為重要垂直業(yè)務(wù)提供應(yīng)用程序。有些產(chǎn)品優(yōu)化銷售效率，還有些產(chǎn)品通過將不同渠道的營銷業(yè)績與實際的產(chǎn)品使用數(shù)據(jù)相關(guān)聯(lián)，為未來營銷活動提供建議。這些大數(shù)據(jù)應(yīng)用（Big Data Applications，簡稱BDA）意味著小公司不必在內(nèi)部開發(fā)或配備所有大數(shù)據(jù)技術(shù)；在很多情況下，它們可以利用基于云端的服務(wù)來滿足數(shù)據(jù)分析需求。在技術(shù)之外，這些小企業(yè)還會開發(fā)一些產(chǎn)品，追蹤記錄與健康相關(guān)的指標并據(jù)此提出改善人們行為的建議。諸如此類的產(chǎn)品有望減少肥胖，提高生活質(zhì)量，同時降低醫(yī)療成本。

大數(shù)據(jù)路線圖

產(chǎn)業(yè)分析研究公司福雷斯特（Forrester）估計，企業(yè)數(shù)據(jù)的總量在以每年 94% 的增長率飆升。這樣的高速增長之下，每個企業(yè)都需要一個大數(shù)據(jù)路線圖。至少，企業(yè)應(yīng)制訂獲取數(shù)據(jù)的戰(zhàn)略，獲取范圍應(yīng)從內(nèi)部電腦系統(tǒng)的常規(guī)機器日志，到線上的用戶交互記錄。即使企業(yè)當時并不知道這些數(shù)據(jù)有什么用也要這樣做，這些數(shù)據(jù)的用處隨后或許會突然被發(fā)現(xiàn)。

數(shù)據(jù)所具有的價值遠遠高于你最初的期待，千萬不要隨便拋棄數(shù)據(jù)。企業(yè)還需要一個計劃以應(yīng)對數(shù)據(jù)的指數(shù)型增長。照片、即時信息以及電子郵件的數(shù)量非常龐大，由手機、GPS 及其他設(shè)備構(gòu)成的“感應(yīng)器”釋放出的數(shù)據(jù)量甚至還要更大。

理想情況下，企業(yè)應(yīng)該具備一種能夠讓數(shù)據(jù)分析貫穿于整個組織的視野，分析應(yīng)該盡可能地接近實時。通過觀察谷歌、亞馬遜、Facebook和其他科技領(lǐng)袖企業(yè)，你可以看到大數(shù)據(jù)之下的種種可能。管理者需要做的就是在組織中融入大數(shù)據(jù)戰(zhàn)略。

谷歌和亞馬遜這樣的企業(yè)，應(yīng)用大數(shù)據(jù)進行決策已數(shù)年有余，它們在數(shù)據(jù)處理上已經(jīng)獲得了廣泛的成功。而現(xiàn)在，你也可以擁有同樣的能力。