
大數(shù)據(jù):巨人間的游戲籌碼
最近10年,沒有一個技術(shù)名詞能像大數(shù)據(jù)一樣深入社會每個階層,獲得這么廣泛的關(guān)注。大數(shù)據(jù)被討論得如此泛濫已經(jīng)引起警覺,以至于2013年后,真正從事大數(shù)據(jù)行業(yè)的人盡量避免提及這三個字。本文無意對大數(shù)據(jù)概念做任何修正,評判,或?qū)<艺撜{(diào)。只是一些事實(shí),和來自20年數(shù)據(jù)分析從業(yè)經(jīng)驗(yàn)的一些感想。1.輝煌的十年大數(shù)據(jù)浪潮來自三股力量推動:技術(shù)社區(qū),市場,學(xué)術(shù)圈。2004, Google 發(fā)表了 “MapReduce: Simplified Data Processing on Large Clusters”,明確提出 MapReduce。值得注意的是,Google 并沒有發(fā)明什么,’分布執(zhí)行-中央?yún)R總’ 是最樸素古老的并行思想,Google 這篇文章價值在于,把這種并行思想流程化、規(guī)范化了,并提出了可能的實(shí)現(xiàn)架構(gòu)。市場迅速對此作出反應(yīng),很多軟件實(shí)現(xiàn)涌現(xiàn)出來,其中最成功的是 Hadoop, 雅虎慷慨地把它交給Apache 軟件基金會。之后數(shù)年經(jīng)過無數(shù)人努力發(fā)展成了完整的工具棧。
我只列舉了我熟悉的領(lǐng)域標(biāo)志性事件,實(shí)際上每一年每個領(lǐng)域這個列表可以鋪滿一頁。2.大數(shù)據(jù)仍然是巨人游戲每次重要的技術(shù)革新都帶給市場一次重新洗牌的機(jī)會。這次革新體現(xiàn)尤為突出,值得注意的是這次變革開源社區(qū)一開始就參與進(jìn)來,并且始終在技術(shù)層面上推動。這一點(diǎn)不同造成影響非常深刻,甚至改變了游戲規(guī)則。第一就是傳統(tǒng)巨頭和初創(chuàng)公司之間的硬件資源壁壘變的不明顯了。Hadoop 問世之初被稱為’窮人的大數(shù)據(jù)’,因?yàn)榭梢缘统杀臼褂昧畠r硬件堆疊計算能力,給那些買不起 IBM 小型機(jī)的企業(yè),特別是創(chuàng)業(yè)公司,與巨頭競爭的機(jī)會。
另外網(wǎng)絡(luò)和智能設(shè)備的普及讓數(shù)據(jù)的流通屬性發(fā)揮的淋漓盡致,一個熱門服務(wù)短時間就能吸收巨大的數(shù)據(jù)流量。 這其間很多創(chuàng)業(yè)公司迅速從幾人小團(tuán)隊(duì)發(fā)展成獨(dú)角獸公司。相對小公司的熱情擁抱,大公司用謹(jǐn)慎的步伐適應(yīng)這個轉(zhuǎn)變,特別是傳統(tǒng)行業(yè)。第一懷疑開源產(chǎn)品的穩(wěn)定性和安全性,第二大家習(xí)慣了付費(fèi)從廠商得到支持,而不是自己參與到工具維護(hù)開發(fā),甚至回饋技術(shù)社區(qū)??墒且坏┒冗^轉(zhuǎn)型期,大公司充分利用自己的渠道優(yōu)勢,資源優(yōu)勢,會想盡辦法把大數(shù)據(jù)變成巨人游戲。技術(shù)只是入場劵,在所有門檻里,這是最低的一道。巨人的游戲考驗(yàn)的是裝備,耐力,人力,業(yè)務(wù)積累,那些成功的小公司的絕不是憑技術(shù)勝出。大公司的優(yōu)勢之一是積累深厚,后勁足。大公司還有個優(yōu)勢是,有足夠體量消化大數(shù)據(jù)的能量。如果公司業(yè)務(wù)線豐富,比如阿里、騰訊、百度、平安等,同一份數(shù)據(jù)在多個業(yè)務(wù)部門都可以釋放一次能量,這給了大公司更多空間對數(shù)據(jù)精耕細(xì)作。
3.不要把數(shù)據(jù)本身當(dāng)作唯一壁壘,建立自己的數(shù)據(jù)閉環(huán)數(shù)據(jù)是非常脆弱的核心競爭力,數(shù)據(jù)本身不管多么大,無法支撐一個公司的長久運(yùn)營。脆弱的原因是收集成本與復(fù)制成本極度不對等,特別是當(dāng)前監(jiān)管落后市場很多,一家電商網(wǎng)站一年的交易情況一個盤陣就可以塞滿;在線地圖廠商走遍每條街道手工采集的POI數(shù)據(jù)一個星期就被爬蟲收入囊中。公司在制定數(shù)據(jù)戰(zhàn)略的時候要認(rèn)真考慮這種不對等,多層布局要把數(shù)據(jù)資產(chǎn)持久化運(yùn)營和精細(xì)化運(yùn)營。這方面的例子很多,實(shí)際上回顧 2010-2015 的互聯(lián)網(wǎng)的圈地狂潮,大伙兒都在做的兩件事就是:搶占入口,自建閉環(huán)。為了搶占入口各種地推燒錢,明爭暗斗無需多言。入口搶到了閉環(huán)的建立更困難。典型的數(shù)據(jù)閉環(huán)是:數(shù)據(jù)在消費(fèi)端生成,通過交易、服務(wù)渠道完成采集,經(jīng)過清洗匯總進(jìn)入倉庫,加工分析應(yīng)用到業(yè)務(wù)流程,市場反饋再通過消費(fèi)端回來。這個閉環(huán)對業(yè)務(wù)流程的增量改進(jìn)意義重大。說到閉環(huán)建設(shè),亞馬遜和 eBay 5年間的地位更替很有代表性。
2015年,亞馬遜值剛剛超過了3000億美元,eBay 曾經(jīng)是亞馬遜的主要競爭對手,在金融危機(jī)的2008年,兩家公司的市值還不相上下,但是現(xiàn)在只是它市值的四分之一。這5年發(fā)生了什么?亞馬遜是非常在意渠道建設(shè)和閉環(huán)打造,除了在線交易,在云計算,物流,支付,智能硬件,電子出版,新媒體都有大量投入,相比之下 eBay 的資源高度集中在自己的主營業(yè)務(wù)上。1995~2000年互聯(lián)網(wǎng)剛剛起步,亞馬遜采取的直營方式便于培養(yǎng)早期的用戶,但到2001~2007年電商快速發(fā)展,搶到流量就是搶到錢,eBay這樣的輕資產(chǎn)模式很快就能實(shí)現(xiàn)變現(xiàn),所以它也是最先盈利的電商之一,此時亞馬遜是落后的。2008年的金融危機(jī)之后,電商行業(yè)又經(jīng)歷了新的變化,交易額高速增長的時代告一段落,公司價值的競爭由過去的單純交易額和用戶驅(qū)動變成了價值鏈經(jīng)營驅(qū)動,而實(shí)現(xiàn)了閉環(huán)經(jīng)營的亞馬遜的市值又實(shí)現(xiàn)了反超。
2015年第二季度,亞馬遜服務(wù)收入已經(jīng)超過60億美元,其中三分之一來自云服務(wù),其他的來源還包括云平臺、物流、廣告,這部分業(yè)務(wù)可能會成為亞馬遜未來盈利能力的主要來源。4.讓大數(shù)據(jù)工作落地數(shù)據(jù)最關(guān)鍵的一個環(huán)節(jié)是數(shù)據(jù)解讀。如果并不懂?dāng)?shù)據(jù)的作用時,他們就不會參與,當(dāng)他們不參與時,數(shù)據(jù)就沒有價值。數(shù)據(jù)團(tuán)隊(duì)的工作如果不能落在實(shí)處,前面所有環(huán)節(jié)都是徒勞。Airbnb 公司的例子為數(shù)據(jù)團(tuán)隊(duì)如何推廣工作結(jié)果提供了很好的范本。Airbnb是成立于2008年8月的旅行房屋租賃公司,Aifbnd 非常有遠(yuǎn)見,在團(tuán)隊(duì)只有7個人的時候就有了專職大數(shù)據(jù)工程師,公司發(fā)展中每一次重大決策,數(shù)據(jù)團(tuán)隊(duì)都發(fā)揮了重要作用。在早期團(tuán)隊(duì)規(guī)模小的時候,大數(shù)據(jù)團(tuán)隊(duì)工作模式是集中式的,分析團(tuán)隊(duì)的意見可以很快傳達(dá)到?jīng)Q策層,業(yè)務(wù)端的反饋也同樣。隨著公司成長,溝通鏈條變得越來越長,數(shù)據(jù)團(tuán)隊(duì)有被懸掛的感覺。其他同事不明白如何和我們互動,其他人對我們沒有完全的理解。
隨著時間的推移,數(shù)據(jù)團(tuán)隊(duì)被看成一種靜態(tài)資源,被要求提供數(shù)據(jù),而沒有能夠主動思考未來的機(jī)會。隨后數(shù)據(jù)團(tuán)隊(duì)被重新組織。仍然遵循集中的管理,但是走出自己的小組,進(jìn)入每個需求部門,直接同工程師、設(shè)計師、產(chǎn)品經(jīng)理、營銷人員等等溝通。這樣做增加了整個公司的數(shù)據(jù)利用率,也使數(shù)據(jù)科學(xué)家成為積極的合作伙伴。如今Airbnb用戶遍布190個國家近34000個城市,2015年2月28日,估值將達(dá)到200億美元。5.相信數(shù)據(jù),不憑感覺決策以往的分析模型大多是大模型+小數(shù)據(jù),我們對模型本身做很多的假設(shè)和約束,人為干預(yù)在抽樣環(huán)節(jié)已經(jīng)開始,在結(jié)果出來前就已經(jīng)針對預(yù)期輸出準(zhǔn)備好可能的解釋。
大數(shù)據(jù)時代有個明顯的特點(diǎn)是分析手段趨向粗暴簡單。無需抽樣,也不對分布做太多假設(shè),用全樣本輸入;以深度神經(jīng)網(wǎng)絡(luò)為代表的大數(shù)據(jù)模型對解釋性的要求降到最低。這種大數(shù)據(jù)+小模型在很多領(lǐng)域取得了成功,特別是在決策短的情況下,只要數(shù)據(jù)量足夠大,可以得到一些直接的洞見。2006年以前,賽林格受命用大數(shù)據(jù)為亞馬遜增加營收,那時亞馬遜作為單純的在線零售商并不為起平臺上的商家做廣告,塞林格認(rèn)為在廣告銷售有很大的利潤潛力,于是將這件事匯報給了自己的老板貝索斯,后者認(rèn)為這是個愚蠢的主意 “我們是零售商。為什么要銷售展示廣告?”。
盡管貝索斯不喜歡也不支持這個想法,但是他允許賽林格的團(tuán)隊(duì)在網(wǎng)站上進(jìn)行小規(guī)模測試,結(jié)果成為了亞馬遜有史以來最盈利的項(xiàng)目,他們把協(xié)同過濾,結(jié)構(gòu)最簡單的推薦算法,做成了大數(shù)據(jù)一個經(jīng)典案例。6. 大數(shù)據(jù)不是良藥 大數(shù)據(jù)還在進(jìn)化大數(shù)據(jù)決策的另一個極端是過分專注于大數(shù)據(jù)的技術(shù)討論,而忽略了一個基本事實(shí):大數(shù)據(jù)不會改變業(yè)務(wù)維度的復(fù)雜性。盡管大的趨勢是很多業(yè)務(wù)問題可以變成技術(shù)問題來解決,但是經(jīng)歷十年快速發(fā)展,我們?nèi)匀惶幱诖髷?shù)據(jù)的初期階段。這個時期大數(shù)據(jù)的解決問題思路仍然是橫向的,試圖從量上突破。已經(jīng)積累了大量數(shù)據(jù)的企業(yè),可以快速兌現(xiàn)歷史紅利,當(dāng)前的火爆很大程度是確實(shí)很大一部分過去二三十年甚至更久數(shù)據(jù)積累的一次集中釋放.當(dāng)淺層數(shù)據(jù)價值挖掘干凈后,如果沒有健康持久的業(yè)務(wù)模式,問題還在哪里?,F(xiàn)在我們的大數(shù)據(jù)在五年后會變成小數(shù)據(jù),MapReduce,Hadoop,stream computing 等概念會變成理所當(dāng)然的基本操作,甚至集成在語言本身,在業(yè)務(wù)層面感知不到它們的存在。
現(xiàn)在或許是大數(shù)據(jù)最熱鬧的時代,當(dāng)在大數(shù)據(jù)真正回歸業(yè)務(wù)的時候,才是大數(shù)據(jù)最好的時代。能活到那一天的都是從現(xiàn)在開始把大數(shù)據(jù)往深處做的人。大數(shù)據(jù)不是神話,不是泡沫,它是一些實(shí)在的工具和方法的綜合,是在其上構(gòu)建的創(chuàng)意和生意。大數(shù)據(jù)已經(jīng)走過十年輝煌,讓我們繼續(xù)期待。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03