解構(gòu)“大數(shù)據(jù)”驅(qū)動(dòng)未來的路徑_數(shù)據(jù)分析師考試

“大數(shù)據(jù)”是近年關(guān)注度極高的一個(gè)概念，而在目前A股市場信息服務(wù)行業(yè)絕大多數(shù)公司都或多或少的涉足這一領(lǐng)域。大數(shù)據(jù)的發(fā)展與IT行業(yè)的飛速進(jìn)步息息相關(guān)。軟件驅(qū)動(dòng)世界的進(jìn)程已進(jìn)入深化發(fā)展階段，原子世界正與比特世界展開深度交叉融合，形成人類更易洞察的數(shù)據(jù)世界。未來軟件將不斷重新定義世界的萬事萬物，數(shù)據(jù)在軟件冶煉工藝的作用下價(jià)值將不斷被挖掘出來。

1、 IT變化令人驚嘆的十年

過去十年， IT對經(jīng)濟(jì)社會(huì)的影響比之前的50年還要顯著。2012年，美國國家科學(xué)院（United States National Academy of Sciences, NAS）對IT歷史的研究表明，移動(dòng)通信、微處理器、PC、互聯(lián)網(wǎng)、企業(yè)IT系統(tǒng)和個(gè)人娛樂等多個(gè)領(lǐng)域盡管早在20世紀(jì)80年代前后便已形成產(chǎn)業(yè)化，但形成100億美元規(guī)模產(chǎn)業(yè)卻基本都是在1995年互聯(lián)網(wǎng)爆發(fā)之后。微處理器在1980年開始批量進(jìn)入市場，在1986年左右形成10億美元產(chǎn)業(yè)，在1995年形成100億美元規(guī)模產(chǎn)業(yè)；PC雖然在1983年便已形成10億美元規(guī)模，但在1998才達(dá)到100億美元；企業(yè)IT系統(tǒng)在1982年產(chǎn)業(yè)化，在1990年才形成10億美元產(chǎn)業(yè)，1997年突破100億美元；個(gè)人娛樂更是早在1970年便已產(chǎn)業(yè)化，在1977年就形成10億美元產(chǎn)業(yè)，但在2004年才達(dá)到100億美元。 

全球網(wǎng)民從2000年的2.5億，增長到2013年的26億，手機(jī)用戶更是從5億躍升至68億，無論是在紐約、倫敦，北京、里約熱內(nèi)盧，還是在摩加迪沙、開普敦，到處都能看到打電話、發(fā)短信的手機(jī)用戶。移動(dòng)互聯(lián)網(wǎng)用戶從無到有，規(guī)模在短短的6年時(shí)間，用戶數(shù)量便達(dá)到26億，已超過將近半個(gè)世紀(jì)歷史的PC互聯(lián)網(wǎng)用戶，發(fā)展中國家的很多用戶直接跨越PC互聯(lián)網(wǎng)階段進(jìn)入移動(dòng)互聯(lián)網(wǎng)時(shí)代。中國國家互聯(lián)網(wǎng)信息辦公室發(fā)布的報(bào)告顯示，截至2013年9月底，中國網(wǎng)民數(shù)量達(dá)到6.04億，互聯(lián)網(wǎng)普及率達(dá)到45%；移動(dòng)互聯(lián)網(wǎng)用戶達(dá)8.28億，手機(jī)超越臺(tái)式電腦成為第一大上網(wǎng)終端，中國互聯(lián)網(wǎng)已進(jìn)入移動(dòng)互聯(lián)網(wǎng)時(shí)代。

圖1：2007年~2015年全球的移動(dòng)互聯(lián)網(wǎng)用戶增長趨勢

互聯(lián)網(wǎng)經(jīng)濟(jì)呈現(xiàn)爆發(fā)式增長態(tài)勢，波士頓（BCG）的研究顯示，如果把互聯(lián)網(wǎng)也當(dāng)成一個(gè)國家經(jīng)濟(jì)體，它是僅次于美國、中國、日本以及德國的全球第五大經(jīng)濟(jì)體。2010年中國的互聯(lián)網(wǎng)經(jīng)濟(jì)價(jià)值約為3260億美元，占GDP的5.5%，成為支柱性產(chǎn)業(yè)。20國集團(tuán)的互聯(lián)網(wǎng)經(jīng)濟(jì)在2016年之前的五年期間將以每年10%以上的速度增長，發(fā)達(dá)市場互聯(lián)網(wǎng)經(jīng)濟(jì)將以每年8%左右的速度增長，而發(fā)展中經(jīng)濟(jì)體中，互聯(lián)網(wǎng)經(jīng)濟(jì)的年均增長率將是發(fā)達(dá)市場的兩倍以上，平均達(dá)到18%。到2016年，互聯(lián)網(wǎng)經(jīng)濟(jì)總共將為20國集團(tuán)的GDP貢獻(xiàn)4.2萬億美元。 

微觀層面來看，光學(xué)相機(jī)被數(shù)碼相機(jī)取代，智能手機(jī)大有取代數(shù)碼相機(jī)之勢，移動(dòng)磁盤、光盤基本被U盤取代，以軟件為核心的云計(jì)算存儲(chǔ)（云盤）正在不斷吞噬U盤市場。電子書沒有紅火兩年，便基本被智能手機(jī)、平板電腦消滅掉，在操作系統(tǒng)上構(gòu)建一個(gè)閱讀軟件比電子書便宜的多、功能豐富的多。2007年，蘋果公司以iOS重新定義智能手機(jī)后，PC在信息化中的核心終端地位逐步被智能手機(jī)所取代。智能手機(jī)的性能更是日新月異，2007年的iPhone的CPU性能便已相當(dāng)于早期的奔騰II水平，目前智能手機(jī)的運(yùn)算速度比10多年前的臺(tái)式計(jì)算機(jī)要快若干倍，但體積僅有其鍵盤的八分之一，而價(jià)格僅有其十分之一。4核心CPU、64位處理器、1080P屏幕未來1~2年將成為高端智能手機(jī)的標(biāo)準(zhǔn)配置，即使100美元的智能手機(jī)，其性能也堪比4-5年前的PC。

圖2：2000年的iMac Bondi與2010年的iPhone4對比 

智能手機(jī)的出現(xiàn)也帶來IT產(chǎn)業(yè)格局的重塑。諾基亞、摩托羅拉、黑莓從巔峰墜入谷底，落得被變賣的結(jié)局，微軟、英特爾在蘋果、谷歌、高通、聯(lián)發(fā)科的沖擊下，不知所措。曾經(jīng)輝煌的IBM、微軟、英特爾、惠普、雅虎等被硅谷蘋果、谷歌、亞馬遜、Facebook等新四強(qiáng)取代。 

IT產(chǎn)業(yè)巨變的核心動(dòng)力來自于用戶群體的快速增加，也可以說是IT擴(kuò)散的范圍迅速變大，核心IT設(shè)備PC從每個(gè)辦公室擴(kuò)展到每個(gè)家庭。軟件從驅(qū)動(dòng)辦公室自動(dòng)辦公設(shè)備，為數(shù)億辦公室白領(lǐng)用戶服務(wù)、生產(chǎn)流程管理服務(wù)，擴(kuò)展到軟件驅(qū)動(dòng)互聯(lián)網(wǎng)為數(shù)十億普通消費(fèi)者的生活、娛樂、信息消費(fèi)服務(wù)。

依照電的發(fā)展進(jìn)程規(guī)律，未來十年IT產(chǎn)業(yè)、IT對經(jīng)濟(jì)社會(huì)的影響不會(huì)比過去十年弱。移動(dòng)互聯(lián)網(wǎng)時(shí)代，軟件驅(qū)動(dòng)的對象轉(zhuǎn)變?yōu)槊咳艘徊可踔炼嗖康闹悄苁謾C(jī)、多件可穿戴設(shè)備，IT從每個(gè)辦公室一個(gè)（PC），到一個(gè)家庭一個(gè)（PC），再到一個(gè)人一個(gè)（手機(jī)），直至一個(gè)人多個(gè)（可穿戴設(shè)備），IT的影響也將更加廣泛和深入。更為關(guān)鍵的是整個(gè)經(jīng)濟(jì)社會(huì)加快在網(wǎng)絡(luò)空間的映射，形成現(xiàn)實(shí)社會(huì)與虛擬網(wǎng)絡(luò)空間交融的數(shù)字世界，更進(jìn)一步促進(jìn)比特與原子的融合；各種數(shù)據(jù)將被軟件定義的各種函數(shù)充分挖掘其潛在價(jià)值，將形成數(shù)據(jù)生產(chǎn)力，IT產(chǎn)業(yè)的未來圖景也將更加廣闊。 

2 、軟件驅(qū)動(dòng)世界的進(jìn)程與電非常相似 

從歷史的長周期來看，電腦普及的速度（從1971年到2001年）和電力技術(shù)普及的速度（從1894年到1924年）差不多。

圖3：軟件驅(qū)動(dòng)世界與電驅(qū)動(dòng)世界的進(jìn)程非常相似 

電最初的使用局限于照明、電車等電的簡單利用。在電燈發(fā)明的20年后的1899年，美國制造業(yè)所有動(dòng)力中也僅有4.8%是由電力驅(qū)動(dòng)的。之后電動(dòng)機(jī)的發(fā)明、發(fā)電、輸變電技術(shù)的進(jìn)步、大規(guī)模集中電廠的出現(xiàn)推動(dòng)電廣泛進(jìn)入生產(chǎn)領(lǐng)域，從而使電力的普及速度明顯加快。1887年以后的15年時(shí)間里，對電的需求擴(kuò)張5倍，年均增長為11%；從1902年到1917年的15年時(shí)間里，對電的需求增長了17.5倍，年均增長為21%。1902年前簡單的照明是最大的用電需求，幾乎占用電量的一半，制造、電化工、采礦等用電約占30%，交通等公共需求約占20%。之后電化工迅速發(fā)展，到1907年電化工成為最大的用電需求；1910年制造業(yè)電氣化普及，制造業(yè)成為最大的用電需求。1917年，生產(chǎn)領(lǐng)域的用電趕超生活領(lǐng)域的用電，生產(chǎn)領(lǐng)域占半壁江山，而生活領(lǐng)域退縮到三分之一。2012年，全球45%的電被電動(dòng)機(jī)消耗，照明占20%；美國工業(yè)用電占23.9%，商用用電占32.5%，居民用電占43.6%；中國工業(yè)用電占72%，居民用電占28%。 

圖4：電驅(qū)動(dòng)世界的路徑–由簡入繁，由淺入深 

電重新定義動(dòng)力（設(shè)備由蒸汽機(jī)變?yōu)殡妱?dòng)機(jī)，資源由水變?yōu)殡姡┲螅厣a(chǎn)率（Total Factor Productivity，TFP）明顯提高。1870~1900年，第二次產(chǎn)業(yè)革命處于初始期，電力剛投入商用，電力對TFP影響有限，20年期間美國TFP年增長1.5%左右（1870~2010年，美國TFP年增長率為1.5%~1.8%）。1920之后電在工業(yè)領(lǐng)域廣泛應(yīng)用，TFP快速提高，1920~1940年期間TFP年均增長2.5%左右。

電驅(qū)動(dòng)世界的路徑—由簡入繁，由淺入深，先從照明等生活領(lǐng)域開始，逐步進(jìn)入生產(chǎn)領(lǐng)域，從而帶動(dòng)工業(yè)生產(chǎn)率的大幅提高，之后在生活領(lǐng)域的進(jìn)行深化應(yīng)用，冰箱、電視、洗衣機(jī)等不斷改善人類的生活條件。電的應(yīng)用路徑受人類認(rèn)知過程、發(fā)明創(chuàng)新進(jìn)程、基礎(chǔ)設(shè)施建設(shè)進(jìn)程、成本下降過程等多方因素影響影響。

3 、軟件驅(qū)動(dòng)世界與電的路徑有所不同

軟件驅(qū)動(dòng)世界先從生產(chǎn)領(lǐng)域開始。軟件驅(qū)動(dòng)世界的路徑先從軍方、政府、大型企業(yè)組織等生產(chǎn)領(lǐng)域開始，因?yàn)槠鋵r(jià)格敏感度低，能夠承受幾百上千人的IT支持隊(duì)伍，這個(gè)階段統(tǒng)稱為企業(yè)IT時(shí)代。企業(yè)IT時(shí)代，軟件最開始作為硬件的附加，提供計(jì)算功能，進(jìn)入計(jì)算密集型領(lǐng)域，協(xié)助科研人員進(jìn)行密集計(jì)算、方便政府部門進(jìn)行統(tǒng)計(jì)；之后進(jìn)入財(cái)務(wù)領(lǐng)域、工程設(shè)計(jì)等信息密集型領(lǐng)域來提高效率；再之后進(jìn)入企業(yè)物料管理領(lǐng)域、辦公自動(dòng)化領(lǐng)域，來實(shí)現(xiàn)辦公流程的自動(dòng)化、生產(chǎn)管理的信息化。企業(yè)IT時(shí)代，軟件驅(qū)動(dòng)企業(yè)基本是外圍的、輔助的，深入到生產(chǎn)流程的全面自動(dòng)化還很有限，2007年，歐盟所有企業(yè)中，實(shí)現(xiàn)了全流程數(shù)字化的企業(yè)也只有20%～35%，2010年，北京市實(shí)現(xiàn)全流程數(shù)字化的企業(yè)比例尚不超過15%。企業(yè)IT時(shí)代，軟件驅(qū)動(dòng)世界非常像電驅(qū)動(dòng)世界的早期階段，滲透有限、功能有效、作用有限。

圖5：消費(fèi)IT引領(lǐng)IT潮流 

軟件驅(qū)動(dòng)世界的第二階段是軟件進(jìn)入數(shù)以十億計(jì)普通消費(fèi)者的時(shí)候，也就是所謂的消費(fèi)IT時(shí)代。互聯(lián)網(wǎng)時(shí)代的到來逐步拉開消費(fèi)IT時(shí)代的序幕，IT加速進(jìn)入生活領(lǐng)域，iPhone的誕生標(biāo)志消費(fèi)IT時(shí)代進(jìn)入新的發(fā)展階段。企業(yè)IT時(shí)代向消費(fèi)IT時(shí)代的轉(zhuǎn)變，導(dǎo)致軟件從硬件的附屬，變?yōu)橛布擒浖母接?，?jì)算的軟件變成軟件的計(jì)算，近幾年呈現(xiàn)的云計(jì)算、大數(shù)據(jù)的核心都是軟件。這個(gè)階段軟件對經(jīng)濟(jì)社會(huì)的作用開始猛增，無論是互聯(lián)網(wǎng)企業(yè)的人均生產(chǎn)效率，信息化進(jìn)程，還是民眾生活便捷等均發(fā)生明顯變化。消費(fèi)IT時(shí)代，軟件驅(qū)動(dòng)世界非常向電驅(qū)動(dòng)世界的第二階段，電機(jī)廣泛被工廠做為電力，工業(yè)生產(chǎn)效率突飛猛進(jìn)。 

圖6：企業(yè)IT由1.0進(jìn)入2.0時(shí)代

與此同時(shí)，IT在生產(chǎn)領(lǐng)域的作用仍在進(jìn)一步深化，信息或網(wǎng)絡(luò)系統(tǒng)與物理系統(tǒng)融合程度不斷加深。信息物理系統(tǒng)（cyber physical system，CPS）很好的詮釋了這一趨勢。CPS是一個(gè)綜合計(jì)算、網(wǎng)絡(luò)和物理環(huán)境的多維復(fù)雜系統(tǒng)，通過3C（Computation、Communication、Control）技術(shù)的有機(jī)融合與深度協(xié)作，實(shí)現(xiàn)大型工程系統(tǒng)的實(shí)時(shí)感知、動(dòng)態(tài)控制和信息服務(wù)。CPS在交通控制、汽車行駛、工業(yè)過程控制、關(guān)鍵基礎(chǔ)設(shè)施控制（電力、灌溉網(wǎng)絡(luò)、通信系統(tǒng)）、機(jī)器人、防御系統(tǒng)等諸多領(lǐng)域已經(jīng)展開應(yīng)用。目前家庭10萬元級轎車中標(biāo)配的電噴發(fā)動(dòng)機(jī)、ABS剎車裝置是CPS初級典范之作。通用電氣、孟山都等傳統(tǒng)企業(yè)爭相在硅谷設(shè)立據(jù)點(diǎn)或巨資收購硅谷企業(yè)，以強(qiáng)化自己的IT能力。以汽車電子來改造汽車機(jī)械系統(tǒng)為己任的傳統(tǒng)汽車企業(yè)開始意識(shí)到將被以IT、互聯(lián)網(wǎng)為中心的汽車企業(yè)特斯拉（Tesla）所挑戰(zhàn)，這也難怪豐田會(huì)把谷歌列為潛在競爭對手，因?yàn)楣雀枧茻o人駕駛汽車正待上路。

4、 軟件定義世界，數(shù)據(jù)驅(qū)動(dòng)未來

軟件正在重新定義一切（software defined anything，SDX）。繼智能手機(jī)、平板電腦被軟件重新定義之后，其它IT產(chǎn)品也在不斷被軟件重新定義。軟件定義的網(wǎng)絡(luò)（software defined networking ，SDN）、軟件定義的數(shù)據(jù)中心（software-defined data center，SDDC）、軟件定義的存儲(chǔ)（software defined storage，SDS）軟件定義的路由器等思想、概念和產(chǎn)品不斷涌現(xiàn)。電視機(jī)、冰箱、鞋子、手表、眼鏡等傳統(tǒng)工業(yè)產(chǎn)品也加入被定義的行列，甚至汽車都在被谷歌重新定義。為各類產(chǎn)品增加一個(gè)操作系統(tǒng)后，產(chǎn)品似乎有了魔力；物理功能可以盡量簡單，應(yīng)用功能可以無限豐富；功能可以無限拓展、能力可以不斷升級。手機(jī)上安裝操作系統(tǒng)后，簡直成了一個(gè)移動(dòng)計(jì)算機(jī)，計(jì)算、辦公、支付、導(dǎo)航、視頻、音樂等等功能無所不包。利用智能手機(jī)APP軟件，通過特斯拉Model S的操作系統(tǒng)，能夠控制多媒體功能、通信、客艙功能、車輛功能等，可以實(shí)現(xiàn)車輛的遠(yuǎn)程控制，可以通過互聯(lián)網(wǎng)實(shí)時(shí)更新操作系統(tǒng)。

圖7：軟件定義世界（SoftwareDefined X，SDX） 

數(shù)據(jù)已經(jīng)成為戰(zhàn)略資產(chǎn)。數(shù)據(jù)是人類活動(dòng)在網(wǎng)絡(luò)空間的映射，蘊(yùn)含人類生產(chǎn)、生活的規(guī)律，挖掘數(shù)據(jù)潛在價(jià)值，對國家治理、社會(huì)管理、企業(yè)決策和個(gè)人生活影響深遠(yuǎn)。世界經(jīng)濟(jì)論壇的報(bào)告認(rèn)為大數(shù)據(jù)為新財(cái)富，價(jià)值堪比石油；商業(yè)版圖由此被重新劃定，通曉如何利用這些數(shù)據(jù)的企業(yè)將成為最強(qiáng)者。

人類進(jìn)入大數(shù)據(jù)時(shí)代。隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的廣泛而深入地應(yīng)用，人類活動(dòng)的蹤跡加快在網(wǎng)絡(luò)空間的映射，網(wǎng)絡(luò)瀏覽、行車軌跡、購物行為等等均留下數(shù)據(jù)記錄。目前，全球數(shù)據(jù)呈現(xiàn)爆發(fā)式增長態(tài)勢，人類社會(huì)邁入大數(shù)據(jù)時(shí)代；全球每18個(gè)月新增數(shù)據(jù)量是人類有史以來全部數(shù)據(jù)量的總和。大數(shù)據(jù)的核心是數(shù)據(jù)，與大小無關(guān)，為區(qū)別于大眾思維中的“數(shù)據(jù)”、“海量數(shù)據(jù)”，業(yè)界發(fā)明“大數(shù)據(jù)”一詞取而代之。 

目前，大數(shù)據(jù)已經(jīng)在各行各業(yè)展開應(yīng)用，成效顯著。美國通用電氣公司通過每秒分析上萬個(gè)數(shù)據(jù)點(diǎn)，融合能量儲(chǔ)存和先進(jìn)的預(yù)測算法，開發(fā)新型風(fēng)機(jī)，效率與電力輸出分別比現(xiàn)行風(fēng)機(jī)提高了25%和15%。UPS通過行車整合優(yōu)化和導(dǎo)航系統(tǒng)（On-Road Integrated Optimization and Navigation，ORION），利用安裝在上千輛運(yùn)輸車輛上的傳感器不斷發(fā)回的數(shù)據(jù)流來優(yōu)化線路，UPS公司運(yùn)輸路線縮短了530萬公里，引擎閑置時(shí)間減少了1000萬分鐘，節(jié)省了65萬加侖的油，碳排放量減少了6500多公噸。

圖8：各行各業(yè)都在展開大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)在消費(fèi)IT領(lǐng)域的作用更加明顯。只要你用PC上網(wǎng)或手機(jī)瀏覽信息，你便在網(wǎng)絡(luò)上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務(wù)平臺(tái)、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購房、購車了，特價(jià)機(jī)票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。 

圖9：網(wǎng)絡(luò)畫像 

數(shù)據(jù)不僅是傳統(tǒng)產(chǎn)業(yè)升級的助推器，也是新興產(chǎn)業(yè)孕育的催化劑。數(shù)據(jù)已成為與礦物和化學(xué)元素一樣的原始材料，正在形成數(shù)據(jù)服務(wù)、數(shù)據(jù)探礦、數(shù)據(jù)化學(xué)、數(shù)據(jù)材料、數(shù)據(jù)制藥等一系列戰(zhàn)略性新興產(chǎn)業(yè)，數(shù)據(jù)生產(chǎn)力效應(yīng)開始顯現(xiàn)。 

總結(jié)一下： 

①電驅(qū)動(dòng)世界的路徑：首先由生活領(lǐng)域開始，開發(fā)有限、應(yīng)用有限、影響有限，技術(shù)的不斷創(chuàng)新推動(dòng)電進(jìn)入生產(chǎn)領(lǐng)域，從而實(shí)現(xiàn)生產(chǎn)力的躍升，進(jìn)一步在生活領(lǐng)域深化。 

②軟件驅(qū)動(dòng)世界的路徑：先由成本承受力高、技術(shù)能力強(qiáng)的生產(chǎn)領(lǐng)域開始，技術(shù)的創(chuàng)新推動(dòng)IT更加易用、產(chǎn)品的創(chuàng)新使產(chǎn)品價(jià)格持續(xù)降低，從而帶動(dòng)IT進(jìn)入用戶群體更大、應(yīng)用范圍更加廣泛的生活領(lǐng)域，形成巨大的活力；IT進(jìn)一步在生產(chǎn)領(lǐng)域深化，推動(dòng)信息與材料的融合，形成無縫的信息物理系統(tǒng)（cyber physical system，CPS），從而大幅帶動(dòng)生產(chǎn)力的提升。 

③盡管電和軟件進(jìn)入生產(chǎn)、生活領(lǐng)域的路徑有所不同，但驅(qū)動(dòng)進(jìn)程非常相似，因?yàn)槿祟惖恼J(rèn)知能力并不可能發(fā)生突飛猛進(jìn)的變化，開山鑿巖、架設(shè)電線、敷設(shè)光纖等基礎(chǔ)設(shè)施建設(shè)過程無論哪個(gè)時(shí)代都不容易，產(chǎn)品的創(chuàng)新也不可能一蹴而就，成本的下降更是一個(gè)持續(xù)的過程。軟件驅(qū)動(dòng)世界的進(jìn)程已進(jìn)入深化發(fā)展階段，原子世界正與比特世界深度交叉融合，形成人類更易洞察的數(shù)據(jù)世界；數(shù)據(jù)不僅是戰(zhàn)略資產(chǎn)，更是生產(chǎn)力，人類全面進(jìn)入信息社會(huì)。