解構“大數(shù)據(jù)”驅動未來的路徑_數(shù)據(jù)分析師考試

“大數(shù)據(jù)”是近年關注度極高的一個概念，而在目前A股市場信息服務行業(yè)絕大多數(shù)公司都或多或少的涉足這一領域。大數(shù)據(jù)的發(fā)展與IT行業(yè)的飛速進步息息相關。軟件驅動世界的進程已進入深化發(fā)展階段，原子世界正與比特世界展開深度交叉融合，形成人類更易洞察的數(shù)據(jù)世界。未來軟件將不斷重新定義世界的萬事萬物，數(shù)據(jù)在軟件冶煉工藝的作用下價值將不斷被挖掘出來。

1、 IT變化令人驚嘆的十年

過去十年， IT對經(jīng)濟社會的影響比之前的50年還要顯著。2012年，美國國家科學院（United States National Academy of Sciences, NAS）對IT歷史的研究表明，移動通信、微處理器、PC、互聯(lián)網(wǎng)、企業(yè)IT系統(tǒng)和個人娛樂等多個領域盡管早在20世紀80年代前后便已形成產(chǎn)業(yè)化，但形成100億美元規(guī)模產(chǎn)業(yè)卻基本都是在1995年互聯(lián)網(wǎng)爆發(fā)之后。微處理器在1980年開始批量進入市場，在1986年左右形成10億美元產(chǎn)業(yè)，在1995年形成100億美元規(guī)模產(chǎn)業(yè)；PC雖然在1983年便已形成10億美元規(guī)模，但在1998才達到100億美元；企業(yè)IT系統(tǒng)在1982年產(chǎn)業(yè)化，在1990年才形成10億美元產(chǎn)業(yè)，1997年突破100億美元；個人娛樂更是早在1970年便已產(chǎn)業(yè)化，在1977年就形成10億美元產(chǎn)業(yè)，但在2004年才達到100億美元。 

全球網(wǎng)民從2000年的2.5億，增長到2013年的26億，手機用戶更是從5億躍升至68億，無論是在紐約、倫敦，北京、里約熱內(nèi)盧，還是在摩加迪沙、開普敦，到處都能看到打電話、發(fā)短信的手機用戶。移動互聯(lián)網(wǎng)用戶從無到有，規(guī)模在短短的6年時間，用戶數(shù)量便達到26億，已超過將近半個世紀歷史的PC互聯(lián)網(wǎng)用戶，發(fā)展中國家的很多用戶直接跨越PC互聯(lián)網(wǎng)階段進入移動互聯(lián)網(wǎng)時代。中國國家互聯(lián)網(wǎng)信息辦公室發(fā)布的報告顯示，截至2013年9月底，中國網(wǎng)民數(shù)量達到6.04億，互聯(lián)網(wǎng)普及率達到45%；移動互聯(lián)網(wǎng)用戶達8.28億，手機超越臺式電腦成為第一大上網(wǎng)終端，中國互聯(lián)網(wǎng)已進入移動互聯(lián)網(wǎng)時代。

圖1：2007年~2015年全球的移動互聯(lián)網(wǎng)用戶增長趨勢

互聯(lián)網(wǎng)經(jīng)濟呈現(xiàn)爆發(fā)式增長態(tài)勢，波士頓（BCG）的研究顯示，如果把互聯(lián)網(wǎng)也當成一個國家經(jīng)濟體，它是僅次于美國、中國、日本以及德國的全球第五大經(jīng)濟體。2010年中國的互聯(lián)網(wǎng)經(jīng)濟價值約為3260億美元，占GDP的5.5%，成為支柱性產(chǎn)業(yè)。20國集團的互聯(lián)網(wǎng)經(jīng)濟在2016年之前的五年期間將以每年10%以上的速度增長，發(fā)達市場互聯(lián)網(wǎng)經(jīng)濟將以每年8%左右的速度增長，而發(fā)展中經(jīng)濟體中，互聯(lián)網(wǎng)經(jīng)濟的年均增長率將是發(fā)達市場的兩倍以上，平均達到18%。到2016年，互聯(lián)網(wǎng)經(jīng)濟總共將為20國集團的GDP貢獻4.2萬億美元。 

微觀層面來看，光學相機被數(shù)碼相機取代，智能手機大有取代數(shù)碼相機之勢，移動磁盤、光盤基本被U盤取代，以軟件為核心的云計算存儲（云盤）正在不斷吞噬U盤市場。電子書沒有紅火兩年，便基本被智能手機、平板電腦消滅掉，在操作系統(tǒng)上構建一個閱讀軟件比電子書便宜的多、功能豐富的多。2007年，蘋果公司以iOS重新定義智能手機后，PC在信息化中的核心終端地位逐步被智能手機所取代。智能手機的性能更是日新月異，2007年的iPhone的CPU性能便已相當于早期的奔騰II水平，目前智能手機的運算速度比10多年前的臺式計算機要快若干倍，但體積僅有其鍵盤的八分之一，而價格僅有其十分之一。4核心CPU、64位處理器、1080P屏幕未來1~2年將成為高端智能手機的標準配置，即使100美元的智能手機，其性能也堪比4-5年前的PC。

圖2：2000年的iMac Bondi與2010年的iPhone4對比 

智能手機的出現(xiàn)也帶來IT產(chǎn)業(yè)格局的重塑。諾基亞、摩托羅拉、黑莓從巔峰墜入谷底，落得被變賣的結局，微軟、英特爾在蘋果、谷歌、高通、聯(lián)發(fā)科的沖擊下，不知所措。曾經(jīng)輝煌的IBM、微軟、英特爾、惠普、雅虎等被硅谷蘋果、谷歌、亞馬遜、Facebook等新四強取代。 

IT產(chǎn)業(yè)巨變的核心動力來自于用戶群體的快速增加，也可以說是IT擴散的范圍迅速變大，核心IT設備PC從每個辦公室擴展到每個家庭。軟件從驅動辦公室自動辦公設備，為數(shù)億辦公室白領用戶服務、生產(chǎn)流程管理服務，擴展到軟件驅動互聯(lián)網(wǎng)為數(shù)十億普通消費者的生活、娛樂、信息消費服務。

依照電的發(fā)展進程規(guī)律，未來十年IT產(chǎn)業(yè)、IT對經(jīng)濟社會的影響不會比過去十年弱。移動互聯(lián)網(wǎng)時代，軟件驅動的對象轉變?yōu)槊咳艘徊可踔炼嗖康闹悄苁謾C、多件可穿戴設備，IT從每個辦公室一個（PC），到一個家庭一個（PC），再到一個人一個（手機），直至一個人多個（可穿戴設備），IT的影響也將更加廣泛和深入。更為關鍵的是整個經(jīng)濟社會加快在網(wǎng)絡空間的映射，形成現(xiàn)實社會與虛擬網(wǎng)絡空間交融的數(shù)字世界，更進一步促進比特與原子的融合；各種數(shù)據(jù)將被軟件定義的各種函數(shù)充分挖掘其潛在價值，將形成數(shù)據(jù)生產(chǎn)力，IT產(chǎn)業(yè)的未來圖景也將更加廣闊。 

2 、軟件驅動世界的進程與電非常相似 

從歷史的長周期來看，電腦普及的速度（從1971年到2001年）和電力技術普及的速度（從1894年到1924年）差不多。

圖3：軟件驅動世界與電驅動世界的進程非常相似 

電最初的使用局限于照明、電車等電的簡單利用。在電燈發(fā)明的20年后的1899年，美國制造業(yè)所有動力中也僅有4.8%是由電力驅動的。之后電動機的發(fā)明、發(fā)電、輸變電技術的進步、大規(guī)模集中電廠的出現(xiàn)推動電廣泛進入生產(chǎn)領域，從而使電力的普及速度明顯加快。1887年以后的15年時間里，對電的需求擴張5倍，年均增長為11%；從1902年到1917年的15年時間里，對電的需求增長了17.5倍，年均增長為21%。1902年前簡單的照明是最大的用電需求，幾乎占用電量的一半，制造、電化工、采礦等用電約占30%，交通等公共需求約占20%。之后電化工迅速發(fā)展，到1907年電化工成為最大的用電需求；1910年制造業(yè)電氣化普及，制造業(yè)成為最大的用電需求。1917年，生產(chǎn)領域的用電趕超生活領域的用電，生產(chǎn)領域占半壁江山，而生活領域退縮到三分之一。2012年，全球45%的電被電動機消耗，照明占20%；美國工業(yè)用電占23.9%，商用用電占32.5%，居民用電占43.6%；中國工業(yè)用電占72%，居民用電占28%。 

圖4：電驅動世界的路徑–由簡入繁，由淺入深 

電重新定義動力（設備由蒸汽機變?yōu)殡妱訖C，資源由水變?yōu)殡姡┲?，全要素生產(chǎn)率（Total Factor Productivity，TFP）明顯提高。1870~1900年，第二次產(chǎn)業(yè)革命處于初始期，電力剛投入商用，電力對TFP影響有限，20年期間美國TFP年增長1.5%左右（1870~2010年，美國TFP年增長率為1.5%~1.8%）。1920之后電在工業(yè)領域廣泛應用，TFP快速提高，1920~1940年期間TFP年均增長2.5%左右。

電驅動世界的路徑—由簡入繁，由淺入深，先從照明等生活領域開始，逐步進入生產(chǎn)領域，從而帶動工業(yè)生產(chǎn)率的大幅提高，之后在生活領域的進行深化應用，冰箱、電視、洗衣機等不斷改善人類的生活條件。電的應用路徑受人類認知過程、發(fā)明創(chuàng)新進程、基礎設施建設進程、成本下降過程等多方因素影響影響。

3 、軟件驅動世界與電的路徑有所不同

軟件驅動世界先從生產(chǎn)領域開始。軟件驅動世界的路徑先從軍方、政府、大型企業(yè)組織等生產(chǎn)領域開始，因為其對價格敏感度低，能夠承受幾百上千人的IT支持隊伍，這個階段統(tǒng)稱為企業(yè)IT時代。企業(yè)IT時代，軟件最開始作為硬件的附加，提供計算功能，進入計算密集型領域，協(xié)助科研人員進行密集計算、方便政府部門進行統(tǒng)計；之后進入財務領域、工程設計等信息密集型領域來提高效率；再之后進入企業(yè)物料管理領域、辦公自動化領域，來實現(xiàn)辦公流程的自動化、生產(chǎn)管理的信息化。企業(yè)IT時代，軟件驅動企業(yè)基本是外圍的、輔助的，深入到生產(chǎn)流程的全面自動化還很有限，2007年，歐盟所有企業(yè)中，實現(xiàn)了全流程數(shù)字化的企業(yè)也只有20%～35%，2010年，北京市實現(xiàn)全流程數(shù)字化的企業(yè)比例尚不超過15%。企業(yè)IT時代，軟件驅動世界非常像電驅動世界的早期階段，滲透有限、功能有效、作用有限。

圖5：消費IT引領IT潮流 

軟件驅動世界的第二階段是軟件進入數(shù)以十億計普通消費者的時候，也就是所謂的消費IT時代?；ヂ?lián)網(wǎng)時代的到來逐步拉開消費IT時代的序幕，IT加速進入生活領域，iPhone的誕生標志消費IT時代進入新的發(fā)展階段。企業(yè)IT時代向消費IT時代的轉變，導致軟件從硬件的附屬，變?yōu)橛布擒浖母接?，計算的軟件變成軟件的計算，近幾年呈現(xiàn)的云計算、大數(shù)據(jù)的核心都是軟件。這個階段軟件對經(jīng)濟社會的作用開始猛增，無論是互聯(lián)網(wǎng)企業(yè)的人均生產(chǎn)效率，信息化進程，還是民眾生活便捷等均發(fā)生明顯變化。消費IT時代，軟件驅動世界非常向電驅動世界的第二階段，電機廣泛被工廠做為電力，工業(yè)生產(chǎn)效率突飛猛進。 

圖6：企業(yè)IT由1.0進入2.0時代

與此同時，IT在生產(chǎn)領域的作用仍在進一步深化，信息或網(wǎng)絡系統(tǒng)與物理系統(tǒng)融合程度不斷加深。信息物理系統(tǒng)（cyber physical system，CPS）很好的詮釋了這一趨勢。CPS是一個綜合計算、網(wǎng)絡和物理環(huán)境的多維復雜系統(tǒng)，通過3C（Computation、Communication、Control）技術的有機融合與深度協(xié)作，實現(xiàn)大型工程系統(tǒng)的實時感知、動態(tài)控制和信息服務。CPS在交通控制、汽車行駛、工業(yè)過程控制、關鍵基礎設施控制（電力、灌溉網(wǎng)絡、通信系統(tǒng)）、機器人、防御系統(tǒng)等諸多領域已經(jīng)展開應用。目前家庭10萬元級轎車中標配的電噴發(fā)動機、ABS剎車裝置是CPS初級典范之作。通用電氣、孟山都等傳統(tǒng)企業(yè)爭相在硅谷設立據(jù)點或巨資收購硅谷企業(yè)，以強化自己的IT能力。以汽車電子來改造汽車機械系統(tǒng)為己任的傳統(tǒng)汽車企業(yè)開始意識到將被以IT、互聯(lián)網(wǎng)為中心的汽車企業(yè)特斯拉（Tesla）所挑戰(zhàn)，這也難怪豐田會把谷歌列為潛在競爭對手，因為谷歌牌無人駕駛汽車正待上路。

4、 軟件定義世界，數(shù)據(jù)驅動未來

軟件正在重新定義一切（software defined anything，SDX）。繼智能手機、平板電腦被軟件重新定義之后，其它IT產(chǎn)品也在不斷被軟件重新定義。軟件定義的網(wǎng)絡（software defined networking ，SDN）、軟件定義的數(shù)據(jù)中心（software-defined data center，SDDC）、軟件定義的存儲（software defined storage，SDS）軟件定義的路由器等思想、概念和產(chǎn)品不斷涌現(xiàn)。電視機、冰箱、鞋子、手表、眼鏡等傳統(tǒng)工業(yè)產(chǎn)品也加入被定義的行列，甚至汽車都在被谷歌重新定義。為各類產(chǎn)品增加一個操作系統(tǒng)后，產(chǎn)品似乎有了魔力；物理功能可以盡量簡單，應用功能可以無限豐富；功能可以無限拓展、能力可以不斷升級。手機上安裝操作系統(tǒng)后，簡直成了一個移動計算機，計算、辦公、支付、導航、視頻、音樂等等功能無所不包。利用智能手機APP軟件，通過特斯拉Model S的操作系統(tǒng)，能夠控制多媒體功能、通信、客艙功能、車輛功能等，可以實現(xiàn)車輛的遠程控制，可以通過互聯(lián)網(wǎng)實時更新操作系統(tǒng)。

圖7：軟件定義世界（SoftwareDefined X，SDX） 

數(shù)據(jù)已經(jīng)成為戰(zhàn)略資產(chǎn)。數(shù)據(jù)是人類活動在網(wǎng)絡空間的映射，蘊含人類生產(chǎn)、生活的規(guī)律，挖掘數(shù)據(jù)潛在價值，對國家治理、社會管理、企業(yè)決策和個人生活影響深遠。世界經(jīng)濟論壇的報告認為大數(shù)據(jù)為新財富，價值堪比石油；商業(yè)版圖由此被重新劃定，通曉如何利用這些數(shù)據(jù)的企業(yè)將成為最強者。

人類進入大數(shù)據(jù)時代。隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的廣泛而深入地應用，人類活動的蹤跡加快在網(wǎng)絡空間的映射，網(wǎng)絡瀏覽、行車軌跡、購物行為等等均留下數(shù)據(jù)記錄。目前，全球數(shù)據(jù)呈現(xiàn)爆發(fā)式增長態(tài)勢，人類社會邁入大數(shù)據(jù)時代；全球每18個月新增數(shù)據(jù)量是人類有史以來全部數(shù)據(jù)量的總和。大數(shù)據(jù)的核心是數(shù)據(jù)，與大小無關，為區(qū)別于大眾思維中的“數(shù)據(jù)”、“海量數(shù)據(jù)”，業(yè)界發(fā)明“大數(shù)據(jù)”一詞取而代之。 

目前，大數(shù)據(jù)已經(jīng)在各行各業(yè)展開應用，成效顯著。美國通用電氣公司通過每秒分析上萬個數(shù)據(jù)點，融合能量儲存和先進的預測算法，開發(fā)新型風機，效率與電力輸出分別比現(xiàn)行風機提高了25%和15%。UPS通過行車整合優(yōu)化和導航系統(tǒng)（On-Road Integrated Optimization and Navigation，ORION），利用安裝在上千輛運輸車輛上的傳感器不斷發(fā)回的數(shù)據(jù)流來優(yōu)化線路，UPS公司運輸路線縮短了530萬公里，引擎閑置時間減少了1000萬分鐘，節(jié)省了65萬加侖的油，碳排放量減少了6500多公噸。

圖8：各行各業(yè)都在展開大數(shù)據(jù)應用

大數(shù)據(jù)在消費IT領域的作用更加明顯。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。 

圖9：網(wǎng)絡畫像 

數(shù)據(jù)不僅是傳統(tǒng)產(chǎn)業(yè)升級的助推器，也是新興產(chǎn)業(yè)孕育的催化劑。數(shù)據(jù)已成為與礦物和化學元素一樣的原始材料，正在形成數(shù)據(jù)服務、數(shù)據(jù)探礦、數(shù)據(jù)化學、數(shù)據(jù)材料、數(shù)據(jù)制藥等一系列戰(zhàn)略性新興產(chǎn)業(yè)，數(shù)據(jù)生產(chǎn)力效應開始顯現(xiàn)。 

總結一下： 

①電驅動世界的路徑：首先由生活領域開始，開發(fā)有限、應用有限、影響有限，技術的不斷創(chuàng)新推動電進入生產(chǎn)領域，從而實現(xiàn)生產(chǎn)力的躍升，進一步在生活領域深化。 

②軟件驅動世界的路徑：先由成本承受力高、技術能力強的生產(chǎn)領域開始，技術的創(chuàng)新推動IT更加易用、產(chǎn)品的創(chuàng)新使產(chǎn)品價格持續(xù)降低，從而帶動IT進入用戶群體更大、應用范圍更加廣泛的生活領域，形成巨大的活力；IT進一步在生產(chǎn)領域深化，推動信息與材料的融合，形成無縫的信息物理系統(tǒng)（cyber physical system，CPS），從而大幅帶動生產(chǎn)力的提升。 

③盡管電和軟件進入生產(chǎn)、生活領域的路徑有所不同，但驅動進程非常相似，因為人類的認知能力并不可能發(fā)生突飛猛進的變化，開山鑿巖、架設電線、敷設光纖等基礎設施建設過程無論哪個時代都不容易，產(chǎn)品的創(chuàng)新也不可能一蹴而就，成本的下降更是一個持續(xù)的過程。軟件驅動世界的進程已進入深化發(fā)展階段，原子世界正與比特世界深度交叉融合，形成人類更易洞察的數(shù)據(jù)世界；數(shù)據(jù)不僅是戰(zhàn)略資產(chǎn)，更是生產(chǎn)力，人類全面進入信息社會。