大數(shù)據(jù)應(yīng)該也必將走下神壇_數(shù)據(jù)分析師培訓(xùn)

2013年，大數(shù)據(jù)[注]在中國異?；鸨?，有人認(rèn)為2013年是中國的大數(shù)據(jù)元年，結(jié)合自己的學(xué)習(xí)和了解，談幾點心得。

　　一、大數(shù)據(jù)應(yīng)用的分類和實例

　　目前業(yè)界對大數(shù)據(jù)的描述五花八門，但其實大數(shù)據(jù)應(yīng)用主要分為兩大類：一類是通過大數(shù)據(jù)來治理國家，這方面倡導(dǎo)的主要以學(xué)者涂子沛為主流;另一類就是大數(shù)據(jù)商業(yè)應(yīng)用，提高商業(yè)效益和價值。

　　涂子沛先生先后寫了兩本書《大數(shù)據(jù)》、《數(shù)據(jù)之顛》;這兩本書在國內(nèi)的政商界引起過較大的反響。但看完他的書，通篇講的是美國的信息開放、美國采用數(shù)據(jù)治理國家的過程及感想。結(jié)合他的這兩本，以及本人近期看的《藍(lán)血十杰》中的案例，簡要說明一下大數(shù)據(jù)治國的案例。

　　美國是大數(shù)據(jù)治國做得最好的，其最早的應(yīng)用就是人口普查，為什么要進(jìn)行人口普查呢?主要是為了分配參議院的權(quán)利席位，每10年開展一次全國人口普查，然后對各州的參議院席位按人口比例進(jìn)行分配;后來由于農(nóng)業(yè)、工業(yè)生產(chǎn)的需要，逐步將普查擴(kuò)展到農(nóng)業(yè)、工業(yè)等多個領(lǐng)域。

　　美國是一個發(fā)現(xiàn)問題后很善于解決問題的國家，二戰(zhàn)剛開始時，前線作戰(zhàn)指揮官連戰(zhàn)爭中死亡和殺敵的數(shù)據(jù)都無法精準(zhǔn)掌握，后勤補(bǔ)給更是一團(tuán)亂麻，于是就有藍(lán)血十杰之一的桑頓牽頭，通過哈佛商學(xué)院定制培養(yǎng)，組建5000多人的統(tǒng)計管制處，這個部門其實就是用大數(shù)據(jù)的方法，對美國空軍的各種飛機(jī)、備件、彈藥武器等進(jìn)行統(tǒng)計分析，并精準(zhǔn)的投放到前線，有力的保障了前線的作戰(zhàn);深層次的就是精準(zhǔn)分析那種飛機(jī)的作戰(zhàn)性能，得出B17比B19更適合轟炸日本，為作戰(zhàn)提供參謀，其實他們應(yīng)用的就是今天所說的大數(shù)據(jù)。

　　還有一個案例就是911發(fā)生后，小布什緊急問周邊的人員世貿(mào)大廈里面有多少人上班，死亡多少人，周邊沒有一個人能精準(zhǔn)說出來，有人說13000多，有人說 3000多。911后，美國政府就建立了一個信息系統(tǒng)，這個系統(tǒng)能精準(zhǔn)統(tǒng)計每個企業(yè)辦公地址，企業(yè)的人員分布，每個住宅樓的家庭人數(shù)，這個系統(tǒng)后來為人口流動能提供依據(jù)，如果再次發(fā)生911,美國就能知道哪個大樓里面大致有多少人在辦公，晚上哪個住宅發(fā)生火災(zāi)，那個樓里面大致住著多少人，這個系統(tǒng)通過對人員的流動還能預(yù)測經(jīng)濟(jì)運(yùn)行健康情況等。

　　在大數(shù)據(jù)商業(yè)開發(fā)應(yīng)用方面，目前主導(dǎo)的很多企業(yè)都在開展這些工作，特別是互聯(lián)網(wǎng)公司走在行業(yè)的前列，如Google的無人駕駛汽車，Google、 Baidu、Taobao等開展精準(zhǔn)營銷、還有沃爾瑪?shù)哪虿寂c啤酒的故事，淘寶對經(jīng)濟(jì)危機(jī)的提前預(yù)測、Goole對流行病的提前預(yù)測等。這些都是基于海量數(shù)據(jù)等歸納統(tǒng)計分析的結(jié)果。

　　二、大數(shù)據(jù)應(yīng)該也必將走下神壇

　　大數(shù)據(jù)概念被吵得很熱，很多人覺得很神秘，很高深，甚至有專家呼吁國家層面加大產(chǎn)業(yè)的投入，不能讓大數(shù)據(jù)的技術(shù)落后，其實我倒是覺得大數(shù)據(jù)沒有那么神秘高深，它必將走下神壇。

　　我認(rèn)為，大數(shù)據(jù)是以“化石能源”為基礎(chǔ)的這波工業(yè)經(jīng)濟(jì)發(fā)展到頂峰之后，人口紅利已到盡頭，靠規(guī)模取勝的時代已去，其他手段都難以大幅提升效益的情況下，通過精細(xì)化、精準(zhǔn)化的數(shù)據(jù)分析做精做細(xì)就成了產(chǎn)業(yè)發(fā)展的必然。

　　任何事物發(fā)展都是倒置的拋物線，當(dāng)整個全球經(jīng)濟(jì)、一個國家、一個產(chǎn)業(yè)處在爆發(fā)增長階段，靠規(guī)模效應(yīng)就能獲得好的收益，就像20~10年前通信行業(yè)一樣，發(fā)展一個用戶就100%贈錢，誰會提精細(xì)化運(yùn)作、流量經(jīng)營。只有當(dāng)用戶發(fā)展遇到天花板、競爭異常激烈之后，大家才發(fā)現(xiàn)，粗暴式發(fā)展不行了，就需要經(jīng)營出效益，就需要精細(xì)化。

　　當(dāng)前的國際、國內(nèi)無論是治國、還是工農(nóng)商經(jīng)濟(jì)發(fā)展都遇到了瓶頸，各行各業(yè)大量的產(chǎn)能過剩，靠提高產(chǎn)量發(fā)展獲得經(jīng)濟(jì)收益的時代一去不返了，所以一些經(jīng)濟(jì)學(xué)家提出了大數(shù)據(jù)。

　　大數(shù)據(jù)說白了，就是對過去的大量數(shù)據(jù)進(jìn)行精準(zhǔn)分析，歸納統(tǒng)計，精耕細(xì)作，他是改變過去那種粗獷的發(fā)展模式，向精細(xì)化要效益。所以它壓根就不神秘，不高端，只是一個思維和行動方式的轉(zhuǎn)變。

　　基于這種考慮，國家與其給錢扶持，不如給政策扶持，可以學(xué)習(xí)美國奧巴馬政府，完善立法，如頒布《信息公開法》，引導(dǎo)國家機(jī)器、企業(yè)、個人強(qiáng)化精細(xì)化的意識，完善數(shù)據(jù)采集、共享、開放、應(yīng)用的產(chǎn)業(yè)環(huán)境。

　　三、大數(shù)據(jù)是一個細(xì)致的技術(shù)活

　　基于上面我的分析，大數(shù)據(jù)是其他手段都用盡，而采用的從內(nèi)部要效益的技術(shù)活，所以大數(shù)據(jù)還真是一個難度很高的技術(shù)活。

　　這個就好比一個學(xué)生，從60分努力提升到90分相對比較容易，而從90分提高到100分就是很難的活了。

　　而大數(shù)據(jù)就是一個從90分提高到100分的活，大家要想到，當(dāng)前國際產(chǎn)業(yè)屆，從60分提到90分的事情大家都想完了，早就干了。

　　這就好比，汽車行業(yè)，其實燒汽油讓熱能轉(zhuǎn)化成動能讓汽車跑起來這活，能量轉(zhuǎn)化效益已提高到極致了，誰都難以找到一個好的辦法將能量轉(zhuǎn)化效益再提高10%, 除非進(jìn)行能源革新，在汽油這事上可能性不大了。所以從節(jié)省能源的角度就有人提出無人駕駛，智能控制，減少因為人的原因造成的能源損失，當(dāng)然節(jié)省能源只是無人駕駛汽車目的的一個方面。

　　四、大數(shù)據(jù)將應(yīng)用到各行各業(yè)

　　當(dāng)今社會，國家的競爭最主要的是經(jīng)濟(jì)實力的競爭，所以將治國和經(jīng)濟(jì)生活的界線其實很難劃分的，治國也是為了經(jīng)濟(jì)服務(wù)，特別是目前國內(nèi)的環(huán)境，我覺得中國的大數(shù)據(jù)可能最先在商業(yè)領(lǐng)域應(yīng)用，然后倒逼應(yīng)用到國家的治理之中，將來，我們的衣食住行都離不開大數(shù)據(jù)，因為當(dāng)社會解決了生產(chǎn)力與人民需要之間的矛盾，國家發(fā)展到一定富裕階段，人們的物質(zhì)文化生活需要得到極大滿足之后，靠人口紅利的粗獷式發(fā)展模式必將轉(zhuǎn)變，這就是政府提出的產(chǎn)業(yè)轉(zhuǎn)型，其實轉(zhuǎn)變的方式就是各行各業(yè)做精、做深、做細(xì)，因此所謂的大數(shù)據(jù)的思維模式必將在我們的農(nóng)、工、商各行各業(yè)應(yīng)用。

　　農(nóng)業(yè)：國家現(xiàn)在的食物生產(chǎn)完全是粗獷式的，豬肉、蔥、姜暴漲暴跌，如果應(yīng)用大數(shù)據(jù)，這些問題將大幅減少，政府可以將全國、各個地區(qū)的各種食材需求、消費、生產(chǎn)、流通建立數(shù)據(jù)庫，公開上網(wǎng)，可以精準(zhǔn)指導(dǎo)各個地區(qū)的生產(chǎn)、調(diào)配、消費。這個事美國政府早就干了，可喜的國內(nèi)生豬養(yǎng)殖已開始這么做了，所以近幾年豬肉沒有像以前那樣暴漲暴跌了。

　　工業(yè)：現(xiàn)在國內(nèi)的各行各業(yè)生產(chǎn)過剩，鋼筋、水泥等都過剩，溫氏內(nèi)閣不是通過抑制產(chǎn)能，而且通過擴(kuò)大應(yīng)用消耗來救市。如果應(yīng)用大數(shù)據(jù)，其實可以將各個地區(qū)的鋼筋、水泥需求量化的，將這些信息公開就可以很好的指導(dǎo)工業(yè)生產(chǎn)了。美國其實也是這么干的。

　　商業(yè)：這方面的例子就更多了，最典型的就是電商的崛起對電腦城、家電連鎖、傳統(tǒng)商場、超市的沖擊了?，F(xiàn)在去電腦城，那個蕭條簡直讓人無法相信。這些商業(yè)信息的公開，其實是有利于政府對商圈的規(guī)劃、商業(yè)機(jī)構(gòu)的招商、資金資源的最優(yōu)流動和配置。

　　五、大數(shù)據(jù)將帶來幾個行業(yè)快速發(fā)展

　　首先是IDC行業(yè)的發(fā)展，目前中國的數(shù)據(jù)總量是250PB,而歐洲是4000PB、美國是3500PB.而且未來隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、各種傳感器的應(yīng)用，數(shù)據(jù)采集存儲處理的需求空間十分巨大。

　　其次是帶來數(shù)據(jù)挖掘領(lǐng)域的崛起，有人嘲笑“現(xiàn)在有一臺服務(wù)器就叫大數(shù)據(jù)”,其實這種以數(shù)據(jù)規(guī)模來衡量大數(shù)據(jù)是片面的，未來的大數(shù)據(jù)將應(yīng)用在各行各業(yè)，比方說全國的不動產(chǎn)統(tǒng)計系統(tǒng)可能就很龐大，而未來針對個人的健康監(jiān)控系統(tǒng)規(guī)模就很小，將來每個人可以將自己每天的吃喝拉撒睡數(shù)據(jù)進(jìn)行統(tǒng)計分析，實時監(jiān)控個人的健康狀況，這個也是大數(shù)據(jù)啊。

　　再就是與數(shù)據(jù)相關(guān)的各種智能：如人工智能、無人駕駛、智能城市等，這些東西就是通過數(shù)據(jù)處理、分析、應(yīng)用來替代人工，提高行業(yè)效益。

　　六、任重道遠(yuǎn)、且行且珍惜

　　奧巴馬政府對大數(shù)據(jù)異常重視，將其定位為國家戰(zhàn)略，從立法、政策制定、組織匹配、產(chǎn)業(yè)扶持等各個方面推動大數(shù)據(jù)的應(yīng)用。

　　而我國政界目前仍是“雷聲大、雨點小”,可喜的是這屆政府比較開明，有幾個可喜的事件：1、今年三月習(xí)總帶隊七常委考察中關(guān)村，重點聽取李彥宏、雷軍講解大數(shù)據(jù);2、主管工業(yè)的汪洋副總理多次提到大數(shù)據(jù)，其在廣東主政期間，大力推動政務(wù)公開;3、北京市政府已開始開放部分?jǐn)?shù)據(jù)信息，開信息開放先河。

　　當(dāng)然國內(nèi)的環(huán)境還很不健全，主要是法律、政策等方面很不健全，民間出現(xiàn)信任危機(jī)，導(dǎo)致信息公開、共享、合作的氣氛不健全。

　　最后用兩句流行的話做結(jié)語：“前途是光明的，道路是曲折的”,“且行且珍惜!”