大數據應該也必將走下神壇_數據分析師培訓

2013年，大數據[注]在中國異?；鸨?，有人認為2013年是中國的大數據元年，結合自己的學習和了解，談幾點心得。

　　一、大數據應用的分類和實例

　　目前業(yè)界對大數據的描述五花八門，但其實大數據應用主要分為兩大類：一類是通過大數據來治理國家，這方面倡導的主要以學者涂子沛為主流;另一類就是大數據商業(yè)應用，提高商業(yè)效益和價值。

　　涂子沛先生先后寫了兩本書《大數據》、《數據之顛》;這兩本書在國內的政商界引起過較大的反響。但看完他的書，通篇講的是美國的信息開放、美國采用數據治理國家的過程及感想。結合他的這兩本，以及本人近期看的《藍血十杰》中的案例，簡要說明一下大數據治國的案例。

　　美國是大數據治國做得最好的，其最早的應用就是人口普查，為什么要進行人口普查呢?主要是為了分配參議院的權利席位，每10年開展一次全國人口普查，然后對各州的參議院席位按人口比例進行分配;后來由于農業(yè)、工業(yè)生產的需要，逐步將普查擴展到農業(yè)、工業(yè)等多個領域。

　　美國是一個發(fā)現問題后很善于解決問題的國家，二戰(zhàn)剛開始時，前線作戰(zhàn)指揮官連戰(zhàn)爭中死亡和殺敵的數據都無法精準掌握，后勤補給更是一團亂麻，于是就有藍血十杰之一的桑頓牽頭，通過哈佛商學院定制培養(yǎng)，組建5000多人的統計管制處，這個部門其實就是用大數據的方法，對美國空軍的各種飛機、備件、彈藥武器等進行統計分析，并精準的投放到前線，有力的保障了前線的作戰(zhàn);深層次的就是精準分析那種飛機的作戰(zhàn)性能，得出B17比B19更適合轟炸日本，為作戰(zhàn)提供參謀，其實他們應用的就是今天所說的大數據。

　　還有一個案例就是911發(fā)生后，小布什緊急問周邊的人員世貿大廈里面有多少人上班，死亡多少人，周邊沒有一個人能精準說出來，有人說13000多，有人說 3000多。911后，美國政府就建立了一個信息系統，這個系統能精準統計每個企業(yè)辦公地址，企業(yè)的人員分布，每個住宅樓的家庭人數，這個系統后來為人口流動能提供依據，如果再次發(fā)生911,美國就能知道哪個大樓里面大致有多少人在辦公，晚上哪個住宅發(fā)生火災，那個樓里面大致住著多少人，這個系統通過對人員的流動還能預測經濟運行健康情況等。

　　在大數據商業(yè)開發(fā)應用方面，目前主導的很多企業(yè)都在開展這些工作，特別是互聯網公司走在行業(yè)的前列，如Google的無人駕駛汽車，Google、 Baidu、Taobao等開展精準營銷、還有沃爾瑪的尿布與啤酒的故事，淘寶對經濟危機的提前預測、Goole對流行病的提前預測等。這些都是基于海量數據等歸納統計分析的結果。

　　二、大數據應該也必將走下神壇

　　大數據概念被吵得很熱，很多人覺得很神秘，很高深，甚至有專家呼吁國家層面加大產業(yè)的投入，不能讓大數據的技術落后，其實我倒是覺得大數據沒有那么神秘高深，它必將走下神壇。

　　我認為，大數據是以“化石能源”為基礎的這波工業(yè)經濟發(fā)展到頂峰之后，人口紅利已到盡頭，靠規(guī)模取勝的時代已去，其他手段都難以大幅提升效益的情況下，通過精細化、精準化的數據分析做精做細就成了產業(yè)發(fā)展的必然。

　　任何事物發(fā)展都是倒置的拋物線，當整個全球經濟、一個國家、一個產業(yè)處在爆發(fā)增長階段，靠規(guī)模效應就能獲得好的收益，就像20~10年前通信行業(yè)一樣，發(fā)展一個用戶就100%贈錢，誰會提精細化運作、流量經營。只有當用戶發(fā)展遇到天花板、競爭異常激烈之后，大家才發(fā)現，粗暴式發(fā)展不行了，就需要經營出效益，就需要精細化。

　　當前的國際、國內無論是治國、還是工農商經濟發(fā)展都遇到了瓶頸，各行各業(yè)大量的產能過剩，靠提高產量發(fā)展獲得經濟收益的時代一去不返了，所以一些經濟學家提出了大數據。

　　大數據說白了，就是對過去的大量數據進行精準分析，歸納統計，精耕細作，他是改變過去那種粗獷的發(fā)展模式，向精細化要效益。所以它壓根就不神秘，不高端，只是一個思維和行動方式的轉變。

　　基于這種考慮，國家與其給錢扶持，不如給政策扶持，可以學習美國奧巴馬政府，完善立法，如頒布《信息公開法》，引導國家機器、企業(yè)、個人強化精細化的意識，完善數據采集、共享、開放、應用的產業(yè)環(huán)境。

　　三、大數據是一個細致的技術活

　　基于上面我的分析，大數據是其他手段都用盡，而采用的從內部要效益的技術活，所以大數據還真是一個難度很高的技術活。

　　這個就好比一個學生，從60分努力提升到90分相對比較容易，而從90分提高到100分就是很難的活了。

　　而大數據就是一個從90分提高到100分的活，大家要想到，當前國際產業(yè)屆，從60分提到90分的事情大家都想完了，早就干了。

　　這就好比，汽車行業(yè)，其實燒汽油讓熱能轉化成動能讓汽車跑起來這活，能量轉化效益已提高到極致了，誰都難以找到一個好的辦法將能量轉化效益再提高10%, 除非進行能源革新，在汽油這事上可能性不大了。所以從節(jié)省能源的角度就有人提出無人駕駛，智能控制，減少因為人的原因造成的能源損失，當然節(jié)省能源只是無人駕駛汽車目的的一個方面。

　　四、大數據將應用到各行各業(yè)

　　當今社會，國家的競爭最主要的是經濟實力的競爭，所以將治國和經濟生活的界線其實很難劃分的，治國也是為了經濟服務，特別是目前國內的環(huán)境，我覺得中國的大數據可能最先在商業(yè)領域應用，然后倒逼應用到國家的治理之中，將來，我們的衣食住行都離不開大數據，因為當社會解決了生產力與人民需要之間的矛盾，國家發(fā)展到一定富裕階段，人們的物質文化生活需要得到極大滿足之后，靠人口紅利的粗獷式發(fā)展模式必將轉變，這就是政府提出的產業(yè)轉型，其實轉變的方式就是各行各業(yè)做精、做深、做細，因此所謂的大數據的思維模式必將在我們的農、工、商各行各業(yè)應用。

　　農業(yè)：國家現在的食物生產完全是粗獷式的，豬肉、蔥、姜暴漲暴跌，如果應用大數據，這些問題將大幅減少，政府可以將全國、各個地區(qū)的各種食材需求、消費、生產、流通建立數據庫，公開上網，可以精準指導各個地區(qū)的生產、調配、消費。這個事美國政府早就干了，可喜的國內生豬養(yǎng)殖已開始這么做了，所以近幾年豬肉沒有像以前那樣暴漲暴跌了。

　　工業(yè)：現在國內的各行各業(yè)生產過剩，鋼筋、水泥等都過剩，溫氏內閣不是通過抑制產能，而且通過擴大應用消耗來救市。如果應用大數據，其實可以將各個地區(qū)的鋼筋、水泥需求量化的，將這些信息公開就可以很好的指導工業(yè)生產了。美國其實也是這么干的。

　　商業(yè)：這方面的例子就更多了，最典型的就是電商的崛起對電腦城、家電連鎖、傳統商場、超市的沖擊了?，F在去電腦城，那個蕭條簡直讓人無法相信。這些商業(yè)信息的公開，其實是有利于政府對商圈的規(guī)劃、商業(yè)機構的招商、資金資源的最優(yōu)流動和配置。

　　五、大數據將帶來幾個行業(yè)快速發(fā)展

　　首先是IDC行業(yè)的發(fā)展，目前中國的數據總量是250PB,而歐洲是4000PB、美國是3500PB.而且未來隨著移動互聯網、物聯網、車聯網、各種傳感器的應用，數據采集存儲處理的需求空間十分巨大。

　　其次是帶來數據挖掘領域的崛起，有人嘲笑“現在有一臺服務器就叫大數據”,其實這種以數據規(guī)模來衡量大數據是片面的，未來的大數據將應用在各行各業(yè)，比方說全國的不動產統計系統可能就很龐大，而未來針對個人的健康監(jiān)控系統規(guī)模就很小，將來每個人可以將自己每天的吃喝拉撒睡數據進行統計分析，實時監(jiān)控個人的健康狀況，這個也是大數據啊。

　　再就是與數據相關的各種智能：如人工智能、無人駕駛、智能城市等，這些東西就是通過數據處理、分析、應用來替代人工，提高行業(yè)效益。

　　六、任重道遠、且行且珍惜

　　奧巴馬政府對大數據異常重視，將其定位為國家戰(zhàn)略，從立法、政策制定、組織匹配、產業(yè)扶持等各個方面推動大數據的應用。

　　而我國政界目前仍是“雷聲大、雨點小”,可喜的是這屆政府比較開明，有幾個可喜的事件：1、今年三月習總帶隊七常委考察中關村，重點聽取李彥宏、雷軍講解大數據;2、主管工業(yè)的汪洋副總理多次提到大數據，其在廣東主政期間，大力推動政務公開;3、北京市政府已開始開放部分數據信息，開信息開放先河。

　　當然國內的環(huán)境還很不健全，主要是法律、政策等方面很不健全，民間出現信任危機，導致信息公開、共享、合作的氣氛不健全。

　　最后用兩句流行的話做結語：“前途是光明的，道路是曲折的”,“且行且珍惜!”