為什么大數(shù)據(jù)會如此轟動

1、存在的背景
    基礎(chǔ)設(shè)施的巨大飛躍，數(shù)據(jù)儲存技術(shù)、網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，為大數(shù)據(jù)時代的到來準備了物質(zhì)基礎(chǔ)。
    物聯(lián)網(wǎng)本質(zhì)上就是更多采集數(shù)據(jù)的入口和節(jié)點；云計算培養(yǎng)了服務(wù)的商業(yè)模式和集中建設(shè)降低單位計算和存儲成本。到了移動互聯(lián)網(wǎng)就更有意思了：第一個特點是身份，在合適的時間，合適的地點，將合適的信息送給合適的人，你要知道你的對方是誰，他有什么喜好，他現(xiàn)在是什么狀態(tài)，沒有這個精準身份的信息，一切都無從談起。第二個就是連接，雙向適時的互動連接，有了網(wǎng)絡(luò)以后，你想要什么信息，就從電腦上去索取。手機我們一半除了拿信息以外，我們另外一半推信息，但是這個帶來的變化也就是信息流動能夠更加適時了。第三個是手機主要的特性，信息是有位置屬性的。最后是感應，我們電腦上已經(jīng)不會再有太多的感應器了，手機上的感應器角度會越來越多，可穿戴的產(chǎn)品，未來我們的手機可以聞到味道，可以感受到甲醛超標，可以感受到電磁輻射。這三樣結(jié)合在一起本質(zhì)上就是產(chǎn)生、處理和應用了大數(shù)據(jù)，通過各種各樣新的技術(shù)和來幫助我們解決各種各樣的問題，重新構(gòu)建信息流，資金流、物流。

2 、數(shù)據(jù)究竟有多大
    大數(shù)據(jù)帶動方法論上的變化本質(zhì)上是人的行為越來越被虛擬化，以前歷史上誰都不知道你在互聯(lián)網(wǎng)上是人還是狗，現(xiàn)在處處行跡處處痕，語言分析、自然語義處理、圖像處理、信號處理、關(guān)系預測來精準預計，導致全球數(shù)據(jù)量每兩年翻一翻。隨著Iphone和各種安卓普及，每個人在云端都有幾個G幾個T的網(wǎng)盤，存著各種各樣的信息，大到一定程度，根本沒法處理，我們叫做狹義的大數(shù)據(jù)。有很多的新的計算機的處理方式，存儲方式，和數(shù)學建模的方式去分析這些數(shù)據(jù)，那數(shù)據(jù)根據(jù)訪問頻次又分冷數(shù)據(jù)和熱數(shù)據(jù)。當年由于熱數(shù)據(jù)所帶來的信息量意義更大，關(guān)注度集中在此，數(shù)學上的方法也是基于統(tǒng)計抽樣。奇妙的關(guān)聯(lián)度：但隨著計算和存儲成本的降低，發(fā)現(xiàn)可以處理全量數(shù)據(jù)，全量數(shù)據(jù)堆積在一起發(fā)生了非常多奇妙的現(xiàn)象。有些對當前的科學都有重大影響，當年基于統(tǒng)計、抽樣建立起來的模型極有可能是錯的，比如開普敦定律和冥王星的失誤。這個可以參考我和國棟共著的大數(shù)據(jù)時代的歷史機遇一書。所以在狹義的定義下會出現(xiàn)IBM和IDC定義的4個V，數(shù)據(jù)規(guī)模（Volume）、快速（Velocity）、多樣的類型（Variety）據(jù)價值（Value）。
    3、但是我認為為什么大數(shù)據(jù)會如此轟動是深遠的社會背景，更重要是數(shù)據(jù)思維
    首先就是我一直提的數(shù)據(jù)思維，所謂的數(shù)據(jù)思維，要重視數(shù)據(jù)的全面性，而非隨機的抽樣性。其次：就是關(guān)注數(shù)據(jù)的復雜性，弱化精確性，以前我們就有很多人要求一是一，二是二，現(xiàn)在大數(shù)據(jù)里面我們就不要求那么精了，我們要求一個大的框架，模糊的準確度趨勢的判斷第三大數(shù)據(jù)是一種重新評價企業(yè)、商業(yè)模式的新方法了，數(shù)據(jù)成為核心的資產(chǎn)，并將深刻影響企業(yè)的業(yè)務(wù)模式，甚至重構(gòu)其文化和組織。
    我定義了從五大維度：活性、顆粒度、維度時空、情緒第一個叫活性，基本上你在互聯(lián)網(wǎng)公司里面，比如你用阿里的服務(wù)，可能每天使用3到5次，但是你知道銀行的網(wǎng)點你可能一個月或者更多時間才去一次。第二個稱之為叫顆粒度，就是你在電商的平臺上從你進店到購物、到形成采購、到物流、到運送、到配送、到最后的評價跟分享，所有的環(huán)節(jié)都給你充分的記錄起來，這是很重要的，我稱之為顆粒度，銀行我們現(xiàn)在看到的信息的數(shù)據(jù)或者金融的數(shù)據(jù)就是水電、煤氣加成本，再加上你的工資到賬日期，這個數(shù)據(jù)是非常粗糙的。三個是稱之為維度，像易寶支付，當你使用他的數(shù)據(jù)以后你的數(shù)據(jù)就留在他那里面，這樣有更多的維度進行數(shù)據(jù)相關(guān)的處理和分析。第四遠近。當某個人有貸款需求的時候，我的金融機構(gòu)，我的互聯(lián)網(wǎng)公司，很有可能是第一個能知道你有貸款需求的，或者在線的時候知道，我可能第一時間就知道這個客戶，銀行知道這個過程中間還有很多，這是一個，這是遠近。最后一個我們稱之為叫情緒，你在微博上發(fā)的任何一條信息都是帶有情感的，你有情感之后就知道你的狀態(tài)，就知道采取任何的營銷是不是有用。
    4 、接下來發(fā)生怎樣的事情泛互聯(lián)網(wǎng)化
    軟件、硬件會免費，成為收集數(shù)據(jù)的入口行業(yè)垂直整合：一開始是軟件做硬件、互聯(lián)網(wǎng)公司做硬件和軟件，接下來就是電商做金融、金融做電商、軟件公司提供增值服務(wù)。為什么？一旦需要無線的靠近客戶之后，就要服務(wù)客戶需求的一切，行業(yè)的邊界在不斷被打破數(shù)據(jù)成為資產(chǎn)：數(shù)據(jù)會變得越來越重要，是一切商業(yè)模式起源和重構(gòu)的基礎(chǔ)。
    5、在中國和全球的情況全球范圍看，這種變革正在發(fā)生
    互聯(lián)網(wǎng)行業(yè)首當其沖，接著是商業(yè)智能與咨詢服務(wù)領(lǐng)域、零售行業(yè)，還包括醫(yī)療、衛(wèi)生、交通、物流甚至生物科技、天文……大數(shù)據(jù)催生的數(shù)據(jù)服務(wù)意識和能力，正在影響這個社會的方方面面，從商業(yè)科技到醫(yī)療、政府、教育、經(jīng)濟、人文以及社會的其他各個領(lǐng)域，并催生了了各行各業(yè)的變革力量。也就是我們所說的跨界顛覆者。我把大數(shù)據(jù)技術(shù)分為傳統(tǒng)企業(yè)級別，和創(chuàng)新市場。企業(yè)級別市場還是IBM、EMC、惠普、Oracle新瓶裝舊酒，那些商業(yè)智能數(shù)據(jù)處理的老產(chǎn)品來取代，更多的只是忽悠客戶來干干數(shù)據(jù)分析的活。當時在另外一方面，像googlefacebook,國內(nèi)的BAT等是真正在考慮大數(shù)據(jù)的。而且以阿里引導的去IOE的大趨勢，也是體現(xiàn)了在未來移動化和大數(shù)據(jù)浪潮下，老外的產(chǎn)品無法滿足國內(nèi)快速、開源、便捷的增長需求。在創(chuàng)新市場里面的大數(shù)據(jù)技術(shù)：一方面，以開源為主。即便是IBM、Oracle等行業(yè)巨擘，也同樣是集成了開源技術(shù)，和本公司原有產(chǎn)品更好的結(jié)合而已，在新興的大數(shù)據(jù)處理領(lǐng)域，中外公司幾乎站在同一起跑線。單純考慮狹義的大數(shù)據(jù)處理技術(shù)（如Hadoop、MapReduce、模式識別、機器學習等），中外差距很短左右。如果考慮數(shù)字資產(chǎn)規(guī)模以及利用的技術(shù)，中外差距更多體現(xiàn)為意識上的差距。像阿里已經(jīng)完全取代了IOE的產(chǎn)品，當前不僅自己用，而且還提供了阿里云對外輸出。節(jié)省20億IT開支，像亞馬遜已經(jīng)把EC2和S3成為較大的盈利點。而且阿里現(xiàn)在的處理能力每秒達到1億次，超過了4大行的綜合（馬云前幾天在人民銀行的忽悠）另一方面，中國人口和經(jīng)濟規(guī)模，決定中國的數(shù)據(jù)資產(chǎn)規(guī)模，冠于全球。客觀上為大數(shù)據(jù)技術(shù)的發(fā)展，提供了演練場。比如我之前在甲骨文的時候是三大運營商的咨詢經(jīng)理，每次遇到客戶客戶都提，我們的數(shù)據(jù)量全球第一。神槍手是靠子彈磨練出來的，好的產(chǎn)品也是靠數(shù)據(jù)量出來的。在阿里，京東、百度相關(guān)公司，不管是客戶需求驅(qū)動、還是成本驅(qū)動都開始了替代過程，我認為這個變化趨勢會進一步傳導到金融、電信、政府等重要IT投入行業(yè)中。
    6 、幾家典型公司的大數(shù)據(jù)
    百度擁有中國最大的消費者行為數(shù)據(jù)庫，覆蓋95%的中國網(wǎng)民，日均響應50億次搜索請求，搜索市場占比達80%，百度聯(lián)盟，60萬聯(lián)盟合作伙伴每天有50億次的日均行為產(chǎn)生，這些構(gòu)成了巨大數(shù)據(jù)的基礎(chǔ)。變現(xiàn)模式：推百度指數(shù)，并在百度指數(shù)的基礎(chǔ)上建立百度風云榜；百度數(shù)據(jù)中心，研究機構(gòu)的方式網(wǎng)絡(luò)搜索咨詢報告。廣告站長和開發(fā)組提供的百度（移動）統(tǒng)計以及相關(guān)的開發(fā)者服務(wù)工具。
    騰訊則超過7.836億QQ活躍賬戶，4.69億微博用戶和超過1億的視頻用戶、5.976億QQ空間用戶，微信、手機管家等帶來的移動用戶也超過了4億，海外用戶快超過1億。除卻海量用戶，騰訊“N個產(chǎn)品×N個平臺×N個終端×N個用戶關(guān)系”的龐大服務(wù)矩陣，帶來數(shù)據(jù)的非結(jié)構(gòu)化、碎片化、海量化。變現(xiàn)工具只有：騰訊分析和騰訊羅盤。
    馬云宣稱平臺、金融和數(shù)據(jù)是阿里未來的三大戰(zhàn)略方向。阿里未來本質(zhì)上是一個數(shù)據(jù)公司，電商越來越離不開數(shù)據(jù)，金融的核心也是數(shù)據(jù)。收購的新浪微博、友盟、高德、丁丁等就是為了圈數(shù)據(jù)。相關(guān)的東西我都噴過數(shù)百次了，就不詳細展開。負責人：車品覺，有意思的產(chǎn)品：內(nèi)部的淘數(shù)據(jù)、KPI系統(tǒng)、數(shù)據(jù)門戶、活動直播間、賣家云圖、頁面點擊、黃金策；給客戶提供的數(shù)據(jù)魔方、無量神針和類目360、淘寶指數(shù)最具備劃時代意義的2012年阿里又推出了“聚石塔”產(chǎn)品可提供數(shù)據(jù)存儲、數(shù)據(jù)計算兩類服務(wù)2012年“雙11”那次191億元的大促銷當天，“聚石塔”處理的訂單超過天貓總量的20%，比平時增長20倍。阿里金融是大數(shù)據(jù)衍生產(chǎn)品開發(fā)的一個范例。阿里由于電商特性他在應用上走得是最遠的。
    7 、產(chǎn)業(yè)鏈的分類與規(guī)模
    相關(guān)的基礎(chǔ)產(chǎn)業(yè)還挺多的，一是數(shù)據(jù)技術(shù)產(chǎn)業(yè)，包括硬件方面的智能管道、物聯(lián)網(wǎng)、服務(wù)器、存儲、傳輸、智能移動設(shè)備等，軟件方面的語言、數(shù)據(jù)平臺、工具、結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)庫、應用軟件等，服務(wù)方面的IDC、云計算、WEB應用等；二是數(shù)據(jù)采集，包括定位、支付、SNS、郵件等行業(yè)；三是數(shù)據(jù)工業(yè)，包括數(shù)據(jù)挖掘、數(shù)據(jù)分析、數(shù)據(jù)咨詢等產(chǎn)業(yè)；四是數(shù)據(jù)應用業(yè)：比如基于數(shù)據(jù)產(chǎn)生的互聯(lián)網(wǎng)金融。
    8、我對大數(shù)據(jù)總結(jié)了一些東西，概括：
    一種思維：數(shù)據(jù)思維
    兩大推動 極致體驗、長尾效應
    三大趨勢 ，泛互聯(lián)網(wǎng)、垂直一體化、數(shù)據(jù)是資產(chǎn)
    四大步驟 入口、流量、數(shù)據(jù)、變現(xiàn)
    五大標準 活性、顆粒度、維度 時空、情緒
    六大模式 數(shù)據(jù)、信息、咨詢、媒體、數(shù)據(jù)使能、技術(shù)
    七字心決 專注、極致、口碑、快
    9、其他重要相觀點
    下一步國家必將在更高層次的產(chǎn)品和服務(wù)上替代外國的東西就像電視、冰箱、汽車一樣，主要在信息和精密制造。