大數(shù)據(jù)時代：數(shù)據(jù)就是一切(2)_數(shù)據(jù)分析師培訓

在大數(shù)據(jù)時代，不光能夠把數(shù)據(jù)用來賺錢和做生意，實際上這些數(shù)據(jù)還能用到一些意想不到的地方，還能為我們的一些生活，為我們的政府決策等等都帶來一些很重要的影響?！标愑钚卤硎?，近年來，他和復旦大學的團隊做得一個研究，就是基于電商的大數(shù)據(jù)來研究出生月份與創(chuàng)業(yè)的關系。

　他介紹，研究中他們使用了一個電商的平臺。用賣家和買家的比例作為基數(shù)，通過電商平臺上賣家和買家的比例來看哪個月份的人更容易創(chuàng)業(yè)。

　　“結果確實是驗證了我們的想法，9月份出生的是創(chuàng)業(yè)比例最高的，9月份正好是在班里面年紀比較大的人?！标愑钚抡J為會出現(xiàn)這樣傾向的原因是，通常我國的小學生都是8月31日之前出生的前一年入學，8月31日以后出生的在后一年入學。所以如果你是9月份、10月份出生的人，你在班級里面年紀會偏大一些，年紀偏大的人從小到大在班里面都容易成為leader， 就證明確實我們教育中的8月31日這條線確實對孩子的成長和未來有影響。 “我們?yōu)槭裁醋鲞@個呢？并不是說做這個好玩。”他表示，現(xiàn)在有很多家長都是削尖腦袋，或者是想辦法走后門，讓自己9月份之后出生的孩子能夠提前上學，否則覺得很虧。甚至有的年輕父母會選擇提前剖腹產，讓孩子出生在8月份，不要落到9月份，這樣的話小孩就不輸在起跑線上。

　　陳宇新認為，“小孩可能早上學了，但是可能就失去了成為創(chuàng)業(yè)領袖，成為企業(yè)家的機會，這種希望就會減少?！?/span>

　　因此，他認為，大數(shù)據(jù)研究對家長的選擇，對教育的政策制定者也會有幫助。在大數(shù)據(jù)時代，大數(shù)據(jù)不但對企業(yè)的利潤產生影響，還能對政府的決策，對生活的方方面面都可以產生積極的幫助和影響。

我們看到越來越多的用戶在做大數(shù)據(jù)的投資，我們看到他們在做大數(shù)據(jù)投資的過程當中面臨著很多的挑戰(zhàn)。”百分點集團運營副總裁韓志勇表示?！暗谝粋€挑戰(zhàn)是數(shù)據(jù)的挑戰(zhàn)?！?/span>

　　他認為，如果把企業(yè)所有的數(shù)據(jù)資產按照所有權進行一個分類，一般分為三類：一是第一方數(shù)據(jù)，就是企業(yè)自己在日常的生產經(jīng)營過程當中所得到的數(shù)據(jù)，這個數(shù)據(jù)的所有權百分之百歸企業(yè)所有。比如說我們企業(yè)ERP里面的數(shù)據(jù)，你的訂單的數(shù)據(jù)，所有的呼叫中心用戶的維修記錄等等，都是在日常生活過程當中產生的數(shù)據(jù)，這些數(shù)據(jù)的所有權歸企業(yè)方所有，所以叫第一方數(shù)據(jù)；二是第二方數(shù)據(jù)，是由企業(yè)和合作伙伴共享的數(shù)據(jù)?，F(xiàn)在越來越多的商家會在天貓、淘寶、1號店和京東上開店。開店的這些數(shù)據(jù)就是由雙方共享的數(shù)據(jù)，這個數(shù)據(jù)由雙方共有；三是第三方數(shù)據(jù)，包括第三方公開的數(shù)據(jù)源能夠提供數(shù)據(jù)。

　　“現(xiàn)在中國很多企業(yè)在做數(shù)據(jù)分析和數(shù)據(jù)研究的時候，用的僅僅是第一方的數(shù)據(jù)，更多的是關注在自己企業(yè)內部產生的數(shù)據(jù)，這是傳統(tǒng)我們看到所有的BW、BI這樣的工具做的事情。而一個更殘酷的事實是說，即使是第一方的數(shù)據(jù)，我們的企業(yè)其實用得都非常少，我們用得是什么數(shù)據(jù)？我們一般只關注交易數(shù)據(jù)，事務性的數(shù)據(jù)?！彼J為，國內很多企業(yè)的日志性的數(shù)據(jù)和過程性的數(shù)據(jù)都沒有記錄，也沒有去研究。根據(jù)百分點的研究，一個企業(yè)完整的數(shù)據(jù)資產里面，現(xiàn)在能夠被有效利用的不超過5%，而超過80%企業(yè)的數(shù)據(jù)資產其實是游離于企業(yè)之外的。

　　“第二個挑戰(zhàn)，沒有方法?！表n志勇認為，從數(shù)據(jù)的采集、數(shù)據(jù)的處理和數(shù)據(jù)的分析這三個角度來看，在大數(shù)據(jù)時代，現(xiàn)在越來越多的企業(yè)面臨這樣一些問題，很多企業(yè)建了大數(shù)據(jù)Hadoop平臺，但是這個Hadoop平臺如何和原有的數(shù)據(jù)銜接？能夠快速、便捷的把數(shù)據(jù)導入并且加以應用？如何能夠實時的采集線上的數(shù)據(jù)？對于第二方和第三方的數(shù)據(jù)有沒有有效的手段獲??？在數(shù)據(jù)處理上，我們不同來源的數(shù)據(jù)，這些數(shù)據(jù)到底能不能整合？

　　他認為，對于企業(yè)來說第三個挑戰(zhàn)是缺少工具。

　　“因為越來越多的企業(yè)在進行大數(shù)據(jù)分析和大數(shù)據(jù)挖掘的時候發(fā)現(xiàn)，他們傳統(tǒng)的數(shù)據(jù)挖掘的工具其實是滿足不了他們的需求。”在他看來，用機器識別，是我們傳統(tǒng)的數(shù)據(jù)分析工具欠缺的。我們傳統(tǒng)的數(shù)據(jù)分析工具都是基于報表，基于格式化的工具做的，對于非結構化和半結構化的數(shù)據(jù)都會出問題。

　　他認為，“實時計算是大數(shù)據(jù)非常典型的特征，我們說在海量數(shù)據(jù)里面商機稍縱即逝，任何一個人，一個頁面大概三秒鐘就要關掉，我們需要在三秒鐘的時間里面判斷出來這個人到底喜歡不喜歡，在這三秒鐘的時間里面能夠影響他。甚至于說我們互聯(lián)網(wǎng)廣告的展示，從識別一個人到投放廣告就100毫秒的時間，這100毫秒的時間里面怎么完成所有計算過程？對實時計算工具要求非常難，是傳統(tǒng)的挖掘工具解決不了的?！?/span>

　　韓軍：數(shù)據(jù)給電子商務帶來很多價值

　　“我們當時不知道大數(shù)據(jù)這個名詞的時候，我們做了一個系統(tǒng)，叫PI系統(tǒng)。后來在一次會議上分享，說你這就是一個大數(shù)據(jù)的案例?！?1號店的CTO韓軍這樣描述1號店最早的數(shù)據(jù)運用?！皩嶋H上我們這個系統(tǒng)就是從網(wǎng)上扒了很多數(shù)據(jù)，還有網(wǎng)下，包括超市門店的數(shù)據(jù)，把這些數(shù)據(jù)進行處理，然后和我們內部的數(shù)據(jù)進行對比，最后把這個數(shù)據(jù)輸出，其中之一就是價格，我們會智能定價，其實就是這么一個系統(tǒng)。”

　　在他看來，電子商務相對來講對數(shù)據(jù)的需求是非常旺盛的。實際上電商本身天然就是一個數(shù)據(jù)處理的公司，因為電商和傳統(tǒng)的商業(yè)很大的不同，有大量的中間數(shù)據(jù)。傳統(tǒng)商業(yè)的數(shù)據(jù)就是小票，從用戶瀏覽到最后訂單生成，到客戶投訴，包括退換貨等等，所有的數(shù)據(jù)都存儲在系統(tǒng)里面。其實電子商務就是比傳統(tǒng)的商務多了很多的數(shù)據(jù)，而這些數(shù)據(jù)給電子商務帶來了很多的價值，電商就可以利用這些數(shù)據(jù)進行自己的一些處理。

　韓軍用1號店的數(shù)據(jù)運用舉例，他們是把用戶的一些人口統(tǒng)計信息，興趣圖譜、標簽、消費類型、忠誠度、購買頻次、購買時間、訪問時長、訪問深度等等數(shù)據(jù)全部進行一個整理，這就可以得到1號店所用的用戶畫像，把用戶畫像再輸出，就產生了一個循環(huán)的過程?！?號店的特色就是我們對電子商務的理解更深刻，所以我們有一些針對電子商務所特定的場景分析和了解，形成我們1號店所特有的分析模型?！?/span>

　　他認為，對這些數(shù)據(jù)進行分析之后，實際上最后是需要應用場景的。他介紹，在1號店里有一個全自動的運營決策，這就是一個數(shù)據(jù)服務的應用場景。

　　他舉了一個簡單的例子，其實是一個銷量的預計。根據(jù)數(shù)據(jù)的分析，銷售的預測，對于缺貨率的分析和對手動態(tài)的分析。當然也包括地域分析，不同的地域銷售是不一樣的。像一升裝的歐德堡牛奶，上海倉庫將來在某一個時間點上會出現(xiàn)缺貨，所以形成一個決策，就是說調撥100箱牛奶，補貨1千箱牛奶。對另外一個品牌的牛奶進行促銷，從用戶的注意點，從歐德堡轉換到另外一個品牌。

　　“因為按照預測，歐德堡很快就要缺貨，所以是多方位的決策體系。等歐德堡牛奶補貨回來以后，可以再做歐德堡的促銷。這樣的話，使得缺貨對生意的影響最小，銷售有回升?！?/span>