如何利用大數(shù)據(jù)進(jìn)行價值兌現(xiàn)才是正經(jīng)事

如果有一天你可以預(yù)測未來，你要做的第一件事情是什么？買彩票？第二件、第三件事情呢？ 先賣個關(guān)子，我們后面再說這件事情。

大數(shù)據(jù)是個產(chǎn)業(yè)，廣義上指的是在這個信息過載時代圍繞著海量信息產(chǎn)生、傳播、收集、處理、創(chuàng)造價值的整個產(chǎn)品鏈條；狹義上一般指大數(shù)據(jù)存儲與處理、數(shù)據(jù)挖掘的相關(guān)產(chǎn)業(yè)。目前市場上利用大數(shù)據(jù)最多的一般在于分析和預(yù)測。

根據(jù)本人10年來在這個行業(yè)的從業(yè)經(jīng)驗，大數(shù)據(jù)與前兩年的云計算、再往前的網(wǎng)格計算、并行計算都是相同產(chǎn)業(yè)鏈上幾個環(huán)節(jié)，它是作為概念被媒體和從業(yè)者炒作起來的。但不可否認(rèn)的是，我們的社會正處于信息爆炸的時代，各行業(yè)的信息量都在幾何級數(shù)增長，高效利用好這些數(shù)據(jù)確實(shí)能為工作和生活帶來巨大變革。

觀點(diǎn)1：數(shù)據(jù)本身不產(chǎn)生價值，如何分析和利用大數(shù)據(jù)對實(shí)際業(yè)務(wù)產(chǎn)生幫助才是關(guān)鍵

例如，它可以幫助控制美國占17.6%GDP的醫(yī)療支出，為醫(yī)藥行業(yè)帶來超過3000億美元的成本節(jié)省和收益（來自麥肯錫的報告）

Netflix 制作《紙牌屋》的故事很多人都聽過，說的是這家公司利用大數(shù)據(jù)分析了用戶最喜歡的情節(jié)、最喜歡的演員組合、最喜歡的編劇等等，組合起來之后自己制作了一部電視劇最終取得巨大成功。

雖然聽過故事的人很多，但幾乎沒有人注意到，這家公司是處于大數(shù)據(jù)應(yīng)用鏈的頂端。與提供分析服務(wù)、提供大數(shù)據(jù)存儲、提供數(shù)據(jù)清洗的基礎(chǔ)產(chǎn)業(yè)中下游公司不同，Netflix除了自身產(chǎn)生數(shù)據(jù)且具備分析能力外，關(guān)鍵的是具備把分析結(jié)果轉(zhuǎn)化為產(chǎn)品的能力，這才是產(chǎn)生高利潤和競爭力的核心。

觀點(diǎn)2：從事大數(shù)據(jù)的生意要重視投入與產(chǎn)出

大數(shù)據(jù)門檻很低，用一個Excel就可以起步，但隨著研究的深入，想利用大數(shù)據(jù)分析進(jìn)行獲利，還是需要一定的預(yù)算和投入。

比如：需要專業(yè)的團(tuán)隊，如大數(shù)據(jù)分析師，10年前這個職位就存在，叫BI（商業(yè)智能），工作的內(nèi)容就是分析大量的數(shù)據(jù)并通過建模等方式幫助制定戰(zhàn)略或進(jìn)行商業(yè)決策。

有了分析師就需要有配套的工程師配合，從海量的數(shù)據(jù)中挖掘出有價值的東西。

服務(wù)器：大數(shù)據(jù)另一個要消耗的資源就是服務(wù)器，從存儲到計算再到帶寬，都是需要不斷的進(jìn)行投入的。

所以商業(yè)公司進(jìn)入這個行業(yè)前要考慮下是否有足夠的預(yù)算，但同時上述的幾點(diǎn)也孕育了不少新的機(jī)會，比如amazon就是全球最大的云計算基礎(chǔ)設(shè)施廠商，splunk和前一段上市的Tableau都是對分析師提供數(shù)據(jù)處理服務(wù)的，相當(dāng)于替代了一部分昂貴的工程師的工作。

觀點(diǎn)3：大數(shù)據(jù)不是最近才有的，數(shù)據(jù)一直存在，分析數(shù)據(jù)的技術(shù)近幾年有了革命性的突破

處理海量數(shù)據(jù)在技術(shù)界一直是個課題，幾個革命性的技術(shù)在近10年相繼出現(xiàn)，奠定了我們目前大數(shù)據(jù)的基礎(chǔ)，其中包括虛擬化技術(shù)、Map-Reduce & Bigtable 、 NoSQL數(shù)據(jù)庫、Deep Learning技術(shù)等。

虛擬化造就了今天的amazon云服務(wù)基礎(chǔ)設(shè)施， map reduce造就了幫助我們進(jìn)行高速云計算的hadoop開源軟件，之前處理幾天的數(shù)據(jù)現(xiàn)在幾分鐘就可以處理完。NoSQL數(shù)據(jù)庫已經(jīng)廣泛應(yīng)用在了擁有大量數(shù)據(jù)及高訪問量的網(wǎng)站上，性能比傳統(tǒng)數(shù)據(jù)庫提升了許多。

觀點(diǎn)4：許多人已經(jīng)默默地通過大數(shù)據(jù)獲利

商業(yè)公司通過長期研究，一旦發(fā)現(xiàn)了通過大數(shù)據(jù)獲利的秘訣，多數(shù)情況下還是選擇獨(dú)樂樂而不是眾樂樂。因為分析方法和數(shù)據(jù)源一旦公開，競爭對手必然會跟進(jìn)，會導(dǎo)致了方法同質(zhì)化最終體現(xiàn)在收益降低。

精準(zhǔn)營銷是個眾所周知的領(lǐng)域，通過對每個人的信息進(jìn)行分類建模，進(jìn)行不同種類的營銷。比如搜索引擎中，你長期搜索一些新的樓盤信息，搜索引擎會根據(jù)你的搜索歷史判斷你極有可能是潛在的買房者，美國target百貨公司就曾因為根據(jù)用戶的購物記錄判斷出一女孩懷孕并給其家里投送孕婦購物手冊而名聲大噪。在淘寶中搜索了旅行背包后，在新浪上都能看到相關(guān)旅游用品的廣告。

但實(shí)際上大數(shù)據(jù)公司為了提高競爭優(yōu)勢，已經(jīng)并不滿足于這種有直接聯(lián)系的數(shù)據(jù)，紛紛通過更多的途徑收集數(shù)據(jù)。 根據(jù)筆者這些年的見聞，在保護(hù)行業(yè)機(jī)密的前提下在這里分享一些讀者之前沒聽過的干貨。

1、路由器，之前只是上網(wǎng)的小盒子，在數(shù)據(jù)采購市場是極為炙手可熱的渠道。原因是近些年隨著手機(jī)硬件的發(fā)展（路由器和手機(jī)等移動設(shè)備使用相似的芯片），尤其是處理器計算能力的幾何式增長，小小的路由器里面已經(jīng)可以運(yùn)行很多程序，這些程序在用戶上網(wǎng)時默默的分析著各種各樣的數(shù)據(jù)，包括你常聯(lián)系的好友信息，上網(wǎng)記錄等。

2、網(wǎng)絡(luò)運(yùn)營商，運(yùn)營商喜歡在用戶瀏覽網(wǎng)頁時插入一些廣告，相信多數(shù)人都遇到過，和路由器的數(shù)據(jù)分析原理一樣，運(yùn)營商并不滿足于千篇一律的固定展示廣告，也在與時俱進(jìn)，利用大數(shù)據(jù)進(jìn)行精準(zhǔn)的個性化廣告營銷。

3、基礎(chǔ)軟件，如瀏覽器、輸入法。不僅是電腦還包括手機(jī)，你用輸入法在各個軟件里提交的查詢請求，在瀏覽器里鼠標(biāo)移到某個商品上卻沒有點(diǎn)擊等等， 這些大數(shù)據(jù)都會被儲存到了云上，供廠商進(jìn)行分析。

4、金融公司。

提到革命性的技術(shù)，就不得不提到金融行業(yè)。我們在文中前面提到過的大數(shù)據(jù)成本問題在金融行業(yè)就不是問題了，因為在這個行業(yè)新技術(shù)帶來的收益的提升都遠(yuǎn)高于成本，故我們可以看到每一項新技術(shù)往往都會第一時間在金融業(yè)應(yīng)用。大數(shù)據(jù)也不例外，其實(shí)在很多年前大數(shù)據(jù)的數(shù)據(jù)挖掘已經(jīng)廣泛應(yīng)用到了金融領(lǐng)域。這里我們要把博彩行業(yè)也歸為金融業(yè)。

直到今年美國才有零星應(yīng)用的＂商場人流量大數(shù)據(jù)監(jiān)測系統(tǒng)＂其實(shí)在許多年前就被應(yīng)用到了澳門和美國拉斯維加斯的賭場，一家賭場安裝有上千個攝像頭，從顧客進(jìn)門開始就通過面部識別技術(shù)開始追蹤，結(jié)合每個人的交易情況進(jìn)行數(shù)據(jù)挖掘，除了找出老千等不受歡迎的人外，還能挑選大客戶，鼓勵非理性的賭客加大賭注等方式獲取更多利潤。

股市是除了博彩行業(yè)外另一個大數(shù)據(jù)市場，幾十年前的股市就是一個利用信息不對稱獲利的市場，如今大數(shù)據(jù)分析成為了新一代有效的工具。股票市場每時每刻都有海量的交易信息，大數(shù)據(jù)分析技術(shù)一直伴隨著證券行業(yè)發(fā)展成長。

之前很多寫大數(shù)據(jù)的文章都會提到印第安納大學(xué)的研究人員研究發(fā)現(xiàn)通過分析twitter信息中人們的情緒可以準(zhǔn)確預(yù)測股市的漲跌，但在google搜索利用twitter數(shù)據(jù)進(jìn)行交易的對沖基金只能找到倫敦的DCM一家。原因正如上一段提到的，商業(yè)公司尤其是對沖基金都不會輕易暴露自己的運(yùn)算邏輯，這個道理和《三體》中的“黑暗森林”邏輯是相同的。

但實(shí)際上，我們可以通過種種蛛絲馬跡發(fā)現(xiàn)twitter信息已經(jīng)廣泛被市場中的對沖基金使用。比如只要好萊塢女星海瑟薇出現(xiàn)在頭條，"股神"沃倫-巴菲特的公司的A股股價就會上漲。原因很簡單，女星海瑟薇的名字是Anne Hathaway，巴菲特的公司叫伯克希爾-哈撒韋公司(Berkshire Hathaway)，兩者都包括Hathaway這個詞，說明不少對沖基金都使用了實(shí)時分析twitter和新聞大數(shù)據(jù)的技術(shù)。

另外一個例子：一則假消息在twitter發(fā)布：白宮發(fā)生了兩起爆炸事件，總統(tǒng)奧巴馬(Barack Obama)在事件中受傷，導(dǎo)致股市、歐元等相關(guān)全線在第一時間下挫，道指2分鐘下跌100多點(diǎn)，歐元也是強(qiáng)勢下行，美國股市市值短暫蒸發(fā)約1,400億美元。 一次偶然的黑客惡作劇，又導(dǎo)致許多使用twitter數(shù)據(jù)對沖基金被暴露出來。

再舉個發(fā)生在身邊的例子，大家知道到券商開戶為什么要填寫一張詳細(xì)的表格嗎？上面會要求你填寫你的收入、投資經(jīng)歷等，因為在華爾街，有非常成熟的模型可以通過你填寫的表格預(yù)測你未來的收益，同時分析大量的交易記錄針對不同種類的用戶進(jìn)行相應(yīng)的營銷與服務(wù)，目標(biāo)同樣是提高利潤。

金融領(lǐng)域另一塊大的領(lǐng)域是信貸市場，國內(nèi)最近也異?；馃?，包括阿里巴巴等公司早已進(jìn)入。新的P2P產(chǎn)業(yè)除了在商業(yè)模式、效率、用戶來源等與傳統(tǒng)銀行不同外，最關(guān)鍵因素之一就是大數(shù)據(jù)。通過大數(shù)據(jù)可以解決信貸產(chǎn)業(yè)最核心的壞賬率問題。阿里巴巴通過其平臺上用戶的交易數(shù)據(jù)、好評率等完整的結(jié)構(gòu)化數(shù)據(jù)可以非常容易的對用戶進(jìn)行信用評估，但其他平臺沒有阿里巴巴的數(shù)據(jù)優(yōu)勢，就需要更多的數(shù)據(jù)挖掘才能降低壞賬率從而盈利，國外最大的P2P公司比如Lending Club是經(jīng)過了6年不斷完善才首次實(shí)現(xiàn)盈利，可見這個巨大的市場中我們面對的挑戰(zhàn)之大。（文章來源：CDA數(shù)據(jù)分析師）