一篇文章為你解讀大數(shù)據(jù)的現(xiàn)在和未來(lái)

關(guān)于大數(shù)據(jù)的概念其實(shí)在1998年已經(jīng)就有人提出了，但是到了現(xiàn)在才開始有所發(fā)展，這些其實(shí)都是和當(dāng)下移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展分不開的，移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，為大數(shù)據(jù)的產(chǎn)生提供了更多的產(chǎn)生大數(shù)據(jù)的硬件前提，比如說智能手機(jī)，智能硬件，車聯(lián)網(wǎng)，pda等數(shù)據(jù)的產(chǎn)生終端。這些智能通過移動(dòng)通信技術(shù)和人們的生活緊密的結(jié)合在一起，在人流、車流的背后產(chǎn)生了信息流，也就產(chǎn)生了大量的數(shù)據(jù)。

其次就是移動(dòng)通信技術(shù)的快速發(fā)展，在2G時(shí)代，無(wú)線網(wǎng)速慢，數(shù)據(jù)產(chǎn)生也非常慢，數(shù)據(jù)體量也不夠，所以還是無(wú)法形成大數(shù)據(jù)，而到了4G時(shí)代，終端數(shù)據(jù)的增加，使得任何的移動(dòng)終端都在無(wú)時(shí)無(wú)刻的產(chǎn)生著大量的數(shù)據(jù)，這個(gè)也是大數(shù)據(jù)到來(lái)的一個(gè)條件之一。

第三個(gè)方面的就是大數(shù)據(jù)相關(guān)技術(shù)的飛速發(fā)展，如云計(jì)算，云存儲(chǔ)技術(shù)，他們的快速發(fā)展，是大數(shù)據(jù)誕生的溫床，如果沒有這些技術(shù)，即使有大量的數(shù)據(jù)也只能望洋興嘆。傳統(tǒng)的存儲(chǔ)技術(shù)相對(duì)落后，根據(jù)不同數(shù)據(jù)實(shí)行單一存儲(chǔ)，這個(gè)顯然滿足不了大數(shù)據(jù)的需求，而云時(shí)代的存儲(chǔ)系統(tǒng)需要的不僅僅是容量的提升，對(duì)于性能的要求同樣迫切，與以往只面向有限的用戶不同，在云時(shí)代，存儲(chǔ)系統(tǒng)將面向更為廣闊的用戶群體，用戶數(shù)量級(jí)的增加使得存儲(chǔ)系統(tǒng)也必須在吞吐性能上有飛速的提升，只有這樣才能對(duì)請(qǐng)求作出快速的反應(yīng)，云儲(chǔ)存技術(shù)的成熟為大數(shù)據(jù)的快速發(fā)展奠定了基礎(chǔ)。

什么是大數(shù)據(jù)？

不過說起大數(shù)據(jù)，估計(jì)大家都覺得只聽過概念，但是具體是什么東西，怎么定義，沒有一個(gè)標(biāo)準(zhǔn)的東西，因?yàn)樵谖覀兊挠∠笾泻孟窈芏喙径冀写髷?shù)據(jù)公司，業(yè)務(wù)形態(tài)則有幾百種，感覺不是很好理解，所以我建議還是從字面上來(lái)理解大數(shù)據(jù)，在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》提到了大數(shù)據(jù)的4個(gè)特征，一個(gè)是數(shù)量大，一個(gè)是價(jià)值大，一個(gè)是速度快，一個(gè)是多樣性。

一個(gè)是數(shù)量比較大，大致有多大，就是大到PB級(jí)別，甚至ZB級(jí)別，1PB等于1024TB，1TB等于1024G，那么1PB等于100多G，當(dāng)然了具體的計(jì)算方法可以相關(guān)資料數(shù)據(jù)進(jìn)行查詢，總之，和傳統(tǒng)的單個(gè)網(wǎng)站數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)相比，已經(jīng)是它的上百倍還多，而只有數(shù)據(jù)體量達(dá)到了PB級(jí)別以上，才能被稱為大數(shù)據(jù)。第二個(gè)是價(jià)值大，價(jià)值是大體量數(shù)據(jù)的更深一步的演變，就是說，你如果有1PB以上的全國(guó)所有20-35年輕人的上網(wǎng)數(shù)據(jù)的時(shí)候，那么它自然就有了商業(yè)價(jià)值，比如通過分析這些數(shù)據(jù)，我們就知道這些人的愛好，進(jìn)而指導(dǎo)產(chǎn)品的發(fā)展方向等等。如果有了全國(guó)幾百萬(wàn)病人的數(shù)據(jù)，根據(jù)這些數(shù)據(jù)進(jìn)行分析就能預(yù)測(cè)疾病的發(fā)生。這些都是大數(shù)據(jù)的價(jià)值。

第三個(gè)就是多樣性，如果只有單一的數(shù)據(jù)，那么這些數(shù)據(jù)就沒有了價(jià)值，比如只有單一的個(gè)人數(shù)據(jù)，或者單一的用戶提交數(shù)據(jù)，這些數(shù)據(jù)還不能稱為大數(shù)據(jù)，所以說大數(shù)據(jù)還需要是多樣性的，比如當(dāng)前的上網(wǎng)用戶中，年齡，學(xué)歷，愛好，性格等等每個(gè)人的特征都不一樣，這個(gè)也就是大數(shù)據(jù)的多樣性，當(dāng)然了如果擴(kuò)展到全國(guó)，那么數(shù)據(jù)的多樣性會(huì)更強(qiáng)，每個(gè)地區(qū)，每個(gè)時(shí)間段，都會(huì)存在各種各樣的數(shù)據(jù)多樣性。

第四個(gè)是速度快，就是通過算法對(duì)數(shù)據(jù)的邏輯處理速度非?？?，1秒定律，可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息，這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

總之，這些就是大數(shù)據(jù)的四個(gè)特征，只有具備了這些特征的數(shù)據(jù)才能稱為大數(shù)據(jù)，那么實(shí)際中的大數(shù)據(jù)是怎么樣呢？業(yè)內(nèi)著名的和大數(shù)據(jù)相關(guān)的公司，七牛云存儲(chǔ)將要在8月29日、30日舉辦一次大數(shù)據(jù)的會(huì)議，對(duì)于位于大數(shù)據(jù)技術(shù)產(chǎn)業(yè)鏈上的公司來(lái)說，我們應(yīng)該可以獲得更多的干貨爆料。

大數(shù)據(jù)的三個(gè)層次

說起大數(shù)據(jù)，大數(shù)據(jù)有三個(gè)層次，第一個(gè)是數(shù)據(jù)采集層，以App、saas為代表的服務(wù)。第二個(gè)技術(shù)服務(wù)層，以七牛云存儲(chǔ)為代表的大數(shù)據(jù)技術(shù)服務(wù)層，這些包括數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)的分析，數(shù)據(jù)的挖掘等等，第三個(gè)是數(shù)據(jù)應(yīng)用層，以數(shù)據(jù)為基礎(chǔ)，為將來(lái)的移動(dòng)社交、交通、教育，金融進(jìn)行服務(wù)。下面我就主要的講下三個(gè)層面。

數(shù)據(jù)采集層——App、saas服務(wù)

在移動(dòng)互聯(lián)網(wǎng)時(shí)代，大數(shù)據(jù)的來(lái)源層有兩個(gè)方面，一個(gè)方面是面向個(gè)人的數(shù)據(jù)來(lái)源前端如各種各樣的App，一方面是面向企業(yè)服務(wù)的saas服務(wù)的產(chǎn)品。

面向個(gè)人的App，在飲食領(lǐng)域的App，如餓了么，用戶通過App進(jìn)行選餐，下單，通過App交互就會(huì)形成飲食領(lǐng)域的大數(shù)據(jù)；在o2o領(lǐng)域，如嗒嗒巴士，用戶通過使用App進(jìn)行乘坐交通，上班下班，就會(huì)形成交通領(lǐng)域的大數(shù)據(jù)，如穿衣助手，用戶通過App進(jìn)行選擇衣服顏色、樣式，進(jìn)行搭配，就會(huì)形式服務(wù)類的大數(shù)據(jù)，當(dāng)然了還有秒拍、快看等娛樂類的消費(fèi)數(shù)據(jù)。

面向個(gè)人用戶的App，以滿足用戶的需求為主要出發(fā)點(diǎn)，產(chǎn)生用戶的數(shù)據(jù)，這些數(shù)據(jù)包括以個(gè)人基礎(chǔ)的數(shù)據(jù)，也包括隨群體數(shù)據(jù)，隨著App用戶量的增長(zhǎng)，這些App數(shù)據(jù)就成了大數(shù)據(jù)。

面向個(gè)人的數(shù)據(jù)來(lái)源，直接通過用戶的需求產(chǎn)生數(shù)據(jù)，而面向企業(yè)服務(wù)的——saas服務(wù)則不一樣，他們通過為企業(yè)提供一套完整的解決方案，而產(chǎn)生數(shù)據(jù)，比如圖靈機(jī)器人，人臉識(shí)別技術(shù)，氣象plus、?？低暤龋麄兺ㄟ^完美的解決方案服務(wù)企業(yè)，最終服務(wù)用戶，從而產(chǎn)生大數(shù)據(jù)，數(shù)據(jù)采集層，是大數(shù)據(jù)的來(lái)源，也是大數(shù)據(jù)的基礎(chǔ)。

云存儲(chǔ)對(duì)大數(shù)據(jù)的促進(jìn)作用

有了數(shù)據(jù)采集層，那么下一步就是數(shù)據(jù)的存儲(chǔ)層了，使用云存儲(chǔ)技術(shù)將數(shù)據(jù)存儲(chǔ)在云主機(jī)上，保證數(shù)據(jù)的安全、穩(wěn)定、高效都需要云存儲(chǔ)技術(shù)來(lái)完成。云存儲(chǔ)主要負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)以及計(jì)算，比如七牛的云存儲(chǔ)技術(shù)，云存儲(chǔ)技術(shù)是大數(shù)據(jù)發(fā)展跨不過去的一道坎，如果沒有云存儲(chǔ)技術(shù)，大數(shù)據(jù)就不能得到發(fā)展。

云存儲(chǔ)中面向企業(yè)存儲(chǔ)的數(shù)據(jù)最大

當(dāng)前的云存儲(chǔ)分為公共云存儲(chǔ)和私有云存儲(chǔ)，公共云存儲(chǔ)主要是面向個(gè)人，比如百度網(wǎng)盤等，而私有云存儲(chǔ)主要是面向企業(yè)，其實(shí)面向企業(yè)的云存儲(chǔ)的存儲(chǔ)的大數(shù)據(jù)最終來(lái)源還是來(lái)自個(gè)人，比如目前的很多saas服務(wù)，IM、統(tǒng)計(jì)等企業(yè)服務(wù)，服務(wù)主要是面向個(gè)人的App，而類似七牛云存儲(chǔ)這樣的云存儲(chǔ)則是出于更底層，基于云主機(jī)之上，而位于所有個(gè)人服務(wù)、企業(yè)服務(wù)之下，所以說，七牛云存儲(chǔ)應(yīng)該積累了更多的大數(shù)據(jù)，而通過即將月底舉辦的這次《數(shù)據(jù)重構(gòu)未來(lái)》的大會(huì)，我想可以獲得更多的關(guān)于大數(shù)據(jù)的干貨。

云存儲(chǔ)滿足了海量大數(shù)據(jù)海量數(shù)據(jù)的存儲(chǔ)需求

隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，傳統(tǒng)的存儲(chǔ)方式已經(jīng)在容量、性能、智能化等方面無(wú)法滿足需求。云存儲(chǔ)的出現(xiàn)，比如類似和七牛一樣的云存儲(chǔ)技術(shù)，從功能上彌補(bǔ)了傳統(tǒng)存儲(chǔ)的不足，通過虛擬化大容量存儲(chǔ)、分布式存儲(chǔ)和自動(dòng)化運(yùn)維等功能，實(shí)現(xiàn)了存儲(chǔ)空間無(wú)限增加和擴(kuò)容，自動(dòng)化和智能化功能提高了存儲(chǔ)效率。另外，規(guī)模效應(yīng)和彈性擴(kuò)展，降低運(yùn)營(yíng)成本，避免資源浪費(fèi)。

云存儲(chǔ)技術(shù)節(jié)省了開發(fā)者的成本

特別是當(dāng)下移動(dòng)互聯(lián)網(wǎng)的火爆，使得App行業(yè)出現(xiàn)了爆發(fā)式的增長(zhǎng)，App的數(shù)量已經(jīng)達(dá)到了300百萬(wàn)以上，同時(shí)圖片App、視頻App、音頻App如camera360、優(yōu)酷視頻、荔枝FM等App都會(huì)在發(fā)展過程中產(chǎn)生大量的數(shù)據(jù)，對(duì)于這些數(shù)據(jù)來(lái)說，如果讓企業(yè)自身去開發(fā)一款分布式的存儲(chǔ)系統(tǒng)，這可能需要構(gòu)建一個(gè)幾十人的開發(fā)團(tuán)隊(duì)，成本也會(huì)大大增加，而通過使用類似七牛一樣的云存儲(chǔ)，可以節(jié)約企業(yè)成本，讓企業(yè)發(fā)展更加迅速。

云存儲(chǔ)技術(shù)為大數(shù)據(jù)的數(shù)據(jù)分析提供了基礎(chǔ)依據(jù)

作為大數(shù)據(jù)的存儲(chǔ)服務(wù)商，云存儲(chǔ)有著非常大的數(shù)據(jù)挖掘潛力，云存儲(chǔ)平臺(tái)為大數(shù)據(jù)的分析提供了“水”的來(lái)源，有了這些數(shù)據(jù)，同時(shí)配置上一些數(shù)據(jù)分析工具，完全可以產(chǎn)生一些非常有價(jià)值的分析數(shù)據(jù)報(bào)告。

比如基于云存儲(chǔ)服務(wù)這個(gè)基礎(chǔ)，七?？梢栽谄髽I(yè)的需求下，為企業(yè)提供企數(shù)據(jù)分析，例如這款應(yīng)用在哪些地區(qū)受訪問次數(shù)多、怎樣的用戶更喜歡這款應(yīng)用等，但不會(huì)涉及分析用戶隱私相關(guān)的數(shù)據(jù)。當(dāng)然了，還可以針對(duì)整個(gè)圖片行業(yè)、視頻行業(yè)、以及音頻行業(yè)提供受眾的用戶行為、以及特征這一系列的群體特征。

這些都是云存儲(chǔ)在存儲(chǔ)的數(shù)據(jù)體量達(dá)到大數(shù)據(jù)的特征后，能做的一系列的分析依據(jù)。所以說云存儲(chǔ)是大數(shù)據(jù)發(fā)展中的最重要的一個(gè)環(huán)節(jié)。

大數(shù)據(jù)未來(lái)的行業(yè)應(yīng)用

說了大數(shù)據(jù)的采集層，數(shù)據(jù)存儲(chǔ)層，那么最后講下大數(shù)據(jù)的應(yīng)用層，既然有了大數(shù)據(jù)，那么以大數(shù)據(jù)為基礎(chǔ)，就會(huì)產(chǎn)生以移動(dòng)金融，移動(dòng)社交，o2o，在線教育等多方面的應(yīng)用。

移動(dòng)金融

隨著移動(dòng)互聯(lián)網(wǎng)金融的發(fā)展，金融交易與支付已經(jīng)從桌面電腦延伸到移動(dòng)智能終端，企業(yè)自身只能從內(nèi)部洞察經(jīng)營(yíng)情況，或從市場(chǎng)中獲得不全面的統(tǒng)計(jì)信息，作為決策參考。比如銀聯(lián)智惠可以幫助企業(yè)能夠從外部了解市場(chǎng)，洞察對(duì)手的位置，了解市場(chǎng)趨勢(shì)和自身的地位，通過利用自身優(yōu)勢(shì)通過全行業(yè)的交易記錄得到高質(zhì)量的基礎(chǔ)數(shù)據(jù)，并替企業(yè)完成了大量繁瑣的數(shù)據(jù)采集、清理工作，整合到企業(yè)的基礎(chǔ)經(jīng)營(yíng)分析數(shù)據(jù)庫(kù)中，讓企業(yè)事半功倍。

當(dāng)基礎(chǔ)數(shù)據(jù)進(jìn)入企業(yè)數(shù)據(jù)庫(kù)后，通過銀聯(lián)智惠的用戶畫像模擬器進(jìn)行目標(biāo)客戶消費(fèi)行為建模，將歷史交易行為分得出目標(biāo)客戶的交易共性特征，從而完整的從消費(fèi)性別、消費(fèi)年齡、消費(fèi)習(xí)慣、消費(fèi)頻率、消費(fèi)區(qū)域、消費(fèi)偏好等多重維度完整描述客戶群的輪廓，并得出客戶的上下游關(guān)聯(lián)交易行為特征，讓企業(yè)真正認(rèn)知客戶群體的全貌，從而進(jìn)行有效的商業(yè)決策。

移動(dòng)社交

隨著脈脈，戀愛記等社交應(yīng)用的用戶越來(lái)越多，用戶的社交行為將會(huì)成為大數(shù)據(jù)的分析基礎(chǔ)，通過分析用戶的社交時(shí)間、對(duì)象、地點(diǎn)以及行為，可以分析出用戶的愛好、年齡、需求，同時(shí)基于用戶的大數(shù)據(jù)，可以針對(duì)這些數(shù)據(jù)做定向營(yíng)銷，從而大大提升了營(yíng)銷的效果，而相比之前的營(yíng)銷手段，則是基本根據(jù)人員的策劃和想象得出，沒有數(shù)據(jù)參考，營(yíng)銷的效果也不好把控。比如脈脈可以通過一些用戶數(shù)據(jù)為企業(yè)招聘到合適的人，同時(shí)還能為一些用戶提供一些合適的職位，完成需求和供求的高精度的匹配。

而戀愛記，是一款記錄戀愛為主的社交App，更加垂直，那么通過分析情侶之間的數(shù)據(jù)，可以獲得更多的情感數(shù)據(jù)，從而為一些適齡男女提供戀愛的指導(dǎo)。這些都是基于大數(shù)據(jù)的應(yīng)用。

O2O類的應(yīng)用

移動(dòng)互聯(lián)網(wǎng)的深入發(fā)展，促進(jìn)了o2o的繁榮，以嗒嗒巴士為代表的定制公交車應(yīng)用，就是大數(shù)據(jù)的代表應(yīng)用。

傳統(tǒng)的公交出行在公交站、公交路線的設(shè)定上，相對(duì)來(lái)說比較固定，通過分析一個(gè)城市內(nèi)的群體出行數(shù)據(jù)，可以獲得人群隨著時(shí)間的出行規(guī)則，比如知道在早上8點(diǎn)為出行高峰，而從某個(gè)小區(qū)到某個(gè)寫字樓的人流數(shù)為最大，那么我就定制一條公交線路出來(lái)，對(duì)于用戶來(lái)說，滿足了用戶的需求，而對(duì)于公交公司來(lái)說，則是優(yōu)化了交通路線，節(jié)約了資源，間接提升了成本，這些都是大數(shù)據(jù)的好處。

……

還有更多的領(lǐng)域可以用到大數(shù)據(jù)，如大數(shù)據(jù)醫(yī)療，大數(shù)據(jù)營(yíng)銷，可穿戴設(shè)備等等。通過大數(shù)據(jù)可以創(chuàng)造出更多價(jià)值，正如一篇文章說到，通過大數(shù)據(jù)讓做事的方法更加容易，讓現(xiàn)實(shí)從三維空間變成了二維碼空間，就像宇宙的蟲洞一樣，可以直接達(dá)到目標(biāo)。意思是在過去沒有大數(shù)據(jù)做參考，我們需要試驗(yàn)多次，才能知道那條路是對(duì)的，但是現(xiàn)在有了大數(shù)據(jù)做數(shù)據(jù)參考，我們可以直接到達(dá)終點(diǎn)。所以說大數(shù)據(jù)使得事情的發(fā)展變得更加簡(jiǎn)單。