中國大數(shù)據(jù)的發(fā)展以及商業(yè)價值

首先小編給你分享一個小故事介紹大數(shù)據(jù)入門是怎么一回事：以前有個國王很高興想獎賞他的寵臣，然后說讓他來提任何獎勵，這個大臣給國王看下面這個棋盤，是個8＊8的方格，如果我在每個標(biāo)號的格子內(nèi)放米粒，第一個格子放1粒米，后面的格子總是前面格子的兩倍。那么問題來了，如果我把整個棋盤放滿，需要多少米粒？我們學(xué)過級數(shù)的話，可以快速做個演算，它的推演是 1 + 2 + 4 ... + 2^63 ＝ 2^64 - 1 這個數(shù)字多大很多人沒印象，反正如果真的要兌現(xiàn)的話，這個國家肯定是破產(chǎn)了。其實我把這個棋盤分成上下兩半，在上一半總共需要的米粒是2^32, 這并不是個很大的數(shù)，其實前幾年計算機(jī)的32位就是那么大，但下半場就完全不一樣了，這是個平方級別的scale，宇宙中所有沙礫都標(biāo)號也不需要這么大的數(shù)字?，F(xiàn)在大家也經(jīng)常聽到什么手機(jī)64位處理器，其實并無實際意義。。

中國的大數(shù)據(jù)的發(fā)展

對于迅速成長的中國市場，大公司也意味著大數(shù)據(jù)，BAT三家都是對大數(shù)據(jù)的投入也是不惜余力，我4年前在Baidu的的時候，就提出框計算的東東，最近兩年成立了硅谷研究院，挖來Andrew Ng作為首席科學(xué)家，研究項目就是百度大腦，在語音，圖片識別大幅提高精確度和召回率，最近還做了個無人自行車非常有趣。騰訊作為最大的社交應(yīng)用對大數(shù)據(jù)也是情有獨鐘，自己研發(fā)了C++平臺的海量存儲系統(tǒng)。淘寶去年雙十一主戰(zhàn)場，2分鐘突破10億，交易額突破571億，背后是有很多故事，當(dāng)年在百度做Pyramid（按Google三輛馬車打造的金字塔三層分布式系統(tǒng)）有志之士，繼續(xù)在OceanBase創(chuàng)造神話。而阿里云當(dāng)年備受爭議，馬云也懷疑是不是被王堅忽悠，最后經(jīng)歷了雙十一的洗禮證明了OceanBase和阿里云的靠譜。小米的雷軍對大數(shù)據(jù)也是寄托厚望，一方面這么多數(shù)據(jù)幾何級數(shù)增長，另一方面存儲帶寬都是巨大成本，沒價值就真破產(chǎn)。

業(yè)界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數(shù)據(jù)的特征。

數(shù)據(jù)體量巨大(Volume)。截至目前，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB(1PB=210TB)，而歷史上全人類說過的所有的話的數(shù)據(jù)量大約是5EB(1EB=210PB)。當(dāng)前，典型個人計算機(jī)硬盤的容量為TB量級，而一些大企業(yè)的數(shù)據(jù)量已經(jīng)接近EB量級。

數(shù)據(jù)類型繁多(Variety)。這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對于以往便于存儲的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來越多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等，這些多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高要求。

價值密度低(Value)。價值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例，一部1小時的視頻，在連續(xù)不間斷的監(jiān)控中，有用數(shù)據(jù)可能僅有一二秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價值“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。

處理速度快(Velocity)。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。根據(jù)IDC的“數(shù)字宇宙”的報告，預(yù)計到2020年，全球數(shù)據(jù)使用量將達(dá)到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。

大數(shù)據(jù)挖掘商業(yè)價值的方法主要分為四種：

顧客群體細(xì)分，然后對每個群體量體裁衣般地采取獨特的行動。

模擬實際環(huán)境，發(fā)掘新的需求同時提高投入的回報率。

加強(qiáng)各部門聯(lián)系，提高整個管理鏈條和產(chǎn)業(yè)鏈條的投入回報率。

發(fā)現(xiàn)隱藏線索，進(jìn)行產(chǎn)品和服務(wù)的創(chuàng)新。