大數(shù)據(jù)究竟是什么？大數(shù)據(jù)有哪些技術(shù)呢

大數(shù)據(jù)究竟是什么？大數(shù)據(jù)有哪些技術(shù)呢？科多大數(shù)據(jù)來(lái)帶你看看大數(shù)據(jù)的發(fā)展趨勢(shì)是什么。

今天的數(shù)據(jù)不是大，真正有意思的是數(shù)據(jù)變得在線(xiàn)了，這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)。”

“非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品，功能一定是它的價(jià)值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價(jià)值?！?

“你千萬(wàn)不要想著拿數(shù)據(jù)去改進(jìn)一個(gè)業(yè)務(wù)，這不是大數(shù)據(jù)。你一定是去做了一件以前做不了的事情。”

有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類(lèi)，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類(lèi)似，大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。

價(jià)值探討

大數(shù)據(jù)是什么？投資者眼里是金光閃閃的兩個(gè)字：資產(chǎn)。比如，F(xiàn)acebook上市時(shí)，評(píng)估機(jī)構(gòu)評(píng)定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。

如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

Target 超市以20多種懷孕期間孕婦可能會(huì)購(gòu)買(mǎi)的商品為基礎(chǔ)，將所有用戶(hù)的購(gòu)買(mǎi)記錄作為數(shù)據(jù)來(lái)源，通過(guò)構(gòu)建模型分析購(gòu)買(mǎi)者的行為相關(guān)性，能準(zhǔn)確的推斷出孕婦的具體臨盆時(shí)間，這樣Target的銷(xiāo)售部門(mén)就可以有針對(duì)的在每個(gè)懷孕顧客的不同階段寄送相應(yīng)的產(chǎn)品優(yōu)惠卷。

Target的例子是一個(gè)很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過(guò)的一個(gè)很有指導(dǎo)意義的觀點(diǎn)：通過(guò)找出一個(gè)關(guān)聯(lián)物并監(jiān)控它，就可以預(yù)測(cè)未來(lái)。Target通過(guò)監(jiān)測(cè)購(gòu)買(mǎi)者購(gòu)買(mǎi)商品的時(shí)間和品種來(lái)準(zhǔn)確預(yù)測(cè)顧客的孕期，這就是對(duì)數(shù)據(jù)的二次利用的典型案例。如果，我們通過(guò)采集駕駛員手機(jī)的GPS數(shù)據(jù)，就可以分析出當(dāng)前哪些道路正在堵車(chē)，并可以及時(shí)發(fā)布道路交通提醒；通過(guò)采集汽車(chē)的GPS位置數(shù)據(jù)，就可以分析城市的哪些區(qū)域停車(chē)較多，這也代表該區(qū)域有著較為活躍的人群，這些分析數(shù)據(jù)適合賣(mài)給廣告投放商。

不管大數(shù)據(jù)的核心價(jià)值是不是預(yù)測(cè)，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來(lái)了盈利和聲譽(yù)。

從大數(shù)據(jù)的價(jià)值鏈條來(lái)分析，存在三種模式：

1- 手握大數(shù)據(jù)，但是沒(méi)有利用好；比較典型的是金融機(jī)構(gòu)，電信行業(yè)，政府機(jī)構(gòu)等。

2- 沒(méi)有數(shù)據(jù)，但是知道如何幫助有數(shù)據(jù)的人利用它；比較典型的是IT咨詢(xún)和服務(wù)企業(yè)，比如，埃森哲，IBM，Oracle等。

3- 既有數(shù)據(jù)，又有大數(shù)據(jù)思維；比較典型的是Google，Amazon，Mastercard等。

未來(lái)在大數(shù)據(jù)領(lǐng)域最具有價(jià)值的是兩種事物：1-擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價(jià)值轉(zhuǎn)化為實(shí)際利益；2-還未有被大數(shù)據(jù)觸及過(guò)的業(yè)務(wù)領(lǐng)域。這些是還未被挖掘的油井，金礦，是所謂的藍(lán)海。

Wal-Mart作為零售行業(yè)的巨頭，他們的分析人員會(huì)對(duì)每個(gè)階段的銷(xiāo)售記錄進(jìn)行了全面的分析，有一次他們無(wú)意中發(fā)現(xiàn)雖不相關(guān)但很有價(jià)值的數(shù)據(jù)，在美國(guó)的颶風(fēng)來(lái)臨季節(jié)，超市的蛋撻和抵御颶風(fēng)物品竟然銷(xiāo)量都有大幅增加，于是他們做了一個(gè)明智決策，就是將蛋撻的銷(xiāo)售位置移到了颶風(fēng)物品銷(xiāo)售區(qū)域旁邊，看起來(lái)是為了方便用戶(hù)挑選，但是沒(méi)有想到蛋撻的銷(xiāo)量因此又提高了很多。

還有一個(gè)有趣的例子，1948年遼沈戰(zhàn)役期間，司令員林彪要求每天要進(jìn)行例常的“每日軍情匯報(bào)”，由值班參謀讀出下屬各個(gè)縱隊(duì)、師、團(tuán)用電臺(tái)報(bào)告的當(dāng)日戰(zhàn)況和繳獲情況。那幾乎是重復(fù)著千篇一律枯燥無(wú)味的數(shù)據(jù)：每支部隊(duì)殲敵多少、俘虜多少;繳獲的火炮、車(chē)輛多少，槍支、物資多少……有一天，參謀照例匯報(bào)當(dāng)日的戰(zhàn)況，林彪突然打斷他：“剛才念的在胡家窩棚那個(gè)戰(zhàn)斗的繳獲，你們聽(tīng)到了嗎?”大家都很茫然，因?yàn)槿绱藨?zhàn)斗每天都有幾十起，不都是差不多一模一樣的枯燥數(shù)字嗎?林彪掃視一周，見(jiàn)無(wú)人回答，便接連問(wèn)了三句：“為什么那里繳獲的短槍與長(zhǎng)槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車(chē)與大車(chē)的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿(mǎn)軍用地圖的墻壁，指著地圖上的那個(gè)點(diǎn)說(shuō)：“我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊(duì)很快就抓住了敵方的指揮官廖耀湘，并取得這場(chǎng)重要戰(zhàn)役的勝利。

這些例子真實(shí)的反映在各行各業(yè)，探求數(shù)據(jù)價(jià)值取決于把握數(shù)據(jù)的人，關(guān)鍵是人的數(shù)據(jù)思維；與其說(shuō)是大數(shù)據(jù)創(chuàng)造了價(jià)值，不如說(shuō)是大數(shù)據(jù)思維觸發(fā)了新的價(jià)值增長(zhǎng)。

現(xiàn)在和未來(lái)

我們先看看大數(shù)據(jù)在當(dāng)下有怎樣的杰出表現(xiàn)：

§大數(shù)據(jù)幫助政府實(shí)現(xiàn)市場(chǎng)經(jīng)濟(jì)調(diào)控、公共衛(wèi)生安全防范、災(zāi)難預(yù)警、社會(huì)輿論監(jiān)督；

§大數(shù)據(jù)幫助城市預(yù)防犯罪，實(shí)現(xiàn)智慧交通，提升緊急應(yīng)急能力；

§大數(shù)據(jù)幫助醫(yī)療機(jī)構(gòu)建立患者的疾病風(fēng)險(xiǎn)跟蹤機(jī)制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機(jī)構(gòu)為患者提供定制的藥物；

§大數(shù)據(jù)幫助航空公司節(jié)省運(yùn)營(yíng)成本，幫助電信企業(yè)實(shí)現(xiàn)售后服務(wù)質(zhì)量提升，幫助保險(xiǎn)企業(yè)識(shí)別欺詐騙保行為，幫助快遞公司監(jiān)測(cè)分析運(yùn)輸車(chē)輛的故障險(xiǎn)情以提前預(yù)警維修，幫助電力公司有效識(shí)別預(yù)警即將發(fā)生故障的設(shè)備；

§大數(shù)據(jù)幫助電商公司向用戶(hù)推薦商品和服務(wù)，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線(xiàn)，幫助二手市場(chǎng)的買(mǎi)賣(mài)雙方找到最合適的交易目標(biāo)，幫助用戶(hù)找到最合適的商品購(gòu)買(mǎi)時(shí)期、商家和最優(yōu)惠價(jià)格；

§大數(shù)據(jù)幫助企業(yè)提升營(yíng)銷(xiāo)的針對(duì)性，降低物流和庫(kù)存的成本，減少投資的風(fēng)險(xiǎn)，以及幫助企業(yè)提升廣告投放精準(zhǔn)度；

§大數(shù)據(jù)幫助娛樂(lè)行業(yè)預(yù)測(cè)歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評(píng)估拍一部電影需要投入多少錢(qián)才最合適，否則就有可能收不回成本；

§大數(shù)據(jù)幫助社交網(wǎng)站提供更準(zhǔn)確的好友推薦，為用戶(hù)提供更精準(zhǔn)的企業(yè)招聘信息，向用戶(hù)推薦可能喜歡的游戲以及適合購(gòu)買(mǎi)的商品。

其實(shí)，這些還遠(yuǎn)遠(yuǎn)不夠，未來(lái)大數(shù)據(jù)的身影應(yīng)該無(wú)處不在，就算無(wú)法準(zhǔn)確預(yù)測(cè)大數(shù)據(jù)終會(huì)將人類(lèi)社會(huì)帶往到哪種最終形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒(méi)地球的每一個(gè)角落。

比如，Amazon的最終期望是：“最成功的書(shū)籍推薦應(yīng)該只有一本書(shū)，就是用戶(hù)要買(mǎi)的下一本書(shū)?！?

Google也希望當(dāng)用戶(hù)在搜索時(shí)，最好的體驗(yàn)是搜索結(jié)果只包含用戶(hù)所需要的內(nèi)容，而這并不需要用戶(hù)給予Google太多的提示。

而當(dāng)物聯(lián)網(wǎng)發(fā)展到達(dá)一定規(guī)模時(shí)，借助條形碼、二維碼、RFID等能夠唯一標(biāo)識(shí)產(chǎn)品，傳感器、可穿戴設(shè)備、智能感知、視頻采集、增強(qiáng)現(xiàn)實(shí)等技術(shù)可實(shí)現(xiàn)實(shí)時(shí)的信息采集和分析，這些數(shù)據(jù)能夠支撐智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)保的理念需要，這些都所謂的智慧將是大數(shù)據(jù)的采集數(shù)據(jù)來(lái)源和服務(wù)范圍。

未來(lái)的大數(shù)據(jù)除了將更好的解決社會(huì)問(wèn)題，商業(yè)營(yíng)銷(xiāo)問(wèn)題，科學(xué)技術(shù)問(wèn)題，還有一個(gè)可預(yù)見(jiàn)的趨勢(shì)是以人為本的大數(shù)據(jù)方針。人才是地球的主宰，大部分的數(shù)據(jù)都與人類(lèi)有關(guān)，要通過(guò)大數(shù)據(jù)解決人的問(wèn)題。

比如，建立個(gè)人的數(shù)據(jù)中心，將每個(gè)人的日常生活習(xí)慣，身體體征，社會(huì)網(wǎng)絡(luò)，知識(shí)能力，愛(ài)好性情，疾病嗜好，情緒波動(dòng)……換言之就是記錄人從出生那一刻起的每一分每一秒，將除了思維外的一切都儲(chǔ)存下來(lái)，這些數(shù)據(jù)可以被充分的利用：

§醫(yī)療機(jī)構(gòu)將實(shí)時(shí)的監(jiān)測(cè)用戶(hù)的身體健康狀況；

§教育機(jī)構(gòu)更有針對(duì)的制定用戶(hù)喜歡的教育培訓(xùn)計(jì)劃；

§服務(wù)行業(yè)為用戶(hù)提供即時(shí)健康的符合用戶(hù)生活習(xí)慣的食物和其它服務(wù)；

§社交網(wǎng)絡(luò)能為你提供合適的交友對(duì)象，并為志同道合的人群組織各種聚會(huì)活動(dòng)；

§政府能在用戶(hù)的心理健康出現(xiàn)問(wèn)題時(shí)有效的干預(yù)，防范自殺，刑事案件的發(fā)生；

§金融機(jī)構(gòu)能幫助用戶(hù)進(jìn)行有效的理財(cái)管理，為用戶(hù)的資金提供更有效的使用建議和規(guī)劃；

§道路交通、汽車(chē)租賃及運(yùn)輸行業(yè)可以為用戶(hù)提供更合適的出行線(xiàn)路和路途服務(wù)安排；

……

當(dāng)然，上面的一切看起來(lái)都很美好，但是否是以犧牲了用戶(hù)的自由為前提呢？只能說(shuō)當(dāng)新鮮事物帶來(lái)了革新的同時(shí)也同樣帶來(lái)了“病菌”。比如，在手機(jī)未普及前，大家喜歡聚在一起聊天，自從手機(jī)普及后特別是有了互聯(lián)網(wǎng)，大家不用聚在一起也可以隨時(shí)隨地的聊天，只是“病菌”滋生了另外一種情形，大家慢慢習(xí)慣了和手機(jī)共渡時(shí)光，人與人之間情感交流仿佛永遠(yuǎn)隔著一張“網(wǎng)”。

大數(shù)據(jù)隱私

你或許并不敏感，當(dāng)你在不同的網(wǎng)站上注冊(cè)了個(gè)人信息后，可能這些信息已經(jīng)被擴(kuò)散出去了，當(dāng)你莫名其妙的接到各種郵件，電話(huà)，短信的滋擾時(shí)，你不會(huì)想到自己的電話(huà)號(hào)碼，郵箱，生日，購(gòu)買(mǎi)記錄，收入水平，家庭住址，親朋好友等私人信息早就被各種商業(yè)機(jī)構(gòu)非法存儲(chǔ)或賤賣(mài)給其它任何有需要的企業(yè)或個(gè)人了。

更可怕的是，這些信息你永遠(yuǎn)無(wú)法刪除，它們永遠(yuǎn)存在于互聯(lián)網(wǎng)的某些你不知道的角落。除非你更換掉自己的所有信息，但是這代價(jià)太大了。

用戶(hù)隱私問(wèn)題一直是大數(shù)據(jù)應(yīng)用難以繞開(kāi)的一個(gè)問(wèn)題，如被央視曝光過(guò)的分眾無(wú)線(xiàn)、羅維鄧白氏以及網(wǎng)易郵箱都涉及侵犯用戶(hù)隱私。目前，中國(guó)并沒(méi)有專(zhuān)門(mén)的法律法規(guī)來(lái)界定用戶(hù)隱私，處理相關(guān)問(wèn)題時(shí)多采用其他相關(guān)法規(guī)條例來(lái)解釋。但隨著民眾隱私意識(shí)的日益增強(qiáng)，合法合規(guī)地獲取數(shù)據(jù)、分析數(shù)據(jù)和應(yīng)用數(shù)據(jù)，是進(jìn)行大數(shù)據(jù)分析時(shí)必須遵循的原則。

說(shuō)到隱私被侵犯，愛(ài)德華?斯諾登應(yīng)該占據(jù)一席之地，這位前美國(guó)中央情報(bào)局（CIA）雇員一手引爆了美國(guó)“棱鏡計(jì)劃”（PRISM）的內(nèi)幕消息?！袄忡R”項(xiàng)目是一項(xiàng)由美國(guó)國(guó)家安全局（NSA）自2007年起開(kāi)始實(shí)施的絕密電子監(jiān)聽(tīng)計(jì)劃，年耗資近2000億美元，用于監(jiān)聽(tīng)全美電話(huà)通話(huà)記錄，據(jù)稱(chēng)還可以使情報(bào)人員通過(guò)“后門(mén)”進(jìn)入9家主要科技公司的服務(wù)器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國(guó)在線(xiàn)、Skype、YouTube、蘋(píng)果。這個(gè)事件引發(fā)了人們對(duì)政府使用大數(shù)據(jù)時(shí)對(duì)公民隱私侵犯的擔(dān)心。

再看看我們身邊，當(dāng)微博，微信，QQ空間這些社交平臺(tái)肆意的吞噬著數(shù)億用戶(hù)的各種信息時(shí)，你就不要指望你還有隱私權(quán)了，就算你在某個(gè)地方刪除了，但也許這些信息已經(jīng)被其他人轉(zhuǎn)載或保存了，更有可能已經(jīng)被百度或Google存為快照，早就提供給任意用戶(hù)搜索了。

因此在大數(shù)據(jù)的背景下，很多人都在積極的抵制無(wú)底線(xiàn)的數(shù)字化，這種大數(shù)據(jù)和個(gè)體之間的博弈還會(huì)一直繼續(xù)下去……

專(zhuān)家給予了我們一些如何有效保護(hù)大數(shù)據(jù)背景下隱私權(quán)的建議：1-減少信息的數(shù)字化；2-隱私權(quán)立法；3-數(shù)字隱私權(quán)基礎(chǔ)設(shè)施（類(lèi)似DRM數(shù)字版權(quán)管理）；4-人類(lèi)改變認(rèn)知（接受忽略過(guò)去）；5-創(chuàng)造良性的信息生態(tài)；6-語(yǔ)境化。

但是這些都很難立即見(jiàn)效或者有實(shí)質(zhì)性的改善。

比如，現(xiàn)在有一種職業(yè)叫刪帖人，專(zhuān)門(mén)負(fù)責(zé)幫人到各大網(wǎng)站刪帖，刪除評(píng)論。其實(shí)這些人就是通過(guò)黑客技術(shù)侵入各大網(wǎng)站，破獲管理員的密碼然后進(jìn)行手工定向刪除。只不過(guò)他們保護(hù)的不是客戶(hù)的隱私，而大多是丑聞。還有一種職業(yè)叫人肉專(zhuān)家，他們負(fù)責(zé)從互聯(lián)網(wǎng)上找到一個(gè)與他們根本就無(wú)關(guān)系用戶(hù)的任意信息。這是很可怕的事情，也就是說(shuō)，如果有人想找到你，只需要兩個(gè)條件：1-你上過(guò)網(wǎng)，留下過(guò)痕跡；2-你的親朋好友或僅僅是認(rèn)識(shí)你的人上過(guò)網(wǎng)，留下過(guò)你的痕跡。這兩個(gè)條件滿(mǎn)足其一，人肉專(zhuān)家就可以很輕松的找到你，可能還知道你現(xiàn)在正在某個(gè)餐廳和誰(shuí)一起共進(jìn)晚餐。

當(dāng)很多互聯(lián)網(wǎng)企業(yè)意識(shí)到隱私對(duì)于用戶(hù)的重要性時(shí)，為了繼續(xù)得到用戶(hù)的信任，他們采取了很多辦法，比如google承諾僅保留用戶(hù)的搜索記錄9個(gè)月，瀏覽器廠(chǎng)商提供了無(wú)痕沖浪模式，社交網(wǎng)站拒絕公共搜索引擎的爬蟲(chóng)進(jìn)入，并將提供出去的數(shù)據(jù)全部采取匿名方式處理等。

在這種復(fù)雜的環(huán)境里面，很多人依然沒(méi)有建立對(duì)于信息隱私的保護(hù)意識(shí)，讓自己一直處于被滋擾，被精心設(shè)計(jì)，被利用，被監(jiān)視的處境中。可是，我們能做的幾乎微乎其微，因?yàn)閭€(gè)人隱私數(shù)據(jù)已經(jīng)無(wú)法由我們自己掌控了，就像一首詩(shī)里說(shuō)到的：“如果你現(xiàn)在繼續(xù)麻木，那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……”

和大數(shù)據(jù)相關(guān)的技術(shù)

云技術(shù)

大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要分布式處理框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)萬(wàn)的電腦分配工作?？梢哉f(shuō)，云計(jì)算充當(dāng)了工業(yè)革命時(shí)期的發(fā)動(dòng)機(jī)的角色，而大數(shù)據(jù)則是電。

云計(jì)算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶(hù)。

如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計(jì)算提供基礎(chǔ)架構(gòu)平臺(tái)，大數(shù)據(jù)應(yīng)用運(yùn)行在這個(gè)平臺(tái)上。

業(yè)內(nèi)是這么形容兩者的關(guān)系：沒(méi)有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大，也難以找到用武之地；沒(méi)有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。

那么大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢？

這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲(chǔ)和管理技術(shù)，NoSQL、實(shí)時(shí)流數(shù)據(jù)處理、智能分析技術(shù)（類(lèi)似模式識(shí)別以及自然語(yǔ)言理解）等。

云計(jì)算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來(lái)說(shuō)明，兩者之間結(jié)合后會(huì)產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù)；通過(guò)云計(jì)算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。