大數(shù)據(jù)需去其糟粕取精華_數(shù)據(jù)分析師考試

互聯(lián)網(wǎng)的出現(xiàn)拉近了人們之間的距離，吐槽也成為了互聯(lián)網(wǎng)上的一道獨(dú)特風(fēng)景。每一年春節(jié)都會(huì)將吐槽推向高潮，無(wú)論是吐槽春晚，還是吐槽12306等等，總之人們對(duì)于吐槽是百“吐”不厭。在互聯(lián)網(wǎng)上吐槽就會(huì)產(chǎn)生各種各樣的數(shù)據(jù)了，而這些數(shù)據(jù)匯集到一起，那就是人們經(jīng)常提到的大數(shù)據(jù)。今天我們就來(lái)吐槽一下這個(gè)當(dāng)下的IT熱點(diǎn)。

　　談到大數(shù)據(jù)，可能有人會(huì)問(wèn)，大數(shù)據(jù)是個(gè)什么東西？大數(shù)據(jù)跟我們每個(gè)人有什么關(guān)系？

　　簡(jiǎn)單來(lái)說(shuō)，大數(shù)據(jù)就是各種各樣的數(shù)據(jù)的一個(gè)集合?！拔夷闼倍伎赡苁沁@個(gè)數(shù)據(jù)的創(chuàng)造者，當(dāng)然我們還可能是這些數(shù)據(jù)的受益者。例如，“百度遷徙”就是利用大數(shù)據(jù)技術(shù)，對(duì)其擁有的LBS(基于地理位置的服務(wù))大數(shù)據(jù)進(jìn)行計(jì)算分析，全程、動(dòng)態(tài)、即時(shí)、直觀地展現(xiàn)中國(guó)春節(jié)前后人口大遷徙的軌跡與特征。

　　如今，人們吐槽春晚節(jié)目的熱度更勝看春晚的熱情，然而蘿卜白菜可以說(shuō)各有所愛(ài)，對(duì)于各個(gè)節(jié)目如何很難有個(gè)讓大家比較認(rèn)可的評(píng)價(jià)。然而，在春晚完成后，騰訊公布了再各個(gè)節(jié)目演出時(shí)的QQ消息量。

　　在歌曲“情非得已”的時(shí)候，庾澄慶，李敏鎬的表演時(shí)用戶發(fā)QQ信息量最少，可以從側(cè)面反映出當(dāng)時(shí)更多的人是在看節(jié)目而減少了發(fā)信息的數(shù)量。兩個(gè)不相干的數(shù)據(jù)也能夠分析出有價(jià)值的信息。這種通過(guò)對(duì)互聯(lián)網(wǎng)消息的收集、分析得出來(lái)的關(guān)注度結(jié)果可能更能體現(xiàn)用戶的意愿。

　　大數(shù)據(jù)尚處在發(fā)展初期，但是大數(shù)據(jù)的優(yōu)勢(shì)已經(jīng)盡顯，在我們的生活中，工作中，大數(shù)據(jù)都在發(fā)生著巨大的作用。未來(lái)，大數(shù)據(jù)將為電商業(yè)、零售業(yè)、醫(yī)療行業(yè)、安全以及教育等領(lǐng)域帶來(lái)巨大的變化。醫(yī)生可以根據(jù)個(gè)人的DNA為病人定制自己的診療建議，預(yù)測(cè)病人身體未來(lái)健康走勢(shì);電商網(wǎng)站可以利用人們?yōu)g覽網(wǎng)站的信息以及各種數(shù)據(jù)對(duì)其購(gòu)買(mǎi)進(jìn)行預(yù)測(cè)，進(jìn)行有針對(duì)性的推薦;等等!

　　互聯(lián)網(wǎng)讓我們每個(gè)人都相互關(guān)聯(lián)，大數(shù)據(jù)就是我們聯(lián)系產(chǎn)生的數(shù)據(jù)，而對(duì)這些數(shù)據(jù)進(jìn)行有效的分析，將給我們的生活和工作帶來(lái)巨大的改善，可以說(shuō)是取之于民，用之于民。下面我們就來(lái)詳細(xì)介紹一下大數(shù)據(jù)的具體性質(zhì)。

　　大數(shù)據(jù)從何而來(lái)？

　　數(shù)據(jù)由來(lái)已久，但大數(shù)據(jù)真正成為行業(yè)流行詞語(yǔ)還是在2009年，隨著互聯(lián)網(wǎng)、移動(dòng)設(shè)備、云計(jì)算等技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)。美國(guó)的互聯(lián)網(wǎng)數(shù)據(jù)中心調(diào)查顯示，數(shù)據(jù)如今每?jī)赡昃蜁?huì)翻一番，目前世界上90%以上的數(shù)據(jù)是近幾年才產(chǎn)生的。

　　大數(shù)據(jù)從何而來(lái)？

　　大數(shù)據(jù)可能來(lái)源于我們每個(gè)人，例如，我們上網(wǎng)聊天、瀏覽網(wǎng)頁(yè)、購(gòu)買(mǎi)貨物、發(fā)表文章……我們?cè)诨ヂ?lián)網(wǎng)上的每一步操作都可以產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)集合在一起就是一個(gè)大數(shù)據(jù)。

　　但大數(shù)據(jù)的數(shù)據(jù)又并非單純指人們?cè)诨ヂ?lián)網(wǎng)上產(chǎn)生的信息，工業(yè)設(shè)備、汽車(chē)制造、儀表等都會(huì)產(chǎn)生數(shù)據(jù)，而這些東西與我們?nèi)祟惍a(chǎn)生的信息也都可以稱之為大數(shù)據(jù)。

　　大數(shù)據(jù)有何變化？

　　為何以前產(chǎn)生的數(shù)據(jù)叫數(shù)據(jù)，如今叫大數(shù)據(jù)呢？

　　其實(shí)數(shù)據(jù)市場(chǎng)正在發(fā)生著一系列的變化。例如，數(shù)據(jù)生產(chǎn)速度越來(lái)越快;數(shù)據(jù)量方面也如今已經(jīng)超過(guò)了TB級(jí)到PB級(jí)甚至ZB級(jí);數(shù)據(jù)關(guān)系也已經(jīng)從簡(jiǎn)單發(fā)展到復(fù)雜，數(shù)據(jù)來(lái)源已經(jīng)從數(shù)據(jù)錄入轉(zhuǎn)變到各種來(lái)源，數(shù)據(jù)模型也從結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)變?yōu)榘虢Y(jié)構(gòu)化或非結(jié)構(gòu)化……這一系列的變化催生出了大數(shù)據(jù)時(shí)代。

　　大數(shù)據(jù)時(shí)代的來(lái)臨，使得與傳統(tǒng)數(shù)據(jù)相匹配的應(yīng)用隨之發(fā)生改變。大數(shù)據(jù)產(chǎn)生的速度越來(lái)越快，這就要求我們的存儲(chǔ)設(shè)備的存儲(chǔ)速度要更快;大數(shù)據(jù)量越來(lái)越大，這就要求我們的存儲(chǔ)設(shè)備要越來(lái)越大，要能夠滿足數(shù)據(jù)爆炸式增長(zhǎng)所帶來(lái)的侵襲;而數(shù)據(jù)類型開(kāi)始出現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)，這就對(duì)數(shù)據(jù)的處理平臺(tái)、架構(gòu)平臺(tái)等等都帶來(lái)挑戰(zhàn)。

　　大數(shù)據(jù)有何價(jià)值？

　　大數(shù)據(jù)的數(shù)據(jù)數(shù)量很大，但這并不是大數(shù)據(jù)的全部，大數(shù)據(jù)還包含著巨大的價(jià)值。有人將大數(shù)據(jù)比作科技時(shí)代的原油，能夠讓我們從這些數(shù)據(jù)資源中獲取我們需要的“價(jià)值”，推動(dòng)我們的發(fā)展。這樣才是大數(shù)據(jù)的真正價(jià)值，我們需要從數(shù)據(jù)資源中發(fā)掘這些數(shù)據(jù)的價(jià)值，來(lái)我們服務(wù)，來(lái)為社會(huì)進(jìn)步提供新的動(dòng)力。

　　雖然大數(shù)據(jù)尚處在發(fā)展初期，但利用大數(shù)據(jù)來(lái)發(fā)現(xiàn)價(jià)值的案例如今已經(jīng)很多。例如，京東商城中的猜你喜歡欄目，就是對(duì)用戶搜索產(chǎn)品、瀏覽頁(yè)面等信息進(jìn)行分析，然后推薦用戶可能感興趣的產(chǎn)品。國(guó)外某零售商，會(huì)通過(guò)對(duì)銷售額、定價(jià)以及經(jīng)濟(jì)學(xué)、人口統(tǒng)計(jì)學(xué)和天氣數(shù)據(jù)進(jìn)行分析，藉此在特定的連鎖店中選擇合適的上架產(chǎn)品，并基于這些分析來(lái)判定商品減價(jià)的時(shí)機(jī)。

　　大數(shù)據(jù)需去其糟粕取精華

　　不可否認(rèn)，大數(shù)據(jù)具有著巨大的價(jià)值，但是筆者看來(lái)，大數(shù)據(jù)如今看來(lái)更像是一個(gè)大餅，但并沒(méi)有我們想象的那么美好，在浩瀚繁雜的數(shù)據(jù)中發(fā)展對(duì)用戶有價(jià)值的信息，這就好比在垃圾場(chǎng)撿拾寶貝一樣，垃圾永遠(yuǎn)都比寶貝多。

　　大數(shù)據(jù)包羅萬(wàn)象

　　在生活中，各種垃圾數(shù)據(jù)無(wú)處不在，例如，網(wǎng)絡(luò)水軍的存在就是對(duì)數(shù)據(jù)價(jià)值的一種深深的傷害。例如，在去年夏天上映的某國(guó)產(chǎn)電影，觀看后的觀眾對(duì)其評(píng)價(jià)極低，但是在豆瓣等影評(píng)網(wǎng)上，該電影宣傳方雇傭了大批水軍進(jìn)行刷分，結(jié)果造成了評(píng)分很高，口碑很差，最后主辦方也不得不得出面道歉息事寧人。這些網(wǎng)絡(luò)水軍產(chǎn)生的數(shù)據(jù)可以說(shuō)毫無(wú)意義。

　　當(dāng)然，類似的例子還有很多，淘寶賣(mài)家刷鉆，微博用戶刷粉，網(wǎng)站論壇刷回復(fù)等等，這些網(wǎng)絡(luò)垃圾無(wú)處不在，大數(shù)據(jù)如今發(fā)展還并不完善， 還需要針對(duì)這些垃圾數(shù)據(jù)推出十分有效的方法來(lái)加以鑒別。

　　大數(shù)據(jù)時(shí)代的隱私問(wèn)題

　　大數(shù)據(jù)具有巨大的價(jià)值，我們可以通過(guò)對(duì)圖像、文本以及視頻等信息的挖掘，甚至可以判斷出一個(gè)人的整天的活動(dòng)，甚至能夠預(yù)判這個(gè)人即將要做的事情，這個(gè)時(shí)候大數(shù)據(jù)分析就遇到了一個(gè)人們比較關(guān)心的問(wèn)題，那就是隱私。

　　大數(shù)據(jù)的隱私問(wèn)題

　　電話推銷的事很多，人們對(duì)這些事件已經(jīng)非常反感，這些都是隱私被透露的結(jié)果，有的犯罪分子甚至利用從互聯(lián)網(wǎng)上得到的信息來(lái)實(shí)施犯罪，這些都是大數(shù)據(jù)時(shí)代需要解決的問(wèn)題。目前，針對(duì)數(shù)據(jù)保護(hù)方面的相關(guān)法律法規(guī)并不完善，個(gè)人信息在大數(shù)據(jù)時(shí)代泄露的時(shí)間比比皆是，需要有一個(gè)完善的保護(hù)機(jī)制來(lái)保護(hù)大數(shù)據(jù)時(shí)代的個(gè)人隱私。

　　大數(shù)據(jù)不是神 以輔為主

　　大數(shù)據(jù)時(shí)代，每一個(gè)Byte中都藏有不可思議的數(shù)據(jù)信息，對(duì)這些信息進(jìn)行整理歸納，可以提煉出一些信息，這些信息可以幫助企業(yè)或公司作出更好的決定。但是我們也不能盲目的相信這些信息，除了上述提到的數(shù)據(jù)真實(shí)性問(wèn)題外，就是市場(chǎng)變化是不可預(yù)期的，決策者的創(chuàng)造性思維并不能通過(guò)數(shù)據(jù)得以體現(xiàn)，相反，數(shù)據(jù)在壓制創(chuàng)新。

　　最顯而易見(jiàn)的例子，就是當(dāng)年諾基亞和摩托羅拉在手機(jī)市場(chǎng)如日中天的時(shí)候，那首關(guān)于這兩款手機(jī)的數(shù)據(jù)可以說(shuō)是滿天飛。但當(dāng)ios和安裝這些新勢(shì)力崛起的時(shí)候，這兩家手機(jī)霸主被打的潰不成軍，最后落得雙雙被收購(gòu)的下場(chǎng)，所以說(shuō)，在市場(chǎng)上，大數(shù)據(jù)分析只能作為輔助，市場(chǎng)瞬息萬(wàn)變，還需要時(shí)刻關(guān)注市場(chǎng)上的變化，做出最正確的判斷。