大數(shù)據(jù)需去其糟粕取精華_數(shù)據(jù)分析師考試

互聯(lián)網(wǎng)的出現(xiàn)拉近了人們之間的距離，吐槽也成為了互聯(lián)網(wǎng)上的一道獨(dú)特風(fēng)景。每一年春節(jié)都會將吐槽推向高潮，無論是吐槽春晚，還是吐槽12306等等，總之人們對于吐槽是百“吐”不厭。在互聯(lián)網(wǎng)上吐槽就會產(chǎn)生各種各樣的數(shù)據(jù)了，而這些數(shù)據(jù)匯集到一起，那就是人們經(jīng)常提到的大數(shù)據(jù)。今天我們就來吐槽一下這個當(dāng)下的IT熱點(diǎn)。

　　談到大數(shù)據(jù)，可能有人會問，大數(shù)據(jù)是個什么東西？大數(shù)據(jù)跟我們每個人有什么關(guān)系？

　　簡單來說，大數(shù)據(jù)就是各種各樣的數(shù)據(jù)的一個集合?！拔夷闼倍伎赡苁沁@個數(shù)據(jù)的創(chuàng)造者，當(dāng)然我們還可能是這些數(shù)據(jù)的受益者。例如，“百度遷徙”就是利用大數(shù)據(jù)技術(shù)，對其擁有的LBS(基于地理位置的服務(wù))大數(shù)據(jù)進(jìn)行計(jì)算分析，全程、動態(tài)、即時(shí)、直觀地展現(xiàn)中國春節(jié)前后人口大遷徙的軌跡與特征。

　　如今，人們吐槽春晚節(jié)目的熱度更勝看春晚的熱情，然而蘿卜白菜可以說各有所愛，對于各個節(jié)目如何很難有個讓大家比較認(rèn)可的評價(jià)。然而，在春晚完成后，騰訊公布了再各個節(jié)目演出時(shí)的QQ消息量。

　　在歌曲“情非得已”的時(shí)候，庾澄慶，李敏鎬的表演時(shí)用戶發(fā)QQ信息量最少，可以從側(cè)面反映出當(dāng)時(shí)更多的人是在看節(jié)目而減少了發(fā)信息的數(shù)量。兩個不相干的數(shù)據(jù)也能夠分析出有價(jià)值的信息。這種通過對互聯(lián)網(wǎng)消息的收集、分析得出來的關(guān)注度結(jié)果可能更能體現(xiàn)用戶的意愿。

　　大數(shù)據(jù)尚處在發(fā)展初期，但是大數(shù)據(jù)的優(yōu)勢已經(jīng)盡顯，在我們的生活中，工作中，大數(shù)據(jù)都在發(fā)生著巨大的作用。未來，大數(shù)據(jù)將為電商業(yè)、零售業(yè)、醫(yī)療行業(yè)、安全以及教育等領(lǐng)域帶來巨大的變化。醫(yī)生可以根據(jù)個人的DNA為病人定制自己的診療建議，預(yù)測病人身體未來健康走勢;電商網(wǎng)站可以利用人們?yōu)g覽網(wǎng)站的信息以及各種數(shù)據(jù)對其購買進(jìn)行預(yù)測，進(jìn)行有針對性的推薦;等等!

　　互聯(lián)網(wǎng)讓我們每個人都相互關(guān)聯(lián)，大數(shù)據(jù)就是我們聯(lián)系產(chǎn)生的數(shù)據(jù)，而對這些數(shù)據(jù)進(jìn)行有效的分析，將給我們的生活和工作帶來巨大的改善，可以說是取之于民，用之于民。下面我們就來詳細(xì)介紹一下大數(shù)據(jù)的具體性質(zhì)。

　　大數(shù)據(jù)從何而來？

　　數(shù)據(jù)由來已久，但大數(shù)據(jù)真正成為行業(yè)流行詞語還是在2009年，隨著互聯(lián)網(wǎng)、移動設(shè)備、云計(jì)算等技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長。美國的互聯(lián)網(wǎng)數(shù)據(jù)中心調(diào)查顯示，數(shù)據(jù)如今每兩年就會翻一番，目前世界上90%以上的數(shù)據(jù)是近幾年才產(chǎn)生的。

　　大數(shù)據(jù)從何而來？

　　大數(shù)據(jù)可能來源于我們每個人，例如，我們上網(wǎng)聊天、瀏覽網(wǎng)頁、購買貨物、發(fā)表文章……我們在互聯(lián)網(wǎng)上的每一步操作都可以產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)集合在一起就是一個大數(shù)據(jù)。

　　但大數(shù)據(jù)的數(shù)據(jù)又并非單純指人們在互聯(lián)網(wǎng)上產(chǎn)生的信息，工業(yè)設(shè)備、汽車制造、儀表等都會產(chǎn)生數(shù)據(jù)，而這些東西與我們?nèi)祟惍a(chǎn)生的信息也都可以稱之為大數(shù)據(jù)。

　　大數(shù)據(jù)有何變化？

　　為何以前產(chǎn)生的數(shù)據(jù)叫數(shù)據(jù)，如今叫大數(shù)據(jù)呢？

　　其實(shí)數(shù)據(jù)市場正在發(fā)生著一系列的變化。例如，數(shù)據(jù)生產(chǎn)速度越來越快;數(shù)據(jù)量方面也如今已經(jīng)超過了TB級到PB級甚至ZB級;數(shù)據(jù)關(guān)系也已經(jīng)從簡單發(fā)展到復(fù)雜，數(shù)據(jù)來源已經(jīng)從數(shù)據(jù)錄入轉(zhuǎn)變到各種來源，數(shù)據(jù)模型也從結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)變?yōu)榘虢Y(jié)構(gòu)化或非結(jié)構(gòu)化……這一系列的變化催生出了大數(shù)據(jù)時(shí)代。

　　大數(shù)據(jù)時(shí)代的來臨，使得與傳統(tǒng)數(shù)據(jù)相匹配的應(yīng)用隨之發(fā)生改變。大數(shù)據(jù)產(chǎn)生的速度越來越快，這就要求我們的存儲設(shè)備的存儲速度要更快;大數(shù)據(jù)量越來越大，這就要求我們的存儲設(shè)備要越來越大，要能夠滿足數(shù)據(jù)爆炸式增長所帶來的侵襲;而數(shù)據(jù)類型開始出現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)，這就對數(shù)據(jù)的處理平臺、架構(gòu)平臺等等都帶來挑戰(zhàn)。

　　大數(shù)據(jù)有何價(jià)值？

　　大數(shù)據(jù)的數(shù)據(jù)數(shù)量很大，但這并不是大數(shù)據(jù)的全部，大數(shù)據(jù)還包含著巨大的價(jià)值。有人將大數(shù)據(jù)比作科技時(shí)代的原油，能夠讓我們從這些數(shù)據(jù)資源中獲取我們需要的“價(jià)值”，推動我們的發(fā)展。這樣才是大數(shù)據(jù)的真正價(jià)值，我們需要從數(shù)據(jù)資源中發(fā)掘這些數(shù)據(jù)的價(jià)值，來我們服務(wù)，來為社會進(jìn)步提供新的動力。

　　雖然大數(shù)據(jù)尚處在發(fā)展初期，但利用大數(shù)據(jù)來發(fā)現(xiàn)價(jià)值的案例如今已經(jīng)很多。例如，京東商城中的猜你喜歡欄目，就是對用戶搜索產(chǎn)品、瀏覽頁面等信息進(jìn)行分析，然后推薦用戶可能感興趣的產(chǎn)品。國外某零售商，會通過對銷售額、定價(jià)以及經(jīng)濟(jì)學(xué)、人口統(tǒng)計(jì)學(xué)和天氣數(shù)據(jù)進(jìn)行分析，藉此在特定的連鎖店中選擇合適的上架產(chǎn)品，并基于這些分析來判定商品減價(jià)的時(shí)機(jī)。

　　大數(shù)據(jù)需去其糟粕取精華

　　不可否認(rèn)，大數(shù)據(jù)具有著巨大的價(jià)值，但是筆者看來，大數(shù)據(jù)如今看來更像是一個大餅，但并沒有我們想象的那么美好，在浩瀚繁雜的數(shù)據(jù)中發(fā)展對用戶有價(jià)值的信息，這就好比在垃圾場撿拾寶貝一樣，垃圾永遠(yuǎn)都比寶貝多。

　　大數(shù)據(jù)包羅萬象

　　在生活中，各種垃圾數(shù)據(jù)無處不在，例如，網(wǎng)絡(luò)水軍的存在就是對數(shù)據(jù)價(jià)值的一種深深的傷害。例如，在去年夏天上映的某國產(chǎn)電影，觀看后的觀眾對其評價(jià)極低，但是在豆瓣等影評網(wǎng)上，該電影宣傳方雇傭了大批水軍進(jìn)行刷分，結(jié)果造成了評分很高，口碑很差，最后主辦方也不得不得出面道歉息事寧人。這些網(wǎng)絡(luò)水軍產(chǎn)生的數(shù)據(jù)可以說毫無意義。

　　當(dāng)然，類似的例子還有很多，淘寶賣家刷鉆，微博用戶刷粉，網(wǎng)站論壇刷回復(fù)等等，這些網(wǎng)絡(luò)垃圾無處不在，大數(shù)據(jù)如今發(fā)展還并不完善， 還需要針對這些垃圾數(shù)據(jù)推出十分有效的方法來加以鑒別。

　　大數(shù)據(jù)時(shí)代的隱私問題

　　大數(shù)據(jù)具有巨大的價(jià)值，我們可以通過對圖像、文本以及視頻等信息的挖掘，甚至可以判斷出一個人的整天的活動，甚至能夠預(yù)判這個人即將要做的事情，這個時(shí)候大數(shù)據(jù)分析就遇到了一個人們比較關(guān)心的問題，那就是隱私。

　　大數(shù)據(jù)的隱私問題

　　電話推銷的事很多，人們對這些事件已經(jīng)非常反感，這些都是隱私被透露的結(jié)果，有的犯罪分子甚至利用從互聯(lián)網(wǎng)上得到的信息來實(shí)施犯罪，這些都是大數(shù)據(jù)時(shí)代需要解決的問題。目前，針對數(shù)據(jù)保護(hù)方面的相關(guān)法律法規(guī)并不完善，個人信息在大數(shù)據(jù)時(shí)代泄露的時(shí)間比比皆是，需要有一個完善的保護(hù)機(jī)制來保護(hù)大數(shù)據(jù)時(shí)代的個人隱私。

　　大數(shù)據(jù)不是神 以輔為主

　　大數(shù)據(jù)時(shí)代，每一個Byte中都藏有不可思議的數(shù)據(jù)信息，對這些信息進(jìn)行整理歸納，可以提煉出一些信息，這些信息可以幫助企業(yè)或公司作出更好的決定。但是我們也不能盲目的相信這些信息，除了上述提到的數(shù)據(jù)真實(shí)性問題外，就是市場變化是不可預(yù)期的，決策者的創(chuàng)造性思維并不能通過數(shù)據(jù)得以體現(xiàn)，相反，數(shù)據(jù)在壓制創(chuàng)新。

　　最顯而易見的例子，就是當(dāng)年諾基亞和摩托羅拉在手機(jī)市場如日中天的時(shí)候，那首關(guān)于這兩款手機(jī)的數(shù)據(jù)可以說是滿天飛。但當(dāng)ios和安裝這些新勢力崛起的時(shí)候，這兩家手機(jī)霸主被打的潰不成軍，最后落得雙雙被收購的下場，所以說，在市場上，大數(shù)據(jù)分析只能作為輔助，市場瞬息萬變，還需要時(shí)刻關(guān)注市場上的變化，做出最正確的判斷。