大數(shù)據(jù)是什么意思_數(shù)據(jù)分析師

大數(shù)據(jù)是什么意思？下面我們會(huì)詳細(xì)介紹。

　　大數(shù)據(jù)-百度百科

　　大數(shù)據(jù)(big data,mega data)，或稱(chēng)巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

　　在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》 中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的4V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）。

　　對(duì)于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

　　大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

　　從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。

　　隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Big data）也吸引了越來(lái)越多的關(guān)注?！吨婆_(tái)》的分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)（Big data）通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

　　大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

　　大數(shù)據(jù)-維基百科

　　大數(shù)據(jù)（英語(yǔ)：Big data或Megadata），或稱(chēng)巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類(lèi)所能解讀的信息[3][4]。在總數(shù)據(jù)量相同的情況下，與個(gè)別分析獨(dú)立的小型數(shù)據(jù)集（data set）相比，將各個(gè)小型數(shù)據(jù)集合并后進(jìn)行分析可得出許多額外的信息和數(shù)據(jù)關(guān)系性，可用來(lái)察覺(jué)商業(yè)趨勢(shì)、判定研究質(zhì)量、避免疾病擴(kuò)散、打擊犯罪或測(cè)定實(shí)時(shí)交通路況等；這樣的用途正是大型數(shù)據(jù)集盛行的原因。

　　截至2012年，技術(shù)上可在合理時(shí)間內(nèi)分析處理的數(shù)據(jù)集大小單位為艾字節(jié)（exabytes）。在許多領(lǐng)域，由于數(shù)據(jù)集過(guò)度龐大，科學(xué)家經(jīng)常在分析處理上遭遇限制和阻礙；這些領(lǐng)域包括氣象學(xué)、基因組學(xué)[9]、神經(jīng)網(wǎng)絡(luò)體學(xué)、復(fù)雜的物理模擬，以及生物和環(huán)境研究。這樣的限制也對(duì)網(wǎng)絡(luò)搜索、金融與經(jīng)濟(jì)信息學(xué)造成影響。數(shù)據(jù)集大小增長(zhǎng)的部分原因來(lái)自于信息持續(xù)從各種來(lái)源被廣泛收集，這些來(lái)源包括搭載感測(cè)設(shè)備的移動(dòng)設(shè)備、高空感測(cè)科技（遙感）、軟件記錄、相機(jī)、麥克風(fēng)、無(wú)線射頻辨識(shí)（RFID）和無(wú)線感測(cè)網(wǎng)絡(luò)。自1980年代起，現(xiàn)代科技可存儲(chǔ)數(shù)據(jù)的容量每40個(gè)月即增加一倍；截至2012年，全世界每天產(chǎn)生2.5艾字節(jié)（2.5×1018）的數(shù)據(jù)。

　　大數(shù)據(jù)幾乎無(wú)法使用大多數(shù)的數(shù)據(jù)庫(kù)管理系統(tǒng)處理，而必須使用“在數(shù)十、數(shù)百甚至數(shù)千臺(tái)服務(wù)器上同時(shí)平行運(yùn)行的軟件”。大數(shù)據(jù)的定義取決于持有數(shù)據(jù)組的機(jī)構(gòu)之能力，以及其平常用來(lái)處理分析數(shù)據(jù)的軟件之能力?！皩?duì)某些組織來(lái)說(shuō)，第一次面對(duì)數(shù)百GB的數(shù)據(jù)集可能讓他們需要重新思考數(shù)據(jù)管理的選項(xiàng)。對(duì)于其他組織來(lái)說(shuō)，數(shù)據(jù)集可能需要達(dá)到數(shù)十或數(shù)百兆字節(jié)才會(huì)對(duì)他們?cè)斐衫_?！?/span>

　　隨著大數(shù)據(jù)被越來(lái)越多的提及，有些人驚呼大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)了，2012年《紐約時(shí)報(bào)》的一篇專(zhuān)欄中寫(xiě)到，“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺(jué)。但是并不是所有人都對(duì)big data感興趣，有些人甚至認(rèn)為這是商學(xué)院或咨詢公司用來(lái)嘩眾取寵的buzzword，看起來(lái)很新穎，但只是把傳統(tǒng)重新包裝，之前在學(xué)術(shù)研究或者政策決策中也有海量數(shù)據(jù)的支撐，大數(shù)據(jù)并不是一件新興事物。

　　大數(shù)據(jù)時(shí)代的來(lái)臨帶來(lái)無(wú)數(shù)的機(jī)遇，但是與此同時(shí)個(gè)人或機(jī)構(gòu)的隱私權(quán)也極有可能受到?jīng)_擊，大數(shù)據(jù)包含了各種個(gè)人信息數(shù)據(jù)，現(xiàn)有的隱私保護(hù)法律或政策無(wú)力解決這些新出現(xiàn)的問(wèn)題。有人提出，大數(shù)據(jù)時(shí)代，個(gè)人是否擁有“被遺忘權(quán)”，被遺忘權(quán)即是否有權(quán)利要求數(shù)據(jù)商不保留自己的某些信息，大數(shù)據(jù)時(shí)代信息為某些互聯(lián)網(wǎng)巨頭所控制，但是數(shù)據(jù)商收集任何數(shù)據(jù)未必都獲得用戶的許可，其對(duì)數(shù)據(jù)的控制權(quán)不具有合法性。2014年5月13日歐盟法院就“被遺忘權(quán)”（right to be forgotten）一案作出裁定，判決Google應(yīng)根據(jù)用戶請(qǐng)求刪除不完整的、無(wú)關(guān)緊要的、不相關(guān)的數(shù)據(jù)以保證數(shù)據(jù)不出現(xiàn)在搜索結(jié)果中。這說(shuō)明在大數(shù)據(jù)時(shí)代，加強(qiáng)對(duì)用戶個(gè)人權(quán)利的尊重才是時(shí)勢(shì)所趨的潮流。

　　大數(shù)據(jù)的應(yīng)用

　　大數(shù)據(jù)應(yīng)用在生活中可以幫助我們獲取到有用的價(jià)值。

　　隨著大數(shù)據(jù)的應(yīng)用越來(lái)越廣泛，應(yīng)用的行業(yè)也越來(lái)越低，我們每日都可以看到大數(shù)據(jù)的一些新穎的應(yīng)用，從而幫助人們從中獲取到真正有用的價(jià)值。許多組織或者個(gè)人都會(huì)受到大數(shù)據(jù)的剖析影響，但是大數(shù)據(jù)是怎樣幫助人們挖掘出有價(jià)值的信息呢?下面就讓我們一起來(lái)看看九個(gè)價(jià)值極度高的大數(shù)據(jù)的應(yīng)用，這些都是大數(shù)據(jù)在剖析應(yīng)用上的關(guān)鍵領(lǐng)域：

　　1.理解客戶、滿足客戶服務(wù)需求

　　大數(shù)據(jù)的應(yīng)用現(xiàn)在在這領(lǐng)域是最廣為人知的。重點(diǎn)是怎樣應(yīng)用大數(shù)據(jù)更好的了解客戶以及他們的喜好和行為。企業(yè)極度喜歡搜集社交方面的數(shù)據(jù)、瀏覽器的日志、剖析出文本和傳感器的數(shù)據(jù)，為了更加全面的了解客戶。在通常情況下，創(chuàng)建出數(shù)據(jù)模型進(jìn)行預(yù)測(cè)。好比美國(guó)的著名零售商Target就是通過(guò)大數(shù)據(jù)的剖析，獲得有價(jià)值的信息，精準(zhǔn)得預(yù)測(cè)到客戶在什么時(shí)間想要小孩。另外，通過(guò)大數(shù)據(jù)的應(yīng)用，電信公司可以更好預(yù)測(cè)出流失的客戶，沃爾瑪則更加精準(zhǔn)的預(yù)測(cè)哪個(gè)產(chǎn)品會(huì)大賣(mài)，汽車(chē)保險(xiǎn)行業(yè)會(huì)了解客戶的需求和駕駛水平，政府也能了解到選民的偏好。

　　2.業(yè)務(wù)流程優(yōu)化

　　大數(shù)據(jù)也更多的幫助業(yè)務(wù)流程的優(yōu)化。可以通過(guò)利用社交媒體數(shù)據(jù)、網(wǎng)絡(luò)搜索以及天氣預(yù)告挖掘出有價(jià)值的數(shù)據(jù)，其中大數(shù)據(jù)的應(yīng)用最廣泛的就是供應(yīng)鏈以及配送路線的優(yōu)化。在這2個(gè)方面，地理定位和無(wú)線電頻率的識(shí)別追蹤貨物和送貨車(chē)，利用實(shí)時(shí)交通路線數(shù)據(jù)制訂更加優(yōu)化的路線。人力資源業(yè)務(wù)也通過(guò)大數(shù)據(jù)的剖析來(lái)進(jìn)行改良，這其中就包括了人才招聘的優(yōu)化。

　　3.大數(shù)據(jù)正在改善我們的生活

　　大數(shù)據(jù)不但單只是應(yīng)用于企業(yè)和政府，同樣也適用我們生活當(dāng)中的每個(gè)人。我們可以利用穿著的裝備(如智能手表或者智能手環(huán))生成最新的數(shù)據(jù)，這讓我們可以憑據(jù)我們熱量的消耗以及睡眠模式來(lái)進(jìn)行追蹤。而且還利用利用大數(shù)據(jù)剖析來(lái)尋找屬于我們的愛(ài)情，大多數(shù)時(shí)間交友網(wǎng)站就是大數(shù)據(jù)應(yīng)用工具來(lái)幫助需要的人匹配合適的對(duì)象。

　　4.提高醫(yī)療和研發(fā)

　　大數(shù)據(jù)剖析應(yīng)用的計(jì)算能力可以讓我們能夠在幾分鐘內(nèi)就可以解碼整個(gè)DNA。而且讓我們可以制訂出最新的治療方案。同時(shí)可以更好的去理解和預(yù)測(cè)疾病。就好像人們戴上智能手表等可以形成的數(shù)據(jù)一樣，大數(shù)據(jù)同樣可以幫助病人對(duì)于病情進(jìn)行更好的治療。大數(shù)據(jù)技術(shù)現(xiàn)在已經(jīng)在醫(yī)院應(yīng)用監(jiān)視早產(chǎn)嬰兒和患病嬰兒的情況，通過(guò)記錄和剖析嬰兒的心跳，醫(yī)生針對(duì)嬰兒的身體可能會(huì)出現(xiàn)不適癥狀做出預(yù)測(cè)。這樣可以幫助醫(yī)生更好的救助嬰兒。