
大數(shù)據(jù)對未來生活的影響
大數(shù)據(jù)(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
“大數(shù)據(jù)”是指以多元形式,自許多來源搜集而來的龐大數(shù)據(jù)組,往往具有實(shí)時性。在企業(yè)對企業(yè)銷售的情況下,這些數(shù)據(jù)可能得自社交網(wǎng)絡(luò)、電子商務(wù)網(wǎng)站、顧客來訪紀(jì)錄,還有許多其他來源。這些數(shù)據(jù),并非公司顧客關(guān)系管理數(shù)據(jù)庫的常態(tài)數(shù)據(jù)組。
大數(shù)據(jù)的意義是由人類日益普及的網(wǎng)絡(luò)行為所伴生的,受到相關(guān)部門、企業(yè)采集的,蘊(yùn)含數(shù)據(jù)生產(chǎn)者真實(shí)意圖、喜好的,非傳統(tǒng)結(jié)構(gòu)和意義的數(shù)據(jù) 。2013年5月10日,阿里巴巴集團(tuán)董事局主席馬云在淘寶十周年晚會上,將卸任阿里集團(tuán)CEO的職位,并在晚會上做卸任前的演講,馬云說,大家還沒搞清PC時代的時候,移動互聯(lián)網(wǎng)來了,還沒搞清移動互聯(lián)網(wǎng)的時候,大數(shù)據(jù)時代來了。
大數(shù)據(jù)時代已經(jīng)來臨,它將在眾多領(lǐng)域掀起變革的巨浪。但我們要冷靜的看到,大數(shù)據(jù)的核心在于為客戶挖掘數(shù)據(jù)中蘊(yùn)藏的價值,而不是軟硬件的堆砌。因此,針對不同領(lǐng)域的大數(shù)據(jù)應(yīng)用模式、商業(yè)模式研究將是大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展的關(guān)鍵。我們相信,在國家的統(tǒng)籌規(guī)劃與支持下,通過各地方政府因地制宜制定大數(shù)據(jù)產(chǎn)業(yè)發(fā)展策略,通過國內(nèi)外IT龍頭企業(yè)以及眾多創(chuàng)新企業(yè)的積極參與,大數(shù)據(jù)產(chǎn)業(yè)未來發(fā)展前景十分廣闊。
例子包括網(wǎng)絡(luò)日志,RFID,傳感器網(wǎng)絡(luò),社會網(wǎng)絡(luò),社會數(shù)據(jù)(由于數(shù)據(jù)革命的社會),互聯(lián)網(wǎng)文本和文件;互聯(lián)網(wǎng)搜索索引;呼叫詳細(xì)記錄,天文學(xué),大氣科學(xué),基因組學(xué),生物地球化學(xué),生物,和其他復(fù)雜和/或跨學(xué)科的科研,軍事偵察,醫(yī)療記錄;攝影檔案館視頻檔案;和大規(guī)模的電子商務(wù) 。籃球比賽當(dāng)中利用大數(shù)據(jù)對球員的個人在比賽場上的數(shù)據(jù)分析,可以幫助比賽變得更加精彩。
大數(shù)據(jù)最核心的價值就是在于對于海量數(shù)據(jù)進(jìn)行存儲和分析。相比起現(xiàn)有的其他技術(shù)而言,大數(shù)據(jù)的“廉價、迅速、優(yōu)化”這三方面的綜合成本是最優(yōu)的。
特點(diǎn):
第一,數(shù)據(jù)體量巨大。從TB級別,躍升到PB級別。
第二,數(shù)據(jù)類型繁多,如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息,等等。
第三,價值密度低。以視頻為例,連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅有一兩秒。
第四,處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,無一不是數(shù)據(jù)來源或者承載的方式。
對于地球上每一個普通居民而言,大數(shù)據(jù)有什么應(yīng)用價值呢?只要看看周圍正在變化的一切,你就可以知道,大數(shù)據(jù)對每個人的重要性不亞于人類初期對火的使用。大數(shù)據(jù)讓人類對一切事物的認(rèn)識回歸本源;大數(shù)據(jù)通過影響經(jīng)濟(jì)生活、政治博弈、社會管理、文化教育科研、醫(yī)療保健休閑等等行業(yè),與每個人產(chǎn)生密切的聯(lián)系。
大數(shù)據(jù)技術(shù)離你我都并不遙遠(yuǎn),它已經(jīng)來到我們身邊,滲透進(jìn)入我們每個人的日常生活消費(fèi)之中,時時刻刻,事事處處,我們無法逃遁,因?yàn)樗鼰o微不至:它提供了光怪陸離的全媒體,難以琢磨的云計(jì)算,無法抵御的仿真環(huán)境。大數(shù)據(jù)依仗于無處不在的傳感器,比如手機(jī)、發(fā)帶,甚至是能夠收集司機(jī)身體數(shù)據(jù)的汽車,或是能夠監(jiān)控老人下床和行走速度與壓力的“魔毯”(由GE與Intel聯(lián)合開發(fā)),洞察了一切。通過大數(shù)據(jù)技術(shù),人們能夠在醫(yī)院之外得悉自己的健康情況;而通過收集普通家庭的能耗數(shù)據(jù),大數(shù)據(jù)技術(shù)給出人們切實(shí)可用的節(jié)能提醒;通過對城市交通的數(shù)據(jù)收集處理,大數(shù)據(jù)技術(shù)能夠?qū)崿F(xiàn)城市交通的優(yōu)化。
隨著科學(xué)技術(shù)的發(fā)展,人類必將實(shí)現(xiàn)數(shù)千年的機(jī)器人夢想。在大數(shù)據(jù)時代,人腦信息轉(zhuǎn)換為電腦信息成為可能。總而言之,大數(shù)據(jù)技術(shù)的發(fā)展有可能解開宇宙起源的奧秘。
關(guān)于人們的“衣食”
人們的生活以及消費(fèi)方式已經(jīng)發(fā)生了驚天的轉(zhuǎn)變。不光是北京,自淘寶創(chuàng)立以來,大眾的消費(fèi)方式越發(fā)多
元化,O2O、B2B等方式越來越豐富人們的日常生活。
大數(shù)據(jù)以及地圖的基礎(chǔ)應(yīng)用,已經(jīng)對人們的生活產(chǎn)生了很大的影響?,F(xiàn)今類似的網(wǎng)站應(yīng)用有很多都與數(shù)據(jù)以及地理信息相關(guān),作為其代表之一,大眾點(diǎn)評正是數(shù)據(jù)與地理信息的相互結(jié)合的優(yōu)質(zhì)結(jié)晶。
關(guān)于人們的“住”
對于住來說,有幾個決定因素:區(qū)位、人口、環(huán)境。人口數(shù)據(jù)對于城市的商業(yè)數(shù)據(jù)來說是至關(guān)重要的。 超精細(xì)格網(wǎng)化人口數(shù)據(jù)根據(jù)國家統(tǒng)計(jì)局2010年人口普查數(shù)據(jù),結(jié)合遙感、地理信息等數(shù)十種背景信息數(shù)
據(jù),通過定量空間模型制作而成的超精細(xì)(160米左右)格網(wǎng)化人口分布數(shù)據(jù),涵蓋全國328個城市(包括其所轄的所有縣、縣級市、區(qū)和街道)格網(wǎng)總數(shù)約3億個,數(shù)據(jù)項(xiàng)包括總?cè)丝跀?shù)、不同性別人口數(shù)、兒童人口數(shù)、成人人口數(shù)、老年人人口數(shù)、網(wǎng)格的經(jīng)緯度等數(shù)據(jù)項(xiàng)。人口格網(wǎng)化是目前人口空間分布研究的熱點(diǎn),超精細(xì)格網(wǎng)化人口數(shù)據(jù)根據(jù)國家統(tǒng)計(jì)局2010年人口普查數(shù)據(jù),結(jié)合遙感、地理信息等數(shù)十種背景信息數(shù)據(jù)產(chǎn)成。
關(guān)于人們的“行”
對于人們出行來說,人們的出行組成了大數(shù)據(jù),同時大數(shù)據(jù)可以實(shí)時反應(yīng)交通狀況,因此大數(shù)據(jù)與交通的
辯證關(guān)系一直為社會所重視;近年來交通所帶來的能耗問題被逐漸重視起來,這不光是對個人資金的節(jié)省,更是對自己所在這個環(huán)境的一種責(zé)任。
鄭宇認(rèn)為通過導(dǎo)航軟件所用的傳感器來感知每個路段的流量和速度,利用環(huán)境學(xué)經(jīng)典公式即可算出該汽車的排放量,具體做法是:利用已有GPS數(shù)據(jù)算出有限道路上的速度,按照單位時間通過車的流量的速度,最終得出某一行車路段的污染指數(shù)。可以算出這個城市里每一個區(qū)域,每一個時間、每一種污染物的成分和比例。隨著時間的變化,各個地方污染程度。
除非你拒絕手機(jī)、拒絕網(wǎng)絡(luò)、拒絕信用卡等一切現(xiàn)代科技,否則你將無法逃脫一些合法或非法的“偷窺”者,他們正在無時無刻的“竊取”著你的行為信息,這就是大數(shù)據(jù)時代的特點(diǎn)。
根據(jù)這些行為信息,商家為你制訂適合你的服務(wù),政府根據(jù)你的行為信息將你貼上某種標(biāo)簽,甚至有些不懷好意者根據(jù)這些信息對你或你的親人進(jìn)行有意的傷害……
所以,這些數(shù)據(jù)信息在大數(shù)據(jù)時代不可避免的被“竊取”了。但,我們能夠阻檔的了嗎?時代在進(jìn)步,溝通方式與方法在改變,正如“大禹治水,疏而不導(dǎo)”的原理是一樣,在這樣的大數(shù)據(jù)時代,阻礙數(shù)據(jù)分析的嘗試注定要失敗,我們讓這些數(shù)據(jù)不流于非法的唯一方法是規(guī)范而非全部堵住,因?yàn)闀r代進(jìn)步的車輪是無法阻檔的。
政府能夠做的就是立法,規(guī)范如下幾個方面:
一、規(guī)范哪些數(shù)據(jù)屬于隱私數(shù)據(jù),不能跟蹤,如跟蹤則非法。
二、規(guī)范能夠跟蹤的數(shù)據(jù)僅能用于哪些用途,否則必須經(jīng)過數(shù)據(jù)當(dāng)事人的同意(如肖像權(quán)),否則也是非法。 三、明確立法規(guī)范如果出現(xiàn)相關(guān)的違法行為應(yīng)該如何處罰違法當(dāng)事人。
政府只有通過法律的途徑來疏導(dǎo)才能夠保證即不阻礙技術(shù)的發(fā)展進(jìn)步又能夠保證廣大人民的利益,當(dāng)然,以上這些的前提條件是政府真正為百姓著想。
有人說,有了微博之后,我們更民主了,言論更自由了。我認(rèn)為恰恰相反,看上去的言論自由恰恰如“引蛇出洞”,你的每一句發(fā)言都可能被秘密監(jiān)視,從而將你打上某種標(biāo)簽,一旦某天要“收網(wǎng)”,你的所有發(fā)言都可以作為證據(jù)被呈現(xiàn)在桌面上,何等可怕?!
所以,在網(wǎng)絡(luò)充分發(fā)展,技術(shù)突飛猛進(jìn)的今天,我們更應(yīng)該理性的對待這些虛假的繁榮,規(guī)范它、引導(dǎo)它、合理利用它,而不是放任或直接否定。辯證的思維是非常有必要的!
世界正變得越來越數(shù)字化,大數(shù)據(jù)[注]正在以這種或那種方式影響著每個人的生活。
我們在日常生活中所做的一切都會留下數(shù)字痕跡(或者數(shù)據(jù)),也就是大數(shù)據(jù),我們可以利用和分析這些數(shù)據(jù)來讓我們的生活更加美好。
下面讓我們看看大數(shù)據(jù)應(yīng)用的真實(shí)例子:
· 在醫(yī)院,兒科部會記錄早產(chǎn)兒和患病嬰兒的每一次心跳,然后將這些數(shù)據(jù)與歷史數(shù)據(jù)相結(jié)合來識別模式?;谶@些分析,系統(tǒng)可以在嬰兒表現(xiàn)出任何明顯的癥狀之前就檢測到感染,這使得醫(yī)生可以早期干預(yù)和治療。 · 來自Nike & Fitbit的健身腕帶可以收集有關(guān)我們走路或者慢跑的數(shù)據(jù),例如我們走了多少步,每天燃燒了多少卡路里,我們的睡眠模式或者其他數(shù)據(jù),然后結(jié)合這些數(shù)據(jù)與健康記錄來改善我們的健康狀況。
· 在學(xué)校和大學(xué),流媒體視頻課程和數(shù)據(jù)分析可以幫助教師跟蹤學(xué)生的學(xué)習(xí)情況,根據(jù)他們的能力水平定制教學(xué)內(nèi)容,以及預(yù)測學(xué)生的執(zhí)行情況。
· SmartThings公司可以幫助你在家里安裝動力、濕度和其他傳感器,讓你了解家里正在發(fā)生的事情,同時通過iPhone上的應(yīng)用程序來控制家里的所有設(shè)備。
· 當(dāng)我們每天在公路上開車時,我們的智能手機(jī)會發(fā)送我們的位置信息以及速度,然后結(jié)合實(shí)時交通信息為我們提供最佳路線,從而避免堵車。結(jié)合位置應(yīng)用程序AroundMe,還可以為你提供附近的餐館、銀行、加油站等信息。
· 當(dāng)我們?nèi)ベ徫飼r,我們的數(shù)據(jù)會結(jié)合歷史購買記錄和社交媒體數(shù)據(jù)來為我們提供優(yōu)惠券、折扣和個性化優(yōu)惠。 · 最后,EarlySense等公司正在開發(fā)健康和水平監(jiān)測傳感器,位于床墊下面,自動監(jiān)測和記錄心臟速率、呼吸速率、運(yùn)動和睡眠活動。該傳感器收集的數(shù)據(jù)以無線方式被發(fā)送到智能手機(jī)和平板電腦,進(jìn)行進(jìn)一步分析。 大數(shù)據(jù)的其他一些創(chuàng)造性的用途是:
· WNYC開發(fā)的Transit Time NYC讓紐約人可以點(diǎn)擊紐約市的五個區(qū)域來獲取地鐵或火車的時間。他們從開源行程平臺OpentripPlanner獲取數(shù)據(jù),并將這些數(shù)據(jù)域公開下載的地鐵時間表結(jié)合來創(chuàng)造400萬虛擬旅程。 · 美國公共衛(wèi)生協(xié)會開發(fā)的FluNearYou調(diào)查了用戶的癥狀感覺,并存儲和分析龐大的數(shù)據(jù)量,然后生成報告顯示用戶所在地區(qū)的流感活動。
· 針對建設(shè)、改造和翻新住宅的“一站式商店”Buildzoom擁有約250萬承包商、5萬以上客戶意見信息,來幫助50萬用戶帶來更多客觀性和透明度的決策意見。
· 美國聯(lián)邦調(diào)查局正在結(jié)合來自社交媒體、閉路電視攝像機(jī)、電話和文本的信息來追蹤犯罪和未來恐怖襲擊活動。
· 奧巴馬在2012年總統(tǒng)競選中使用大數(shù)據(jù)分析來收集選民的數(shù)據(jù),再加上一流的分析引擎,讓他可以專注于最有可能投他的選民。
· 谷歌的自動駕駛汽車分析來自傳感器和攝像頭的實(shí)時數(shù)據(jù)以在道路上安全駕駛。
· 智能電視和機(jī)頂盒能夠追蹤你正在看的內(nèi)容,看了多長時間,甚至能夠識別多少人坐在電視機(jī)前,來確定這個頻道的流行度。
· 在希臘,政府正在使用Google Earth來看看誰能夠在后院有游泳池,然后核對其納稅記錄
最終,我們都將從大數(shù)據(jù)分析中獲益。如果我們的銀行能更好地了解風(fēng)險,我們的經(jīng)濟(jì)將更加強(qiáng)大。如果政府能夠降低其欺詐開支,我們的稅收也會降低。如果疾病能夠更早治療,我們將會更加健康。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03