
大數(shù)據(jù)無處不在,它到底是如何改變我們生活的?
大數(shù)據(jù)與云計(jì)算,相伴相隨的最佳“伴侶”
谷歌的這套預(yù)測(cè)系統(tǒng)就是一個(gè)典型的基于大數(shù)據(jù)技術(shù)完成的成功案例。對(duì)于大數(shù)據(jù)的定義,目前業(yè)界并沒有形成一個(gè)一致的說法,麥肯錫全球研究所對(duì)大數(shù)據(jù)的定義為一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。
不管大數(shù)據(jù)的定義如何(筆者以為這不是重點(diǎn)),但其相對(duì)傳統(tǒng)數(shù)據(jù)庫而言的差別還是需要知悉的,那就是它比傳統(tǒng)數(shù)據(jù)庫的規(guī)模要大得多,這種大不僅僅體現(xiàn)在數(shù)據(jù)的量上,亦體現(xiàn)在數(shù)據(jù)類型上,這點(diǎn)不難理解,也正是這種規(guī)模與類型上的巨大差別,導(dǎo)致了大數(shù)據(jù)的價(jià)值密度相對(duì)傳統(tǒng)數(shù)據(jù)庫而言要小,這點(diǎn)不妨簡單地理解為在大數(shù)據(jù)的概念中,有價(jià)值的信息數(shù)據(jù)多,但無價(jià)值的信息數(shù)據(jù)同樣也多,這自然會(huì)稀釋大數(shù)據(jù)的價(jià)值密度了。
一般而言,在傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)中,企業(yè)的數(shù)據(jù)中心往往是最耗費(fèi)計(jì)算資源與財(cái)力的,大數(shù)據(jù)在數(shù)據(jù)量與數(shù)據(jù)類型成倍增長的情況下,對(duì)計(jì)算資源的索取自然就更變本加厲了,這對(duì)中小型企業(yè)而言,成本往往會(huì)成為其不能承受之重,此時(shí),與大數(shù)據(jù)最為適配的搭檔就是云計(jì)算了!
云計(jì)算是通過讓任務(wù)(計(jì)算或數(shù)據(jù)處理等)分布在大量的分布式計(jì)算機(jī)上(這些分布式計(jì)算機(jī)是聯(lián)網(wǎng)的),而非遠(yuǎn)程服務(wù)器或本地計(jì)算機(jī)上,讓這些分布式計(jì)算機(jī)形成一個(gè)資源池共同完成任務(wù),這就相當(dāng)于把一份任務(wù)分給N個(gè)人做,而這個(gè)N究竟是多少是依據(jù)任務(wù)的難度而定的,云計(jì)算的優(yōu)勢(shì)顯而易見,不但可很好地解決計(jì)算資源不足的問題(對(duì)本地的計(jì)算資源需求很低,但對(duì)網(wǎng)絡(luò)的要求較高),同時(shí)網(wǎng)絡(luò)上閑散的計(jì)算資源也被很好地利用起來,這正好滿足了大數(shù)據(jù)應(yīng)用對(duì)計(jì)算資源的龐大需求。
大數(shù)據(jù)如何改變我們的生活
大數(shù)據(jù)對(duì)我們?nèi)粘I畹母淖兪紫润w現(xiàn)在思維方式上,嚴(yán)格來說,大數(shù)據(jù)并非是一個(gè)確切的概念,說大數(shù)據(jù)是一種工具,一種新的思維方式也許更加準(zhǔn)確。大數(shù)據(jù)打破了人類之所以是人類的原因之一即邏輯思維方式,大數(shù)據(jù)不講究因果關(guān)系,而因果關(guān)系正是邏輯思維運(yùn)作的基礎(chǔ),大數(shù)據(jù)講究的是相關(guān)性,由這個(gè)相關(guān)性可產(chǎn)生一系列的大數(shù)據(jù)的實(shí)際應(yīng)用。當(dāng)然大數(shù)據(jù)的本質(zhì)還是一種數(shù)據(jù)庫技術(shù),那么傳統(tǒng)數(shù)據(jù)庫所具有的一些特性,大數(shù)據(jù)當(dāng)然也一個(gè)不少,比如數(shù)據(jù)分析,數(shù)據(jù)挖掘等等。
大數(shù)據(jù)無處不在,它到底是如何改變我們生活的?
正如前文所言,大數(shù)據(jù)不講究因果關(guān)系,它更加關(guān)注事物的相關(guān)性,由著這個(gè)相關(guān)性誕生了一系列的新應(yīng)用,比如本文開頭言及谷歌對(duì)于流感的預(yù)測(cè)報(bào)告就是如此,此外與我們?nèi)粘I罡鼮橄⑾⑾嚓P(guān)的就是電子商務(wù)應(yīng)用了。
當(dāng)你在購物網(wǎng)站京東搜索了你想買的某類產(chǎn)品,或是你在京東上常常瀏覽某種類型的商品后,京東背后的大數(shù)據(jù)應(yīng)用會(huì)為你建立一個(gè)小的數(shù)據(jù)庫,這個(gè)數(shù)據(jù)庫涵蓋你以往的購物歷史數(shù)據(jù)、搜索記錄(搜索了什么類型的商品等)、瀏覽記錄(瀏覽了什么商品等數(shù)據(jù)),基本上你在京東上的行為都被一一記錄下來形成一個(gè)你私人的大數(shù)據(jù),這對(duì)你而言是沒有意義的,對(duì)京東而言就意義重大了,京東會(huì)由此預(yù)測(cè)你在此時(shí)此刻可能對(duì)某些商品會(huì)感興趣(京東當(dāng)然
不會(huì)關(guān)注你為什么會(huì)對(duì)這些商品感興趣了,因?yàn)樵驅(qū)〇|而言沒有意義,京東關(guān)注的是如何把商品賣出去,你的興趣才是它的關(guān)注點(diǎn)),于是當(dāng)你在瀏覽其他網(wǎng)頁時(shí)(與京東合作的相關(guān)網(wǎng)站),在該頁面的廣告欄便會(huì)輪番顯示你感興趣或者曾經(jīng)瀏覽過的商品,在大大提升廣告推廣效率的同時(shí)亦不會(huì)讓你反感(甚至某種你需求商品在其上的降價(jià)可激發(fā)你的感激之情),除此之外,對(duì)商家而言,依據(jù)眾多用戶購買行為而建立的大數(shù)據(jù),可有效地判斷某時(shí)某地大眾的消費(fèi)趨勢(shì),為更好地實(shí)施商業(yè)戰(zhàn)略規(guī)劃提供參考。
大數(shù)據(jù)在城市智能交通上的應(yīng)用正是基于其在數(shù)據(jù)分析與挖掘之上的。記錄一座城市一天24小時(shí)的交通數(shù)據(jù)信息是一項(xiàng)龐大的工程,一個(gè)完善的城市交通大數(shù)據(jù)(這些數(shù)據(jù)主要來自城市各個(gè)干道上所安裝的智能化視頻監(jiān)控系統(tǒng)、停車場的智能卡口系統(tǒng)、地鐵公交系統(tǒng)的刷卡記錄等)系統(tǒng)應(yīng)該將這些數(shù)據(jù)悉數(shù)記錄,這些數(shù)據(jù)包括城市各個(gè)路段上實(shí)時(shí)的交通流量信息(如各個(gè)路段上事實(shí)的交通擁堵情況,單位時(shí)間的車流量,甚至某輛車由某位置到達(dá)某位置預(yù)計(jì)所需要的時(shí)間等等)、歷史交通信息的存儲(chǔ)與查詢等,城市交通大數(shù)據(jù)系統(tǒng)會(huì)依據(jù)相應(yīng)的數(shù)據(jù)模型展開數(shù)據(jù)分析與挖掘,并將分析報(bào)告的結(jié)果實(shí)時(shí)呈現(xiàn)出來,這些實(shí)時(shí)的交通信息報(bào)告給城市的交管部門更為良好的管理整個(gè)城市的交通運(yùn)作提供最有價(jià)值的決策依據(jù)。
也許大數(shù)據(jù)應(yīng)用對(duì)城市智能交通管理系統(tǒng)更大的價(jià)值在于一旦城市交通出現(xiàn)緊急情況,比如出現(xiàn)交通事故時(shí),肇事司機(jī)駕車逃逸,此時(shí)管理部門啟動(dòng)整個(gè)交通平臺(tái)的大數(shù)據(jù)技術(shù)對(duì)罪犯進(jìn)行追捕將變得極為有效:在基本確定了在某個(gè)時(shí)間段內(nèi)某地段所發(fā)生的交通事故后,在周圍布置的智能視頻監(jiān)控系統(tǒng)可依據(jù)該逃逸車輛的特征(車的類型、顏色、逃逸司機(jī)的特征,車牌號(hào)中包括了哪些數(shù)字等)迅速地確定該逃逸車輛的車牌號(hào),依據(jù)車牌號(hào)再確定司機(jī)姓名(即使有時(shí)不是車輛所有者本人亦無關(guān)系,依然可作為案件偵查的重要線索),此時(shí)該范圍內(nèi)所有布置的智能視頻監(jiān)控系統(tǒng)(可依據(jù)監(jiān)控物特征進(jìn)行識(shí)別)將悉數(shù)處于戒備狀態(tài),一旦該車輛從其“眼皮”底下溜過時(shí)即會(huì)觸發(fā)報(bào)警,該報(bào)警會(huì)自動(dòng)上傳至城市智能交通管理系統(tǒng),系統(tǒng)在完成位置的確定后即可實(shí)施抓捕,大數(shù)據(jù)在整個(gè)運(yùn)作過程中扮演了幕后英雄的角色,最終將犯罪分子繩之以法!
大數(shù)據(jù)本質(zhì)是一種工具,其價(jià)值在于人類如何利用它
盡管大數(shù)據(jù)的存在不露聲色,但它與我們的生活已密不可分,它就像一只看不見的手,
在一定程度上操控著我們的生活。當(dāng)你瀏覽網(wǎng)頁時(shí),大數(shù)據(jù)會(huì)依據(jù)你的喜好向你推薦感興趣的商品,你不討厭,你甚至欣喜若狂,因?yàn)槟惆l(fā)現(xiàn)看上的某商品在低價(jià)出售,也許事后你又會(huì)恨得咬牙切齒,怪自己不該沖動(dòng)剁手,買了一件用不上的東西,但大數(shù)據(jù)卻扎扎實(shí)實(shí)地改變了你的生活。事實(shí)上,在你網(wǎng)購的同時(shí),你的購買行為本身亦成為網(wǎng)站大數(shù)據(jù)應(yīng)用的一部分,正是這許許多多的一部分成就了大數(shù)據(jù)應(yīng)用的基礎(chǔ)。
太陽底下無新事,大數(shù)據(jù)亦如此,它不追究事物的原因,不講究因果關(guān)系,但它把事物的相關(guān)性發(fā)揮得淋漓盡致,正是基于此,它建立了許許多多成功的商業(yè)應(yīng)用,但這些商業(yè)應(yīng)用成功的真正原因卻不在大數(shù)據(jù)本身,而是人類自身所具備的智慧造就,誠如本文開頭所言,谷歌收集的數(shù)據(jù)只是用戶的檢索數(shù)據(jù),是谷歌的工程師們發(fā)現(xiàn)了用戶檢索與流感之間的聯(lián)系才產(chǎn)生了后來大數(shù)據(jù)具備的預(yù)測(cè)性應(yīng)用,一句話,大數(shù)據(jù)的本質(zhì)只是一種工具,如何用好這個(gè)工具,還得仰仗人類自身的智慧了!
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
2025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價(jià)值的煉金術(shù)》一書中指出:AI思維, ...
2025-07-17數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價(jià)值的橋梁? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對(duì)這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時(shí)代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動(dòng)的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長的實(shí)戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項(xiàng)” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實(shí)踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運(yùn)維與開發(fā)中,開發(fā)者和 DBA 常會(huì) ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動(dòng)企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會(huì)遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,面對(duì)海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10