
大數(shù)據(jù)無處不在,它到底是如何改變我們生活的?
大數(shù)據(jù)與云計算,相伴相隨的最佳“伴侶”
谷歌的這套預(yù)測系統(tǒng)就是一個典型的基于大數(shù)據(jù)技術(shù)完成的成功案例。對于大數(shù)據(jù)的定義,目前業(yè)界并沒有形成一個一致的說法,麥肯錫全球研究所對大數(shù)據(jù)的定義為一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。
不管大數(shù)據(jù)的定義如何(筆者以為這不是重點),但其相對傳統(tǒng)數(shù)據(jù)庫而言的差別還是需要知悉的,那就是它比傳統(tǒng)數(shù)據(jù)庫的規(guī)模要大得多,這種大不僅僅體現(xiàn)在數(shù)據(jù)的量上,亦體現(xiàn)在數(shù)據(jù)類型上,這點不難理解,也正是這種規(guī)模與類型上的巨大差別,導(dǎo)致了大數(shù)據(jù)的價值密度相對傳統(tǒng)數(shù)據(jù)庫而言要小,這點不妨簡單地理解為在大數(shù)據(jù)的概念中,有價值的信息數(shù)據(jù)多,但無價值的信息數(shù)據(jù)同樣也多,這自然會稀釋大數(shù)據(jù)的價值密度了。
一般而言,在傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)中,企業(yè)的數(shù)據(jù)中心往往是最耗費計算資源與財力的,大數(shù)據(jù)在數(shù)據(jù)量與數(shù)據(jù)類型成倍增長的情況下,對計算資源的索取自然就更變本加厲了,這對中小型企業(yè)而言,成本往往會成為其不能承受之重,此時,與大數(shù)據(jù)最為適配的搭檔就是云計算了!
云計算是通過讓任務(wù)(計算或數(shù)據(jù)處理等)分布在大量的分布式計算機上(這些分布式計算機是聯(lián)網(wǎng)的),而非遠程服務(wù)器或本地計算機上,讓這些分布式計算機形成一個資源池共同完成任務(wù),這就相當(dāng)于把一份任務(wù)分給N個人做,而這個N究竟是多少是依據(jù)任務(wù)的難度而定的,云計算的優(yōu)勢顯而易見,不但可很好地解決計算資源不足的問題(對本地的計算資源需求很低,但對網(wǎng)絡(luò)的要求較高),同時網(wǎng)絡(luò)上閑散的計算資源也被很好地利用起來,這正好滿足了大數(shù)據(jù)應(yīng)用對計算資源的龐大需求。
大數(shù)據(jù)如何改變我們的生活
大數(shù)據(jù)對我們?nèi)粘I畹母淖兪紫润w現(xiàn)在思維方式上,嚴格來說,大數(shù)據(jù)并非是一個確切的概念,說大數(shù)據(jù)是一種工具,一種新的思維方式也許更加準確。大數(shù)據(jù)打破了人類之所以是人類的原因之一即邏輯思維方式,大數(shù)據(jù)不講究因果關(guān)系,而因果關(guān)系正是邏輯思維運作的基礎(chǔ),大數(shù)據(jù)講究的是相關(guān)性,由這個相關(guān)性可產(chǎn)生一系列的大數(shù)據(jù)的實際應(yīng)用。當(dāng)然大數(shù)據(jù)的本質(zhì)還是一種數(shù)據(jù)庫技術(shù),那么傳統(tǒng)數(shù)據(jù)庫所具有的一些特性,大數(shù)據(jù)當(dāng)然也一個不少,比如數(shù)據(jù)分析,數(shù)據(jù)挖掘等等。
大數(shù)據(jù)無處不在,它到底是如何改變我們生活的?
正如前文所言,大數(shù)據(jù)不講究因果關(guān)系,它更加關(guān)注事物的相關(guān)性,由著這個相關(guān)性誕生了一系列的新應(yīng)用,比如本文開頭言及谷歌對于流感的預(yù)測報告就是如此,此外與我們?nèi)粘I罡鼮橄⑾⑾嚓P(guān)的就是電子商務(wù)應(yīng)用了。
當(dāng)你在購物網(wǎng)站京東搜索了你想買的某類產(chǎn)品,或是你在京東上常常瀏覽某種類型的商品后,京東背后的大數(shù)據(jù)應(yīng)用會為你建立一個小的數(shù)據(jù)庫,這個數(shù)據(jù)庫涵蓋你以往的購物歷史數(shù)據(jù)、搜索記錄(搜索了什么類型的商品等)、瀏覽記錄(瀏覽了什么商品等數(shù)據(jù)),基本上你在京東上的行為都被一一記錄下來形成一個你私人的大數(shù)據(jù),這對你而言是沒有意義的,對京東而言就意義重大了,京東會由此預(yù)測你在此時此刻可能對某些商品會感興趣(京東當(dāng)然
不會關(guān)注你為什么會對這些商品感興趣了,因為原因?qū)〇|而言沒有意義,京東關(guān)注的是如何把商品賣出去,你的興趣才是它的關(guān)注點),于是當(dāng)你在瀏覽其他網(wǎng)頁時(與京東合作的相關(guān)網(wǎng)站),在該頁面的廣告欄便會輪番顯示你感興趣或者曾經(jīng)瀏覽過的商品,在大大提升廣告推廣效率的同時亦不會讓你反感(甚至某種你需求商品在其上的降價可激發(fā)你的感激之情),除此之外,對商家而言,依據(jù)眾多用戶購買行為而建立的大數(shù)據(jù),可有效地判斷某時某地大眾的消費趨勢,為更好地實施商業(yè)戰(zhàn)略規(guī)劃提供參考。
大數(shù)據(jù)在城市智能交通上的應(yīng)用正是基于其在數(shù)據(jù)分析與挖掘之上的。記錄一座城市一天24小時的交通數(shù)據(jù)信息是一項龐大的工程,一個完善的城市交通大數(shù)據(jù)(這些數(shù)據(jù)主要來自城市各個干道上所安裝的智能化視頻監(jiān)控系統(tǒng)、停車場的智能卡口系統(tǒng)、地鐵公交系統(tǒng)的刷卡記錄等)系統(tǒng)應(yīng)該將這些數(shù)據(jù)悉數(shù)記錄,這些數(shù)據(jù)包括城市各個路段上實時的交通流量信息(如各個路段上事實的交通擁堵情況,單位時間的車流量,甚至某輛車由某位置到達某位置預(yù)計所需要的時間等等)、歷史交通信息的存儲與查詢等,城市交通大數(shù)據(jù)系統(tǒng)會依據(jù)相應(yīng)的數(shù)據(jù)模型展開數(shù)據(jù)分析與挖掘,并將分析報告的結(jié)果實時呈現(xiàn)出來,這些實時的交通信息報告給城市的交管部門更為良好的管理整個城市的交通運作提供最有價值的決策依據(jù)。
也許大數(shù)據(jù)應(yīng)用對城市智能交通管理系統(tǒng)更大的價值在于一旦城市交通出現(xiàn)緊急情況,比如出現(xiàn)交通事故時,肇事司機駕車逃逸,此時管理部門啟動整個交通平臺的大數(shù)據(jù)技術(shù)對罪犯進行追捕將變得極為有效:在基本確定了在某個時間段內(nèi)某地段所發(fā)生的交通事故后,在周圍布置的智能視頻監(jiān)控系統(tǒng)可依據(jù)該逃逸車輛的特征(車的類型、顏色、逃逸司機的特征,車牌號中包括了哪些數(shù)字等)迅速地確定該逃逸車輛的車牌號,依據(jù)車牌號再確定司機姓名(即使有時不是車輛所有者本人亦無關(guān)系,依然可作為案件偵查的重要線索),此時該范圍內(nèi)所有布置的智能視頻監(jiān)控系統(tǒng)(可依據(jù)監(jiān)控物特征進行識別)將悉數(shù)處于戒備狀態(tài),一旦該車輛從其“眼皮”底下溜過時即會觸發(fā)報警,該報警會自動上傳至城市智能交通管理系統(tǒng),系統(tǒng)在完成位置的確定后即可實施抓捕,大數(shù)據(jù)在整個運作過程中扮演了幕后英雄的角色,最終將犯罪分子繩之以法!
大數(shù)據(jù)本質(zhì)是一種工具,其價值在于人類如何利用它
盡管大數(shù)據(jù)的存在不露聲色,但它與我們的生活已密不可分,它就像一只看不見的手,
在一定程度上操控著我們的生活。當(dāng)你瀏覽網(wǎng)頁時,大數(shù)據(jù)會依據(jù)你的喜好向你推薦感興趣的商品,你不討厭,你甚至欣喜若狂,因為你發(fā)現(xiàn)看上的某商品在低價出售,也許事后你又會恨得咬牙切齒,怪自己不該沖動剁手,買了一件用不上的東西,但大數(shù)據(jù)卻扎扎實實地改變了你的生活。事實上,在你網(wǎng)購的同時,你的購買行為本身亦成為網(wǎng)站大數(shù)據(jù)應(yīng)用的一部分,正是這許許多多的一部分成就了大數(shù)據(jù)應(yīng)用的基礎(chǔ)。
太陽底下無新事,大數(shù)據(jù)亦如此,它不追究事物的原因,不講究因果關(guān)系,但它把事物的相關(guān)性發(fā)揮得淋漓盡致,正是基于此,它建立了許許多多成功的商業(yè)應(yīng)用,但這些商業(yè)應(yīng)用成功的真正原因卻不在大數(shù)據(jù)本身,而是人類自身所具備的智慧造就,誠如本文開頭所言,谷歌收集的數(shù)據(jù)只是用戶的檢索數(shù)據(jù),是谷歌的工程師們發(fā)現(xiàn)了用戶檢索與流感之間的聯(lián)系才產(chǎn)生了后來大數(shù)據(jù)具備的預(yù)測性應(yīng)用,一句話,大數(shù)據(jù)的本質(zhì)只是一種工具,如何用好這個工具,還得仰仗人類自身的智慧了!
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11