
大數(shù)據(jù)是什么_大數(shù)據(jù)可以做什么_大數(shù)據(jù)實(shí)際做了什么_大數(shù)據(jù)要怎么做
“大數(shù)據(jù)”一詞時(shí)下的熱門程度無需贅言,這一兩年來互聯(lián)網(wǎng)相關(guān)的任何活動(dòng)、會議必不可少“大數(shù)據(jù)”板塊。剛剛結(jié)束的第13屆“中國互聯(lián)網(wǎng)大會”也專設(shè)了大數(shù)據(jù)論壇。
對于任何一個(gè)大數(shù)據(jù)的從業(yè)者或初接觸者,或許都會有個(gè)共同的感觸:大數(shù)據(jù)很有用!大數(shù)據(jù)該怎么用?
關(guān)于大數(shù)據(jù)的著作和文章鋪天蓋地,似乎也共同在傳遞一個(gè)信息:越來越多的行業(yè)、人士開始關(guān)注并實(shí)際探索大數(shù)據(jù)的應(yīng)用,我們正在一起描繪著大數(shù)據(jù)巨大效用的藍(lán)圖,但在實(shí)踐的路上,我們都還在起步階段小步前行。
大數(shù)據(jù)根基于互聯(lián)網(wǎng),數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、云計(jì)算等互聯(lián)網(wǎng)技術(shù)的發(fā)展為大數(shù)據(jù)的應(yīng)用奠定了基礎(chǔ)。然而實(shí)踐應(yīng)用尚處于在探索中前進(jìn)。同樣作為探索學(xué)習(xí),我想從我個(gè)人的理解角度,分享并與大家探討四個(gè)問題:大數(shù)據(jù)是什么?大數(shù)據(jù)可以做什么?大數(shù)據(jù)實(shí)際做了什么?大數(shù)據(jù)要怎么做?
引用3個(gè)比較常用的大數(shù)據(jù)定義:
(1)需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
—— Gartner
(2)海量的數(shù)據(jù)規(guī)模(Volume)、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系(Velocity)、多樣的數(shù)據(jù)類型(Variety)、巨大的數(shù)據(jù)價(jià)值(Value)。
—— IDC
(3)或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料,指所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工,在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的信息。
—— Wiki
其他關(guān)于大數(shù)據(jù)的定義也大抵類似,我們可以用幾個(gè)關(guān)鍵詞對大數(shù)據(jù)做一個(gè)界定。
首先,“規(guī)模大”,這種規(guī)??梢詮膬蓚€(gè)維度來衡量,一是從時(shí)間序列累積大量的數(shù)據(jù),二是在深度上更加細(xì)化的數(shù)據(jù)。
其次,“多樣化”,可以是不同的數(shù)據(jù)格式,如文字、圖片、視頻等,可以是不同的數(shù)據(jù)類別,如人口數(shù)據(jù),經(jīng)濟(jì)數(shù)據(jù)等,還可以有不同的數(shù)據(jù)來源,如互聯(lián)網(wǎng)、傳感器等。
第三,“動(dòng)態(tài)化”。數(shù)據(jù)是不停地變化的,可以隨著時(shí)間快速增加大量數(shù)據(jù),也可以是在空間上不斷移動(dòng)變化的數(shù)據(jù)。
這三個(gè)關(guān)鍵詞對大數(shù)據(jù)從形象上做了界定。
但還需要一個(gè)關(guān)鍵能力,就是“處理速度快”。如果這么大規(guī)模、多樣化又動(dòng)態(tài)變化的數(shù)據(jù)有了,但需要很長的時(shí)間去處理分析,那不叫大數(shù)據(jù)。從另一個(gè)角度,要實(shí)現(xiàn)這些數(shù)據(jù)快速處理,靠人工肯定是沒辦法實(shí)現(xiàn)的,因此,需要借助于機(jī)器實(shí)現(xiàn)。
最終,我們借助機(jī)器,通過對這些數(shù)據(jù)進(jìn)行快速的處理分析,獲取想要的信息或者應(yīng)用的整套體系,才能稱為大數(shù)據(jù)。
我們可以用下面的圖示給大數(shù)據(jù)定義:
想要應(yīng)用大數(shù)據(jù),從流程上來說,大概是這樣。
首先我們要有數(shù)據(jù)源,然后對數(shù)據(jù)進(jìn)行收集和存儲,在這基礎(chǔ)上,再進(jìn)行分析和應(yīng)用,形成我們的產(chǎn)品和服務(wù),而產(chǎn)品和服務(wù)也會產(chǎn)生新的數(shù)據(jù),這些新數(shù)據(jù)會循環(huán)進(jìn)入我們的流程中。
當(dāng)這整個(gè)循環(huán)體系成為一個(gè)智能化的體系,通過機(jī)器可以實(shí)現(xiàn)自動(dòng)化,那也許就會成為一種新的模式,不管是商業(yè)的,或者是其他。
然后具體到實(shí)際的應(yīng)用中,我認(rèn)為,大數(shù)據(jù)能夠?qū)崿F(xiàn)的應(yīng)用,可以概括為兩個(gè)方向,一是精準(zhǔn)化定制,二是預(yù)測。
首先,精準(zhǔn)化定制。
主要是針對供需兩方的,獲取需方的個(gè)性化需求,幫助供方定準(zhǔn)定位目標(biāo),然后依據(jù)需求提供產(chǎn)品,最終實(shí)現(xiàn)供需雙方的最佳匹配。
具體應(yīng)用舉例,也可以歸納為三類。
一是個(gè)性化產(chǎn)品,比如智能化的搜索引擎,搜索同樣的內(nèi)容,每個(gè)人的結(jié)果都不同?;蛘呤且恍┒ㄖ苹男侣劮?wù),或者是網(wǎng)游等。
第二種是精準(zhǔn)營銷,現(xiàn)在已經(jīng)比較常見的互聯(lián)網(wǎng)營銷,百度的推廣,淘寶的網(wǎng)頁推廣等,或者是基于地理位置的信息推送,當(dāng)我到達(dá)某個(gè)地方,會自動(dòng)推送周邊的消費(fèi)設(shè)施等。
第三種是選址定位,包括零售店面的選址,或者是公共基礎(chǔ)設(shè)施的選址。
這些全都是通過對用戶需求的大數(shù)據(jù)分析,然后供方提供相對定制化的服務(wù)。
應(yīng)用的第二個(gè)方向,預(yù)測。
預(yù)測主要是圍繞目標(biāo)對象,基于它過去、未來的一些相關(guān)因素和數(shù)據(jù)分析,從而提前做出預(yù)警,或者是實(shí)時(shí)動(dòng)態(tài)的優(yōu)化。
從具體的應(yīng)用上,也大概可以分為三類。
一是決策支持類的,小到企業(yè)的運(yùn)營決策,證券投資決策,醫(yī)療行業(yè)的臨床診療支持,以及電子政務(wù)等。
二是風(fēng)險(xiǎn)預(yù)警類的,比如疫情預(yù)測,日常健康管理的疾病預(yù)測,設(shè)備設(shè)施的運(yùn)營維護(hù),公共安全,以及金融業(yè)的信用風(fēng)險(xiǎn)管理等。
第三種是實(shí)時(shí)優(yōu)化類的,比如智能線路規(guī)劃,實(shí)時(shí)定價(jià)等。
以上呢,是各種文獻(xiàn)資料里,對于大數(shù)據(jù)可以用來做什么的一些暢想,事實(shí)上也許大數(shù)據(jù)可以做的事情,可以擴(kuò)展到方方面面。
但是,我們再看現(xiàn)實(shí)中,大數(shù)據(jù)實(shí)際應(yīng)用到了什么程度呢?
我認(rèn)為,目前大數(shù)據(jù)真正實(shí)現(xiàn)了商業(yè)化的應(yīng)用,只有一種,就是互聯(lián)網(wǎng)營銷。
其他我們前面列舉的方向,會有些初步的應(yīng)用,但基本都還停留在探索的階段。比如疫情預(yù)測,無抵押信用貸款等,對于準(zhǔn)確性、精細(xì)度、可推廣性等方面還有待推敲。
造成大數(shù)據(jù)實(shí)際應(yīng)用與目標(biāo)藍(lán)圖之間差距的主要原因是什么,我認(rèn)為是數(shù)據(jù)源的問題。
你必須先獲得數(shù)據(jù),然后才能應(yīng)用數(shù)據(jù)。
因此,數(shù)據(jù)的可獲取性,成為大數(shù)據(jù)在具體行業(yè)應(yīng)用性評價(jià)的一個(gè)重要維度。
可以從數(shù)據(jù)的標(biāo)準(zhǔn)化、開放性和集中度幾個(gè)維度衡量數(shù)據(jù)可獲取性
同時(shí),獲取了數(shù)據(jù)之后,在應(yīng)用數(shù)據(jù)方面,可以從大數(shù)據(jù)應(yīng)用的潛在價(jià)值維度來衡量,包括效率的提升、成本降低或者是新模式的產(chǎn)生。
此外,還可以從大數(shù)據(jù)行業(yè)應(yīng)用的可復(fù)制/推廣性的角度來衡量,不僅包括在本行業(yè)內(nèi)的推廣,同時(shí)也包括跨行業(yè)的推廣性。
從三個(gè)維度,我個(gè)人對大數(shù)據(jù)在各行業(yè)應(yīng)用的可能性做了一個(gè)定位,但這個(gè)定位還是非常定性和粗略的,具體可能還需要對行業(yè)有更多的大數(shù)據(jù)應(yīng)用的探討和探索。
我認(rèn)為可以從兩個(gè)維度發(fā)展,首先一個(gè)重點(diǎn)任務(wù)就是要累積數(shù)據(jù),以自身擁有的互聯(lián)網(wǎng)數(shù)據(jù)及大數(shù)據(jù)技術(shù)兩個(gè)資源為基礎(chǔ),從一些細(xì)分應(yīng)用切入,比如可以先從企業(yè)角度,繼而擴(kuò)展到行業(yè)甚至跨行業(yè)的角度,從細(xì)分應(yīng)用先有一些產(chǎn)品的產(chǎn)出,這會成為獲取更多數(shù)據(jù)的入口,同時(shí)也為大數(shù)據(jù)更廣應(yīng)用提供了方向借鑒。
但還有一點(diǎn),對于平臺型的互聯(lián)網(wǎng)企業(yè),在確定與哪些企業(yè)或者行業(yè)數(shù)據(jù)結(jié)合、應(yīng)用大數(shù)據(jù)時(shí),可以有一些篩選條件,比如,是不是發(fā)揮了平臺屬性,另外,這種應(yīng)用是不是具有可復(fù)制或推廣性,不是只局限于某一個(gè)企業(yè)內(nèi),至少是可以應(yīng)用到整個(gè)行業(yè)中的。
以上,是我個(gè)人對大數(shù)據(jù)的一些思考,也希望可以跟更多的朋友對于大數(shù)據(jù)實(shí)際應(yīng)用上有些探討和學(xué)習(xí)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10