
大數(shù)據(jù)的本質(zhì)是什么,在競(jìng)爭(zhēng)之中存在哪幾誤區(qū)
繼物聯(lián)網(wǎng)、云計(jì)算之后,“大數(shù)據(jù)”迅速成為大家爭(zhēng)相傳誦的熱門科技概念。“大數(shù)據(jù)”作為信息社會(huì)發(fā)展的一個(gè)新生事物,目前尚處在逐漸被認(rèn)識(shí)、被應(yīng)用的初始階段,無(wú)論是學(xué)術(shù)界還是IT行業(yè)對(duì)大數(shù)據(jù)的理解各有側(cè)重,尚未形成一套完整的理論體系,因此很難進(jìn)行精準(zhǔn)的定義。根據(jù)維基百科的定義,“大數(shù)據(jù)是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理、處理的數(shù)據(jù)集合?!惫P者則認(rèn)為,“大數(shù)據(jù)是通過(guò)對(duì)海量數(shù)據(jù)進(jìn)行分析,獲得有巨大價(jià)值的產(chǎn)品和服務(wù),或深刻的洞見(jiàn),最終形成變革之力”。
事實(shí)上大數(shù)據(jù)不是一個(gè)戰(zhàn)場(chǎng)層面的技術(shù)性名詞,而是一個(gè)戰(zhàn)略層面上的社會(huì)性名詞,并不是其構(gòu)成數(shù)據(jù)的簡(jiǎn)單累計(jì),是一個(gè)量變到質(zhì)變的產(chǎn)生了飛躍的事物。也就是說(shuō),從數(shù)據(jù)到大數(shù)據(jù),其本質(zhì)已經(jīng)發(fā)生了改變,如同對(duì)車的定義,并不是發(fā)動(dòng)機(jī)、輪子、油管這些組件的累計(jì)。
從本質(zhì)上講,大數(shù)據(jù)是指按照一定的組織結(jié)構(gòu)連接起來(lái)的數(shù)據(jù),是非常簡(jiǎn)單而且直接的事物,但是從現(xiàn)象上分析,大數(shù)據(jù)所呈現(xiàn)出來(lái)的狀態(tài)復(fù)雜多樣,這是因?yàn)楝F(xiàn)象是由觀察角度決定的,正如蘇軾在詩(shī)里所描述的,“橫看成嶺側(cè)成峰,遠(yuǎn)近高低各不同。不識(shí)廬山真面目,只緣身在此山中”。
由此可見(jiàn),大數(shù)據(jù)的核心關(guān)鍵是組織結(jié)構(gòu),而不是構(gòu)成大數(shù)據(jù)的數(shù)據(jù)本身,這個(gè)特征類似人工生命之父克里斯· 蘭頓(Chris Langton)對(duì)生命的描述,“生命的本質(zhì)在于物質(zhì)的組織形式,而不在于物質(zhì)的本身”,事實(shí)上,宇宙模型里的全部事物似乎都遵循這樣的構(gòu)成規(guī)則,結(jié)構(gòu)和節(jié)點(diǎn)上的物質(zhì)。
大數(shù)據(jù)的結(jié)構(gòu)是一個(gè)多層次、交織關(guān)聯(lián)的復(fù)雜系統(tǒng)結(jié)構(gòu),數(shù)據(jù)是分布在節(jié)點(diǎn)上的構(gòu)成物質(zhì),數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系是由節(jié)點(diǎn)的位置決定的,而不是由數(shù)據(jù)本身來(lái)決定。也就是說(shuō),不同的數(shù)據(jù)位于同一個(gè)節(jié)點(diǎn)時(shí),就可以獲得相同的關(guān)聯(lián)關(guān)系。比如張三在某個(gè)縣里政府政權(quán)結(jié)構(gòu)的局長(zhǎng)位置,他就獲得了這個(gè)節(jié)點(diǎn)位置上的所有關(guān)聯(lián)關(guān)系,如果李四替換了張三,那么李四就獲得了這個(gè)位置上的關(guān)聯(lián)關(guān)系,而張三就會(huì)失去這個(gè)位置上的關(guān)聯(lián)關(guān)系,獲得他新的節(jié)點(diǎn)位置上的關(guān)聯(lián)關(guān)系。
計(jì)算機(jī)專家對(duì)數(shù)據(jù)的劃分來(lái)自直觀的經(jīng)驗(yàn),分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)。這是符合人類社會(huì)發(fā)展規(guī)律的,即找到解決當(dāng)前問(wèn)題的方法,積累在解決問(wèn)題的過(guò)程中獲得的知識(shí),利用量變產(chǎn)生質(zhì)變的規(guī)律找到革命性的方法,把人類社會(huì)推到一個(gè)新的高度,然后再開(kāi)始新的發(fā)展周期。從當(dāng)前的全球社會(huì)現(xiàn)狀來(lái)看,人類社會(huì)文明正處在發(fā)生重大變革的關(guān)鍵時(shí)期,中國(guó)似乎將會(huì)成為人類新文明的發(fā)源地,因?yàn)樾挛拿鞯膭?chuàng)建一定會(huì)摧毀當(dāng)前文明里落后的結(jié)構(gòu)體系,而不是在現(xiàn)有的建筑上粉飾裝修,比如價(jià)值體系、道德體系等。
由此可見(jiàn),不能采用傳統(tǒng)的處理數(shù)據(jù)的方法來(lái)處理大數(shù)據(jù),而是要采用哲學(xué)的思維對(duì)數(shù)據(jù)進(jìn)行抽象的邏輯描述。在哲學(xué)思維里,數(shù)據(jù)只是位于結(jié)構(gòu)節(jié)點(diǎn)上的存在事實(shí),同一個(gè)數(shù)據(jù)如果位于不同的節(jié)點(diǎn),則其對(duì)應(yīng)的關(guān)聯(lián)關(guān)系也是不同的,比如同一個(gè)蘋果的數(shù)據(jù),位于保定市節(jié)點(diǎn)和位于青島市節(jié)點(diǎn)位置,其對(duì)應(yīng)的關(guān)聯(lián)關(guān)系是不同的。
按照哲學(xué)的模型思維,任何數(shù)據(jù)都是結(jié)構(gòu)化數(shù)據(jù),人們把文件、視頻劃分為非結(jié)構(gòu)化數(shù)據(jù)類,是因?yàn)樗鼈儽旧硎怯纱罅繑?shù)據(jù)組成的事物,是一個(gè)具有復(fù)雜結(jié)構(gòu)的事物,而這種復(fù)雜性是無(wú)法采用當(dāng)前的結(jié)構(gòu)化技術(shù)(數(shù)據(jù)庫(kù)結(jié)構(gòu)等)來(lái)描述的,如同地球包含了巖石、樹(shù)木、人、馬、羊等各種事物,不能采用描述馬、羊的方式來(lái)準(zhǔn)確地描述地球。當(dāng)前的數(shù)據(jù)描述方式是由人們的認(rèn)知空間尺度決定的,如同霍金提出的金魚缸理論,金魚缸的空間尺度決定了科學(xué)家的認(rèn)知尺度和模式。目前對(duì)結(jié)構(gòu)化數(shù)據(jù)的管理基本上是采用二維表格模型,而把不能采用二維表格模型進(jìn)行存儲(chǔ)管理的數(shù)據(jù)歸類為非結(jié)構(gòu)化數(shù)據(jù)。
數(shù)據(jù)是網(wǎng)絡(luò)空間里的構(gòu)成事物,如同物質(zhì)是物理空間里的構(gòu)成事物一樣,但是能否真正達(dá)到預(yù)期的目標(biāo),成為在全球有影響力的數(shù)據(jù)集散地,核心技術(shù)、顛覆性的技術(shù)是關(guān)鍵。
大數(shù)據(jù)競(jìng)爭(zhēng)中的幾個(gè)誤區(qū):
(1)嚴(yán)格地講,企業(yè)級(jí)的數(shù)據(jù)都不會(huì)成為大數(shù)據(jù),無(wú)論這個(gè)企業(yè)的規(guī)模有多大。這是因?yàn)榇髷?shù)據(jù)是由大量不同類型的數(shù)據(jù)形成的多樣化的生態(tài)應(yīng)用體系,類似生物圈的食物鏈體系。而企業(yè)的數(shù)據(jù)只是基于滿足少量應(yīng)用需求而組織起來(lái)的數(shù)據(jù),比如google的數(shù)據(jù)管理結(jié)構(gòu)。大數(shù)據(jù)屬于區(qū)域性的社會(huì)型數(shù)據(jù),區(qū)域內(nèi)的任何有數(shù)據(jù)需求的企業(yè)、機(jī)構(gòu)或者個(gè)人,都可以從大數(shù)據(jù)里獲得所需的數(shù)據(jù)。
(2)大數(shù)據(jù)是網(wǎng)絡(luò)空間里的數(shù)據(jù)存在形式,所以在未來(lái)的網(wǎng)絡(luò)空間競(jìng)爭(zhēng)里,大數(shù)據(jù)是最重要也是最殘酷的競(jìng)爭(zhēng),統(tǒng)一的大數(shù)據(jù)模型是網(wǎng)絡(luò)空間的發(fā)展目標(biāo),如同星系結(jié)構(gòu)模型是物理空間的唯一模型一樣,在不同的觀察尺度里,其結(jié)構(gòu)模型是相似的。
從這個(gè)角度講,網(wǎng)絡(luò)空間競(jìng)爭(zhēng)的焦點(diǎn)之一就是大數(shù)據(jù)模型的建立,這是通過(guò)顛覆性的技術(shù)確立模型標(biāo)準(zhǔn)的過(guò)程。網(wǎng)絡(luò)空間的主權(quán)共享是指網(wǎng)絡(luò)空間創(chuàng)建完成后的應(yīng)用資源共享,并不是指共享創(chuàng)建網(wǎng)絡(luò)空間的所有技術(shù)。擁有創(chuàng)建網(wǎng)絡(luò)空間的源頭核心技術(shù),等同于擁有源頭的控制權(quán),相當(dāng)于擁有修改網(wǎng)絡(luò)空間結(jié)構(gòu)和規(guī)則的權(quán)力。
(3)大數(shù)據(jù)是邏輯過(guò)程發(fā)生后的結(jié)果,不是邏輯過(guò)程,所以大數(shù)據(jù)本身不是方法論。為大數(shù)據(jù)提供處理方法的是云計(jì)算,弄不清楚這個(gè)關(guān)系,地方政府就很難對(duì)大數(shù)據(jù)產(chǎn)業(yè)進(jìn)行合理有效的規(guī)劃布局,企業(yè)在發(fā)展過(guò)程中也會(huì)產(chǎn)生迷茫。
(4)大數(shù)據(jù)里的原始數(shù)據(jù)來(lái)源具有多樣性、動(dòng)態(tài)性、小規(guī)模、碎片化等特征,政府部門或者機(jī)構(gòu)、企業(yè)提供的專業(yè)性數(shù)據(jù)盡管數(shù)量龐大,但是也不是真正的大數(shù)據(jù)。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10