
大數(shù)據(jù):第二次數(shù)據(jù)革命_數(shù)據(jù)分析師
【核心提示】與傳統(tǒng)數(shù)據(jù)相比,大數(shù)據(jù)的資源性特征尤為突出,成為各國(guó)重視開(kāi)發(fā)大數(shù)據(jù)的依據(jù)。在知識(shí)的演化過(guò)程中,數(shù)據(jù)既是產(chǎn)生信息、知識(shí)、智慧的基礎(chǔ),又同時(shí)貫穿于其中。進(jìn)入信息化時(shí)代,遇到的最大難題不是信息不足,而是信息孤島的問(wèn)題,只有實(shí)現(xiàn)大數(shù)據(jù)的共享和規(guī)范管理,才能破解這一難題。
曾幾何時(shí),數(shù)據(jù)是人類用于識(shí)別環(huán)境的計(jì)數(shù)工具,對(duì)其精確性的關(guān)注似乎僅限于科學(xué)研究領(lǐng)域。進(jìn)入信息化時(shí)代,我們每一個(gè)人都明顯感受到與信息相關(guān)的數(shù)據(jù)無(wú)處不在??梢哉f(shuō),我們自身在不斷產(chǎn)生各種數(shù)據(jù)的同時(shí),數(shù)據(jù)也在極大地影響我們。
在數(shù)據(jù)的發(fā)展歷程中有過(guò)兩次革命。第一次數(shù)據(jù)革命是近代科學(xué)誕生之時(shí),實(shí)現(xiàn)了數(shù)據(jù)與科學(xué)研究的融合,數(shù)據(jù)在科學(xué)研究中的基礎(chǔ)地位得到確立。對(duì)研究過(guò)程和結(jié)果賦予精確化的訴求,是近代科學(xué)的基本特征之一。在以數(shù)據(jù)為依據(jù)的研究范式中,數(shù)據(jù)的可靠性和準(zhǔn)確性代表了研究的精確性,人們甚至將以數(shù)據(jù)為依據(jù)的實(shí)證研究作為判斷“科學(xué)”與“偽科學(xué)”的標(biāo)準(zhǔn)。
隨著科學(xué)和技術(shù)的發(fā)展,數(shù)據(jù)的形式和內(nèi)涵也在不斷變化和發(fā)展。除觀測(cè)數(shù)據(jù)、實(shí)驗(yàn)數(shù)據(jù)、理論數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)、模擬數(shù)據(jù)等外,圖、表、文字均被納入數(shù)據(jù)行列,形成了結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的多元化數(shù)據(jù)形式;信息技術(shù)的發(fā)展導(dǎo)致從數(shù)據(jù)匱乏向“數(shù)據(jù)豐富,理論匱乏”方向轉(zhuǎn)變,數(shù)據(jù)產(chǎn)生的速度和規(guī)模急劇發(fā)展;數(shù)據(jù)所蘊(yùn)含的信息遠(yuǎn)遠(yuǎn)超出其工具性和依據(jù)性特征,形成可以從中挖掘出新知識(shí)的大數(shù)據(jù)。與統(tǒng)計(jì)數(shù)據(jù)相比,大數(shù)據(jù)強(qiáng)調(diào)的是全部樣本;與科學(xué)數(shù)據(jù)的精確性相比,大數(shù)據(jù)允許存在一定范圍的不準(zhǔn)確性;與科學(xué)范式的因果關(guān)系相比,大數(shù)據(jù)通過(guò)關(guān)聯(lián)性尋求自然和社會(huì)的變化規(guī)律。因此,大數(shù)據(jù)引發(fā)了第二次數(shù)據(jù)革命,它不僅改變著科學(xué)研究范式,實(shí)現(xiàn)社會(huì)科學(xué)研究的定量化,也將促使經(jīng)濟(jì)、社會(huì)、軍事等所有社會(huì)領(lǐng)域產(chǎn)生巨大的變革。
在科學(xué)研究方面,通過(guò)遙感裝置、感應(yīng)器、計(jì)算機(jī)收集數(shù)據(jù)或模擬方法獲取的密集型數(shù)據(jù),經(jīng)過(guò)計(jì)算機(jī)軟件處理,產(chǎn)生的信息/知識(shí)被存儲(chǔ)在計(jì)算機(jī)中,科學(xué)家們只需在后臺(tái)利用數(shù)據(jù)管理和統(tǒng)計(jì)的方法對(duì)數(shù)據(jù)進(jìn)行處理、分析,獲取知識(shí),形成以大數(shù)據(jù)為基礎(chǔ)的密集型科學(xué),成為格雷提出的數(shù)據(jù)驅(qū)動(dòng)科學(xué)的第四種科學(xué)范式。正如EPJ Data Science雜志所指出的,21世紀(jì)面臨的數(shù)據(jù)驅(qū)動(dòng)科學(xué)已成為傳統(tǒng)假說(shuō)驅(qū)動(dòng)科學(xué)方法的補(bǔ)充,這種進(jìn)化伴隨科學(xué)范式從還原主義(簡(jiǎn)化)到復(fù)雜系統(tǒng)科學(xué)轉(zhuǎn)變的變革。
大數(shù)據(jù)可能導(dǎo)致社會(huì)科學(xué)研究的革命,促進(jìn)定量研究的深入。大數(shù)據(jù)突破了自然科學(xué)和社會(huì)科學(xué)的研究界限,實(shí)現(xiàn)了數(shù)據(jù)的可通約性,通過(guò)數(shù)據(jù)溝通了不同學(xué)科的資源。哥倫比亞大學(xué)沃茨博士通過(guò)研究發(fā)現(xiàn),大數(shù)據(jù)對(duì)極其復(fù)雜的人類行為的社會(huì)學(xué)研究起到了極其重大的作用,通過(guò)網(wǎng)絡(luò)數(shù)據(jù),大量個(gè)人或很小組織的真實(shí)行為通過(guò)計(jì)算機(jī)以數(shù)據(jù)形式被記錄下來(lái),這些數(shù)據(jù)為人類行為研究提供了極其豐富的可靠信息,避免了研究者認(rèn)知的偏見(jiàn)、感知的誤差和框架的歧義。
大數(shù)據(jù)對(duì)經(jīng)濟(jì)、社會(huì)、人類日常生活產(chǎn)生的影響不僅僅限于技術(shù)層面,對(duì)于管理理念、運(yùn)作方式也都將產(chǎn)生巨大的影響。“數(shù)據(jù)驅(qū)動(dòng)的社會(huì)管理”就是在社會(huì)管理中實(shí)施的一種新型管理模式,無(wú)論是政府還是組織機(jī)構(gòu),數(shù)據(jù)收集和分析已經(jīng)成為基層管理部門的基本要求,根據(jù)數(shù)據(jù)分析結(jié)果制定政策和法規(guī),將社會(huì)管理從事后處罰轉(zhuǎn)向事前防備,在醫(yī)療健康、國(guó)土安全、智慧城市建設(shè)、防范和打擊恐怖活動(dòng)、社會(huì)治安、治理社會(huì)腐敗等方面發(fā)揮著重要作用。20世紀(jì)美國(guó)的警務(wù)管理模式CompStat是利用大數(shù)據(jù)對(duì)社會(huì)治安進(jìn)行管理并取得良好成效的成功范例。利用地方各種傳感器收集的大數(shù)據(jù)和通過(guò)互聯(lián)網(wǎng)搜索關(guān)鍵詞,疾病控制部門可以預(yù)測(cè)和判斷某地的流行病爆發(fā)的情況。商務(wù)智能實(shí)現(xiàn)了從數(shù)據(jù)到知識(shí)的挑戰(zhàn)和跨越,“決策支持系統(tǒng)”更是以數(shù)據(jù)和信息為主要來(lái)源,等等。
無(wú)論是“數(shù)據(jù)驅(qū)動(dòng)的社會(huì)管理”還是“決策支持系統(tǒng)”,數(shù)據(jù)的獲取和對(duì)數(shù)據(jù)的挖掘都至關(guān)重要,對(duì)收集到的各種數(shù)據(jù),在后臺(tái)進(jìn)行分析,建立模型,利用云計(jì)算等計(jì)算手段,為制定政策、法律和決策提供技術(shù)支撐。各國(guó)已經(jīng)意識(shí)到大數(shù)據(jù)的重要性,將其視為與能源同等重要的資源。2012年3月29日,代表美國(guó)政府的白宮科技政策辦公室發(fā)布了《大數(shù)據(jù)研究和發(fā)展計(jì)劃》,并成立了“大數(shù)據(jù)高級(jí)指導(dǎo)小組”,將大數(shù)據(jù)技術(shù)革命帶來(lái)的機(jī)遇和挑戰(zhàn)提升到國(guó)家戰(zhàn)略層面。
與傳統(tǒng)數(shù)據(jù)相比,大數(shù)據(jù)的資源性特征尤為突出,成為各國(guó)重視開(kāi)發(fā)大數(shù)據(jù)的依據(jù)。在知識(shí)的演化過(guò)程中,數(shù)據(jù)既是產(chǎn)生信息、知識(shí)、智慧的基礎(chǔ),又同時(shí)貫穿于其中。進(jìn)入信息化時(shí)代,遇到的最大難題不是信息不足,而是信息孤島的問(wèn)題,只有實(shí)現(xiàn)大數(shù)據(jù)的共享和規(guī)范管理,才能破解這一難題。
在移動(dòng)網(wǎng)絡(luò)、云計(jì)算和其他技術(shù)的支持下,大數(shù)據(jù)迅猛發(fā)展,分析數(shù)據(jù)的技術(shù)不斷創(chuàng)新,第二次數(shù)據(jù)革命悄然發(fā)生。大數(shù)據(jù)與任何一項(xiàng)新技術(shù)一樣,在推動(dòng)社會(huì)變革的同時(shí)也造成了社會(huì)風(fēng)險(xiǎn),例如,個(gè)人隱私、數(shù)據(jù)的客觀性和準(zhǔn)確性、大數(shù)據(jù)的濫用等問(wèn)題,已經(jīng)遍及科學(xué)研究、社會(huì)管理、醫(yī)療保健、商務(wù)智能等眾多領(lǐng)域。
大數(shù)據(jù)與其他技術(shù)的不同在于其虛擬性,其隱蔽性和滲透性更加突出。這對(duì)個(gè)人、組織、國(guó)家甚至整個(gè)世界都可能帶來(lái)負(fù)面影響。因而,對(duì)其進(jìn)行更深層次的倫理學(xué)和哲學(xué)反思尤為重要。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開(kāi)啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03