
人類知識的唯一來源,是對過去經(jīng)驗的記錄和整理,而數(shù)據(jù),正是這種記錄的載體,因此數(shù)據(jù)的價值首先在于它是知識的來源。如果說傳統(tǒng)的數(shù)據(jù)是人類部分知識的來源,那隨著人類記錄范圍的不斷擴大,現(xiàn)代意義上的大數(shù)據(jù)將逐漸成為人類全部知識的來源。
數(shù)據(jù)是對客觀世界的測量和記錄,這種記錄也是對歷史和現(xiàn)實的記錄。1869 年,當(dāng)美國總統(tǒng)加菲爾德在對美國的人口普查體系進行現(xiàn)代化改造之時,他就發(fā)現(xiàn),數(shù)據(jù)當(dāng)中不僅蘊藏著社會發(fā)展的規(guī)律,它還提供了一種全新的歷史書寫方式:
直到現(xiàn)在,歷史學(xué)家還是以一種總體的形式來研究一個國家,他們只能給我們講述帝王將相以及戰(zhàn)爭的歷史,但關(guān)于人民本身我們龐大社會中每個生命的成長、各種力量、細節(jié)及其規(guī)律,歷史學(xué)家說不出太多的東西而普查把我們的觀察放大到民房、家庭、工廠、煤礦、田野、監(jiān)獄、醫(yī)院等集中展示人性之強大及脆弱的所有地方,這讓新的歷史記錄成為可能。
今天回頭看,此話非常具有前瞻性。隨著人類躍進到大數(shù)據(jù)時代,數(shù)據(jù)不僅是新知識的來源,還是記錄歷史最重要、最可靠、最好的方式。從今以后,人類所有的歷史記錄,無論是數(shù)字、文檔、圖片,還是音頻和視頻,都將以數(shù)據(jù)的形式存在,數(shù)據(jù)就是靜態(tài)的歷史,歷史就是動態(tài)的數(shù)據(jù)。歷史的碎片,就是游離的數(shù)據(jù);歷史的迷霧,就是模糊的數(shù)據(jù);歷史的盲點,就是缺失的數(shù)據(jù)。用數(shù)據(jù)構(gòu)建的歷史,因為精確的細節(jié)而永遠鮮活,數(shù)據(jù)越豐富,后世的歷史學(xué)家也就越能經(jīng)由數(shù)據(jù)更好地再現(xiàn)當(dāng)時的社會。
除了發(fā)現(xiàn)知識、記錄歷史,本書認為,人類使用數(shù)據(jù)的巔峰形式,是通過數(shù)據(jù)訓(xùn)練機器,讓機器獲得智能,在不遠的將來,無處不在的計算設(shè)備和網(wǎng)絡(luò)將像有智商的人一樣,為人類工作和服務(wù)。這意味著我們在向智能型社會邁進,在這個新的社會形態(tài),由于精準的計算和預(yù)測,整個社會的各個部分可以像無數(shù)個大大小小的軸承和齒輪一樣,環(huán)環(huán)相扣,齒齒吻合,日常管理將通過數(shù)據(jù)得到優(yōu)化,各種任務(wù)、合作可以無縫對接,社會運行的成本可大幅降低,更重要的是,越來越多的工作將被計算機或者機器人代替。這既是進步,又是挑戰(zhàn)。回望農(nóng)業(yè)時代和工業(yè)時代,人類不斷地開發(fā)我們賴以生存的自然環(huán)境,從地表到地下,物理性的資源終有耗盡的一天,而大數(shù)據(jù)將成為人類取之不盡、用之不竭的新資源,在這片資源之上,再通過軟件和算法,人類將建設(shè)一個智能型世界。
數(shù)據(jù),正在成為這個世界最重要的土壤和基礎(chǔ)。
在這個社會轉(zhuǎn)型的緊要關(guān)頭,中國,作為正在趕超發(fā)達國家的發(fā)展中國家,歷史將賦予我們前所未有的機遇。例如,當(dāng)年的美國用了幾十年的努力,才建立了全民信用制度,今天,因為掌握了客戶的交易流水?dāng)?shù)據(jù),阿里巴巴在短短幾分鐘之內(nèi)就可以決定是否發(fā)放一筆貸款。利用無處不在的充沛數(shù)據(jù),中國的全民信用體系可能在較短的時間內(nèi)、以較小的成本就可以建立起來。又如,隨著網(wǎng)絡(luò)的普及,信用卡將數(shù)據(jù)化、虛擬化,實體信用卡將大幅減少甚至消失,這意味著我們的銀行不用再像美國銀行那樣建設(shè)那么多的物理網(wǎng)點和自動存取款機了。再如,因為智能在線教育平臺的出現(xiàn),未來的教育資源完全不會局限于鋼筋水泥的學(xué)校,中國教育資源緊缺的問題可能得到快速的、大幅的緩解。此外,可穿戴式電腦設(shè)備、智能軟件診斷系統(tǒng)、遠程醫(yī)療等技術(shù)的出現(xiàn),將緩解醫(yī)療資源、專業(yè)人才的緊缺。
種種機遇,可以概括為后發(fā)優(yōu)勢。
以銀行的自動存取款機為例。從下表可以看出,近年來,中國擁有的自動存取款機在迅速增加。 2012 年,中國平均每 10 萬成年人擁有的自動提款機數(shù)量為37.51 臺,但和英、美、日、加等發(fā)達國家相比,我們的差距還很大:加拿大平均每 10 萬成年人擁有的自動存取款機為 205 臺、美國為 173 臺、日本為 127 臺。如果要在數(shù)據(jù)上縮小、拉平這個差距,中國肯定還需要很多年的努力。但由于大數(shù)據(jù)、互聯(lián)網(wǎng)金融的出現(xiàn)和普及,大部分金融交易都可以通過虛擬賬戶來完成??梢灶A(yù)見,未來的社會一定不需要那么多實體存取款機了,如果我們現(xiàn)在就能立足長遠、科學(xué)規(guī)劃,就可以跨越建設(shè)這些存取款機的環(huán)節(jié)、省去相應(yīng)的費用,這就是后發(fā)優(yōu)勢。
數(shù)據(jù)來源:世界銀行,Automated teller machines (ATMs) (per 100 000 adults),表示沒有獲得當(dāng)年的年度數(shù)據(jù)。
2001 年前后,華裔經(jīng)濟學(xué)家楊小凱先生曾經(jīng)提出,如果中國僅僅重視技術(shù)模仿,而忽視制度建設(shè),后發(fā)優(yōu)勢就可能轉(zhuǎn)化為后發(fā)劣勢,但我認為,我們當(dāng)下?lián)碛械暮蟀l(fā)優(yōu)勢并不屬于這個范疇?,F(xiàn)在出現(xiàn)的后發(fā)優(yōu)勢,是因為人類正在從工業(yè)文明大步邁進信息文明,因為大數(shù)據(jù)的沖擊、智能社會的到來,人類的地平線上出現(xiàn)了一些新方法來解決一些老問題,這些方法用的不是鋼筋和水泥,而是軟件和數(shù)據(jù)!
但要在全球競爭中把握住這種后發(fā)優(yōu)勢,并不容易。國與國之間的競爭,表面上是科技競爭、經(jīng)濟競爭,但歸根結(jié)底,還是國民素質(zhì)和文化的競爭。沒有一個健康、理性、與時俱進的文化,一個國家就難以變得強大,本書的努力,就是試圖在中國,把數(shù)據(jù)這個科技符號變成一個文化符號,將大數(shù)據(jù)這個高端精英的話題變成一個大眾話題,使數(shù)據(jù)文化進入中國人的視野、融入中國人的意識和血液。
面對一輪又一輪的技術(shù)浪潮,世界各國的政府(包括歐美發(fā)達國家)的反應(yīng)其實都很遲鈍。信息技術(shù)發(fā)展到今天,它已經(jīng)不是在推動社會的進步,而是在拉動社會的進步。如前文所述,如今社會的各種配套設(shè)施、管制規(guī)定已經(jīng)滯后于信息技術(shù)的發(fā)展,技術(shù)的能量要全部釋放,社會就必須重建自己的基礎(chǔ)設(shè)施和管制體系?;仡^再看美國的鍍金時代和進步時代,正是在從農(nóng)業(yè)社會到工業(yè)社會的轉(zhuǎn)型中,美國適時地抓住了機會,不僅成功化解了當(dāng)時的社會危機,還實現(xiàn)了大國崛起。如今一個新的社會形態(tài)又在向我們靠近,在這個轉(zhuǎn)折點上,對任何一個國家而言,戰(zhàn)略選擇都特別重要,其中最大的責(zé)任和挑戰(zhàn),莫過于政府。
但任何一個國家的建設(shè)和進步,又不能全盤系于政府。不調(diào)動全社會的力量、沒有真正的公民,國家的進步就會缺乏長期的動力,其進步就只能依靠外部的刺激和外力的拖動,結(jié)果就是:跟在發(fā)達國家背后亦步亦趨。在中國社會幾千年的封建王朝更替中,不乏這樣的例子和教訓(xùn)。公民,無數(shù)的公民,才是推動一個社會不斷進步的源源動力。對于中國社會的決策者而言,關(guān)鍵是要意識到,新技術(shù)的能量將打破權(quán)力的平衡,在傳統(tǒng)的界限之外,已經(jīng)出現(xiàn)了一些新的、可調(diào)用的資源,必須要有新思路、新手段去整合、調(diào)用這些資源。
改變,并不一定代表進步,但進步,一定需要改變。我們期待中國更多的進步和改變。這系于政府,系于中國大眾,更系于中國的文化革新。
(選摘自涂子沛先生新作《數(shù)據(jù)之巔》結(jié)語)
數(shù)據(jù),自古就有,人口普查、農(nóng)業(yè)統(tǒng)計、軍事戰(zhàn)爭、政治計算數(shù)據(jù)雖小,卻有助于治國安邦。美國之所以繁榮鼎盛,數(shù)據(jù)文化根基牢不可破概是主因之一。
信息爆炸、互聯(lián)互通、智慧城市時代,大數(shù)據(jù),更以排山倒海之勢席卷全球,政府施政、企業(yè)掘金,大眾要公平與正義,大數(shù)據(jù)被賦予了新的歷史使命。
在《數(shù)據(jù)之巔》這本書中,從小數(shù)據(jù)時代到大數(shù)據(jù)的崛起,作者以宏大的歷史觀、文化觀、大數(shù)據(jù)觀,給我們描繪了一幅數(shù)據(jù)科學(xué)、智慧文化的全景圖。全書從美國建國之基講起,通過闡述初數(shù)時代、內(nèi)戰(zhàn)時代、鍍金時代、進步時代、抽樣時代、大數(shù)據(jù)時代的特征,系統(tǒng)梳理了美國數(shù)據(jù)文化的形成,闡述了其數(shù)據(jù)治國之道,論述了中國數(shù)據(jù)文化的薄弱之處,展望了未來數(shù)據(jù)世界的遠景。
尊重事實,用數(shù)據(jù)說話,推崇知識和理性,用數(shù)據(jù)創(chuàng)新,作者不僅意在傳承黃仁宇數(shù)目字管理的薪火,還試圖把數(shù)據(jù)這個科技符號在中國轉(zhuǎn)變?yōu)槲幕?,形成一種文化話語體系。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10