
半個(gè)世界前的大數(shù)據(jù)時(shí)代
馬云在最近的一次公開(kāi)演講中談到市場(chǎng)經(jīng)濟(jì)與計(jì)劃經(jīng)濟(jì)的比較:“我們過(guò)去的一百多年來(lái)一直覺(jué)得市場(chǎng)經(jīng)濟(jì)非常之好,我個(gè)人看法未來(lái)三十年會(huì)發(fā)生很大的變化,計(jì)劃經(jīng)濟(jì)將會(huì)越來(lái)越大。為什么?因?yàn)閿?shù)據(jù)的獲取,我們對(duì)一個(gè)國(guó)家市場(chǎng)這只無(wú)形的手有可能被我們發(fā)現(xiàn)?!?
這聽(tīng)起來(lái)是一個(gè)相當(dāng)大膽、甚至有科幻感的設(shè)想:如果能用深入基層的信息終端采集生產(chǎn)和消費(fèi)數(shù)據(jù),用全國(guó)連通的網(wǎng)絡(luò)匯總經(jīng)濟(jì)數(shù)據(jù),用數(shù)據(jù)分析軟件識(shí)別和預(yù)測(cè)經(jīng)濟(jì)異常波動(dòng),在國(guó)家經(jīng)濟(jì)尺度上實(shí)時(shí)統(tǒng)籌和調(diào)整計(jì)劃,那么近百年來(lái)計(jì)劃經(jīng)濟(jì)面臨的最大挑戰(zhàn)“經(jīng)濟(jì)計(jì)算問(wèn)題”有可能得到徹底解決,從而使計(jì)劃經(jīng)濟(jì)有可能成為一種可行的、甚至更優(yōu)于市場(chǎng)經(jīng)濟(jì)的方案。然而更顯科幻的是,早在近半個(gè)世紀(jì)前的1970年代初期,在南美的智利,這樣一個(gè)意在掌控全國(guó)經(jīng)濟(jì)的“大數(shù)據(jù)”系統(tǒng)已經(jīng)被設(shè)計(jì)并實(shí)現(xiàn)出來(lái)了。
故事從1970年開(kāi)始。在這一年的智利大選中,薩爾瓦多·阿連德被選為總統(tǒng),并立即開(kāi)始推行被稱(chēng)為“智利社會(huì)主義之路”的規(guī)劃。在一系列的改革政策中,最為重要的是對(duì)大型企業(yè)(包括智利經(jīng)濟(jì)支柱的銅礦業(yè))的國(guó)有化。這一改革進(jìn)程很快遭遇了困難,原因不是企業(yè)主抗拒?chē)?guó)有化,而是國(guó)有化進(jìn)行得太順利,政府很快發(fā)現(xiàn)自己沒(méi)有足夠的人才來(lái)對(duì)新生的國(guó)有企業(yè)進(jìn)行整體調(diào)控。面對(duì)挑戰(zhàn),阿連德產(chǎn)生了一個(gè)大膽的構(gòu)想:如果僅靠人不足以有效管理國(guó)家尺度的經(jīng)濟(jì),再加上技術(shù)的支持如何?
阿連德看中的技術(shù)是控制論。1948年,控制論這門(mén)學(xué)科的創(chuàng)始人諾伯特·維納將其定義為“關(guān)于動(dòng)物和機(jī)器中控制和通信的科學(xué)”。在二戰(zhàn)中,控制論的理論與技術(shù)被用于研發(fā)防空火控系統(tǒng)——人手操作的高射炮很難準(zhǔn)確命中敵方戰(zhàn)機(jī),而維納設(shè)計(jì)的計(jì)算機(jī)系統(tǒng)則可以采集敵機(jī)飛行的數(shù)據(jù)、并實(shí)時(shí)預(yù)測(cè)敵機(jī)的飛行路線(xiàn)、進(jìn)而自動(dòng)操作高射炮擊中敵機(jī)。維納事后總結(jié),這項(xiàng)研究的核心在于“預(yù)測(cè)未來(lái)”:“預(yù)測(cè)一個(gè)消息的未來(lái),就是用某種算符去運(yùn)算這個(gè)消息的過(guò)去……最優(yōu)預(yù)測(cè)問(wèn)題的解決僅僅取決于要加以預(yù)測(cè)的時(shí)間序列的統(tǒng)計(jì)性質(zhì)”。這門(mén)新興學(xué)科讓阿連德看到了希望:如果控制論可以用于實(shí)現(xiàn)防空火控系統(tǒng)這樣實(shí)時(shí)的、復(fù)雜的、涉及大量人為因素(駕駛戰(zhàn)機(jī)的都是由經(jīng)驗(yàn)豐富且絕對(duì)不想被擊落的飛行員)的自動(dòng)化系統(tǒng),它是否能被用于其他實(shí)時(shí)的、復(fù)雜的、涉及大量人為因素的領(lǐng)域——比如說(shuō),經(jīng)濟(jì)計(jì)劃?
在尋找合適的技術(shù)領(lǐng)導(dǎo)者的過(guò)程中,阿連德的政治烏托邦愿景也吸引了英國(guó)控制論學(xué)者斯塔福·比爾的興趣。盡管美國(guó)政府對(duì)“社會(huì)主義”這個(gè)字眼極度緊張,不惜以各種政治、經(jīng)濟(jì)手段扼殺阿連德的改革政策,阿連德所構(gòu)想的其實(shí)是介于美蘇兩個(gè)超級(jí)大國(guó)、兩種意識(shí)形態(tài)之間的“第三條路線(xiàn)”,一種既能全面提升智利經(jīng)濟(jì)和人民生活水平、又不損害智利保持四十年的民主自由氛圍的兩全方案。1971年,比爾和阿連德政府開(kāi)始了合作,在這個(gè)政治烏托邦愿景之上又加上了一個(gè)科技烏托邦的愿景:構(gòu)建一個(gè)計(jì)算機(jī)系統(tǒng)來(lái)實(shí)施調(diào)控國(guó)家經(jīng)濟(jì)——在互聯(lián)網(wǎng)普及之前二十年。
以維納為代表的控制論學(xué)者經(jīng)常用人體作為類(lèi)比。例如維納這樣談?wù)撘粋€(gè)基本的控制論系統(tǒng):“為了能對(duì)外界產(chǎn)生有效的動(dòng)作,重要的不僅是我們必須具有良好的效應(yīng)器,而且必須把效應(yīng)器的動(dòng)作情況恰當(dāng)?shù)鼗貓?bào)給中樞神經(jīng)系統(tǒng),而這些報(bào)告的內(nèi)容必須適當(dāng)?shù)睾推渌麃?lái)自感官的信息組合起來(lái),以便對(duì)效應(yīng)器產(chǎn)生一個(gè)適當(dāng)?shù)恼{(diào)節(jié)輸出?!北葼杽t對(duì)這一結(jié)構(gòu)進(jìn)一步深化,提出了“可生存系統(tǒng)模型”的概念。在這一模型中,組成一個(gè)系統(tǒng)的各個(gè)部件被分為5級(jí)子系統(tǒng):系統(tǒng)1到系統(tǒng)3分別負(fù)責(zé)感知、信息傳導(dǎo)、以及監(jiān)控和協(xié)作的功能,系統(tǒng)4和系統(tǒng)5則負(fù)責(zé)常規(guī)運(yùn)作層面之上的、有目的的管理和治理職能。比爾用生理學(xué)的類(lèi)比來(lái)解釋這個(gè)模型(如下圖),并認(rèn)為同樣的模型也適用于企業(yè)和國(guó)家經(jīng)濟(jì)。
比爾的另一個(gè)理論基礎(chǔ)是他在1970年的一次主題演講中提出的“自由機(jī)器”理論。所謂自由機(jī)器,是這樣一種社會(huì)-科技系統(tǒng):它以網(wǎng)絡(luò)的形式運(yùn)行,而非層級(jí)結(jié)構(gòu);其中作為行動(dòng)基礎(chǔ)的是信息,而非權(quán)力;各個(gè)領(lǐng)域的專(zhuān)家知識(shí)和實(shí)時(shí)的信息反饋驅(qū)動(dòng)決策,從而消除官僚體制存在的必要性。比爾甚至構(gòu)想了在政府機(jī)構(gòu)中這樣的自由機(jī)器如何實(shí)現(xiàn):它應(yīng)該是一系列的指揮室,每個(gè)指揮室中實(shí)時(shí)接收和呈現(xiàn)來(lái)自各個(gè)子系統(tǒng)的信息,指揮室中的各領(lǐng)域?qū)<覄t基于這些信息提出猜想、并運(yùn)行模擬程序來(lái)驗(yàn)證這些猜想,由猜想?yún)R集而成的決策再?gòu)闹笓]室實(shí)時(shí)傳遞到國(guó)民經(jīng)濟(jì)第一線(xiàn)。
基于可生存系統(tǒng)模型和自由機(jī)器理論,比爾的團(tuán)隊(duì)向阿連德政府提出了一個(gè)系統(tǒng)設(shè)計(jì)的方案。在他們建議的系統(tǒng)中,國(guó)有企業(yè)和政府之間會(huì)新建起數(shù)字化通信的渠道,用于傳輸實(shí)時(shí)的生產(chǎn)數(shù)據(jù);這些數(shù)據(jù)隨后被送進(jìn)統(tǒng)計(jì)軟件程序,用于預(yù)測(cè)工廠的生產(chǎn)效能,從而使政府能夠提前識(shí)別和應(yīng)對(duì)異常情況;系統(tǒng)中還包含一個(gè)計(jì)算機(jī)實(shí)現(xiàn)的經(jīng)濟(jì)模擬器,讓政策制訂者能夠在真正實(shí)施他們的經(jīng)濟(jì)措施前先在模型中測(cè)試;最后,他們還提議建設(shè)一個(gè)充滿(mǎn)未來(lái)感的指揮室,讓政策制訂者們能夠聚集在其中,快速掌握國(guó)民經(jīng)濟(jì)運(yùn)行的狀態(tài),并在數(shù)據(jù)的支持下快速做出決策。
只有當(dāng)我們從資料圖片中看到這個(gè)指揮室,我們才能直觀地感受到比爾所說(shuō)的“未來(lái)感”是什么意思。這個(gè)建成于1972年的指揮室看上去就像《星際迷航》里“企業(yè)號(hào)”的艦橋,其中大量塑料與玻璃纖維材質(zhì)的使用、環(huán)繞四周的顯示屏、座椅扶手上簡(jiǎn)潔的操作按鈕,都與這個(gè)項(xiàng)目的愿景一樣,充滿(mǎn)了不真實(shí)感,就像一部科幻電影。
只是,這不是科幻電影,而是歷史上真實(shí)存在過(guò)的一個(gè)IT系統(tǒng)。新生的社會(huì)主義智利政府和來(lái)自英國(guó)的科學(xué)家冀望基于這個(gè)系統(tǒng)平衡個(gè)體自由與自上而下的控制:既保持個(gè)人的主觀能動(dòng)性,又使個(gè)體為組織(企業(yè)或國(guó)家)的整體利益共同奮斗、乃至作出必要的犧牲。在智利之外,很多進(jìn)步人士相信智利能通過(guò)經(jīng)濟(jì)上的改革探索出一條政治上和意識(shí)形態(tài)上的“第三條路”,甚至成為冷戰(zhàn)的一條出路。阿連德和比爾的IT系統(tǒng)會(huì)走向何方,歷史在靜靜注視。
站在近半個(gè)世紀(jì)之后回望這段塵封的歷史,我會(huì)感到一陣莫名的激動(dòng)。今天IT技術(shù)飛速發(fā)展,然而我們看見(jiàn)的卻是技術(shù)日益被掌握在極少數(shù)人手里、并被用于為這部分人牟利。技術(shù)發(fā)展越是日新月異,這道鴻溝就越是觸目驚心。難道IT技術(shù)的發(fā)展就注定伴隨著不平等的加???難道程序員統(tǒng)治的黑暗世界是無(wú)可避免的唯一未來(lái)?這一前景讓作為技術(shù)工作者的我感到灰心。而阿連德與比爾、一個(gè)智利人與一個(gè)英國(guó)人、一個(gè)政治家與一個(gè)科學(xué)家、一個(gè)政治烏托邦夢(mèng)想與一個(gè)科技烏托邦夢(mèng)想的交匯處,這段幾乎已被遺忘的歷史讓我們重新看到希望:為技術(shù)賦予政治和社會(huì)的正面意義、用技術(shù)創(chuàng)造更公正的世界,思考這個(gè)問(wèn)題的不是只有我們。
如果今天的一位IT架構(gòu)師來(lái)設(shè)計(jì)這個(gè)名為“Cybersyn”的系統(tǒng),也許他會(huì)參考IBM的商業(yè)技術(shù)趨勢(shì)研究提出一個(gè)方案,其中個(gè)人移動(dòng)設(shè)備和物聯(lián)網(wǎng)設(shè)備被用于在工廠采集實(shí)時(shí)的生產(chǎn)數(shù)據(jù),數(shù)據(jù)通過(guò)互聯(lián)網(wǎng)匯集到位于云端的數(shù)據(jù)庫(kù),用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)對(duì)數(shù)據(jù)進(jìn)行加工、分析和預(yù)測(cè),并借助社交網(wǎng)絡(luò)創(chuàng)造政府、企業(yè)與工人和諧共處的社會(huì)與經(jīng)濟(jì)環(huán)境。
盡管互聯(lián)網(wǎng)和手機(jī)的時(shí)代還有幾十年才會(huì)到來(lái),比爾提出的方案卻與現(xiàn)代的架構(gòu)方案如出一轍。于是我們不禁要好奇:他所領(lǐng)導(dǎo)的這支團(tuán)隊(duì)會(huì)如何構(gòu)建連接廠礦與中央政府的網(wǎng)絡(luò),又會(huì)用什么技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)分析與預(yù)測(cè)功能?當(dāng)比爾宣稱(chēng)Cybersyn會(huì)同時(shí)兼顧國(guó)家經(jīng)濟(jì)運(yùn)行效率與個(gè)人的民主和自由,什么技術(shù)能讓他掌握全國(guó)民眾的情緒漲落?
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶(hù) ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱(chēng) BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢(xún)到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢(xún)結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢(xún)結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專(zhuān)注于從單 ...
2025-07-09year_month數(shù)據(jù)類(lèi)型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類(lèi)型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門(mén)控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專(zhuān)業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開(kāi)啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03