城市大數(shù)據(jù)的生態(tài)模型及應用

從提出一個生態(tài)模型開始，闡述了建立一個可持續(xù)的城市大數(shù)據(jù)生態(tài)所需要的關(guān)鍵角色以及地方政府在演進這些角色中所能發(fā)揮的作用。接著，給出了一個實際案例作為這個模型的參考實現(xiàn)，并分享了案例中企業(yè)在配合政府建立大數(shù)據(jù)生態(tài)過程中所開展的一系列工作以及工作中總結(jié)的經(jīng)驗和教訓，驗證這個模型在實踐中的可行性。最后，給出了一個具體的大數(shù)據(jù)應用案例：通過大數(shù)據(jù)手段來幫助政府優(yōu)化行政審批流程，使得優(yōu)化后的流程對市民更有利，從中一窺未來政府通過大數(shù)據(jù)進一步精細化社會管理的潛力。

1 引言

中國經(jīng)過改革開放以來30多年的發(fā)展，城市化步伐不斷加快，每年有1500萬人口進入城市，如圖1所示。到2025年，中國將會有近三分之二的人口居住在城市，已經(jīng)進入了一個城市社會。與此同時，城市人口的增加帶來的交通擁堵、環(huán)境污染、資源過度消耗、各類突發(fā)事件增加等社會矛盾日益突出，各種“城市通病”與日俱增，城市管理難度加大，這對城市管理者的管理能力和服務水平提出了考驗。城市要保持可持續(xù)發(fā)展越來越受到各種因素的制約，需要轉(zhuǎn)變方式、調(diào)整結(jié)構(gòu)、適應日益增長的人民生活方式、不斷解決突發(fā)性事件等問題。人們在探索中意識到，智慧城市是醫(yī)治“城市病”的最佳良藥。

圖 1 2000-2015 年全國城鎮(zhèn)人口數(shù)情況

為了規(guī)范和推動智慧城市的健康發(fā)展，住房和城鄉(xiāng)建設部于2012年12月5日正式發(fā)布了“關(guān)于開展國家智慧城市試點工作的通知”，并印發(fā)了《國家智慧城市試點暫行管理辦法》和《國家智慧城市(區(qū)、鎮(zhèn))試點指標體系(試行)》兩個文件，正式啟動了全國智慧城市建設高潮。到2015年公布的第三批試點名單，共計289個大小城市加入了試點城市范圍，住房和城鄉(xiāng)建設部智慧城市試點城市分布情況見表1。

表 1 住房和城鄉(xiāng)建設部智慧城市試點城市分布情況

在一輪接一輪的智慧城市建設過程中，大數(shù)據(jù)技術(shù)在城市建設的應用逐漸成為智慧城市建設的熱點之一。2015年中興通訊股份有限公司(以下簡稱中興通訊)把“以大數(shù)據(jù)應用為中心”的智慧城市建設稱為“智慧城市2.0”，從而與之前“以建設業(yè)務系統(tǒng)為中心”的智慧城市建設區(qū)分開。

2 城市大數(shù)據(jù)生態(tài)模型

2.1 城市大數(shù)據(jù)

在長期的城市建設與運營過程中，政府積累了大量的數(shù)據(jù)，如經(jīng)濟、民生、交通、旅游、醫(yī)療、安全等各行各業(yè)的數(shù)據(jù)。同時也積累了大量的業(yè)務系統(tǒng)。以重慶市為例，包括51個部門，平均每個部門有5~6個系統(tǒng)，整個政府有近300個系統(tǒng)在運行，如圖2所示。

圖 2 重慶市應用系統(tǒng)按建設級別分類

這些系統(tǒng)包含的數(shù)據(jù)涉及了城市的方方面面，其中蘊藏的價值亟需有效的手段進行挖掘與發(fā)現(xiàn)。

與互聯(lián)網(wǎng)公司所擁有的大數(shù)據(jù)不同，城市大數(shù)據(jù)具有自身的特點，見表2。

表 2 城市大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的對比

城市大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)雖然各有不同，但可以互相補充，從而共同發(fā)揮更大的經(jīng)濟效益和社會效益。

2.2 大數(shù)據(jù)生態(tài)

大數(shù)據(jù)的潛在經(jīng)濟價值催生了大數(shù)據(jù)的交易。自2015年4月15日全國首家大數(shù)據(jù)交易所——貴陽大數(shù)據(jù)交易所正式掛牌交易起，先后有北京大數(shù)據(jù)交易所、上海大數(shù)據(jù)交易所、廣州大數(shù)據(jù)交易所、陜西大數(shù)據(jù)交易所和長江大數(shù)據(jù)交易所等機構(gòu)啟動，圍繞大數(shù)據(jù)交易開始形成一個生態(tài)系統(tǒng)，如圖3所示。

圖 3 大數(shù)據(jù)交易生態(tài)系統(tǒng)模型

圍繞這個生態(tài)系統(tǒng)最外圍的是工具廠商，這些廠商提供大數(shù)據(jù)采集、轉(zhuǎn)換、存儲、分析、可視化等技術(shù)手段。Google、Cloudera、Amazon等公司為大數(shù)據(jù)的技術(shù)推動做出了巨大貢獻，同時大量的開源社區(qū)和產(chǎn)品逐漸成為大數(shù)據(jù)技術(shù)潮流的中堅力量。

處于生態(tài)中心位置的是大數(shù)據(jù)交易商。數(shù)據(jù)生產(chǎn)者為大數(shù)據(jù)交易商提供初級數(shù)據(jù)，后者通過數(shù)據(jù)標準化把初級數(shù)據(jù)轉(zhuǎn)換成高級數(shù)據(jù)存儲在基礎(chǔ)設施運營商處?；A(chǔ)設施運營商通過提供存儲服務和計算服務獲得市場地位，并從中衍生出PaaS運營商來減輕大數(shù)據(jù)交易商對技術(shù)的需求。

數(shù)據(jù)挖掘者通過基礎(chǔ)設施運營商提供的計算服務，結(jié)合領(lǐng)域知識對高級大數(shù)據(jù)進行挖掘。獲得的有價值成果通過大數(shù)據(jù)交易商的交易平臺提供給數(shù)據(jù)消費者。這樣吸引更多的數(shù)據(jù)消費者源源不斷地加入交易平臺，提出更多的問題并支付獲得的滿意答案，由此衍生出大數(shù)據(jù)咨詢商來引導大數(shù)據(jù)消費者更好地消費。

數(shù)據(jù)消費者的支付通過大數(shù)據(jù)交易商的分成平臺，使得數(shù)據(jù)生產(chǎn)者也獲得相應的回報，這樣整個生態(tài)就能夠自生自長，實現(xiàn)良性循環(huán)。

在真實世界里，一個企業(yè)可能兼有這個生態(tài)中的一部分、一個或多個角色，或者只專注與某個細分領(lǐng)域，如“中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟”就活動在“咨詢”這個細分領(lǐng)域。

從大數(shù)據(jù)交易生態(tài)系統(tǒng)也可以看出，有些領(lǐng)域如“數(shù)據(jù)標準化”，多數(shù)有識之士覺得很重要，但標準化并沒有先行發(fā)展起來。究其原因就在于標準化其實是一個局部問題而非全局問題。另外，這個產(chǎn)業(yè)模型讓數(shù)據(jù)本身不需要發(fā)生大規(guī)模移動或復制，避免了數(shù)據(jù)安全、個人因素、產(chǎn)權(quán)歸屬、初級或高級數(shù)據(jù)定價等復雜的社會問題和商業(yè)倫理問題，為持續(xù)進行交易提供理論依據(jù)。

2.3 政府與數(shù)據(jù)交易商

在大數(shù)據(jù)交易這個生態(tài)系統(tǒng)里形成初始的生態(tài)平衡是非常關(guān)鍵的。在全國此起彼伏的智慧城市建設以及交易所設立的浪潮中，政府有天然的優(yōu)勢來孵化數(shù)據(jù)交易商角色，具體原因如下。

(1)政府是最大的數(shù)據(jù)生成者

如前所述，城市大數(shù)據(jù)基本都在政府手中，另一小部分在黨政機關(guān)或事業(yè)單位手中。另外，隨著智慧城市系統(tǒng)的建設，政府手中的大數(shù)據(jù)會越來越完善，越來越動態(tài)。

(2)政府是最大的數(shù)據(jù)消費者

我國的社會治理模式是“大政府、小社會”的模式，要求政府對國計民生方方面面做好保障與服務工作。這些工作的順利開展都離開不科學決策，離不開數(shù)據(jù)的支撐。隨著大數(shù)據(jù)價值的不斷發(fā)現(xiàn)，政府治理的效率也將不斷完善。

(3)政府是城市公共設施的提供者

政府也將持續(xù)為每個城市的健康運行提供必要的基礎(chǔ)設施，如交通、水利、學校、醫(yī)院、水電煤氣等。而信息基礎(chǔ)設施正在成為城市越來越重要的基礎(chǔ)設施之一。到2013年上半年，全國共規(guī)劃建設數(shù)據(jù)中心255個，已投入使用173個，總用地約713.2萬平方米，總機房面積約400萬平方米。

可見，在大數(shù)據(jù)生態(tài)的5個核心角色中，政府已經(jīng)身兼3個角色。

另一方面，社會資本在目前的產(chǎn)業(yè)環(huán)境下承擔大數(shù)據(jù)交易商角色仍有很多挑戰(zhàn)。

大數(shù)據(jù)交易的法律法規(guī)、信息安全標準等宏觀政策還不完善，導致各種市場主體對參與大數(shù)據(jù)交易持觀望態(tài)度。

大數(shù)據(jù)交易還沒有看得見的成熟的商用模式，能否在預期的投資周期里獲得投資合理回報是一個很大的問題。

由于大數(shù)據(jù)交易對象的高度技術(shù)化，如何吸引大規(guī)模的用戶，認同交易物有所值，需要強大的信用支撐來鼓勵各種用戶先行嘗試。

在大數(shù)據(jù)產(chǎn)業(yè)初期，通過政府投資，其他社會資本參與成立數(shù)據(jù)交易商是一個比較現(xiàn)實的選擇。政府可以在實踐過程中打通產(chǎn)業(yè)各個環(huán)節(jié)，迅速完成法律法規(guī)建設，通過PPP(public-private-partnership，公私合作)模式、政府采購服務以及財政補貼的方式來為新興產(chǎn)業(yè)提供資本和信用保證。

3 實踐案例

中興通訊股份有限公司和銀川市政府共建智慧城市是大數(shù)據(jù)生態(tài)系統(tǒng)產(chǎn)業(yè)模型的一個實踐案例。其中，中興軟創(chuàng)科技股份有限公司作為數(shù)據(jù)挖掘者參與了銀川市城市大數(shù)據(jù)的合作開發(fā);銀川市政府承擔數(shù)據(jù)提供者和數(shù)據(jù)消費者的角色;銀川市與中興通訊合作組建的中興(銀川)智慧產(chǎn)業(yè)有限公司承擔了交易商和基礎(chǔ)設施運營商的角色。合作開發(fā)過程主要圍繞“基礎(chǔ)設施、技術(shù)架構(gòu)、獲取數(shù)據(jù)、分析列表、分析人才、分析過程和決策應用”7個方面展開。

3.1 基礎(chǔ)設施

在目前的技術(shù)條件下，獲得城市大數(shù)據(jù)運營所需的基礎(chǔ)設施其技術(shù)困難不大。以銀川市為例，從動土開工到大數(shù)據(jù)中心投入使用，整個工期不到一年，總體成本對于一個城市而言不高。也可以采取租賃互聯(lián)網(wǎng)公司數(shù)據(jù)中心的方式，但考慮數(shù)據(jù)安全、運維成本、區(qū)位優(yōu)勢等因素后，城市自建大數(shù)據(jù)中心仍然是主流選擇。

3.2 技術(shù)架構(gòu)

滿足城市大數(shù)據(jù)開發(fā)需要的技術(shù)平臺也不難搭建。以筆者研究團隊的經(jīng)驗，這個平臺應該包括大數(shù)據(jù)采集器、數(shù)據(jù)中心、主數(shù)據(jù)管理、大數(shù)據(jù)分析器、大數(shù)據(jù)服務器、可視化服務器、大數(shù)據(jù)客戶端7個部分，技術(shù)才算是比較完整的，如圖4所示。

圖 4 滿足城市大數(shù)據(jù)開發(fā)所需要的技術(shù)平臺架構(gòu)

大數(shù)據(jù)采集器能夠?qū)崿F(xiàn)海量數(shù)據(jù)的收集，不管是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)，文本、語言、視頻都能實現(xiàn)數(shù)據(jù)的采集、清洗、整合、轉(zhuǎn)換和裝載，這些數(shù)據(jù)最終存儲在數(shù)據(jù)中心。

數(shù)據(jù)中心從軟件與硬件層面實現(xiàn)對海量數(shù)據(jù)的存儲和訪問，同時注重能耗與安全。主數(shù)據(jù)管理則實現(xiàn)數(shù)據(jù)的編目、管理、授權(quán)、共享和交換，維護城市數(shù)據(jù)模型，形成五大庫(即人口庫、法人庫、地理信息庫、建筑物庫和宏觀經(jīng)濟庫)，并維護各自的過程庫、業(yè)務數(shù)據(jù)庫和主題應用庫等。

大數(shù)據(jù)分析器根據(jù)問題、目標，設計出分析模型及數(shù)據(jù)處理、訓練、檢驗過程，將設計好的藍圖交給大數(shù)據(jù)服務器計算。大數(shù)據(jù)服務器管理所有的計算資源，實現(xiàn)分布式計算、海量數(shù)據(jù)即時處理?？梢暬掌靼汛髷?shù)據(jù)分析結(jié)果轉(zhuǎn)換成圖形，直觀地告訴客戶所擁有數(shù)據(jù)的形態(tài)和關(guān)鍵特征，這些圖形最終通過大數(shù)據(jù)客戶端向用戶呈現(xiàn)。

大數(shù)據(jù)客戶端包括如下3類。

數(shù)據(jù)服務平臺：面向公眾，以網(wǎng)站的形式向公眾提供大數(shù)據(jù)開放服務，鼓勵大眾參與城市服務。

決策服務平臺：面向各級領(lǐng)導，通過圖表方式呈現(xiàn)經(jīng)濟、民生等數(shù)據(jù)的分析結(jié)果。

管理服務平臺：面向政府工作人員，通過縮放地圖、拉動時間線來查看其感興趣的數(shù)據(jù)，如街道主任可以限定自己所處街道查看人口出生率，而同級教育主任可能更關(guān)心掃盲率。

3.3 獲取數(shù)據(jù)

在城市大數(shù)據(jù)開發(fā)過程中，真正的困難是從獲取數(shù)據(jù)開始的。從產(chǎn)業(yè)模型角度看，屬于培育大數(shù)據(jù)生產(chǎn)者的工作。

首先，政府部門開發(fā)自己的數(shù)據(jù)意愿很低。這其中的原因非常多，包括政策上的顧慮、部門立場的考慮以及公開數(shù)據(jù)可能帶來的種種問題和對變化的擔憂。在這些因素里，數(shù)據(jù)安全是一個繞不開的話題。2015年刑法修正案在信息安全領(lǐng)域明確擴大了犯罪主體的適用范圍，使得部門主要領(lǐng)導和相關(guān)負責人都不愿意承擔因數(shù)據(jù)泄漏風險引發(fā)的連帶責任。為了讓政府部門的數(shù)據(jù)能夠更有效地共享，除了技術(shù)上不斷提高，加大數(shù)據(jù)保護的力度之外，在法律、制度上進一步細化和松綁已成為不可缺失的一環(huán)。商業(yè)上的創(chuàng)新也比較關(guān)鍵，比如考慮一種保險制度來解除大數(shù)據(jù)共享過程中所引發(fā)的安全責任風險。

其次，數(shù)據(jù)預處理(即把低級數(shù)據(jù)加工成高級數(shù)據(jù))的工作量非常大。一方面，政府的系統(tǒng)建設過于分散，都是大量的小廠商開發(fā)出來的，數(shù)據(jù)規(guī)范性一開始就不高;另一方面，這些政府系統(tǒng)一開始沒有考慮向大數(shù)據(jù)分析優(yōu)化，缺失數(shù)據(jù)嚴重，而不同系統(tǒng)之間的數(shù)據(jù)一致性更加沒有保障。這就要求廠商花出大量的時間進行數(shù)據(jù)查漏補缺，通過不同的數(shù)據(jù)源進行相互驗證來獲得更加完整、準確的數(shù)據(jù)集。在這個預處理過程中，本身也有一些大數(shù)據(jù)技術(shù)在其中應用，比如通過數(shù)據(jù)分析來判斷哪些數(shù)據(jù)集準確性更高，從而替換其他重復數(shù)據(jù)。

另外，數(shù)據(jù)格式五花八門，有很原始的表格、文本數(shù)據(jù)，也有紙質(zhì)數(shù)據(jù)，需要通過OCR掃描識別入庫。

3.4 分析列表

有了數(shù)據(jù)之后，接下來就是要有分析目標。從產(chǎn)業(yè)模型角度看，屬于培育大數(shù)據(jù)消費者的工作。

在培育消費者方面，目前比較新穎的做法就是大數(shù)據(jù)競賽。例如，2015年8月在上海舉行的開放數(shù)據(jù)創(chuàng)新應用大賽，獎金最高達20萬元。

傳統(tǒng)的做法是需求調(diào)研，通過和各委(員會)、辦(公室)、局座談來發(fā)現(xiàn)他們工作中的難題，并從中找到大數(shù)據(jù)可以勝任的問題列表。這種方式由于信息不對稱，導致效率比較低。因此，在選擇部門時應該考慮部門的業(yè)務特點、部門積極性和領(lǐng)導人風格來安排優(yōu)先次序。

3.5 分析人才

企業(yè)獲得合格的大數(shù)據(jù)分析人才不是一件容易的事情，主要是因為大數(shù)據(jù)分析人員不僅要熟悉大數(shù)據(jù)工具、技術(shù)，還需要精通數(shù)理統(tǒng)計以及有足夠的社會通識，才能通過一層層數(shù)據(jù)關(guān)聯(lián)關(guān)系找出問題的答案。

一種可行的辦法是通過2~3個小團隊高效協(xié)作的方式來解決，類似“戚家軍”的戰(zhàn)斗組織形態(tài)，這樣可以整體降低對人才的需求門檻，使得產(chǎn)業(yè)模型里的數(shù)據(jù)挖掘者可以規(guī)?；?。

3.6 分析過程

分析人員在針對具體問題進行分析前要學習很多算法，除此之外還要關(guān)注如下重要的問題。

(1)評估方法是關(guān)鍵

算法要在新數(shù)據(jù)上的表現(xiàn)和在樣本數(shù)據(jù)上的表現(xiàn)幾乎一樣好。比較好的做法是把數(shù)據(jù)集一分為二，一部分用于訓練模型，一部分用于模型評估。交叉驗證，觀察算法的穩(wěn)定性。如果算法不能穩(wěn)定下來，那么結(jié)果是非?？梢傻摹Ｒ驗榉盏念I(lǐng)域是公共服務領(lǐng)域，如果一旦錯誤執(zhí)行，就會存在很大危害。另外，訓練模型也不能訓練過度，避免出現(xiàn)過度擬合的問題。

(2)特征提取是根本

分析人員不要迷信算法，大多數(shù)復雜算法效果大同小異。但要確保完全理解這些等價算法中的一種，然后一直用下去。

在分析過程中如果能找到合適的特征，對于達到分析目標所需的樣本數(shù)據(jù)量就能大大縮減。數(shù)據(jù)分析人員需要完整地掌握各種特征工程來快速找到樣本數(shù)據(jù)的特征向量。如果分析人員非常懂業(yè)務，也可以彌補特征工程經(jīng)驗不足的短板。特征提取是大數(shù)據(jù)分析非常重要的成功因素。

(3)時間瓶頸是模型訓練，而不是數(shù)據(jù)集規(guī)模

在模型訓練過程中，需要花費大量的精力進行參數(shù)優(yōu)化，從而得出比較合理的解。在承諾給政府部門一個分析結(jié)果之前，應該充分留有這部分的時間。

另外，還有“數(shù)據(jù)自大”問題，很多人拿到了數(shù)據(jù)以為很大，其實這只是很小的部分，但他自己不知道，所以結(jié)果會出現(xiàn)偏差。還有就是算法演化問題和數(shù)據(jù)生產(chǎn)者的看不見的動機，這些都會導致分析結(jié)果和實際出入較大，分析時需要仔細甄別。

3.7 決策應用

當數(shù)據(jù)分析人員把一個分析結(jié)構(gòu)給政府相關(guān)部門，報告里面的結(jié)論是否就會很快被采納?其實不一定。分析結(jié)果不能及時應用主要包括如下原因。

(1)大數(shù)據(jù)分析透明度不足

大數(shù)據(jù)分析由于算法上的艱深難懂，除專業(yè)人士之外，其他人很難搞懂，導致最終的分析結(jié)果很難證明其結(jié)果是正確的、中間的分析過程是可靠的，使得政府不是非常愿意主動采信這樣的分析結(jié)果。

(2)缺乏第三方機構(gòu)的驗證

如果有第三方機構(gòu)驗證也能促進政府放心使用大數(shù)據(jù)分析結(jié)果，使政府決策更具科學性。但企業(yè)因為商業(yè)機密方面的原因，不愿意公開分析過程中的數(shù)據(jù)模型，導致第三方?jīng)]有合適的驗證方式。

(3)多方位分析結(jié)果相互不支持

有時確實會出現(xiàn)多個分析結(jié)果打架的情況，這時候需要仔細排查，分析是數(shù)據(jù)上的原因還是算法上的原因。但有時這樣的分析結(jié)果沒有及時發(fā)現(xiàn)就報給政府部門，將導致相關(guān)部門對分析結(jié)果的可信度更加擔憂。

如何提高大數(shù)據(jù)分析結(jié)果的可信度，筆者認為可行的辦法是改變應用方式。由傳統(tǒng)的“報告式”結(jié)果呈現(xiàn)轉(zhuǎn)變?yōu)椤疤皆兪健苯Y(jié)果呈現(xiàn)，中興軟創(chuàng)科技股份有限公司在這方面正在進行較大的技術(shù)創(chuàng)新。例如，對政府行政審批數(shù)據(jù)進行了一個預測分析，通過KNN回歸模型來預測每一類行政審批事項當前最合理的辦件承諾時間。這個承諾時間是動態(tài)變化并適配外部環(huán)境變化(如收件量、工作人員狀況、時節(jié)、社會熱點等)的，從而讓這個時間更加科學。

4 結(jié)束語

本文介紹了筆者在城市大數(shù)據(jù)開發(fā)方面的一些經(jīng)驗。這個領(lǐng)域還有很多重要問題需要一一面對，如能耗與污染、信息模型與標準庫、可靠性與可用性等。在工作開展的過程中會遇到很多現(xiàn)實困難，但更多的是解決辦法。其中，發(fā)展大數(shù)據(jù)生成者和消費者并建立完整生態(tài)依然是發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的重中之重。