
環(huán)境大數(shù)據(jù)應(yīng)用“含苞待放”_數(shù)據(jù)分析師考試
近期,大數(shù)據(jù)的“倩影”頻繁出現(xiàn)在國家出臺的各項方案和指導(dǎo)意見中,也成為環(huán)保系統(tǒng)熱議的內(nèi)容。
據(jù)了解,北京、武漢等不少省市的數(shù)據(jù)資源中心早已建成。截至目前,全國將近2/3?。ㄗ灾螀^(qū)、直轄市)環(huán)保廳都已建成或正在建設(shè)環(huán)境數(shù)據(jù)資源中心。
面臨大數(shù)據(jù)的龍卷風(fēng),環(huán)境數(shù)據(jù)資源中心是否做好了準(zhǔn)備?環(huán)境大數(shù)據(jù)應(yīng)用走到了哪個階段?
數(shù)據(jù)如何“開口說話”?
相比于其他省市的環(huán)境信息化建設(shè),北京市環(huán)境信息化建設(shè)起步較早。北京市環(huán)境數(shù)據(jù)中心的建設(shè)開始于2012年,并于2013年正式投入使用,目前,北京市環(huán)保局各個業(yè)務(wù)處室主要的業(yè)務(wù)數(shù)據(jù)已經(jīng)進(jìn)入環(huán)境數(shù)據(jù)中心。
北京市環(huán)境信息中心主任陳海寧介紹說,數(shù)據(jù)中心的建設(shè)極大地便利了環(huán)保工作,比如原先環(huán)境監(jiān)察人員進(jìn)行污染源監(jiān)管,需要查閱大量紙質(zhì)資料,手工記錄現(xiàn)場情況,現(xiàn)在只要通過監(jiān)控終端或移動客戶端直接調(diào)取數(shù)據(jù)中心的數(shù)據(jù),就可以對污染源相關(guān)數(shù)據(jù)進(jìn)行查閱和記錄,環(huán)境監(jiān)管省時省力。
但不久之后,陳海寧的困惑也出現(xiàn)了,“數(shù)據(jù)中心是建成了,但數(shù)據(jù)中心對各業(yè)務(wù)部門的幫助還很有限,如何開發(fā)更好的大數(shù)據(jù)產(chǎn)品為環(huán)境管理服務(wù),成為數(shù)據(jù)中心要突破的瓶頸?!?/span>
同樣走在前頭的武漢市也面臨類似問題。武漢市環(huán)境信息中心主任詹煒介紹說,武漢環(huán)境數(shù)據(jù)中心很早就集成了各業(yè)務(wù)部門的數(shù)據(jù),“但現(xiàn)在這些數(shù)據(jù)只用來做一些簡單的統(tǒng)計和報表,數(shù)據(jù)還沒有真正‘開口說話’。”
而更多省環(huán)保廳的環(huán)境信息中心處于不斷建設(shè)和完善的狀態(tài)。據(jù)了解,內(nèi)蒙古環(huán)境數(shù)據(jù)中心已經(jīng)基本建成,目前已經(jīng)進(jìn)入第三期建設(shè);云南省正處在“數(shù)字環(huán)?!钡诙A段,重點(diǎn)建設(shè)資源數(shù)據(jù)中心。
環(huán)境保護(hù)部信息中心也很早就開始注意到數(shù)據(jù)資源的開發(fā)情況,希望大數(shù)據(jù)可以成為解決環(huán)保管理問題的鑰匙。去年開始,環(huán)境保護(hù)部信息中心副主任徐富春帶領(lǐng)探索大數(shù)據(jù)應(yīng)用,與微軟(中國)有限公司合作開發(fā)了城市局地大氣主要污染物時空分布大數(shù)據(jù)模型——U-Air,這一合作也開啟了大數(shù)據(jù)應(yīng)用的“第一春”。
以U-Air為代表的大數(shù)據(jù)應(yīng)用興起
目前,我國地面空氣質(zhì)量監(jiān)測點(diǎn)位的設(shè)置是根據(jù)行政區(qū)域設(shè)置,站點(diǎn)數(shù)量非常有限,不能反映污染物的空間分布,易受站點(diǎn)附近環(huán)境影響,造成不同區(qū)域受眾對數(shù)據(jù)可信性的質(zhì)疑。
就北京來說,北京市有35個地面空氣質(zhì)量監(jiān)測點(diǎn),但不能完全反映整個北京市的空氣質(zhì)量狀況?!癠-Air通過獲取地面監(jiān)測站的空氣質(zhì)量數(shù)據(jù),結(jié)合交通流、道路結(jié)構(gòu)、興趣點(diǎn)分布、氣象條件和人們流動規(guī)律等大數(shù)據(jù),用基于機(jī)器認(rèn)知的算法就能模擬出城市細(xì)粒度(1km×1km)的空氣質(zhì)量,并能對未來24小時的空氣質(zhì)量進(jìn)行預(yù)測?!毙旄淮赫f,這不僅彌補(bǔ)了地面監(jiān)測在地域上的局限性,實(shí)時監(jiān)測每一寸土地,也破解了在沒有污染源排放清單、排放邊界不太清楚的條件下,如何預(yù)測城市空氣質(zhì)量的難題。
“U-Air是一個運(yùn)用大數(shù)據(jù)解決環(huán)保問題的典型案例,并且在科學(xué)性和技術(shù)性上都經(jīng)過了一定的驗(yàn)證?!毙旄淮焊嬖V記者,大數(shù)據(jù)應(yīng)用需要滿足3個條件,第一就是數(shù)據(jù)量要足夠大,第二是數(shù)據(jù)類型要多元化,第三是要基于機(jī)器認(rèn)知的學(xué)習(xí)方法和算法。U-Air除了有行業(yè)類結(jié)構(gòu)化數(shù)據(jù),還有城市道路數(shù)據(jù)、路網(wǎng)結(jié)構(gòu)、氣象數(shù)據(jù)、地理位置、城市特征分布等數(shù)據(jù),后臺也具備機(jī)器學(xué)習(xí)和認(rèn)知計算的條件。
微軟(中國)有限公司資深架構(gòu)師羅彤介紹,未來U-Air將可以提前預(yù)測1小時~5 小時的空氣質(zhì)量,以幫助人們更好地計劃自己的生活,比如什么時候和去哪里慢跑,什么時候應(yīng)該關(guān)窗戶、什么時候應(yīng)該帶上口罩。
其實(shí),除了微軟在大數(shù)據(jù)應(yīng)用方面開展探索外,面對大數(shù)據(jù)這塊大蛋糕,環(huán)保產(chǎn)業(yè)已經(jīng)躍躍欲試。
中科宇圖天下科技有限公
司還建設(shè)了自己的大數(shù)據(jù)中心。據(jù)中科宇圖總裁姚新介紹,公司的大數(shù)據(jù)中心不僅包括各地環(huán)保業(yè)務(wù)數(shù)據(jù),還有與環(huán)保相關(guān)的行業(yè)數(shù)據(jù),目前,他們也研發(fā)了空氣質(zhì)量預(yù)警預(yù)測模型。
北京力鼎創(chuàng)軟科技有限公司提出了“霾計算”總體架構(gòu),結(jié)合傳統(tǒng)空氣監(jiān)測數(shù)據(jù)、污染源數(shù)據(jù)、氣象數(shù)據(jù)、交通數(shù)據(jù)、餐飲、學(xué)校、加油站等信息,對空氣質(zhì)量進(jìn)行預(yù)警預(yù)測。
北京思路創(chuàng)新科技有限公司則利用大數(shù)據(jù)推出了環(huán)??焖压δ埽瑢?shí)現(xiàn)了各類業(yè)務(wù)一體化查詢。此外,環(huán)??焖堰€可以根據(jù)用戶偏好分析,自動為用戶推薦可能需要的環(huán)境數(shù)據(jù)。如污防部門每個季度都需要超標(biāo)排放的企業(yè)數(shù)據(jù),系統(tǒng)可以定時為用戶推送。
大數(shù)據(jù)分析的核心就是算法和模型的研究,IBM中國研究院在大數(shù)據(jù)應(yīng)用的模型上下足了功夫。據(jù)IBM中國研究院高級總監(jiān)王海峰介紹,IBM采用Watson認(rèn)知計算技術(shù)融合多類型多來源模型(物理模型、學(xué)習(xí)模型、專家模型),建立了可自調(diào)節(jié)的空氣質(zhì)量超級模型,可以用于環(huán)境污染仿真建模和天氣預(yù)測與預(yù)警。王海峰還介紹了大數(shù)據(jù)在監(jiān)測污染源方面的獨(dú)特優(yōu)勢,通過對衛(wèi)星觀測數(shù)據(jù)、移動用戶提供的污染源信息、地面污染源監(jiān)測數(shù)據(jù)進(jìn)行計算,就可以識別異常數(shù)據(jù),為環(huán)境執(zhí)法提供依據(jù)。
而大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展又為環(huán)保部門與企業(yè)的合作提供了新的機(jī)遇。在環(huán)境保護(hù)部信息中心3月舉行的一次環(huán)境信息資源應(yīng)用研討會上,鄂爾多斯遇上了IBM。
鄂爾多斯大數(shù)據(jù)平臺只是開端
記者了解到,鄂爾多斯環(huán)保工作已經(jīng)進(jìn)入信息化帶動環(huán)境管理的新階段,環(huán)境數(shù)據(jù)資源中心也已建成,未來將全部布置在鄂爾多斯大數(shù)據(jù)中心。
鄂爾多斯環(huán)保局局長董介中介紹說,鄂爾多斯大數(shù)據(jù)中心將擁有市政、交通、農(nóng)業(yè)、氣象、能源等社會各方面的數(shù)據(jù),不久,環(huán)保數(shù)據(jù)將真正對接大數(shù)據(jù)。開發(fā)大數(shù)據(jù)平臺、利用大數(shù)據(jù)為環(huán)保管理工作服務(wù)是鄂爾多斯環(huán)保局急切要解決的問題。于是,在環(huán)境保護(hù)部信息中心、內(nèi)蒙古自治區(qū)環(huán)保廳的支持和指導(dǎo)下,鄂爾多斯環(huán)保局與IBM合作建成環(huán)保大數(shù)據(jù)平臺,并初步投入使用。
目前,除了傳統(tǒng)的地面觀測數(shù)據(jù)、排放清單、重點(diǎn)污染源監(jiān)測數(shù)據(jù)、氣象數(shù)據(jù)、地形地貌,大數(shù)據(jù)平臺還集納了衛(wèi)星遙感數(shù)據(jù)、企業(yè)生產(chǎn)數(shù)據(jù)、移動傳感器數(shù)據(jù)、社會輿論、企業(yè)信用情況等數(shù)據(jù)資源。
“大數(shù)據(jù)平臺的一大特點(diǎn)就是可以準(zhǔn)確溯源,當(dāng)自動觀測站數(shù)據(jù)發(fā)生異常的時候,平臺會自動觸發(fā)溯源分析,依次進(jìn)行氣象分析、空氣質(zhì)量分析,然后開始污染溯源,再進(jìn)行企業(yè)集中生產(chǎn)分析。”董介中告訴記者,大數(shù)據(jù)平臺溯源可以給出量化分析結(jié)果,從而為精準(zhǔn)執(zhí)法提供數(shù)據(jù)支撐,有利于提高執(zhí)法效率。
以往,溯源基本上依靠人工觀測,無法估算具體的貢獻(xiàn)量,極容易出現(xiàn)偏差。鄂托克旗位于內(nèi)蒙古烏海市與鄂爾多斯市交界處,毗鄰多個工業(yè)園區(qū),污染狀況一直處于說不清的狀態(tài),經(jīng)過大數(shù)據(jù)平臺的計算,鄂托克旗徹底搞清了污染來源。“大數(shù)據(jù)平臺的溯源功能便于我們環(huán)保部門有針對性地開展環(huán)境治理?!倍橹姓f。
除了溯源外,大數(shù)據(jù)平臺還可以對重污染天氣進(jìn)行預(yù)測預(yù)警,甚至可以預(yù)測哪一天將出現(xiàn)重污染天氣,從而有利于環(huán)保部門有針對性地管控污染源,避免重污染天氣的出現(xiàn)。鄂爾多斯信息中心接入在線監(jiān)控數(shù)據(jù)和空氣自動站數(shù)據(jù)后,記者看到一張色塊動態(tài)圖,綠色代表空氣質(zhì)量最優(yōu),顏色越來越深,就代表空氣質(zhì)量越來越差。
鄂爾多斯環(huán)保局大數(shù)據(jù)平臺可說是環(huán)保系統(tǒng)開展大數(shù)據(jù)應(yīng)用的一個代表,大數(shù)據(jù)建設(shè)也將成為環(huán)境保護(hù)部下一步工作的重點(diǎn)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10