
大數(shù)據(jù)“算命”消除天災(zāi)人禍_數(shù)據(jù)分析師
身處這個(gè)大時(shí)代,大數(shù)據(jù)還能干什么?一些應(yīng)用,或許你有所不知。
從位于上海交大電子信息與電氣工程學(xué)院的大數(shù)據(jù)工程技術(shù)研究中心,到位于中山北一路“803大院”的上海市刑事科學(xué)技術(shù)研究院,科學(xué)家和工程師們都在思考:如何利用大數(shù)據(jù)“算命”,盡量消除天災(zāi)人禍。
密集風(fēng)險(xiǎn)預(yù)警,智能疏導(dǎo)客流
未來(lái)一天傍晚,某商圈車水馬龍、人潮涌動(dòng)。
“滴滴滴……”商圈管理辦公室的警鈴瞬時(shí)響起,發(fā)出人流密集風(fēng)險(xiǎn)預(yù)警!同時(shí),顯示屏跳出預(yù)警信息,通過分析周邊人流分布狀況,獲得應(yīng)急疏散預(yù)案也隨即給出。值班人員小張立即拿起對(duì)講機(jī)通知安保部:“百貨門前天橋人流過度集中,請(qǐng)迅速啟動(dòng)二級(jí)疏導(dǎo)預(yù)案,引導(dǎo)客流往1號(hào)、3號(hào)大門疏散,同時(shí)關(guān)閉2號(hào)大門?!闭f(shuō)話之間,相關(guān)數(shù)據(jù)信息已第一時(shí)間傳輸至全市預(yù)警系統(tǒng)平臺(tái)。
大數(shù)據(jù)工程技術(shù)研究中心主任、上海交大特聘教授邱才明向記者描述了這樣的大數(shù)據(jù)應(yīng)用場(chǎng)景。原來(lái),這次預(yù)警是由“人流密集風(fēng)險(xiǎn)預(yù)警系統(tǒng)”發(fā)出的。通過商圈安裝的圖像智能識(shí)別系統(tǒng),這套預(yù)警系統(tǒng)就能實(shí)時(shí)采集人流信息,隨即對(duì)這些數(shù)據(jù)進(jìn)行分析處理。
邱才明介紹,基于隨機(jī)矩陣?yán)碚摰拇髷?shù)據(jù)分析方法可進(jìn)行建模,數(shù)據(jù)模型可判斷出實(shí)時(shí)人流狀態(tài),并可同時(shí)預(yù)測(cè)未來(lái)5至10分鐘該區(qū)域內(nèi)人群密度的變化趨勢(shì),第一時(shí)間提供相關(guān)部門決策支持。一旦人流密集度超出預(yù)警標(biāo)準(zhǔn),系統(tǒng)將立即發(fā)出報(bào)警,并根據(jù)事態(tài)成因、人群行為分析和周邊通道狀況建立應(yīng)急疏散模型,從中優(yōu)化選擇最佳方案,供指揮中心發(fā)出客流疏導(dǎo)指令。
參考人流密集風(fēng)險(xiǎn)預(yù)警系統(tǒng)的智能建議,管理者、決策者可根據(jù)預(yù)警等級(jí),判斷引起人流變化的原因,可能是某商圈活動(dòng)引起人流聚集,也可能是車輛停運(yùn),甚至是人員傷害、恐怖襲擊等。因此,管理人員就能因勢(shì)利導(dǎo),采取疏導(dǎo)、限流甚至警力干預(yù)等措施,避免人流過度聚集,排除安全隱患,為民眾安全出行保駕護(hù)航。
邱才明教授認(rèn)為,在未來(lái),隨著移動(dòng)終端、位置服務(wù)(LBS)和車聯(lián)網(wǎng)應(yīng)用的日益普及,地理數(shù)據(jù)、軌跡數(shù)據(jù)和各種基于位置的搜索記錄等,將共同構(gòu)成位置大數(shù)據(jù)。這不僅僅是信息,還將成為重要的戰(zhàn)略資源,應(yīng)用大數(shù)據(jù)技術(shù)將提供很多社會(huì)和城市運(yùn)行的規(guī)律及趨勢(shì),為優(yōu)化政府規(guī)劃、防災(zāi)和應(yīng)急響應(yīng)提供智慧支撐。
有了千里眼,還需神算手
2013年4月20日,四川省雅安市蘆山縣發(fā)生7.0級(jí)地震。又是四川,又是大震?突如其來(lái)的天災(zāi)牽動(dòng)全國(guó)人民的心,許多民間志愿者自發(fā)組織前往震區(qū)救災(zāi)。一時(shí)間,趕赴災(zāi)區(qū)的綠色通道,擠滿了大大小小的救援隊(duì)伍,造成了嚴(yán)重堵塞,甚至發(fā)生了救援志愿者遭遇墜石事故喪生的悲劇。
在肯定民間搶險(xiǎn)救災(zāi)熱情的同時(shí),人們也開始進(jìn)行“理性救災(zāi)”反思。搶險(xiǎn)救災(zāi)不能僅僅依靠一腔熱情,更需要以科學(xué)的技術(shù)與方法作為指導(dǎo)。上海交大電信學(xué)院大數(shù)據(jù)工程技術(shù)研究中心副主任金之儉認(rèn)為,通過大數(shù)據(jù)理論建立海量遙感數(shù)據(jù)獲取、儲(chǔ)存與分析體系,將為“理性救災(zāi)”指明道路,也就是說(shuō),在地震發(fā)生后的第一時(shí)間,依靠衛(wèi)星或航空遙感技術(shù),遠(yuǎn)程獲取震區(qū)現(xiàn)場(chǎng)數(shù)據(jù),評(píng)估和預(yù)測(cè)災(zāi)區(qū)受損情況,明確物資需求,規(guī)劃救援道路,有助于制定合理的救援計(jì)劃,最大程度減小災(zāi)害影響。
有了千里眼、順風(fēng)耳,還需神算手。災(zāi)害監(jiān)測(cè)是遙感技術(shù)的一個(gè)重要應(yīng)用方向,對(duì)于自然災(zāi)害頻發(fā)的國(guó)家和地區(qū)而言尤其具有價(jià)值。我國(guó)近年來(lái)遭遇了多次地震災(zāi)害,與震前預(yù)測(cè)相比,災(zāi)后震區(qū)的遙感數(shù)據(jù)監(jiān)測(cè),更可充分測(cè)算解析大數(shù)據(jù)海量、異構(gòu)、多源的外部特征,以及多維度、多尺度、非穩(wěn)定的內(nèi)部特征,通過對(duì)地表、環(huán)境、地震本身數(shù)據(jù)的充分測(cè)算解析,使災(zāi)害造成的危難細(xì)節(jié)、對(duì)地面道路的損害程度、救援資源的調(diào)度分配等實(shí)時(shí)分析能力獲得提升,這對(duì)于減少災(zāi)難損失、提高救援效率、支持災(zāi)后重建具有極其重要的作用。
除了地震災(zāi)害監(jiān)測(cè),大數(shù)據(jù)遙感還可應(yīng)用到洋流監(jiān)測(cè)、氣候預(yù)警等多個(gè)領(lǐng)域。以洋流監(jiān)測(cè)為例,地球上有遼闊的海洋,其面積是地球上陸地面積的2.5倍,不過人類對(duì)海洋的認(rèn)識(shí)還非常局限。事實(shí)上,海洋是人類環(huán)境、氣候的起源地,只有對(duì)海洋進(jìn)行監(jiān)控,才能獲得更好的氣象預(yù)報(bào)、環(huán)境預(yù)測(cè)等效能。
金之儉介紹,目前科學(xué)家們正試圖將傳感器,如溫度、鹽度、熱慣量等傳感器,廣泛布置于海洋中。這些傳感器產(chǎn)生的數(shù)據(jù)量非常龐大,并且很多數(shù)據(jù)無(wú)法實(shí)時(shí)傳到數(shù)據(jù)中心。假如在每個(gè)足球場(chǎng)這么大的海洋面積放置1個(gè)傳感器,全球海洋分布的傳感器總量將達(dá)520億只,其所含信息和維度都非常之大。通過高維大數(shù)據(jù)計(jì)算方法,才能對(duì)這些數(shù)據(jù)進(jìn)行處理,從而有助于對(duì)厄爾尼諾現(xiàn)象會(huì)否發(fā)生、糧食產(chǎn)區(qū)氣候是否惡化等情況進(jìn)行預(yù)警。
解讀DNA大數(shù)據(jù),滴血畫像
在保護(hù)生命和財(cái)產(chǎn)安全方面,大數(shù)據(jù)還有大作為。一滴血驗(yàn)DNA,已不是什么神奇;如今,法醫(yī)只要7個(gè)完整的人體細(xì)胞,就能檢出DNA。
在市公安局刑事科學(xué)技術(shù)研究管理中心,生物物證室副主任平原介紹,由于 DNA 物證檢驗(yàn)?zāi)芰焖偬嵘?,目前每年滬上與DNA檢測(cè)相關(guān)的案件達(dá)到1萬(wàn)多起,其中包含了3.4萬(wàn)個(gè)現(xiàn)場(chǎng)樣本,小到果殼、大到樹木?;谶@種 DNA大數(shù)據(jù),可快速比對(duì)嫌疑人的DNA,排除嫌疑或鎖定嫌犯,依法保障公民安全。
而上海產(chǎn)業(yè)技術(shù)研究院生物醫(yī)學(xué)部主任李亦學(xué)研究員表示,在生物信息學(xué)領(lǐng)域,現(xiàn)有計(jì)算能力與急劇上升的生物數(shù)據(jù)量之間,存在極大差距。以人體為例,常被采用的基因就達(dá)2.2萬(wàn)種,還有30萬(wàn)種相關(guān)蛋白??梢哉f(shuō),人類的計(jì)算能力按照摩爾定律每18個(gè)月翻一番,而存儲(chǔ)能力大約每14個(gè)月翻一番,但大數(shù)據(jù)的產(chǎn)量則是5個(gè)月就會(huì)翻一番。
當(dāng)然,下一代基因測(cè)序技術(shù)正在不斷追趕生物數(shù)據(jù)的大爆炸。比如最先進(jìn)的“HiSeq X”基因測(cè)序系統(tǒng),由10臺(tái)“HiSeq X”測(cè)序儀組成,采用“測(cè)序工廠”模式定位,適合運(yùn)行于大型化的基因組中心,為各類生命科學(xué)和生物醫(yī)學(xué)研究提供海量、高效的測(cè)序服務(wù)。據(jù)稱,這樣的測(cè)序機(jī)器每次運(yùn)行需要3天時(shí)間,即可產(chǎn)出高達(dá)1.8T的有價(jià)值數(shù)據(jù),數(shù)據(jù)產(chǎn)出效率是現(xiàn)有主流測(cè)序儀“HiSeq 2000”的12倍。這樣算來(lái),整套系統(tǒng)每年可完成1.8萬(wàn)人的全基因組測(cè)序,盡管這對(duì)于整個(gè)人類的生命大數(shù)據(jù)來(lái)說(shuō)還是杯水車薪,即使對(duì)于有特定需求的測(cè)序人員而言,也是供不應(yīng)求的。
在平原、李亦學(xué)等專家看來(lái),隨著 DNA大數(shù)據(jù)科學(xué)的發(fā)展,一滴血將不僅能測(cè)定“誰(shuí)是誰(shuí)”,也能鑒定出“他來(lái)自哪里”,甚至還能根據(jù)個(gè)體基因判斷分析表型特征,比如眼皮、鼻孔、耳垂、膚色等,從而自動(dòng)為他畫出一幅頭像來(lái)。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11