
大數(shù)據(jù)“算命”消除天災(zāi)人禍_數(shù)據(jù)分析師
身處這個(gè)大時(shí)代,大數(shù)據(jù)還能干什么?一些應(yīng)用,或許你有所不知。
從位于上海交大電子信息與電氣工程學(xué)院的大數(shù)據(jù)工程技術(shù)研究中心,到位于中山北一路“803大院”的上海市刑事科學(xué)技術(shù)研究院,科學(xué)家和工程師們都在思考:如何利用大數(shù)據(jù)“算命”,盡量消除天災(zāi)人禍。
密集風(fēng)險(xiǎn)預(yù)警,智能疏導(dǎo)客流
未來(lái)一天傍晚,某商圈車水馬龍、人潮涌動(dòng)。
“滴滴滴……”商圈管理辦公室的警鈴瞬時(shí)響起,發(fā)出人流密集風(fēng)險(xiǎn)預(yù)警!同時(shí),顯示屏跳出預(yù)警信息,通過(guò)分析周邊人流分布狀況,獲得應(yīng)急疏散預(yù)案也隨即給出。值班人員小張立即拿起對(duì)講機(jī)通知安保部:“百貨門前天橋人流過(guò)度集中,請(qǐng)迅速啟動(dòng)二級(jí)疏導(dǎo)預(yù)案,引導(dǎo)客流往1號(hào)、3號(hào)大門疏散,同時(shí)關(guān)閉2號(hào)大門。”說(shuō)話之間,相關(guān)數(shù)據(jù)信息已第一時(shí)間傳輸至全市預(yù)警系統(tǒng)平臺(tái)。
大數(shù)據(jù)工程技術(shù)研究中心主任、上海交大特聘教授邱才明向記者描述了這樣的大數(shù)據(jù)應(yīng)用場(chǎng)景。原來(lái),這次預(yù)警是由“人流密集風(fēng)險(xiǎn)預(yù)警系統(tǒng)”發(fā)出的。通過(guò)商圈安裝的圖像智能識(shí)別系統(tǒng),這套預(yù)警系統(tǒng)就能實(shí)時(shí)采集人流信息,隨即對(duì)這些數(shù)據(jù)進(jìn)行分析處理。
邱才明介紹,基于隨機(jī)矩陣?yán)碚摰拇髷?shù)據(jù)分析方法可進(jìn)行建模,數(shù)據(jù)模型可判斷出實(shí)時(shí)人流狀態(tài),并可同時(shí)預(yù)測(cè)未來(lái)5至10分鐘該區(qū)域內(nèi)人群密度的變化趨勢(shì),第一時(shí)間提供相關(guān)部門決策支持。一旦人流密集度超出預(yù)警標(biāo)準(zhǔn),系統(tǒng)將立即發(fā)出報(bào)警,并根據(jù)事態(tài)成因、人群行為分析和周邊通道狀況建立應(yīng)急疏散模型,從中優(yōu)化選擇最佳方案,供指揮中心發(fā)出客流疏導(dǎo)指令。
參考人流密集風(fēng)險(xiǎn)預(yù)警系統(tǒng)的智能建議,管理者、決策者可根據(jù)預(yù)警等級(jí),判斷引起人流變化的原因,可能是某商圈活動(dòng)引起人流聚集,也可能是車輛停運(yùn),甚至是人員傷害、恐怖襲擊等。因此,管理人員就能因勢(shì)利導(dǎo),采取疏導(dǎo)、限流甚至警力干預(yù)等措施,避免人流過(guò)度聚集,排除安全隱患,為民眾安全出行保駕護(hù)航。
邱才明教授認(rèn)為,在未來(lái),隨著移動(dòng)終端、位置服務(wù)(LBS)和車聯(lián)網(wǎng)應(yīng)用的日益普及,地理數(shù)據(jù)、軌跡數(shù)據(jù)和各種基于位置的搜索記錄等,將共同構(gòu)成位置大數(shù)據(jù)。這不僅僅是信息,還將成為重要的戰(zhàn)略資源,應(yīng)用大數(shù)據(jù)技術(shù)將提供很多社會(huì)和城市運(yùn)行的規(guī)律及趨勢(shì),為優(yōu)化政府規(guī)劃、防災(zāi)和應(yīng)急響應(yīng)提供智慧支撐。
有了千里眼,還需神算手
2013年4月20日,四川省雅安市蘆山縣發(fā)生7.0級(jí)地震。又是四川,又是大震?突如其來(lái)的天災(zāi)牽動(dòng)全國(guó)人民的心,許多民間志愿者自發(fā)組織前往震區(qū)救災(zāi)。一時(shí)間,趕赴災(zāi)區(qū)的綠色通道,擠滿了大大小小的救援隊(duì)伍,造成了嚴(yán)重堵塞,甚至發(fā)生了救援志愿者遭遇墜石事故喪生的悲劇。
在肯定民間搶險(xiǎn)救災(zāi)熱情的同時(shí),人們也開(kāi)始進(jìn)行“理性救災(zāi)”反思。搶險(xiǎn)救災(zāi)不能僅僅依靠一腔熱情,更需要以科學(xué)的技術(shù)與方法作為指導(dǎo)。上海交大電信學(xué)院大數(shù)據(jù)工程技術(shù)研究中心副主任金之儉認(rèn)為,通過(guò)大數(shù)據(jù)理論建立海量遙感數(shù)據(jù)獲取、儲(chǔ)存與分析體系,將為“理性救災(zāi)”指明道路,也就是說(shuō),在地震發(fā)生后的第一時(shí)間,依靠衛(wèi)星或航空遙感技術(shù),遠(yuǎn)程獲取震區(qū)現(xiàn)場(chǎng)數(shù)據(jù),評(píng)估和預(yù)測(cè)災(zāi)區(qū)受損情況,明確物資需求,規(guī)劃救援道路,有助于制定合理的救援計(jì)劃,最大程度減小災(zāi)害影響。
有了千里眼、順風(fēng)耳,還需神算手。災(zāi)害監(jiān)測(cè)是遙感技術(shù)的一個(gè)重要應(yīng)用方向,對(duì)于自然災(zāi)害頻發(fā)的國(guó)家和地區(qū)而言尤其具有價(jià)值。我國(guó)近年來(lái)遭遇了多次地震災(zāi)害,與震前預(yù)測(cè)相比,災(zāi)后震區(qū)的遙感數(shù)據(jù)監(jiān)測(cè),更可充分測(cè)算解析大數(shù)據(jù)海量、異構(gòu)、多源的外部特征,以及多維度、多尺度、非穩(wěn)定的內(nèi)部特征,通過(guò)對(duì)地表、環(huán)境、地震本身數(shù)據(jù)的充分測(cè)算解析,使災(zāi)害造成的危難細(xì)節(jié)、對(duì)地面道路的損害程度、救援資源的調(diào)度分配等實(shí)時(shí)分析能力獲得提升,這對(duì)于減少災(zāi)難損失、提高救援效率、支持災(zāi)后重建具有極其重要的作用。
除了地震災(zāi)害監(jiān)測(cè),大數(shù)據(jù)遙感還可應(yīng)用到洋流監(jiān)測(cè)、氣候預(yù)警等多個(gè)領(lǐng)域。以洋流監(jiān)測(cè)為例,地球上有遼闊的海洋,其面積是地球上陸地面積的2.5倍,不過(guò)人類對(duì)海洋的認(rèn)識(shí)還非常局限。事實(shí)上,海洋是人類環(huán)境、氣候的起源地,只有對(duì)海洋進(jìn)行監(jiān)控,才能獲得更好的氣象預(yù)報(bào)、環(huán)境預(yù)測(cè)等效能。
金之儉介紹,目前科學(xué)家們正試圖將傳感器,如溫度、鹽度、熱慣量等傳感器,廣泛布置于海洋中。這些傳感器產(chǎn)生的數(shù)據(jù)量非常龐大,并且很多數(shù)據(jù)無(wú)法實(shí)時(shí)傳到數(shù)據(jù)中心。假如在每個(gè)足球場(chǎng)這么大的海洋面積放置1個(gè)傳感器,全球海洋分布的傳感器總量將達(dá)520億只,其所含信息和維度都非常之大。通過(guò)高維大數(shù)據(jù)計(jì)算方法,才能對(duì)這些數(shù)據(jù)進(jìn)行處理,從而有助于對(duì)厄爾尼諾現(xiàn)象會(huì)否發(fā)生、糧食產(chǎn)區(qū)氣候是否惡化等情況進(jìn)行預(yù)警。
解讀DNA大數(shù)據(jù),滴血畫(huà)像
在保護(hù)生命和財(cái)產(chǎn)安全方面,大數(shù)據(jù)還有大作為。一滴血驗(yàn)DNA,已不是什么神奇;如今,法醫(yī)只要7個(gè)完整的人體細(xì)胞,就能檢出DNA。
在市公安局刑事科學(xué)技術(shù)研究管理中心,生物物證室副主任平原介紹,由于 DNA 物證檢驗(yàn)?zāi)芰焖偬嵘?,目前每年滬上與DNA檢測(cè)相關(guān)的案件達(dá)到1萬(wàn)多起,其中包含了3.4萬(wàn)個(gè)現(xiàn)場(chǎng)樣本,小到果殼、大到樹(shù)木?;谶@種 DNA大數(shù)據(jù),可快速比對(duì)嫌疑人的DNA,排除嫌疑或鎖定嫌犯,依法保障公民安全。
而上海產(chǎn)業(yè)技術(shù)研究院生物醫(yī)學(xué)部主任李亦學(xué)研究員表示,在生物信息學(xué)領(lǐng)域,現(xiàn)有計(jì)算能力與急劇上升的生物數(shù)據(jù)量之間,存在極大差距。以人體為例,常被采用的基因就達(dá)2.2萬(wàn)種,還有30萬(wàn)種相關(guān)蛋白??梢哉f(shuō),人類的計(jì)算能力按照摩爾定律每18個(gè)月翻一番,而存儲(chǔ)能力大約每14個(gè)月翻一番,但大數(shù)據(jù)的產(chǎn)量則是5個(gè)月就會(huì)翻一番。
當(dāng)然,下一代基因測(cè)序技術(shù)正在不斷追趕生物數(shù)據(jù)的大爆炸。比如最先進(jìn)的“HiSeq X”基因測(cè)序系統(tǒng),由10臺(tái)“HiSeq X”測(cè)序儀組成,采用“測(cè)序工廠”模式定位,適合運(yùn)行于大型化的基因組中心,為各類生命科學(xué)和生物醫(yī)學(xué)研究提供海量、高效的測(cè)序服務(wù)。據(jù)稱,這樣的測(cè)序機(jī)器每次運(yùn)行需要3天時(shí)間,即可產(chǎn)出高達(dá)1.8T的有價(jià)值數(shù)據(jù),數(shù)據(jù)產(chǎn)出效率是現(xiàn)有主流測(cè)序儀“HiSeq 2000”的12倍。這樣算來(lái),整套系統(tǒng)每年可完成1.8萬(wàn)人的全基因組測(cè)序,盡管這對(duì)于整個(gè)人類的生命大數(shù)據(jù)來(lái)說(shuō)還是杯水車薪,即使對(duì)于有特定需求的測(cè)序人員而言,也是供不應(yīng)求的。
在平原、李亦學(xué)等專家看來(lái),隨著 DNA大數(shù)據(jù)科學(xué)的發(fā)展,一滴血將不僅能測(cè)定“誰(shuí)是誰(shuí)”,也能鑒定出“他來(lái)自哪里”,甚至還能根據(jù)個(gè)體基因判斷分析表型特征,比如眼皮、鼻孔、耳垂、膚色等,從而自動(dòng)為他畫(huà)出一幅頭像來(lái)。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫(kù)操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問(wèn)題時(shí)有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書(shū):以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開(kāi)啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書(shū)) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07