
三個(gè)應(yīng)用案例—大數(shù)據(jù)挖掘潛在的威脅
大數(shù)據(jù)、大城市。世界已有不少大都會(huì)運(yùn)用數(shù)據(jù)分析與算法建立智能城市,改善交通、例如日本東京就把每輛車子都變成精準(zhǔn)的「行動(dòng)數(shù)據(jù)」,緩解交通堵塞甚至降低死亡車禍的數(shù)量。在歐美,從紐約、舊金山、芝加哥到倫敦、阿姆斯特丹,各種藉由搜集大量數(shù)據(jù)、發(fā)現(xiàn)模式、預(yù)測(cè)未來的項(xiàng)目不斷帶領(lǐng)城市前進(jìn)。其中有從正面改善城市風(fēng)貌的,也有提前一步,遏止未來可能發(fā)生的罪行甚至慘案。今天就讓我們來看看三種應(yīng)用案例:
紐約地鐵出現(xiàn)大量神秘 DNA
就算沒去過紐約,也應(yīng)該都聽說過擁有百年歷史的紐約地鐵,又臟又臭又陰暗,但是紐約客以及自世界各地來的旅客又都離不開地鐵,每天 550 萬人搭乘,想必每一座地鐵、每一層階梯、每一列車廂,到處沾滿人類陳年積淀的汗?jié)n與污垢。不過,真實(shí)情況可能要你大吃一驚,不是沒那么臟,而是比我們想象得更奇幻。
康乃爾大學(xué) Weill 醫(yī)學(xué)院的研究者們,花了 18 個(gè)月的時(shí)間執(zhí)行了一項(xiàng)大數(shù)據(jù)項(xiàng)目。他們用鑒識(shí)科學(xué)常用的棉花棒,在 486 個(gè)紐約地鐵站搜集目標(biāo)樣本,車廂門、樓梯扶手、座椅、燈桿、垃圾桶都不放過,最后總共發(fā)現(xiàn) 1 萬 5 千多種微生物,將近一半的樣本是人類未知的有機(jī)生物,27% 是活性并俱有抗藥性的細(xì)菌,雖然所有細(xì)菌僅有 12% 與疾病相關(guān),還發(fā)現(xiàn)了三個(gè)與腺鼠疫、炭疽相關(guān)樣本,但幸而這些樣本都沒有活性。而與人類的基因組相匹配的只占了不到 2%。
這項(xiàng)研究的主要作者康乃爾醫(yī)學(xué)院遺傳學(xué)家 Christopher E. Mason 說:「人們望著地鐵上的手扶梯時(shí),從來不會(huì)有『這上面充滿生命』的念頭,但是知道這項(xiàng)研究之后,他們可能會(huì)開始這么想。不過我想讓他們以看待熱帶雨林的眼光看待地鐵,這里有那么多物種,但并沒有影響到你的健康,簡(jiǎn)直讓人敬畏和贊嘆?!?/span>
關(guān)于地鐵細(xì)菌的研究,不只是有趣,也不只是滿足了科學(xué)家的好奇心,研究者們將把這些物種分門別類,未來就能把它們當(dāng)作對(duì)照樣本,確定某些疾病、甚至也可預(yù)測(cè)未來若恐怖份子把某些細(xì)菌當(dāng)做生物武器攻擊的物質(zhì),是否已經(jīng)擴(kuò)散。
洛杉磯警察的關(guān)鍵報(bào)告
電影《關(guān)鍵報(bào)告》中,主角靠著擁有預(yù)知犯罪者的系統(tǒng),在罪行真正發(fā)生之前,就先把人逮捕到案。
預(yù)測(cè)性警務(wù)軟件「PredPol」當(dāng)然沒有科幻到「人」的地步,但也有達(dá)成遏止犯罪率的效果了。該團(tuán)隊(duì)花了五年時(shí)間,收集過去十年的警方數(shù)據(jù),并且運(yùn)用算法分析,預(yù)測(cè)下一次可能產(chǎn)生犯罪情況的地點(diǎn)。共同創(chuàng)辦人 Jeffrey Brantingham 指出,他們基于三個(gè)因素測(cè)定發(fā)生案件的機(jī)率:容易滋養(yǎng)犯罪事件的場(chǎng)所(比如過去對(duì)斗毆事件睜一只眼閉一只眼的酒吧)、多次受害地區(qū)(repeat victimization,比如曾被闖入的門戶容易再次被闖入)、受害地區(qū)的鄰近地區(qū)(曾被闖入的門戶周遭區(qū)域也容易成為下次被下手的目標(biāo)),計(jì)算出 10-20 個(gè)最有可能在警察下一次執(zhí)勤時(shí)發(fā)生犯罪的地點(diǎn)。PredPol 宣稱,只要警察花 5%-15% 的巡邏時(shí)間在劃定的紅色區(qū)域,就能只比依靠自身經(jīng)驗(yàn)阻止更多犯罪活動(dòng)。
目前全美共有將近 60 間警局使用 Predpol,每年每間警局必須支付大約 10 萬 — 15 萬美金的服務(wù)費(fèi)。雖然公部門預(yù)算拮據(jù),但投資 PredPol 的第一年,加州 Santa Cruz 闖空門的竊盜案就下降了 11%、搶劫案更減少了 27%。2011 年洛杉磯 Foothill 區(qū)開始使用 PredPol,四個(gè)月之后犯罪率降低了 13%,其他未未使用 PredPol 的區(qū)域微幅多出 0.4%。
洛杉磯警局 Foothill 的警官 Sean Malinowski 說,「我們一直持續(xù)使用這套軟件,F(xiàn)oothills 也一直都是洛杉磯犯罪率下降最高的區(qū)域。我不認(rèn)為兩者之間毫無關(guān)聯(lián)?!?/span>
倫敦打擊「惡棍交易員」
交易員詐欺導(dǎo)致銀行或個(gè)人嚴(yán)重?fù)p失的新聞時(shí)有所聞。過去非法交易只能透過「關(guān)鍵詞監(jiān)測(cè)(key word surveillance)」來判斷交易員是否涉及瀆職,但是 Market Practitioner Panel (MPP)指出,這種方式是有缺陷的。想要揭露失職的交易員,運(yùn)用大數(shù)據(jù)技術(shù)會(huì)是揭露會(huì)是更長(zhǎng)期而有效的方案。
MPP 建議英國(guó)金融機(jī)構(gòu)采取「預(yù)測(cè)編碼(predictive codeing)」的方式,不只能夠偵測(cè)關(guān)鍵詞,還能辨識(shí)出交易員非比尋常的行為,像是從非正式的管道如私人信箱、實(shí)時(shí)通訊、聊天論壇溝通,或者在奇怪的時(shí)間離開辦公室、強(qiáng)制休假卻搞失蹤、在組織中所扮演的角色與責(zé)任等等。
大數(shù)據(jù)技術(shù)能夠非常細(xì)微的觀測(cè)個(gè)別交易員的活動(dòng),精確建立每位交易員的個(gè)人資料與實(shí)際操作模式,一有異常就能提前預(yù)防,而且能夠大規(guī)模且實(shí)時(shí)的分析。除了交易員之外,一般個(gè)人當(dāng)然也得提防。金融詐欺者愈來愈精明、愈來愈猖狂,金融業(yè)者勢(shì)必得施加更大的力道,應(yīng)用最新的技術(shù),全面整合分析數(shù)據(jù),從個(gè)人開辦帳戶開始,就要建立檔案并針對(duì)交易監(jiān)控與客戶管理保持追蹤,檢測(cè)異常的帳戶活動(dòng),從而趨吉避兇。
不過,品誠(chéng)梅森(Pinsent Masons)律師事務(wù)所信息保護(hù)專家 Kathryn Wynn 提醒,機(jī)構(gòu)需注意別濫用大數(shù)據(jù)破壞隱私,未審先判。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11