
三個應(yīng)用案例—大數(shù)據(jù)挖掘潛在的威脅
大數(shù)據(jù)、大城市。世界已有不少大都會運用數(shù)據(jù)分析與算法建立智能城市,改善交通、例如日本東京就把每輛車子都變成精準(zhǔn)的「行動數(shù)據(jù)」,緩解交通堵塞甚至降低死亡車禍的數(shù)量。在歐美,從紐約、舊金山、芝加哥到倫敦、阿姆斯特丹,各種藉由搜集大量數(shù)據(jù)、發(fā)現(xiàn)模式、預(yù)測未來的項目不斷帶領(lǐng)城市前進。其中有從正面改善城市風(fēng)貌的,也有提前一步,遏止未來可能發(fā)生的罪行甚至慘案。今天就讓我們來看看三種應(yīng)用案例:
紐約地鐵出現(xiàn)大量神秘 DNA
就算沒去過紐約,也應(yīng)該都聽說過擁有百年歷史的紐約地鐵,又臟又臭又陰暗,但是紐約客以及自世界各地來的旅客又都離不開地鐵,每天 550 萬人搭乘,想必每一座地鐵、每一層階梯、每一列車廂,到處沾滿人類陳年積淀的汗?jié)n與污垢。不過,真實情況可能要你大吃一驚,不是沒那么臟,而是比我們想象得更奇幻。
康乃爾大學(xué) Weill 醫(yī)學(xué)院的研究者們,花了 18 個月的時間執(zhí)行了一項大數(shù)據(jù)項目。他們用鑒識科學(xué)常用的棉花棒,在 486 個紐約地鐵站搜集目標(biāo)樣本,車廂門、樓梯扶手、座椅、燈桿、垃圾桶都不放過,最后總共發(fā)現(xiàn) 1 萬 5 千多種微生物,將近一半的樣本是人類未知的有機生物,27% 是活性并俱有抗藥性的細(xì)菌,雖然所有細(xì)菌僅有 12% 與疾病相關(guān),還發(fā)現(xiàn)了三個與腺鼠疫、炭疽相關(guān)樣本,但幸而這些樣本都沒有活性。而與人類的基因組相匹配的只占了不到 2%。
這項研究的主要作者康乃爾醫(yī)學(xué)院遺傳學(xué)家 Christopher E. Mason 說:「人們望著地鐵上的手扶梯時,從來不會有『這上面充滿生命』的念頭,但是知道這項研究之后,他們可能會開始這么想。不過我想讓他們以看待熱帶雨林的眼光看待地鐵,這里有那么多物種,但并沒有影響到你的健康,簡直讓人敬畏和贊嘆?!?/span>
關(guān)于地鐵細(xì)菌的研究,不只是有趣,也不只是滿足了科學(xué)家的好奇心,研究者們將把這些物種分門別類,未來就能把它們當(dāng)作對照樣本,確定某些疾病、甚至也可預(yù)測未來若恐怖份子把某些細(xì)菌當(dāng)做生物武器攻擊的物質(zhì),是否已經(jīng)擴散。
洛杉磯警察的關(guān)鍵報告
電影《關(guān)鍵報告》中,主角靠著擁有預(yù)知犯罪者的系統(tǒng),在罪行真正發(fā)生之前,就先把人逮捕到案。
預(yù)測性警務(wù)軟件「PredPol」當(dāng)然沒有科幻到「人」的地步,但也有達(dá)成遏止犯罪率的效果了。該團隊花了五年時間,收集過去十年的警方數(shù)據(jù),并且運用算法分析,預(yù)測下一次可能產(chǎn)生犯罪情況的地點。共同創(chuàng)辦人 Jeffrey Brantingham 指出,他們基于三個因素測定發(fā)生案件的機率:容易滋養(yǎng)犯罪事件的場所(比如過去對斗毆事件睜一只眼閉一只眼的酒吧)、多次受害地區(qū)(repeat victimization,比如曾被闖入的門戶容易再次被闖入)、受害地區(qū)的鄰近地區(qū)(曾被闖入的門戶周遭區(qū)域也容易成為下次被下手的目標(biāo)),計算出 10-20 個最有可能在警察下一次執(zhí)勤時發(fā)生犯罪的地點。PredPol 宣稱,只要警察花 5%-15% 的巡邏時間在劃定的紅色區(qū)域,就能只比依靠自身經(jīng)驗阻止更多犯罪活動。
目前全美共有將近 60 間警局使用 Predpol,每年每間警局必須支付大約 10 萬 — 15 萬美金的服務(wù)費。雖然公部門預(yù)算拮據(jù),但投資 PredPol 的第一年,加州 Santa Cruz 闖空門的竊盜案就下降了 11%、搶劫案更減少了 27%。2011 年洛杉磯 Foothill 區(qū)開始使用 PredPol,四個月之后犯罪率降低了 13%,其他未未使用 PredPol 的區(qū)域微幅多出 0.4%。
洛杉磯警局 Foothill 的警官 Sean Malinowski 說,「我們一直持續(xù)使用這套軟件,F(xiàn)oothills 也一直都是洛杉磯犯罪率下降最高的區(qū)域。我不認(rèn)為兩者之間毫無關(guān)聯(lián)?!?/span>
倫敦打擊「惡棍交易員」
交易員詐欺導(dǎo)致銀行或個人嚴(yán)重?fù)p失的新聞時有所聞。過去非法交易只能透過「關(guān)鍵詞監(jiān)測(key word surveillance)」來判斷交易員是否涉及瀆職,但是 Market Practitioner Panel (MPP)指出,這種方式是有缺陷的。想要揭露失職的交易員,運用大數(shù)據(jù)技術(shù)會是揭露會是更長期而有效的方案。
MPP 建議英國金融機構(gòu)采取「預(yù)測編碼(predictive codeing)」的方式,不只能夠偵測關(guān)鍵詞,還能辨識出交易員非比尋常的行為,像是從非正式的管道如私人信箱、實時通訊、聊天論壇溝通,或者在奇怪的時間離開辦公室、強制休假卻搞失蹤、在組織中所扮演的角色與責(zé)任等等。
大數(shù)據(jù)技術(shù)能夠非常細(xì)微的觀測個別交易員的活動,精確建立每位交易員的個人資料與實際操作模式,一有異常就能提前預(yù)防,而且能夠大規(guī)模且實時的分析。除了交易員之外,一般個人當(dāng)然也得提防。金融詐欺者愈來愈精明、愈來愈猖狂,金融業(yè)者勢必得施加更大的力道,應(yīng)用最新的技術(shù),全面整合分析數(shù)據(jù),從個人開辦帳戶開始,就要建立檔案并針對交易監(jiān)控與客戶管理保持追蹤,檢測異常的帳戶活動,從而趨吉避兇。
不過,品誠梅森(Pinsent Masons)律師事務(wù)所信息保護專家 Kathryn Wynn 提醒,機構(gòu)需注意別濫用大數(shù)據(jù)破壞隱私,未審先判。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-18剛?cè)肼殘龌蚴窃诼殘稣媾R崗位替代、技能更新、人機協(xié)作等焦慮的打工人,想要找到一條破解職場焦慮和升職瓶頸的系統(tǒng)化學(xué)習(xí)提升 ...
2025-07-182025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價值的煉金術(shù) ...
2025-07-18CDA 數(shù)據(jù)分析師:數(shù)據(jù)時代的價值挖掘者 在大數(shù)據(jù)席卷全球的今天,數(shù)據(jù)已成為企業(yè)核心競爭力的重要組成部分。從海量數(shù)據(jù)中提取有 ...
2025-07-18SPSS 賦值后數(shù)據(jù)不顯示?原因排查與解決指南? 在 SPSS( Statistical Package for the Social Sciences)數(shù)據(jù)分析過程中,變量 ...
2025-07-18在 DBeaver 中利用 MySQL 實現(xiàn)表數(shù)據(jù)同步操作指南? ? 在數(shù)據(jù)庫管理工作中,將一張表的數(shù)據(jù)同步到另一張表是常見需求,這有助于 ...
2025-07-18數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價值的橋梁? 在數(shù)據(jù)驅(qū)動決策的時代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動業(yè)務(wù)增長的實戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟時代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動的時代,面對海量、復(fù)雜的數(shù)據(jù),如何高效地進行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11