
“大數(shù)據(jù)”的便利與“暴政”_數(shù)據(jù)分析師
對于大多數(shù)人來說,“大數(shù)據(jù)”還是一個陌生的術(shù)語,但它的威力已無所不在:信用卡公司追蹤客戶信息,能迅速發(fā)現(xiàn)資金異動,并向持卡人發(fā)出警示;能源公司利用氣象數(shù)據(jù)分析,可以輕松選定安裝風輪機的理想地點;瑞典首都斯德哥爾摩使用運算程序管理交通,令市區(qū)擁堵時間縮短一半……
牛津大學教授維克多·梅耶-舍恩伯格在其新書《大數(shù)據(jù)》中說,這是一場“革命”,將對各行各業(yè)帶來深刻影響,甚至改變我們的思維方式,但同時它也引發(fā)“數(shù)據(jù)暴政”的擔憂。
1 商業(yè):
提供“精準預(yù)測”
在一些公司、實驗室和政府機構(gòu),“數(shù)據(jù)”被捧為21世紀新型“石油”或“黃金”。一些統(tǒng)計學家、物理學家和所謂的數(shù)據(jù)科學家從中獲利豐厚,他們服務(wù)于大數(shù)據(jù)應(yīng)用程序開發(fā)公司,“藍色彼岸”便是其中之一。
“藍色彼岸”成立于5年前,目前有85名員工。經(jīng)理尤韋·魏斯介紹,公司利用自行開發(fā)的軟件,分析超市刷卡記錄、天氣資訊、學校放假信息和交通報告等數(shù)據(jù),為客戶提供“精準預(yù)測”。他們的客戶包括德國郵購業(yè)泰斗奧托集團和dm連鎖藥店。
魏斯說,“藍色彼岸”的軟件不僅能從單條信息中分析出更多內(nèi)容,而且能發(fā)現(xiàn)信息間關(guān)聯(lián),對零售業(yè)極為有用,可以避免發(fā)貨出錯,最大限度降低庫存成本。
例如,“藍色彼岸”發(fā)現(xiàn),某些日子里,一家超市連鎖店的牛奶、巧克力棒和蘋果的銷量大幅上升,而這一時間恰好與附近一家青年旅社里一群學生的到來相吻合。于是,公司搜集鄰近各州學校放假安排等資訊,利用軟件計算出某一特定時間可能到來的學生人數(shù)。
再如,“藍色彼岸”發(fā)現(xiàn),如果遇到周三為節(jié)假日,其前后幾天小孩不用上學,因此對面包片的需求量減少,“藍色彼岸”的存貨預(yù)訂系統(tǒng)會自動做出相應(yīng)調(diào)節(jié)。
此外,“藍色彼岸”幫助dm連鎖藥店計算最合理的員工人數(shù),并為每家分店提供銷售預(yù)測報告。
奧托集團說,自從使用“藍色彼岸”的軟件,銷售預(yù)測準確度提高20%到40%。它準備把該軟件應(yīng)用推廣到公司運動品牌零售商SportScheck,并收購“藍色彼岸”50%股權(quán)。
“大數(shù)據(jù)正在重塑整個經(jīng)濟,我們只是處于起步階段,”魏斯說。
2醫(yī)療:
開啟個性化治療
位于柏林巴伯爾斯貝格地區(qū)的哈索·普拉特納研究所(HPI)可能成為數(shù)以百萬計癌癥患者的希望。研究所二樓的計算機房常年保持低溫,以免價值150萬歐元的處理器過熱。普通計算機只有1個處理器,但那里的每臺計算機有40個處理器,運算速度是傳統(tǒng)計算機的1000倍,甚至更快。
普拉特納是全球最大的企業(yè)管理和系統(tǒng)化商務(wù)解決方案供應(yīng)商“思愛普”(SAP)創(chuàng)始人,也是HPI贊助人。他介紹說,HPI的漢娜數(shù)據(jù)庫技術(shù)始于一個名叫“Sanssouci DB”項目,由8個大學生創(chuàng)立,曾獲得創(chuàng)新大獎,如今已成為“內(nèi)存儲處理”的代名詞。
HPI負責人、數(shù)學家克里斯托弗·邁內(nèi)爾認為,該技術(shù)不僅有廣泛的商業(yè)前景,而且為癌癥治療提供機遇,“我們正站在個性化醫(yī)療的門檻上”。
邁內(nèi)爾說,每一種腫瘤都不盡相同,這意味著同樣的治療方法對不同人會產(chǎn)生不同效果。目前,為了給患者制定有針對性的治療方案,需花費數(shù)月破譯其基因組。這并不奇怪,因為每個人有大約30億個DNA“積木”。但在HPI“超級大腦”的幫助下,破譯基因組只需要短短數(shù)秒。
此外,HPI的電腦可以從公共基因庫中精選所有信息,為每一個患者尋找到最合適他癥狀的治療方案。“目前,這種搜索配對過程還需花費數(shù)月時間,”邁內(nèi)爾說。
曼徹斯特大學研究人員正在從事另一個“大數(shù)據(jù)”項目——幫助獨居老人的“神奇地毯”。它看上去與普通地毯沒有什么區(qū)別,但裝有內(nèi)置感應(yīng)器記錄老人的行動規(guī)律。如果有違正常規(guī)律,則意味著可能發(fā)生意外,“神奇地毯”會發(fā)出警報。
科學家們還做了相關(guān)衍生實驗,比如在假肢上安裝芯片和感應(yīng)器,以達到預(yù)警效果。
3安全:
助力抓賊反恐斗黑客
在美國加州圣克魯斯市一個地下車庫,一名小偷正在撬車,卻被幾米開外正在一輛車里吃午餐的警察逮了個正著。這名警察并非“碰巧”出現(xiàn)在那里,而是根據(jù)一個計算機軟件的推薦在此守株待兔。
過去兩年里,這座城市的警察換班時,都會根據(jù)長官和軟件發(fā)出的指示外出巡邏。該軟件輸入了警方所有數(shù)據(jù),不斷更新,用于計算何時何地可能發(fā)生夜盜、搶劫、偷車等犯罪行為,其中三分之二確實發(fā)生了。
這一軟件由計算機專家喬治·莫勒和從事犯罪學研究的人類學家杰弗里·布蘭廷漢姆聯(lián)合編寫,參照了預(yù)測地震余震的程序模式。圣克魯斯警察局副局長史蒂夫·克拉克于2011年偶然得知這一創(chuàng)意,三人共同開展了一個測試項目。他們把圣克魯斯市8年來的犯罪記錄輸入程序,再加上其他潛在相關(guān)數(shù)據(jù),比如天氣狀況、公園資訊和公交線路等。
“起初,很多人持懷疑態(tài)度,包括我自己,”克拉克說,“但數(shù)據(jù)本身證明其確實有效?!睋?jù)他介紹,使用犯罪預(yù)測系統(tǒng)一年后,夜盜案件減少11%,盜車案件減少8%,破案率大幅提升56%。
目前,圣克魯斯整個警界都在使用犯罪預(yù)測系統(tǒng),所有警察外出巡邏時都配備智能手機和接入預(yù)測系統(tǒng)的平板電腦。只要有機會,他們就會進入標識出的案發(fā)高概率區(qū)域,制止可能的犯罪行為。
莫勒和布蘭廷漢姆后來成立公司,將“預(yù)警巡邏”軟件推向全球,僅美國就有十幾個城市的警察局是其用戶,包括洛杉磯、波士頓和芝加哥。近日,克拉克前往英國肯特,指導當?shù)鼐炀质褂眠@一軟件。
除警察局外,軍隊和情報機構(gòu)也非常重視數(shù)據(jù)分析。比如,在搜尋本·拉丹的過程中,“大數(shù)據(jù)”就發(fā)揮了重要作用,正是數(shù)據(jù)庫分析讓調(diào)查人員把目光聚焦在巴基斯坦的阿伯塔巴德。
Splunk是情報界和軍方炙手可熱的軟件供應(yīng)商,總部設(shè)在舊金山一家舊香腸工廠里。不久前,在科技記者評出的全球最具創(chuàng)意的公司中,Splunk名列第5,而谷歌僅列第11位。
“空客A380的渦輪機在單次飛行中提供的數(shù)據(jù)相當于一個中等規(guī)模的計算機中樞,”Splunk產(chǎn)品部高級副總裁圭多·施羅德說。分析渦輪機提供的數(shù)據(jù)有助于最大程度降低燃油消耗,優(yōu)化維修間隔期。
“安全領(lǐng)域是‘大數(shù)據(jù)’應(yīng)用增長最快的領(lǐng)域之一,”施羅德說。除對付犯罪和恐怖主義外,Splunk的軟件還能查明黑客攻擊等網(wǎng)絡(luò)犯罪。
4
個性化服務(wù)是“大數(shù)據(jù)”應(yīng)用程序魅力所在。比如,如果有人在“臉譜”上表示“喜歡”某款牛仔褲,當他下次進入該店鋪時,就可能收到店主給他發(fā)送的同品牌牛仔褲的打折信息??雌饋恚@對零售商和消費者都有好處,但主張保護數(shù)據(jù)隱私的人卻認為,“大數(shù)據(jù)”理念其實與“專制獨裁”沒有區(qū)別。
為消除人們顧慮,許多公司強調(diào)他們收集、儲存、分析數(shù)據(jù)都是“匿名”,但事實上可能并非如此。在線期刊《科學報道》近期一項研究顯示,每個人有自己的行動模式,95%的人可能被識別。普林斯頓計算機科學家阿爾溫德·納拉亞南在其博客上說,可供分析的數(shù)據(jù)越多,就越不可能保持“匿名”,識別一個人只要33個字節(jié)的信息量。
紐約廣告商奧美的調(diào)查顯示,75%受訪者表示不希望企業(yè)存儲個人數(shù)據(jù),90%反對企業(yè)追蹤自己的上網(wǎng)記錄。
在現(xiàn)代社會,一個更加迫切的問題是:人們是否真的愿意接受一個“數(shù)字驅(qū)動經(jīng)濟”的世界?在這個世界里,數(shù)據(jù)分析能預(yù)測你的孩子在學校表現(xiàn)如何,他將來適合怎樣的工作,誰有多大幾率犯罪或得癌癥,電視臺和唱片公司能根據(jù)預(yù)測迎合觀眾或聽眾的口味……但在這個一切都計算好的世界里,創(chuàng)意、靈感和驚喜在哪里?
互聯(lián)網(wǎng)哲學家葉夫根尼·莫羅佐夫?qū)υS多“大數(shù)據(jù)”應(yīng)用程序背后的意識形態(tài)提出尖銳批評,警告即將發(fā)生“數(shù)據(jù)暴政”。他提出,那些“大數(shù)據(jù)”應(yīng)用程序應(yīng)當接受獨立審計人定期審查,以防權(quán)力濫用。
“大數(shù)據(jù)”行業(yè)巨頭谷歌的一次不經(jīng)意行為,顯示了人們對“數(shù)據(jù)暴政”的警惕。谷歌董事長埃里克·施密特說,公司在2010年曾閃過這樣一個玩笑想法:通過數(shù)據(jù)分析預(yù)測股票價格,但后來放棄了,因為公司高管認為,這可能不合法。
但他沒有說,這是不可能的。 ·唐昀·
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
AI 浪潮下的生存與進階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04