
愛德華?斯諾登曝光NSA監(jiān)聽之后,喬治?奧威爾著作《1984》的銷量都增加了。就目前的情況來說,即使人們不喜歡老大哥在監(jiān)視自己,也要準(zhǔn)備好接受隱私被冒犯的代價(jià),來換得安全保障。
那么“大數(shù)據(jù)”會(huì)怎么樣?快速增長的個(gè)人數(shù)據(jù)掌握在公司們手中,它們使用新型的數(shù)據(jù)分析和人工智能技術(shù)來改進(jìn)自己的產(chǎn)品和服務(wù),預(yù)測顧客的需求。谷歌首席執(zhí)行官拉里?佩奇(Larry Page)描述他心目中理想的科技形態(tài)是“一個(gè)真正智能的助理,能夠幫人類去做事,我們就不必再費(fèi)腦筋”。
試想一下居住在虛擬的唐頓莊園(Downton Abbey)里,有一臺(tái)電腦幫你安排一天的計(jì)劃,給出旅行的最佳路線建議、可能想要觀看的影片和最適宜搭乘的航班——甚至幫你訂票——這的確有誘惑力。我們都在趕時(shí)間,想要一個(gè)簡單輕松的生活。只要不被信息轟炸或是迫失選擇,有個(gè)私人助理服務(wù)還是不錯(cuò)的。
但是NSA監(jiān)聽事件讓所有人大吃一驚,雖然監(jiān)聽計(jì)劃已經(jīng)存在60年了,我懷疑許多人是否能明白他們每天制造的數(shù)據(jù)量有多大,或者是否了解如今科技發(fā)展到怎樣的程度——一小撮大數(shù)據(jù)公司已經(jīng)在進(jìn)行數(shù)據(jù)挖掘。科技發(fā)展得太快,兩年前還認(rèn)為是不可能的事情如今已經(jīng)十分平常了。
“未來既令人激動(dòng)又讓人恐懼。擁有海量數(shù)據(jù)的公司們甚至要比你還要了解你自己。它們能預(yù)測你下面可能做什么,”李開復(fù)說。他是Google中國的前任CEO,目前在北京做投資。
上周我在一篇專欄文章里將谷歌與19世紀(jì)的通用電氣進(jìn)行了比較——這是一家創(chuàng)新的工業(yè)公司,借助了在新技術(shù)潮流發(fā)展的力量。不利的一面是谷歌、亞馬遜、微軟以及其他科技巨頭正在積累自己的力量,需要小心翼翼地控制。
NSA和大數(shù)據(jù)公司將它們的數(shù)據(jù)庫和計(jì)算能力用在了不同的地方——一個(gè)是發(fā)現(xiàn)間諜和恐怖分子,一個(gè)是為用戶匹配服務(wù)。它們對(duì)大規(guī)模數(shù)據(jù)庫的使用有相似之處,比如模式識(shí)別和網(wǎng)絡(luò)分析等等。
更進(jìn)一步來看,這涉及到人工智能技術(shù),比如在用戶輸入關(guān)鍵詞時(shí)分析搜索的目的、實(shí)時(shí)將演講翻譯成另外一種語言(像微軟去年在中國演示的那樣)、通過讀取上千張圖像去學(xué)習(xí)分辨一只貓的照片。
計(jì)算機(jī)學(xué)習(xí)人類趨同行為的能力被稱作是“深度學(xué)習(xí)(deep learning)”,值得注意的是谷歌已經(jīng)聘請(qǐng)了該領(lǐng)域的幾位前沿學(xué)者,其中就包括科學(xué)家、作家雷?庫茲韋爾(Ray Kurzweil)。NSA向美國私人公司開放的技術(shù)轉(zhuǎn)讓中就有“領(lǐng)先的機(jī)器學(xué)習(xí)技術(shù)”。
這種軟件可以從信息碎片中預(yù)測許多東西,只要碎片足夠多就可以,好像NSA從運(yùn)營商Verizon那里獲取電話撥叫元數(shù)據(jù)并對(duì)其分析一樣??偨y(tǒng)奧巴馬向美國公民保證“沒人在竊聽你的電話”,但是只要撥叫紀(jì)錄就足夠了。
哈佛大學(xué)教授拉坦婭?斯威妮(Latanya Sweeney)的一項(xiàng)研究表明,有87%的人在獲知年齡、性別和郵政編碼的情況下能夠被確認(rèn)身份,只要在公開數(shù)據(jù)庫里交叉確認(rèn)(cross-checked)就可以。這恰恰是社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)公司通常所收集的數(shù)據(jù)。
大數(shù)據(jù)公司的驚人能力來自一點(diǎn),它們可以將顧客的個(gè)人數(shù)據(jù)進(jìn)行整合,其中就涵蓋購買的何種商品、位置在哪里(由移動(dòng)電話的GPS搜集)。由此生成一組有關(guān)顧客意圖的“推測數(shù)據(jù)(inferred data)”。
舉例說明,如果我在印度時(shí)用安卓手機(jī)搜索“泰姬陵”,谷歌會(huì)優(yōu)先顯示北方邦(Uttar Pradesh)的神廟結(jié)果。如果我在倫敦東部的布里克街(Brick Lane),則會(huì)返回本地的孟加拉風(fēng)味餐廳結(jié)果?;谖业脑u(píng)價(jià)紀(jì)錄提供餐館預(yù)訂服務(wù)也就不難實(shí)現(xiàn)了。
從一方面來說,如果確實(shí)做到這一點(diǎn)(只要是一家好餐廳)我會(huì)很高興,因?yàn)槟軌蚬?jié)省我的一些操作。從另一方面來看,正如世界經(jīng)濟(jì)論壇關(guān)于個(gè)人數(shù)據(jù)的報(bào)告里所講:“預(yù)測數(shù)據(jù)給人感覺好像無所不知的老大哥在盯著監(jiān)控錄像一樣?!?/span>
其中引發(fā)的擔(dān)憂之一是掌握這種軟件能力的大數(shù)據(jù)公司很難與之抗衡。我和其他用戶提供的數(shù)據(jù)越多,它們對(duì)我們意圖的預(yù)測就越準(zhǔn)確。機(jī)器大腦越用越精明。
另外一個(gè)和信任有關(guān)。社交網(wǎng)絡(luò)在保護(hù)用戶數(shù)據(jù)方面做得很差,它們只擁有一小片段涉及用戶行為、習(xí)慣和意愿的信息。很明顯為什么NSA會(huì)把社交網(wǎng)絡(luò)作為目標(biāo)——NSA有計(jì)算能力,他們需要數(shù)據(jù)原料。
第三點(diǎn)是所有權(quán)的問題。我們都對(duì)自己的信息享有一定的權(quán)利。但是這些信息和其他人的信息被整合到一個(gè)大規(guī)模的意愿數(shù)據(jù)庫中,情況會(huì)有什么變化?如果我改變主意,如何讓信息恢復(fù)原狀?
最重要的一點(diǎn),我們不知道這種技術(shù)意味著什么,因?yàn)槲覀冞€處于大數(shù)據(jù)時(shí)代的初級(jí)階段。誠然大數(shù)據(jù)有許多地方令人傾佩,但是需要一些時(shí)間讓人們愛上它。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03