
編譯:Mika
【導(dǎo)讀】
自動(dòng)駕駛汽車只是個(gè)開始。大數(shù)據(jù)驅(qū)動(dòng)技術(shù)和設(shè)計(jì)的未來(lái)是什么?肯尼斯·庫(kù)基爾在TED演講中探討了機(jī)器學(xué)習(xí)和人類知識(shí)的下一步發(fā)展方向。
美國(guó)人最愛的餡餅是什么?
毋庸置疑是蘋果派。
我們是怎么知道的?通過數(shù)據(jù)。
當(dāng)你看到超市的銷售數(shù)據(jù),會(huì)發(fā)現(xiàn)超市銷售的30厘米冷凍餡餅中,蘋果派勝出,這是毫無(wú)懸念的。絕大多數(shù)的銷售份額就是來(lái)自蘋果派。但是之后,超市開始銷售比較小的11厘米的餡餅。
突然間,蘋果派的銷量下降到了第4或第5名。這是為什么?發(fā)生什么了?
好的,不妨想象一下:
當(dāng)你準(zhǔn)備買一個(gè)30厘米的餡餅時(shí),全家都不得不同意選擇蘋果派餡餅,雖然蘋果派并不是每個(gè)人首選。但當(dāng)你給自己選一個(gè)11厘米餡餅時(shí),你可以買你最愛吃的口味。你會(huì)選你的首選項(xiàng)。
有了更多數(shù)據(jù),你可以知道些事情,這些事情在你只有少量數(shù)據(jù)時(shí)你是無(wú)法知道的。這里關(guān)鍵的是更多的數(shù)據(jù),不單單讓我們知道更多,知道更多我們正在關(guān)注的同樣事物;更多的數(shù)據(jù)使我們能了解新的事情,讓我們更好地了解,讓我們有不同的視角。
在這個(gè)例子里,更多的數(shù)據(jù)讓我們知道:美國(guó)人最喜歡的餡餅,不是蘋果派。
你肯定聽過大數(shù)據(jù)這個(gè)詞。事實(shí)上,你可能對(duì)這個(gè)詞已經(jīng)有些煩了。確實(shí),大數(shù)據(jù)受到了空前的宣傳炒作,這很不應(yīng)該。因?yàn)榇髷?shù)據(jù)是一個(gè)非常重要的工具,社會(huì)將由此而不斷進(jìn)步。
過去我們習(xí)慣于處理小數(shù)據(jù),思考這些小數(shù)據(jù)的意義,并以此來(lái)了解世界?,F(xiàn)在我們有很多很多的數(shù)據(jù),數(shù)據(jù)量前所未有的巨大。當(dāng)我們掌握海量數(shù)據(jù)時(shí),我們可以做一些事,一些在只有較少數(shù)據(jù)時(shí)不可能辦到的事。
大數(shù)據(jù)很重要,它也是一個(gè)新興事物。想象一下,大數(shù)據(jù)能夠幫助我們應(yīng)對(duì)世界性難題。比如應(yīng)對(duì)食物短缺、醫(yī)療短缺、能源短缺、電力短缺等問題的唯一辦法是有效利用大數(shù)據(jù)。
那么大數(shù)據(jù)新在何處?為什么這么重要呢?
為了回答這個(gè)問題,讓我們看一下信息在以前是什么樣的。
1908年在克里特島上,考古學(xué)家發(fā)現(xiàn)了一個(gè)粘土做的盤子。這是個(gè)公元前2000年的盤子距今約有4000年的歷史。盤子上有銘文,但是我們不知道它們是什么意思,這完全是個(gè)謎團(tuán)。
但這就是4000年前信息的樣子,這就是當(dāng)時(shí)社會(huì)存儲(chǔ)和傳遞信息的方式?,F(xiàn)代社會(huì)也沒有什么很大的進(jìn)步,我們還是把數(shù)據(jù)存儲(chǔ)在磁盤中,但我們可以存儲(chǔ)更多的信息,遠(yuǎn)遠(yuǎn)超過以前的信息容量。
這些信息搜索和復(fù)制起來(lái)更簡(jiǎn)單,分享和處理起來(lái)也更便捷。我們也可以重新利用這些數(shù)據(jù),一些我們?cè)诋?dāng)初收集時(shí)從來(lái)沒有料想過的用途。
從這個(gè)方面來(lái)說(shuō),數(shù)據(jù)已經(jīng)從儲(chǔ)存狀態(tài)到了流動(dòng)狀態(tài),從靜態(tài)的統(tǒng)計(jì)性的數(shù)據(jù),變成動(dòng)態(tài)的數(shù)據(jù)流,這就是信息的流動(dòng)性。
克里特島發(fā)現(xiàn)的粘土盤有4000年的歷史,非常笨重,但它不能記錄太多的信息,并且它所記錄的信息是不能更改的。
與此相反,愛德華·斯諾登從美國(guó)國(guó)家安全局所獲得的文件,可以放在一個(gè)僅有指甲大小的存儲(chǔ)盤里,并且可以以光速進(jìn)行數(shù)據(jù)共享。
今天我們有這么多數(shù)據(jù)的一個(gè)原因是,我們一直在收集信息,就像我們一直在做的一樣。另一個(gè)原因是我們記錄了許多蘊(yùn)含豐富信息的事物,但是從沒把信息轉(zhuǎn)換成數(shù)據(jù)形式,現(xiàn)在我們正在把信息轉(zhuǎn)變成數(shù)據(jù)。
舉個(gè)例子——定位問題。
比如說(shuō)馬丁·路德(德國(guó)宗教改革家)。在16世紀(jì),如果我們想知道馬丁·路德在哪里。我們必須一直跟著他,或許用羽毛筆和墨水,把這些情況記錄下來(lái)。
那現(xiàn)今是什么樣的情形呢?
在某些地方,可能在電信運(yùn)營(yíng)商的數(shù)據(jù)庫(kù)里有個(gè)電子數(shù)據(jù)表或者至少一個(gè)數(shù)據(jù)目錄,記錄著所有關(guān)于你,任何時(shí)候在什么地點(diǎn)的信息。
如果你有個(gè)手機(jī),這個(gè)手機(jī)有GPS ,或者即使沒有GPS它還是可以記錄你的信息。從這方面來(lái)說(shuō),位置信息被數(shù)據(jù)化了。
再舉個(gè)例子,關(guān)于姿勢(shì)。
你們現(xiàn)在坐著的姿勢(shì)都不一樣,這是一個(gè)關(guān)于腿長(zhǎng),以及你的背部和背部輪廓的函數(shù)。如果我現(xiàn)在放一些傳感器在你的椅子里,我可以算出你的獨(dú)一無(wú)二的參數(shù)。
那我們能用它來(lái)干什么呢?
東京的研究者把它運(yùn)用在一個(gè)汽車防盜設(shè)施的雛形上。設(shè)想的是當(dāng)盜賊坐在駕駛座上,企圖把車開走,但是汽車識(shí)別出駕駛座上的是個(gè)未授權(quán)駕駛?cè)?。那汽車可能就?huì)熄火,除非你在儀表盤上輸入密碼,來(lái)表明“我已獲得授權(quán)”。試想如果歐洲的每輛汽車都裝備了這項(xiàng)技術(shù)會(huì)是怎樣的情形?
我們還能做些什么呢?或許如果我們整合數(shù)據(jù),我們可以識(shí)別示警信號(hào)。對(duì)于在下一個(gè)五秒鐘內(nèi)可能發(fā)生的意外做出最佳預(yù)判。我們也可以進(jìn)行數(shù)據(jù)化的是司機(jī)的疲勞度。
當(dāng)汽車偵測(cè)到司機(jī)的坐姿倒成某一特定姿勢(shì)時(shí),這個(gè)設(shè)備感知到并發(fā)出車內(nèi)警告。可能是震動(dòng)方向盤或語(yǔ)音提示,“嗨,醒醒。集中精神在路況上”
這就是生活的更多方面數(shù)據(jù)化后我們能做的事情。那么大數(shù)據(jù)的價(jià)值在哪里?
思考一下,你有了更多地信息,你可以做你以前不能做的事。
在運(yùn)用這個(gè)概念的領(lǐng)域里,讓人印象最為最深刻的是機(jī)器學(xué)習(xí)。
機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支,人工智能又是計(jì)算機(jī)科學(xué)的一個(gè)分支。它的基本理念是把關(guān)于某個(gè)問題的一堆數(shù)據(jù)扔給電腦,讓電腦自己找出解決方案,而不是教電腦應(yīng)該做什么。通過機(jī)器學(xué)習(xí)的原型,可以幫助你來(lái)理解這個(gè)理念。
20世紀(jì)50年代IBM的計(jì)算機(jī)科學(xué)家,亞瑟·塞繆爾想玩跳棋,所以他寫了個(gè)程序,這樣他就可以和電腦來(lái)玩。
開始他下一盤,就贏一盤。因?yàn)殡娔X只知道規(guī)則允許怎樣走,亞瑟·塞繆爾還知道其他東西,他知道下棋的策略。所以他又寫了一個(gè)附加程序,這個(gè)程序在后臺(tái)運(yùn)行。它的功能只是計(jì)算概率,在一個(gè)給定的棋局里每走一步后,會(huì)獲勝或者失敗的概率。
之后他再和電腦下棋,還是他下一盤,就贏一盤。
后來(lái)亞瑟讓電腦自己和自己下棋。電腦自己玩的時(shí)候收集了更多的數(shù)據(jù),收集的數(shù)據(jù)越多, 預(yù)測(cè)的準(zhǔn)確率就越高。
然后亞瑟又繼續(xù)和電腦下棋,這次他下一盤,就輸一盤。亞瑟?jiǎng)?chuàng)造了一個(gè)機(jī)器,它的能力超越了亞瑟開始時(shí)所教給它的。
機(jī)器學(xué)習(xí)的理念現(xiàn)在已經(jīng)隨處可見。
你們覺得無(wú)人駕駛汽車的關(guān)鍵技術(shù)是什么?
是不是把所有交通規(guī)則輸入軟件就萬(wàn)事大吉了?不是。
內(nèi)存很便宜?不是。
算法更快了,不是。
處理器更強(qiáng)大了,不是。
這些都有影響, 但不是真正的原因。真正的原因是我們改變了問題的本質(zhì)。
我們把問題的本質(zhì),從試圖明確無(wú)誤地教會(huì)電腦怎樣駕駛,變成我們對(duì)電腦說(shuō),“這里有許多關(guān)于汽車的數(shù)據(jù),你自己搞定它。你知道那是交通信號(hào)燈,那是紅燈不是綠燈。遇到紅燈你必須停下來(lái),不能往前走?!?
機(jī)器學(xué)習(xí)是許多網(wǎng)上在線應(yīng)用的基礎(chǔ)。搜索引擎、亞馬遜的個(gè)性化算法、計(jì)算機(jī)智能翻譯、語(yǔ)音識(shí)別系統(tǒng)。
研究者最近在研究關(guān)于活組織檢查的問題,即腫瘤活組織檢查。他們讓電腦通過 (歷史) 數(shù)據(jù)和存活率來(lái)判斷這些細(xì)胞是否是癌癥細(xì)胞。
果不其然,當(dāng)你把數(shù)據(jù)交給電腦,電腦通過自主學(xué)習(xí),可以尋找出12個(gè)最佳的鑒別特征,用來(lái)預(yù)測(cè)乳腺癌細(xì)胞的活檢切片確實(shí)是癌癥細(xì)胞。
大數(shù)據(jù)也有黑暗的一面,它可以改善我們的生活,但也會(huì)帶來(lái)一些我們需要注意的問題。
首先就是,我們可能因?yàn)轭A(yù)測(cè)的結(jié)果而受到懲罰。
現(xiàn)在有個(gè)詞叫做預(yù)見性監(jiān)管或者叫算法犯罪學(xué)。這個(gè)想法是如果我們掌握了大量數(shù)據(jù),比如以往犯罪發(fā)生的地點(diǎn),我們可以就知道把警力派到哪里。這很合理,但問題是數(shù)據(jù)分析不會(huì)僅限于地點(diǎn)數(shù)據(jù),它會(huì)進(jìn)一步深入到個(gè)人層面。
為什么我們不去分析某人的中學(xué)成績(jī)單,或者我們可以了解他們的就職情況、信用記錄,他們的上網(wǎng)行為,他們是否熬夜。當(dāng)可以通過健康腕帶讀取生化數(shù)據(jù)時(shí),就可以知道他們是否有激進(jìn)的想法。
我們可以用算法來(lái)預(yù)測(cè)我們將要做什么,可能有些事情還沒做,我們就要承擔(dān)責(zé)任個(gè)人隱私在小數(shù)據(jù)時(shí)代是主要挑戰(zhàn)。在大數(shù)據(jù)時(shí)代,這個(gè)挑戰(zhàn)將會(huì)成為保衛(wèi)自由意愿、道德選擇 、人類意志、人類的能動(dòng)性。
還有另一個(gè)問題大數(shù)據(jù)會(huì)取代我們的工作。
在21世紀(jì),大數(shù)據(jù)和算法會(huì)威脅到白領(lǐng)和需要專業(yè)知識(shí)的工作。就像在20世紀(jì)工廠自動(dòng)化和裝配生產(chǎn)線的應(yīng)用威脅到了藍(lán)領(lǐng)們的工作崗位。
想象一下一個(gè)研究室技術(shù)員,他的工作就是通過一個(gè)顯微鏡觀察一個(gè)癌癥活檢組織來(lái)判定它是不是癌癥的。這個(gè)人上大學(xué),買房子,他是這個(gè)社會(huì)的一份子。然后這個(gè)人的工作,還有其他像他一樣的專業(yè)人員將會(huì)發(fā)現(xiàn)他們的工作被徹底改變了,或者徹底廢除了。
我們一直以為在短時(shí)或者暫時(shí)的就業(yè)調(diào)整期后,一段時(shí)間內(nèi)科技會(huì)創(chuàng)造就業(yè)機(jī)會(huì)。這對(duì)于我們所處的參考系,工業(yè)革命來(lái)說(shuō)就是這樣。
因?yàn)樵诠I(yè)革命時(shí)期事情就是這樣的。但是我們忘記了一件事情,有些類型的職業(yè)已經(jīng)徹底消失了,并且再也不會(huì)回來(lái)。如果你是一匹馬,工業(yè)革命不是一件好事。
所以我們必須非常小心,根據(jù)我們的需求和整個(gè)人類的需求來(lái)利用和適應(yīng)大數(shù)據(jù)。我們必須是技術(shù)的主人,而不是技術(shù)的仆人。
我們正在步入大數(shù)據(jù)時(shí)代。老實(shí)說(shuō), 我們并不能很好地處理所有我們現(xiàn)在能夠收集到的數(shù)據(jù)。這不僅僅是國(guó)家安全領(lǐng)域的問題,許多企業(yè)也搜集并不恰當(dāng)?shù)厥褂脭?shù)據(jù)。我們需要時(shí)間來(lái)糾正這個(gè)問題。
這有點(diǎn)像原始人類面對(duì)火時(shí)所面臨的挑戰(zhàn)?;鹗且环N工具,但是如果使用不當(dāng)就會(huì)引火燒身。
大數(shù)據(jù)即將改變我們的生活方式,我們的工作方式和思考方式。它可以幫助我們管理事業(yè),幫助我們過想要的滿足、充滿希望、幸福和健康的生活。
但是在過去, 對(duì)于信息技術(shù)(IT),我們經(jīng)常只看到了T,就是技術(shù)、硬件,因?yàn)檫@是切實(shí)可見的東西?,F(xiàn)在我們需要把目光放在 I 上,信息。它不是那么切實(shí)可見,但某種程度上卻更加重要。
在人類永無(wú)止境的探索過程中,我們可以從我們能收集的信息中來(lái)了解這個(gè)世界。以及人類在這個(gè)世界中所處的地位。這就是為什么大數(shù)據(jù)非常重要。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03