
編譯:Mika
【導(dǎo)讀】
自動(dòng)駕駛汽車(chē)只是個(gè)開(kāi)始。大數(shù)據(jù)驅(qū)動(dòng)技術(shù)和設(shè)計(jì)的未來(lái)是什么?肯尼斯·庫(kù)基爾在TED演講中探討了機(jī)器學(xué)習(xí)和人類(lèi)知識(shí)的下一步發(fā)展方向。
美國(guó)人最?lèi)?ài)的餡餅是什么?
毋庸置疑是蘋(píng)果派。
我們是怎么知道的?通過(guò)數(shù)據(jù)。
當(dāng)你看到超市的銷(xiāo)售數(shù)據(jù),會(huì)發(fā)現(xiàn)超市銷(xiāo)售的30厘米冷凍餡餅中,蘋(píng)果派勝出,這是毫無(wú)懸念的。絕大多數(shù)的銷(xiāo)售份額就是來(lái)自蘋(píng)果派。但是之后,超市開(kāi)始銷(xiāo)售比較小的11厘米的餡餅。
突然間,蘋(píng)果派的銷(xiāo)量下降到了第4或第5名。這是為什么?發(fā)生什么了?
好的,不妨想象一下:
當(dāng)你準(zhǔn)備買(mǎi)一個(gè)30厘米的餡餅時(shí),全家都不得不同意選擇蘋(píng)果派餡餅,雖然蘋(píng)果派并不是每個(gè)人首選。但當(dāng)你給自己選一個(gè)11厘米餡餅時(shí),你可以買(mǎi)你最?lèi)?ài)吃的口味。你會(huì)選你的首選項(xiàng)。
有了更多數(shù)據(jù),你可以知道些事情,這些事情在你只有少量數(shù)據(jù)時(shí)你是無(wú)法知道的。這里關(guān)鍵的是更多的數(shù)據(jù),不單單讓我們知道更多,知道更多我們正在關(guān)注的同樣事物;更多的數(shù)據(jù)使我們能了解新的事情,讓我們更好地了解,讓我們有不同的視角。
在這個(gè)例子里,更多的數(shù)據(jù)讓我們知道:美國(guó)人最喜歡的餡餅,不是蘋(píng)果派。
你肯定聽(tīng)過(guò)大數(shù)據(jù)這個(gè)詞。事實(shí)上,你可能對(duì)這個(gè)詞已經(jīng)有些煩了。確實(shí),大數(shù)據(jù)受到了空前的宣傳炒作,這很不應(yīng)該。因?yàn)榇髷?shù)據(jù)是一個(gè)非常重要的工具,社會(huì)將由此而不斷進(jìn)步。
過(guò)去我們習(xí)慣于處理小數(shù)據(jù),思考這些小數(shù)據(jù)的意義,并以此來(lái)了解世界。現(xiàn)在我們有很多很多的數(shù)據(jù),數(shù)據(jù)量前所未有的巨大。當(dāng)我們掌握海量數(shù)據(jù)時(shí),我們可以做一些事,一些在只有較少數(shù)據(jù)時(shí)不可能辦到的事。
大數(shù)據(jù)很重要,它也是一個(gè)新興事物。想象一下,大數(shù)據(jù)能夠幫助我們應(yīng)對(duì)世界性難題。比如應(yīng)對(duì)食物短缺、醫(yī)療短缺、能源短缺、電力短缺等問(wèn)題的唯一辦法是有效利用大數(shù)據(jù)。
那么大數(shù)據(jù)新在何處?為什么這么重要呢?
為了回答這個(gè)問(wèn)題,讓我們看一下信息在以前是什么樣的。
1908年在克里特島上,考古學(xué)家發(fā)現(xiàn)了一個(gè)粘土做的盤(pán)子。這是個(gè)公元前2000年的盤(pán)子距今約有4000年的歷史。盤(pán)子上有銘文,但是我們不知道它們是什么意思,這完全是個(gè)謎團(tuán)。
但這就是4000年前信息的樣子,這就是當(dāng)時(shí)社會(huì)存儲(chǔ)和傳遞信息的方式。現(xiàn)代社會(huì)也沒(méi)有什么很大的進(jìn)步,我們還是把數(shù)據(jù)存儲(chǔ)在磁盤(pán)中,但我們可以存儲(chǔ)更多的信息,遠(yuǎn)遠(yuǎn)超過(guò)以前的信息容量。
這些信息搜索和復(fù)制起來(lái)更簡(jiǎn)單,分享和處理起來(lái)也更便捷。我們也可以重新利用這些數(shù)據(jù),一些我們?cè)诋?dāng)初收集時(shí)從來(lái)沒(méi)有料想過(guò)的用途。
從這個(gè)方面來(lái)說(shuō),數(shù)據(jù)已經(jīng)從儲(chǔ)存狀態(tài)到了流動(dòng)狀態(tài),從靜態(tài)的統(tǒng)計(jì)性的數(shù)據(jù),變成動(dòng)態(tài)的數(shù)據(jù)流,這就是信息的流動(dòng)性。
克里特島發(fā)現(xiàn)的粘土盤(pán)有4000年的歷史,非常笨重,但它不能記錄太多的信息,并且它所記錄的信息是不能更改的。
與此相反,愛(ài)德華·斯諾登從美國(guó)國(guó)家安全局所獲得的文件,可以放在一個(gè)僅有指甲大小的存儲(chǔ)盤(pán)里,并且可以以光速進(jìn)行數(shù)據(jù)共享。
今天我們有這么多數(shù)據(jù)的一個(gè)原因是,我們一直在收集信息,就像我們一直在做的一樣。另一個(gè)原因是我們記錄了許多蘊(yùn)含豐富信息的事物,但是從沒(méi)把信息轉(zhuǎn)換成數(shù)據(jù)形式,現(xiàn)在我們正在把信息轉(zhuǎn)變成數(shù)據(jù)。
舉個(gè)例子——定位問(wèn)題。
比如說(shuō)馬丁·路德(德國(guó)宗教改革家)。在16世紀(jì),如果我們想知道馬丁·路德在哪里。我們必須一直跟著他,或許用羽毛筆和墨水,把這些情況記錄下來(lái)。
那現(xiàn)今是什么樣的情形呢?
在某些地方,可能在電信運(yùn)營(yíng)商的數(shù)據(jù)庫(kù)里有個(gè)電子數(shù)據(jù)表或者至少一個(gè)數(shù)據(jù)目錄,記錄著所有關(guān)于你,任何時(shí)候在什么地點(diǎn)的信息。
如果你有個(gè)手機(jī),這個(gè)手機(jī)有GPS ,或者即使沒(méi)有GPS它還是可以記錄你的信息。從這方面來(lái)說(shuō),位置信息被數(shù)據(jù)化了。
再舉個(gè)例子,關(guān)于姿勢(shì)。
你們現(xiàn)在坐著的姿勢(shì)都不一樣,這是一個(gè)關(guān)于腿長(zhǎng),以及你的背部和背部輪廓的函數(shù)。如果我現(xiàn)在放一些傳感器在你的椅子里,我可以算出你的獨(dú)一無(wú)二的參數(shù)。
那我們能用它來(lái)干什么呢?
東京的研究者把它運(yùn)用在一個(gè)汽車(chē)防盜設(shè)施的雛形上。設(shè)想的是當(dāng)盜賊坐在駕駛座上,企圖把車(chē)開(kāi)走,但是汽車(chē)識(shí)別出駕駛座上的是個(gè)未授權(quán)駕駛?cè)?。那汽?chē)可能就會(huì)熄火,除非你在儀表盤(pán)上輸入密碼,來(lái)表明“我已獲得授權(quán)”。試想如果歐洲的每輛汽車(chē)都裝備了這項(xiàng)技術(shù)會(huì)是怎樣的情形?
我們還能做些什么呢?或許如果我們整合數(shù)據(jù),我們可以識(shí)別示警信號(hào)。對(duì)于在下一個(gè)五秒鐘內(nèi)可能發(fā)生的意外做出最佳預(yù)判。我們也可以進(jìn)行數(shù)據(jù)化的是司機(jī)的疲勞度。
當(dāng)汽車(chē)偵測(cè)到司機(jī)的坐姿倒成某一特定姿勢(shì)時(shí),這個(gè)設(shè)備感知到并發(fā)出車(chē)內(nèi)警告??赡苁钦饎?dòng)方向盤(pán)或語(yǔ)音提示,“嗨,醒醒。集中精神在路況上”
這就是生活的更多方面數(shù)據(jù)化后我們能做的事情。那么大數(shù)據(jù)的價(jià)值在哪里?
思考一下,你有了更多地信息,你可以做你以前不能做的事。
在運(yùn)用這個(gè)概念的領(lǐng)域里,讓人印象最為最深刻的是機(jī)器學(xué)習(xí)。
機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支,人工智能又是計(jì)算機(jī)科學(xué)的一個(gè)分支。它的基本理念是把關(guān)于某個(gè)問(wèn)題的一堆數(shù)據(jù)扔給電腦,讓電腦自己找出解決方案,而不是教電腦應(yīng)該做什么。通過(guò)機(jī)器學(xué)習(xí)的原型,可以幫助你來(lái)理解這個(gè)理念。
20世紀(jì)50年代IBM的計(jì)算機(jī)科學(xué)家,亞瑟·塞繆爾想玩跳棋,所以他寫(xiě)了個(gè)程序,這樣他就可以和電腦來(lái)玩。
開(kāi)始他下一盤(pán),就贏一盤(pán)。因?yàn)殡娔X只知道規(guī)則允許怎樣走,亞瑟·塞繆爾還知道其他東西,他知道下棋的策略。所以他又寫(xiě)了一個(gè)附加程序,這個(gè)程序在后臺(tái)運(yùn)行。它的功能只是計(jì)算概率,在一個(gè)給定的棋局里每走一步后,會(huì)獲勝或者失敗的概率。
之后他再和電腦下棋,還是他下一盤(pán),就贏一盤(pán)。
后來(lái)亞瑟讓電腦自己和自己下棋。電腦自己玩的時(shí)候收集了更多的數(shù)據(jù),收集的數(shù)據(jù)越多, 預(yù)測(cè)的準(zhǔn)確率就越高。
然后亞瑟又繼續(xù)和電腦下棋,這次他下一盤(pán),就輸一盤(pán)。亞瑟?jiǎng)?chuàng)造了一個(gè)機(jī)器,它的能力超越了亞瑟開(kāi)始時(shí)所教給它的。
機(jī)器學(xué)習(xí)的理念現(xiàn)在已經(jīng)隨處可見(jiàn)。
你們覺(jué)得無(wú)人駕駛汽車(chē)的關(guān)鍵技術(shù)是什么?
是不是把所有交通規(guī)則輸入軟件就萬(wàn)事大吉了?不是。
內(nèi)存很便宜?不是。
算法更快了,不是。
處理器更強(qiáng)大了,不是。
這些都有影響, 但不是真正的原因。真正的原因是我們改變了問(wèn)題的本質(zhì)。
我們把問(wèn)題的本質(zhì),從試圖明確無(wú)誤地教會(huì)電腦怎樣駕駛,變成我們對(duì)電腦說(shuō),“這里有許多關(guān)于汽車(chē)的數(shù)據(jù),你自己搞定它。你知道那是交通信號(hào)燈,那是紅燈不是綠燈。遇到紅燈你必須停下來(lái),不能往前走?!?
機(jī)器學(xué)習(xí)是許多網(wǎng)上在線(xiàn)應(yīng)用的基礎(chǔ)。搜索引擎、亞馬遜的個(gè)性化算法、計(jì)算機(jī)智能翻譯、語(yǔ)音識(shí)別系統(tǒng)。
研究者最近在研究關(guān)于活組織檢查的問(wèn)題,即腫瘤活組織檢查。他們讓電腦通過(guò) (歷史) 數(shù)據(jù)和存活率來(lái)判斷這些細(xì)胞是否是癌癥細(xì)胞。
果不其然,當(dāng)你把數(shù)據(jù)交給電腦,電腦通過(guò)自主學(xué)習(xí),可以尋找出12個(gè)最佳的鑒別特征,用來(lái)預(yù)測(cè)乳腺癌細(xì)胞的活檢切片確實(shí)是癌癥細(xì)胞。
大數(shù)據(jù)也有黑暗的一面,它可以改善我們的生活,但也會(huì)帶來(lái)一些我們需要注意的問(wèn)題。
首先就是,我們可能因?yàn)轭A(yù)測(cè)的結(jié)果而受到懲罰。
現(xiàn)在有個(gè)詞叫做預(yù)見(jiàn)性監(jiān)管或者叫算法犯罪學(xué)。這個(gè)想法是如果我們掌握了大量數(shù)據(jù),比如以往犯罪發(fā)生的地點(diǎn),我們可以就知道把警力派到哪里。這很合理,但問(wèn)題是數(shù)據(jù)分析不會(huì)僅限于地點(diǎn)數(shù)據(jù),它會(huì)進(jìn)一步深入到個(gè)人層面。
為什么我們不去分析某人的中學(xué)成績(jī)單,或者我們可以了解他們的就職情況、信用記錄,他們的上網(wǎng)行為,他們是否熬夜。當(dāng)可以通過(guò)健康腕帶讀取生化數(shù)據(jù)時(shí),就可以知道他們是否有激進(jìn)的想法。
我們可以用算法來(lái)預(yù)測(cè)我們將要做什么,可能有些事情還沒(méi)做,我們就要承擔(dān)責(zé)任個(gè)人隱私在小數(shù)據(jù)時(shí)代是主要挑戰(zhàn)。在大數(shù)據(jù)時(shí)代,這個(gè)挑戰(zhàn)將會(huì)成為保衛(wèi)自由意愿、道德選擇 、人類(lèi)意志、人類(lèi)的能動(dòng)性。
還有另一個(gè)問(wèn)題大數(shù)據(jù)會(huì)取代我們的工作。
在21世紀(jì),大數(shù)據(jù)和算法會(huì)威脅到白領(lǐng)和需要專(zhuān)業(yè)知識(shí)的工作。就像在20世紀(jì)工廠自動(dòng)化和裝配生產(chǎn)線(xiàn)的應(yīng)用威脅到了藍(lán)領(lǐng)們的工作崗位。
想象一下一個(gè)研究室技術(shù)員,他的工作就是通過(guò)一個(gè)顯微鏡觀察一個(gè)癌癥活檢組織來(lái)判定它是不是癌癥的。這個(gè)人上大學(xué),買(mǎi)房子,他是這個(gè)社會(huì)的一份子。然后這個(gè)人的工作,還有其他像他一樣的專(zhuān)業(yè)人員將會(huì)發(fā)現(xiàn)他們的工作被徹底改變了,或者徹底廢除了。
我們一直以為在短時(shí)或者暫時(shí)的就業(yè)調(diào)整期后,一段時(shí)間內(nèi)科技會(huì)創(chuàng)造就業(yè)機(jī)會(huì)。這對(duì)于我們所處的參考系,工業(yè)革命來(lái)說(shuō)就是這樣。
因?yàn)樵诠I(yè)革命時(shí)期事情就是這樣的。但是我們忘記了一件事情,有些類(lèi)型的職業(yè)已經(jīng)徹底消失了,并且再也不會(huì)回來(lái)。如果你是一匹馬,工業(yè)革命不是一件好事。
所以我們必須非常小心,根據(jù)我們的需求和整個(gè)人類(lèi)的需求來(lái)利用和適應(yīng)大數(shù)據(jù)。我們必須是技術(shù)的主人,而不是技術(shù)的仆人。
我們正在步入大數(shù)據(jù)時(shí)代。老實(shí)說(shuō), 我們并不能很好地處理所有我們現(xiàn)在能夠收集到的數(shù)據(jù)。這不僅僅是國(guó)家安全領(lǐng)域的問(wèn)題,許多企業(yè)也搜集并不恰當(dāng)?shù)厥褂脭?shù)據(jù)。我們需要時(shí)間來(lái)糾正這個(gè)問(wèn)題。
這有點(diǎn)像原始人類(lèi)面對(duì)火時(shí)所面臨的挑戰(zhàn)?;鹗且环N工具,但是如果使用不當(dāng)就會(huì)引火燒身。
大數(shù)據(jù)即將改變我們的生活方式,我們的工作方式和思考方式。它可以幫助我們管理事業(yè),幫助我們過(guò)想要的滿(mǎn)足、充滿(mǎn)希望、幸福和健康的生活。
但是在過(guò)去, 對(duì)于信息技術(shù)(IT),我們經(jīng)常只看到了T,就是技術(shù)、硬件,因?yàn)檫@是切實(shí)可見(jiàn)的東西。現(xiàn)在我們需要把目光放在 I 上,信息。它不是那么切實(shí)可見(jiàn),但某種程度上卻更加重要。
在人類(lèi)永無(wú)止境的探索過(guò)程中,我們可以從我們能收集的信息中來(lái)了解這個(gè)世界。以及人類(lèi)在這個(gè)世界中所處的地位。這就是為什么大數(shù)據(jù)非常重要。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢(xún)效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話(huà)題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶(hù)體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類(lèi)分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類(lèi)分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10