
你或許聽說過大數(shù)據(jù)這個詞。事實上, 你可能對這個詞已經(jīng)心生厭惡。確實, 大數(shù)據(jù)受到了空前的宣傳炒作,這很不應(yīng)該。因為大數(shù)據(jù)是一個非常重要的工具,社會將由此而不斷進步。過去我們習(xí)慣于處理小數(shù)據(jù),并以此來了解世界?,F(xiàn)在我們的數(shù)據(jù)量前所未有的巨大,當(dāng)我們掌握海量數(shù)據(jù)時,我們可以做一些在只有較少數(shù)據(jù)時不可能辦到的事。大數(shù)據(jù)很重要, 想象一下,它能夠幫助我們應(yīng)對世界性難題像食物短缺,醫(yī)療短缺,能源短缺,電力短缺。還有確保人類家園不會因為全球變暖而生靈涂炭的唯一辦法是有效利用大數(shù)據(jù)。
那么大數(shù)據(jù)新在何處, 重在何處呢?為了回答這個問題,讓我們看一下信息在以前是什么樣的 1908年在克里特島上 (注:位于地中海為希臘第一大島) 考古學(xué)家發(fā)現(xiàn)了一個粘土做的盤子,這是個公元前2000年的盤子,距今約有4000年的歷史,盤子上有銘文,但是我們不知道它們是什么意思。但這就是4000年前信息的樣子,這就是當(dāng)時社會存儲和傳遞信息的方式。
現(xiàn)代社會也沒有什么很大的進步,我們還是把數(shù)據(jù)存儲在盤中(注:指磁盤)。但我們可以存儲更多的信息,遠遠超過以前的信息容量。這些信息搜索和復(fù)制起來更簡單,分享和處理起來也更便捷。我們也可以重新利用這些數(shù)據(jù),一些我們當(dāng)初收集的時候,從來沒有料想過的用途,從這個方面來說,數(shù)據(jù)已經(jīng)從儲存狀態(tài)到了流動狀態(tài),從靜態(tài)的統(tǒng)計性的數(shù)據(jù),變成動態(tài)的數(shù)據(jù)流,這就是信息的流動性。克里特島發(fā)現(xiàn)的粘土盤有4000年的歷史, 非常笨重,但它不能記錄太多的信息,并且它所記錄的信息是不能更改的。與此相反,愛德華·斯諾登從美國國家安全局所獲得的文件,可以放在一個僅有指甲大小的存儲盤里,并且可以以光速進行數(shù)據(jù)共享。
今天我們有這么多數(shù)據(jù)的一個原因是,我們一直在收集信息,就像我們一直在做的一樣。但是我們以前從沒把信息轉(zhuǎn)換成數(shù)據(jù)形式,現(xiàn)在我們正在把信息轉(zhuǎn)變成數(shù)據(jù)。舉個例子,關(guān)于姿勢,你們現(xiàn)在坐著的姿勢都不一樣,這是一個關(guān)于腿長,你的背部和背部輪廓的函數(shù)。如果我現(xiàn)在放一些傳感器,或許100個,在你的椅子里,我可以算出你的獨一無二的參數(shù)。這就像你的指紋,但不是針對你的手指。
那我們能用它來干什么呢?東京的研究者把它運用在一個汽車防盜設(shè)施的雛形上,它的設(shè)想是盜賊坐在駕駛座上,企圖把車開走。但是汽車識別出駕駛座上的是個未授權(quán)駕駛?cè)?,那汽車可能就會熄火。除非你在儀表盤上輸入密碼來表明“我已獲得授權(quán)”。
如果歐洲的每輛汽車都裝備了這項技術(shù)會是怎樣的情形?我們還能做些什么呢?或許如果我們整合數(shù)據(jù),我們可以識別示警信號,對于在下一個五秒鐘內(nèi)可能發(fā)生的意外做出最佳預(yù)判。我們也可以進行數(shù)據(jù)化的是司機的疲勞度,當(dāng)汽車偵測到司機的坐姿倒成某一特定姿勢時,這個設(shè)備感知到并發(fā)出車內(nèi)警告,可能是震動方向盤或語音提示:“嗨,醒醒,集中精神在路況上”。這就是生活的更多方面數(shù)據(jù)化后,我們能做的事情。
那么大數(shù)據(jù)的價值在哪里?好,思考一下,你有了更多地信息,你可以做你以前不能做的事。在運用這個概念的領(lǐng)域里讓人印象最為深刻的是機器學(xué)習(xí)。機器學(xué)習(xí)是人工智能的一個分支,人工智能又是計算機科學(xué)的一個分支。它的基本理念是,把關(guān)于某個問題的一堆數(shù)據(jù)扔給電腦,讓電腦自己找出解決方案,而不是教電腦應(yīng)該做什么。舉個例子,20世紀(jì)50年代IBM的計算機科學(xué)家亞瑟·塞繆爾想玩跳棋,所以他寫了個程序,這樣他就可以和電腦來玩開始他下一盤 贏一盤,因為電腦只知道規(guī)則允許怎樣走,而亞瑟·塞繆爾還下棋的策略。所以他又寫了一個附加程序,它的功能只是計算概率,在對方每走一步后,會計算獲勝或者失敗的概率。他又和電腦下棋,還是下一盤贏一盤。后來亞瑟讓電腦自己和自己下棋,電腦自己玩的時候收集了更多的數(shù)據(jù),收集的數(shù)據(jù)越多,預(yù)測的準(zhǔn)確率就越高。然后亞瑟又繼續(xù)和電腦下棋,這次他下一盤輸一盤。亞瑟創(chuàng)造了一個機器,它的能力超越了亞瑟開始時所教給它的。
機器學(xué)習(xí)的理念現(xiàn)在已經(jīng)隨處可見。你們覺得無人駕駛汽車(關(guān)鍵的技術(shù))是什么?是不是把所有交通規(guī)則輸入軟件就萬事大吉了?不是。內(nèi)存很便宜?不是。算法更快了?不是。處理器更強大了?不是。這些都有影響, 但不是真正的原因。真正的原因是我們改變了問題的本質(zhì),我們把問題的本質(zhì)從試圖明確無誤地教會電腦怎樣駕駛變成我們對電腦說:“這里有許多關(guān)于汽車的數(shù)據(jù)。你自己搞定它。你知道那是交通信號燈,那是紅燈不是綠燈,遇到紅燈你必須停下來,不能往前走”。
機器學(xué)習(xí)是許多網(wǎng)上在線應(yīng)用的基礎(chǔ)。搜索引擎、亞馬遜的個性化算法、電腦智能翻譯、語音識別系統(tǒng)。研究者最近在研究關(guān)于活組織檢查的問題。關(guān)于腫瘤活組織檢查,他們讓電腦通過(歷史)數(shù)據(jù)和存活率來判斷這些細胞是否是癌癥細胞。果不其然,當(dāng)你把數(shù)據(jù)交給電腦,電腦通過自主學(xué)習(xí)可以尋找出12個最佳的鑒別特征用來篩查乳腺癌細胞的活檢切片確實是癌癥細胞切片。問題是醫(yī)學(xué)文獻只知道其中的九個鑒別特征,其他三個人們本不知道但是電腦把它們找了出來。
大數(shù)據(jù)也有黑暗的一面。它可以改善我們的生活,但也會帶來一些我們需要注意的問題。首先就是我們可能因為預(yù)測的結(jié)果而受到懲罰。警察可能會用大數(shù)據(jù)來實現(xiàn)目標(biāo),有點像“小報告”?,F(xiàn)在有個詞叫做預(yù)見性監(jiān)管,或者叫算法犯罪學(xué)。這個是指如果我們掌握了大量數(shù)據(jù),比如以往犯罪發(fā)生的地點,我們可以就知道把警力派到哪里。這很合理,但問題是數(shù)據(jù)分析不會僅限于地點數(shù)據(jù)。它會進一步深入到個人層面,為什么我們不去分析某人的中學(xué)成績單,或者我們可以了解他們的就職情況、信用記錄和他們的上網(wǎng)行為比如他們是否熬夜。當(dāng)可以通過健康腕帶讀取生化數(shù)據(jù)時,就可以知道他們是否有激進的想法。我們可以用算法來預(yù)測我們將要做什么??赡苡行┦虑檫€沒做我們就要承擔(dān)責(zé)任。個人隱私在小數(shù)據(jù)時代是主要挑戰(zhàn)。在大數(shù)據(jù)時代,這個挑戰(zhàn)將會成為保衛(wèi)自由意愿、道德選擇、人類意志、人類的能動性。
還有另一個問題:大數(shù)據(jù)會偷走我們的工作。在21世紀(jì)大數(shù)據(jù)和算法會威脅到白領(lǐng)和需要專業(yè)知識的工作。就像在20世紀(jì)工廠自動化和裝配生產(chǎn)線的應(yīng)用威脅到了藍領(lǐng)們的工作崗位。想象一下一個研究室技術(shù)員,他的工作就是通過一個顯微鏡,觀察一個癌癥活檢組織來判定它是不是癌癥的。這個人上大學(xué),買房子,投票選舉,他/她是這個社會的一份子。然后這個人的工作,還有其他像他一樣的專業(yè)人員將會發(fā)現(xiàn)他們的工作被徹底改變了,或者徹底廢除了。我們一直以為在短時或者暫時的就業(yè)調(diào)整期后,在一段時間內(nèi)科技會創(chuàng)造就業(yè)機會。在工業(yè)革命時期事情就是這樣的,但是我們忘記了一件事情,有些類型的職業(yè)已經(jīng)徹底消失了并且再也不會回來。所以我們必須非常小心,根據(jù)我們的需求和整個人類的需求來利用和適應(yīng)大數(shù)據(jù)。我們必須是技術(shù)的主人而不是技術(shù)的仆人。我們正在步入大數(shù)據(jù)時代,老實說,我們并不能很好地處理所有我們現(xiàn)在能夠收集到的數(shù)據(jù)。這不僅僅是國家安全局的問題,許多企業(yè)也搜集并不恰當(dāng)?shù)厥褂脭?shù)據(jù),我們需要時間來糾正這個問題,這有點像原始人類面對火時所面臨的挑戰(zhàn),火是一種工具,但是如果使用不當(dāng)就會引火燒身。
大數(shù)據(jù)即將改變我們的生活方式,工作方式和思考方式。它可以幫助我們管理事業(yè),幫助我們過想要的滿足、充滿希望、幸福和健康的生活。但是在過去, 對于信息技術(shù)(IT) 我們經(jīng)常只看到了‘T’,就是技術(shù)、硬件。因為這是切實可見的東西,現(xiàn)在我們需要把目光放在‘I’上:信息。它不是那么切實可見,但某種程度上卻更加重要,在人類永無止境的探索過程中,我們可以從我們能收集的信息中來了解這個世界以及人類在這個世界中所處的地位。這就是為什么大數(shù)據(jù)非常重要。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10