
你或許聽說(shuō)過(guò)大數(shù)據(jù)這個(gè)詞。事實(shí)上, 你可能對(duì)這個(gè)詞已經(jīng)心生厭惡。確實(shí), 大數(shù)據(jù)受到了空前的宣傳炒作,這很不應(yīng)該。因?yàn)榇髷?shù)據(jù)是一個(gè)非常重要的工具,社會(huì)將由此而不斷進(jìn)步。過(guò)去我們習(xí)慣于處理小數(shù)據(jù),并以此來(lái)了解世界。現(xiàn)在我們的數(shù)據(jù)量前所未有的巨大,當(dāng)我們掌握海量數(shù)據(jù)時(shí),我們可以做一些在只有較少數(shù)據(jù)時(shí)不可能辦到的事。大數(shù)據(jù)很重要, 想象一下,它能夠幫助我們應(yīng)對(duì)世界性難題像食物短缺,醫(yī)療短缺,能源短缺,電力短缺。還有確保人類家園不會(huì)因?yàn)槿蜃兣`涂炭的唯一辦法是有效利用大數(shù)據(jù)。
那么大數(shù)據(jù)新在何處, 重在何處呢?為了回答這個(gè)問(wèn)題,讓我們看一下信息在以前是什么樣的 1908年在克里特島上 (注:位于地中海為希臘第一大島) 考古學(xué)家發(fā)現(xiàn)了一個(gè)粘土做的盤子,這是個(gè)公元前2000年的盤子,距今約有4000年的歷史,盤子上有銘文,但是我們不知道它們是什么意思。但這就是4000年前信息的樣子,這就是當(dāng)時(shí)社會(huì)存儲(chǔ)和傳遞信息的方式。
現(xiàn)代社會(huì)也沒(méi)有什么很大的進(jìn)步,我們還是把數(shù)據(jù)存儲(chǔ)在盤中(注:指磁盤)。但我們可以存儲(chǔ)更多的信息,遠(yuǎn)遠(yuǎn)超過(guò)以前的信息容量。這些信息搜索和復(fù)制起來(lái)更簡(jiǎn)單,分享和處理起來(lái)也更便捷。我們也可以重新利用這些數(shù)據(jù),一些我們當(dāng)初收集的時(shí)候,從來(lái)沒(méi)有料想過(guò)的用途,從這個(gè)方面來(lái)說(shuō),數(shù)據(jù)已經(jīng)從儲(chǔ)存狀態(tài)到了流動(dòng)狀態(tài),從靜態(tài)的統(tǒng)計(jì)性的數(shù)據(jù),變成動(dòng)態(tài)的數(shù)據(jù)流,這就是信息的流動(dòng)性??死锾貚u發(fā)現(xiàn)的粘土盤有4000年的歷史, 非常笨重,但它不能記錄太多的信息,并且它所記錄的信息是不能更改的。與此相反,愛(ài)德華·斯諾登從美國(guó)國(guó)家安全局所獲得的文件,可以放在一個(gè)僅有指甲大小的存儲(chǔ)盤里,并且可以以光速進(jìn)行數(shù)據(jù)共享。
今天我們有這么多數(shù)據(jù)的一個(gè)原因是,我們一直在收集信息,就像我們一直在做的一樣。但是我們以前從沒(méi)把信息轉(zhuǎn)換成數(shù)據(jù)形式,現(xiàn)在我們正在把信息轉(zhuǎn)變成數(shù)據(jù)。舉個(gè)例子,關(guān)于姿勢(shì),你們現(xiàn)在坐著的姿勢(shì)都不一樣,這是一個(gè)關(guān)于腿長(zhǎng),你的背部和背部輪廓的函數(shù)。如果我現(xiàn)在放一些傳感器,或許100個(gè),在你的椅子里,我可以算出你的獨(dú)一無(wú)二的參數(shù)。這就像你的指紋,但不是針對(duì)你的手指。
那我們能用它來(lái)干什么呢?東京的研究者把它運(yùn)用在一個(gè)汽車防盜設(shè)施的雛形上,它的設(shè)想是盜賊坐在駕駛座上,企圖把車開走。但是汽車識(shí)別出駕駛座上的是個(gè)未授權(quán)駕駛?cè)?,那汽車可能就?huì)熄火。除非你在儀表盤上輸入密碼來(lái)表明“我已獲得授權(quán)”。
如果歐洲的每輛汽車都裝備了這項(xiàng)技術(shù)會(huì)是怎樣的情形?我們還能做些什么呢?或許如果我們整合數(shù)據(jù),我們可以識(shí)別示警信號(hào),對(duì)于在下一個(gè)五秒鐘內(nèi)可能發(fā)生的意外做出最佳預(yù)判。我們也可以進(jìn)行數(shù)據(jù)化的是司機(jī)的疲勞度,當(dāng)汽車偵測(cè)到司機(jī)的坐姿倒成某一特定姿勢(shì)時(shí),這個(gè)設(shè)備感知到并發(fā)出車內(nèi)警告,可能是震動(dòng)方向盤或語(yǔ)音提示:“嗨,醒醒,集中精神在路況上”。這就是生活的更多方面數(shù)據(jù)化后,我們能做的事情。
那么大數(shù)據(jù)的價(jià)值在哪里?好,思考一下,你有了更多地信息,你可以做你以前不能做的事。在運(yùn)用這個(gè)概念的領(lǐng)域里讓人印象最為深刻的是機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支,人工智能又是計(jì)算機(jī)科學(xué)的一個(gè)分支。它的基本理念是,把關(guān)于某個(gè)問(wèn)題的一堆數(shù)據(jù)扔給電腦,讓電腦自己找出解決方案,而不是教電腦應(yīng)該做什么。舉個(gè)例子,20世紀(jì)50年代IBM的計(jì)算機(jī)科學(xué)家亞瑟·塞繆爾想玩跳棋,所以他寫了個(gè)程序,這樣他就可以和電腦來(lái)玩開始他下一盤 贏一盤,因?yàn)殡娔X只知道規(guī)則允許怎樣走,而亞瑟·塞繆爾還下棋的策略。所以他又寫了一個(gè)附加程序,它的功能只是計(jì)算概率,在對(duì)方每走一步后,會(huì)計(jì)算獲勝或者失敗的概率。他又和電腦下棋,還是下一盤贏一盤。后來(lái)亞瑟讓電腦自己和自己下棋,電腦自己玩的時(shí)候收集了更多的數(shù)據(jù),收集的數(shù)據(jù)越多,預(yù)測(cè)的準(zhǔn)確率就越高。然后亞瑟又繼續(xù)和電腦下棋,這次他下一盤輸一盤。亞瑟?jiǎng)?chuàng)造了一個(gè)機(jī)器,它的能力超越了亞瑟開始時(shí)所教給它的。
機(jī)器學(xué)習(xí)的理念現(xiàn)在已經(jīng)隨處可見(jiàn)。你們覺(jué)得無(wú)人駕駛汽車(關(guān)鍵的技術(shù))是什么?是不是把所有交通規(guī)則輸入軟件就萬(wàn)事大吉了?不是。內(nèi)存很便宜?不是。算法更快了?不是。處理器更強(qiáng)大了?不是。這些都有影響, 但不是真正的原因。真正的原因是我們改變了問(wèn)題的本質(zhì),我們把問(wèn)題的本質(zhì)從試圖明確無(wú)誤地教會(huì)電腦怎樣駕駛變成我們對(duì)電腦說(shuō):“這里有許多關(guān)于汽車的數(shù)據(jù)。你自己搞定它。你知道那是交通信號(hào)燈,那是紅燈不是綠燈,遇到紅燈你必須停下來(lái),不能往前走”。
機(jī)器學(xué)習(xí)是許多網(wǎng)上在線應(yīng)用的基礎(chǔ)。搜索引擎、亞馬遜的個(gè)性化算法、電腦智能翻譯、語(yǔ)音識(shí)別系統(tǒng)。研究者最近在研究關(guān)于活組織檢查的問(wèn)題。關(guān)于腫瘤活組織檢查,他們讓電腦通過(guò)(歷史)數(shù)據(jù)和存活率來(lái)判斷這些細(xì)胞是否是癌癥細(xì)胞。果不其然,當(dāng)你把數(shù)據(jù)交給電腦,電腦通過(guò)自主學(xué)習(xí)可以尋找出12個(gè)最佳的鑒別特征用來(lái)篩查乳腺癌細(xì)胞的活檢切片確實(shí)是癌癥細(xì)胞切片。問(wèn)題是醫(yī)學(xué)文獻(xiàn)只知道其中的九個(gè)鑒別特征,其他三個(gè)人們本不知道但是電腦把它們找了出來(lái)。
大數(shù)據(jù)也有黑暗的一面。它可以改善我們的生活,但也會(huì)帶來(lái)一些我們需要注意的問(wèn)題。首先就是我們可能因?yàn)轭A(yù)測(cè)的結(jié)果而受到懲罰。警察可能會(huì)用大數(shù)據(jù)來(lái)實(shí)現(xiàn)目標(biāo),有點(diǎn)像“小報(bào)告”?,F(xiàn)在有個(gè)詞叫做預(yù)見(jiàn)性監(jiān)管,或者叫算法犯罪學(xué)。這個(gè)是指如果我們掌握了大量數(shù)據(jù),比如以往犯罪發(fā)生的地點(diǎn),我們可以就知道把警力派到哪里。這很合理,但問(wèn)題是數(shù)據(jù)分析不會(huì)僅限于地點(diǎn)數(shù)據(jù)。它會(huì)進(jìn)一步深入到個(gè)人層面,為什么我們不去分析某人的中學(xué)成績(jī)單,或者我們可以了解他們的就職情況、信用記錄和他們的上網(wǎng)行為比如他們是否熬夜。當(dāng)可以通過(guò)健康腕帶讀取生化數(shù)據(jù)時(shí),就可以知道他們是否有激進(jìn)的想法。我們可以用算法來(lái)預(yù)測(cè)我們將要做什么。可能有些事情還沒(méi)做我們就要承擔(dān)責(zé)任。個(gè)人隱私在小數(shù)據(jù)時(shí)代是主要挑戰(zhàn)。在大數(shù)據(jù)時(shí)代,這個(gè)挑戰(zhàn)將會(huì)成為保衛(wèi)自由意愿、道德選擇、人類意志、人類的能動(dòng)性。
還有另一個(gè)問(wèn)題:大數(shù)據(jù)會(huì)偷走我們的工作。在21世紀(jì)大數(shù)據(jù)和算法會(huì)威脅到白領(lǐng)和需要專業(yè)知識(shí)的工作。就像在20世紀(jì)工廠自動(dòng)化和裝配生產(chǎn)線的應(yīng)用威脅到了藍(lán)領(lǐng)們的工作崗位。想象一下一個(gè)研究室技術(shù)員,他的工作就是通過(guò)一個(gè)顯微鏡,觀察一個(gè)癌癥活檢組織來(lái)判定它是不是癌癥的。這個(gè)人上大學(xué),買房子,投票選舉,他/她是這個(gè)社會(huì)的一份子。然后這個(gè)人的工作,還有其他像他一樣的專業(yè)人員將會(huì)發(fā)現(xiàn)他們的工作被徹底改變了,或者徹底廢除了。我們一直以為在短時(shí)或者暫時(shí)的就業(yè)調(diào)整期后,在一段時(shí)間內(nèi)科技會(huì)創(chuàng)造就業(yè)機(jī)會(huì)。在工業(yè)革命時(shí)期事情就是這樣的,但是我們忘記了一件事情,有些類型的職業(yè)已經(jīng)徹底消失了并且再也不會(huì)回來(lái)。所以我們必須非常小心,根據(jù)我們的需求和整個(gè)人類的需求來(lái)利用和適應(yīng)大數(shù)據(jù)。我們必須是技術(shù)的主人而不是技術(shù)的仆人。我們正在步入大數(shù)據(jù)時(shí)代,老實(shí)說(shuō),我們并不能很好地處理所有我們現(xiàn)在能夠收集到的數(shù)據(jù)。這不僅僅是國(guó)家安全局的問(wèn)題,許多企業(yè)也搜集并不恰當(dāng)?shù)厥褂脭?shù)據(jù),我們需要時(shí)間來(lái)糾正這個(gè)問(wèn)題,這有點(diǎn)像原始人類面對(duì)火時(shí)所面臨的挑戰(zhàn),火是一種工具,但是如果使用不當(dāng)就會(huì)引火燒身。
大數(shù)據(jù)即將改變我們的生活方式,工作方式和思考方式。它可以幫助我們管理事業(yè),幫助我們過(guò)想要的滿足、充滿希望、幸福和健康的生活。但是在過(guò)去, 對(duì)于信息技術(shù)(IT) 我們經(jīng)常只看到了‘T’,就是技術(shù)、硬件。因?yàn)檫@是切實(shí)可見(jiàn)的東西,現(xiàn)在我們需要把目光放在‘I’上:信息。它不是那么切實(shí)可見(jiàn),但某種程度上卻更加重要,在人類永無(wú)止境的探索過(guò)程中,我們可以從我們能收集的信息中來(lái)了解這個(gè)世界以及人類在這個(gè)世界中所處的地位。這就是為什么大數(shù)據(jù)非常重要。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03