
1、相關(guān)關(guān)系比因果關(guān)系更重要
老王開了個包子鋪,有時做少了不夠賣,有時做多了沒賣完,兩頭都是損失。老王琢磨著買包子的都是街坊,他們買包子是有規(guī)律的,例如老張只在周六買,因為閨 女周末會來看他,而且閨女就愛吃包子。于是老王每賣一次就記次賬,誰在哪天買了幾籠包子,并試圖找出每個街坊的買包子規(guī)律。
數(shù)據(jù)雖然越記越多,但老王啥規(guī)律也沒找出來,即使是老張也都沒準(zhǔn),好幾個周六都沒來買,因為他閨女有事沒來。有個人給老王支招,你甭記顧客,就記每天賣了多少籠就行,這個法子明顯簡單有效,很容易就看出了周末比平時會多賣兩籠的規(guī)律。
這個例子雖然簡單,卻道出了大數(shù)據(jù)的一個重要特點【相關(guān)關(guān)系比因果關(guān)系更重要】,周末與買包子人多就是相關(guān)關(guān)系,但為什么多呢?是因為老張閨女這樣的周六來吃包子的人多?還是周末大家都不愿意做飯?對這些可能性不必探究,因為即使探究往往也搞不清楚,只要獲得了周末買包子的人多,能正確地指導(dǎo)老王在周末時多包上兩籠,這就行了。
要相關(guān)不要因果,這是大數(shù)據(jù)思維的重要變革,以前數(shù)據(jù)處理的目標(biāo)更多是追求對因果性的尋找,或是對猜測的因果性的驗證,人們總是習(xí)慣性地找出個原因,然后心里才能踏實,而這個原因是否是真實的,卻往往是無法核實的,而虛假原因?qū)γ嫦蛭磥淼臎Q策來說是有害無益的。承認(rèn)很多事情是沒有原因的,這是人類思維方式的一個重大進步。
2、要全體不要抽樣
傳統(tǒng)的調(diào)查方式都是抽樣的,抽取有限的樣本進行統(tǒng)計,從而得出整體的趨勢來,之所以選擇抽樣而不是統(tǒng)計全部數(shù)據(jù),只有一個原因,那就是全部數(shù)據(jù)的數(shù)量太多了,根本沒法操作。
抽樣的核心原則就是隨機性,不隨機就不能反映整體趨勢性。例如搞一個保暖內(nèi)衣的調(diào)查,找了一群精壯的武警戰(zhàn)士試穿,戰(zhàn)士們穿上了普遍反映不冷,但這并不能說明內(nèi)衣的保暖效果有多好。
抽樣隨機性的道理誰都知道,但要做到隨機性其實是很難的。例如電視收視率調(diào)查,要從不同階層隨機找被調(diào)查人,但高學(xué)歷高收入的大忙人們普遍拒絕被調(diào)查,他們根本就不會為幾條毛巾贈品而耽誤時間,愿意接受調(diào)查的多是整天閑得無聊的低收入者,電視收視率的調(diào)查結(jié)果就可想而知。
互聯(lián)網(wǎng)為大數(shù)據(jù)的采集帶來的新手段,云計算為處理大數(shù)據(jù)帶來了新方法。還以電視收視率調(diào)查為例,互聯(lián)網(wǎng)電視普及后,每一部電視正在收看什么節(jié)目的信息會毫無遺漏地發(fā)送到調(diào)查中心。這就是大數(shù)據(jù)的第二個特點【要全體不要抽樣】,對全部數(shù)據(jù)進行統(tǒng)計分析,其結(jié)果當(dāng)然會更加準(zhǔn)確。
3、要效率不要精確
俗話說的好,蘿卜快了不洗泥,既然我們要的是全體數(shù)據(jù),自然會夾雜進來一些錯誤的數(shù)據(jù),這是難以避免的。我們傳統(tǒng)的數(shù)據(jù)分析的思路是“寧缺勿爛”,因為傳 統(tǒng)小數(shù)據(jù)分析的數(shù)據(jù)量本身并不大,任何一個錯誤數(shù)據(jù)都有可能對結(jié)果產(chǎn)生相對較大的負(fù)面影響,對錯誤數(shù)據(jù)必須花大精力去清除,這是小數(shù)據(jù)時代必須堅持的原 則。
大數(shù)據(jù)時代的原則就變了,變成了【要效率不要精確】,并不是說精確不好,而是因為在大數(shù)據(jù)時代是做不到的,如果繼續(xù)把排除錯誤數(shù)據(jù)作為重要工作,那大數(shù)據(jù)分析就進行不下去了。更重要的是,大數(shù)據(jù)分析的目標(biāo)在于預(yù)測,而不在于追溯以前發(fā)生過的事件的真相。
4、大數(shù)據(jù)時代的裸奔
有次我給學(xué)生暢想未來,你走在大街上,基站的智能天線以一道極窄的波束指向你的手機,從而獲得你的方位角,通過開機瞬時的上百次功率調(diào)整和探詢,換算后就 能獲得你與基站的距離,兩個信息結(jié)合就精準(zhǔn)地確定了你的位置。根據(jù)你的搜索記錄,互聯(lián)網(wǎng)早已知道了你的愛好,然后手機“滴”地一聲通知你,你前方10米處右側(cè)有您最喜愛吃的咸豆腐腦店,正在八折酬賓中,“滴”地又來了一聲,老板已得知您是咸豆腐腦的忠實擁護者,特別給您打五折,來嘗一碗唄。
在我描繪完未來信息社會的全新生活方式后,有個學(xué)生問我:我走在大街上,手機“滴”地一聲,通知我前面有個同志聚會,系統(tǒng)通過我以前的搜索和看過的片子早已確定了我的性向,并將我的信息經(jīng)過精確配對發(fā)送給了好多基友,但我并不想出柜,這可咋整???
這個學(xué)生的玩笑話道出了大數(shù)據(jù)時代我們都面臨的一個重大問題,那就是隱私權(quán)問題。美國某機構(gòu)曾做過一個實驗,根據(jù)網(wǎng)友的搜索記錄來篩定目標(biāo),雖然信息已經(jīng)進行了模糊,還是有不愿意出柜的基友被篩出來了,基友的媽媽非常震驚和生氣,將該機構(gòu)告上了法庭。
微博上常有維權(quán)人士聲稱電話被政府監(jiān)聽了,因為手機語音出現(xiàn)了不正常的聲音,其實這是他們多心了,他們的電信知識還停留在用鱷魚夾搭電話線竊聽的階段。并 不是說政府不會竊聽,而是說如果政府竊聽你的電話,你是絕對察覺不出來的,多手段全方面的監(jiān)控手段早已超出了外行的想象力。即使是技術(shù)內(nèi)行,例如賣國家機 密的間諜被收網(wǎng)后往往會馬上崩潰,他所有的電話短信郵件出行會面談話都有清清楚楚的鐵證。
犯罪成本太高了,將來無死角的攝像監(jiān)控頭會記錄下一切,即使你犯罪時蒙著面,根據(jù)前兩天你沒蒙臉踩點時的錄像,通過姿態(tài)步態(tài)的匹配算法就能把你篩選出來。 現(xiàn)在公安系統(tǒng)有句話“只要上手段,沒有查不出來的”,上手段就是指包括攝像頭監(jiān)控、手機監(jiān)控、網(wǎng)絡(luò)監(jiān)控等綜合手段?,F(xiàn)在的基礎(chǔ)設(shè)施還不完善,等將來所有的 路燈桿都變成了多傳感監(jiān)控器,加上強大的大數(shù)據(jù)分析能力,你還想咋藏?
更有意思的是,將來的犯罪逮捕會變成事前,有天你啥事沒做睡在床上就被逮捕了,警察通告你:根據(jù)警方對你所有信息的大數(shù)據(jù)分析,顯示你已經(jīng)知道了老婆出軌之事,根據(jù)以往犯罪案例及你本人性格的大數(shù)據(jù)分析結(jié)果,你有76.3%的概率會在本周內(nèi)對老婆進行輕傷以上程度的犯罪,超過了法律規(guī)定的60%輕傷以上犯罪概率必須入監(jiān)的標(biāo)準(zhǔn),特羈押你一個月,根據(jù)大數(shù)據(jù)分析結(jié)果,放出來后的你仍然犯罪的概率會降低到法律規(guī)定可以釋放的5%以下。
聽著很安全吧?但是不是也感到了毛骨悚然?在大數(shù)據(jù)時代,我們每個人都是赤條條地在信息社會中裸奔,真的是光著屁股一絲不掛地那種裸奔,難到?jīng)]有人意識到 這點嗎?當(dāng)然不是,英國等西方國家早就對街道監(jiān)控攝像頭展開了全社會的大討論,安全與隱私該如何權(quán)衡?隨著近年來隨著恐怖主義的盛行,安全顯然更重要了, 公民們很無奈地同意把更多的隱私權(quán)交給了政府,以獲得更大的安全感。
必須對公民隱私信息進行分級制的嚴(yán)管,公安部門掌握著每個人的開房信息,如果不涉及到重大違法犯罪的話,絕不能濫加使用,更不能透露給當(dāng)事人的配偶,否則 社會就會大亂。掌握信息和利用信息的應(yīng)是獨立的兩個機構(gòu),如果讓利用信息的公安部分掌管公民所有隱私信息,那就會成為一個人人自危的恐怖國家。
我們現(xiàn)在該如何做好迎接大數(shù)據(jù)時代的準(zhǔn)備?我覺得應(yīng)該培養(yǎng)公權(quán)機構(gòu)絕不能泄露公民隱私的社會輿論,前幾天網(wǎng)上流傳著范冰冰的機場安檢照,記者們以此做娛樂 文章稱人家如何如何,這就是一個極壞的兆頭!如果放任這種公權(quán)力的濫用,我們每個人將來都會成為光屁股裸奔的人,光不光屁股則取決于掌握公民信息的權(quán)力人 士的一念之差。
最近有報道稱銀行內(nèi)鬼販賣賬戶信息,銀行方面居然稱這事主要靠自覺,他們內(nèi)部查不出來。這事也是大惡!查不出來是因為銀行內(nèi)部缺乏相應(yīng)的技術(shù)手段,根本就沒有建立起相應(yīng)的信息保密制度,這種不作為是未來大數(shù)據(jù)時代的嚴(yán)重隱患。
前兩天我參加一個學(xué)生的婚禮,作為導(dǎo)師我被安排在領(lǐng)導(dǎo)桌,剛坐定就有個陌生人來照相,詢問后才知是婚宴酒商的員工,把我們作為背景來照酒的照片,估計是用于宣傳。我把他轟走了,我不愿意這個數(shù)據(jù)留在網(wǎng)上,不愿意讓它將來作為分析我的大數(shù)據(jù)資料。
結(jié)論:
與以往的抽樣統(tǒng)計不同,大數(shù)據(jù)使用的是全部數(shù)據(jù),更著重的是效率而不是數(shù)據(jù)的精確性,關(guān)注的是相關(guān)性而不是因果性,這些特點造就了大數(shù)據(jù) 對事物發(fā)展的極強的預(yù)測能力,它可以給我們帶來更安全更便捷的新生活,同時也給個人隱私帶來了巨大的威脅,對掌握公民隱私信息的公權(quán)力的嚴(yán)格控制,應(yīng)該成 為全社會的共識。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SASEM 決策樹:理論與實踐應(yīng)用 在復(fù)雜的決策場景中,如何從海量數(shù)據(jù)中提取有效信息并制定科學(xué)決策,是各界關(guān)注的焦點。SASEM 決 ...
2025-07-30SPSS 語法使用詳解 在當(dāng)今數(shù)據(jù)驅(qū)動的時代,SPSS( Statistical Package for the Social Sciences)作為一款功能強大的統(tǒng)計分析軟 ...
2025-07-30人工智能對CDA數(shù)據(jù)分析領(lǐng)域的影響 人工智能對 CDA(Certified Data Analyst,注冊數(shù)據(jù)分析師)數(shù)據(jù)分析領(lǐng)域的影響是全方位、多層 ...
2025-07-30MySQL執(zhí)行計劃中rows的計算邏輯:從原理到實踐 MySQL 執(zhí)行計劃中 rows 的計算邏輯:從原理到實踐 在 MySQL 數(shù)據(jù)庫的查詢優(yōu)化中 ...
2025-07-29左偏態(tài)分布轉(zhuǎn)正態(tài)分布:方法、原理與實踐 左偏態(tài)分布轉(zhuǎn)正態(tài)分布:方法、原理與實踐 在統(tǒng)計分析、數(shù)據(jù)建模和科學(xué)研究中,正態(tài)分 ...
2025-07-29CDA 數(shù)據(jù)分析師的職業(yè)生涯規(guī)劃:從入門到卓越的成長之路 在數(shù)字經(jīng)濟蓬勃發(fā)展的當(dāng)下,數(shù)據(jù)已成為企業(yè)核心競爭力的重要來源,而 CD ...
2025-07-29CDA數(shù)據(jù)分析師證書考取全攻略 一、了解 CDA 數(shù)據(jù)分析師認(rèn)證 CDA 數(shù)據(jù)分析師認(rèn)證是一套科學(xué)化、專業(yè)化、國際化的人才考核標(biāo)準(zhǔn), ...
2025-07-29解析神經(jīng)網(wǎng)絡(luò)中 Softmax 函數(shù)的核心作用 在神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程中,激活函數(shù)扮演著至關(guān)重要的角色,它們?yōu)榫W(wǎng)絡(luò)賦予了非線性能力, ...
2025-07-29解析 response.text 與 response.content 的核心區(qū)別 在網(wǎng)絡(luò)數(shù)據(jù)請求與處理的場景中,開發(fā)者經(jīng)常需要從服務(wù)器返回的響應(yīng)中提取數(shù) ...
2025-07-29鳶尾花判別分析:機器學(xué)習(xí)中的經(jīng)典實踐案例 在機器學(xué)習(xí)的世界里,有一個經(jīng)典的數(shù)據(jù)集如同引路明燈,為無數(shù)初學(xué)者打開了模式識別 ...
2025-07-29用 Python 開啟數(shù)據(jù)分析之旅:從基礎(chǔ)到實踐的完整指南 在數(shù)據(jù)驅(qū)動決策的時代,數(shù)據(jù)分析已成為各行業(yè)不可或缺的核心能力。而 Pyt ...
2025-07-29從 CDA LEVEL II 考試題型看 Python 數(shù)據(jù)分析要點 在數(shù)據(jù)科學(xué)領(lǐng)域蓬勃發(fā)展的當(dāng)下,CDA(Certified Data Analyst)認(rèn)證成為眾多從 ...
2025-07-29CDA 數(shù)據(jù)分析師的工作范圍解析 在數(shù)字化時代的浪潮下,數(shù)據(jù)已成為企業(yè)發(fā)展的核心資產(chǎn)之一。CDA(Certified Data Analyst)數(shù)據(jù)分 ...
2025-07-29解析 insert into select 是否會鎖表:原理、場景與應(yīng)對策略 在數(shù)據(jù)庫操作中,insert into select 是一種常用的批量數(shù)據(jù)插入語句 ...
2025-07-29用 Power BI 制作地圖熱力圖:基于經(jīng)緯度數(shù)據(jù)的實踐指南 在數(shù)據(jù)可視化領(lǐng)域,地圖熱力圖憑借直觀呈現(xiàn)地理數(shù)據(jù)分布密度的優(yōu)勢,成 ...
2025-07-29從數(shù)據(jù)到?jīng)Q策:CDA 數(shù)據(jù)分析師如何重塑職場競爭力與行業(yè)價值 在數(shù)字經(jīng)濟席卷全球的今天,數(shù)據(jù)已從 “輔助工具” 升級為 “核心資 ...
2025-07-292025 年 CDA 數(shù)據(jù)分析師考綱煥新,引領(lǐng)行業(yè)人才新標(biāo)準(zhǔn) 在數(shù)字化浪潮奔涌向前的當(dāng)下,數(shù)據(jù)已成為驅(qū)動各行業(yè)發(fā)展的核心要素。作為 ...
2025-07-29PyTorch 核心機制:損失函數(shù)與反向傳播如何驅(qū)動模型進化 在深度學(xué)習(xí)的世界里,模型從 “一無所知” 到 “精準(zhǔn)預(yù)測” 的蛻變,離 ...
2025-07-29t 檢驗與 Wilcoxon 檢驗:數(shù)據(jù)差異分析的兩大核心方法 在數(shù)據(jù)分析的廣闊領(lǐng)域中,判斷兩組或多組數(shù)據(jù)之間是否存在顯著差異是一項 ...
2025-07-29PowerBI 添加索引列全攻略 在使用 PowerBI 進行數(shù)據(jù)處理與分析時,添加索引列是一項極為實用的操作技巧。索引列能為數(shù)據(jù)表中的每 ...
2025-07-29