
透析大數(shù)據(jù)與商業(yè)決策之間關(guān)系
今天,我們正處于決策成本產(chǎn)生巨變的爆發(fā)點(diǎn),過(guò)去那些想盡辦法都無(wú)法獲取的數(shù)據(jù),在今天唾手可得,而當(dāng)有些表面上完全不相關(guān)的行業(yè)數(shù)據(jù)關(guān)聯(lián)起來(lái)時(shí),居然產(chǎn)生了新的商業(yè)價(jià)值。更重要的是,過(guò)去,我們更多地是帶著問(wèn)題去尋找能夠驗(yàn)證自己觀點(diǎn)的數(shù)據(jù),而今天我們卻可以使用數(shù)據(jù)去預(yù)測(cè)可能出現(xiàn)的問(wèn)題。海量數(shù)據(jù)可以使人的智慧得到更大的發(fā)揮,并變得更加規(guī)模化。大數(shù)據(jù)的本質(zhì)是人,數(shù)據(jù)研究的極點(diǎn)就是莫測(cè)的人性。我們一旦掌控了數(shù)據(jù)之后的數(shù)據(jù),就會(huì)擁有制勝未來(lái)商業(yè)的無(wú)敵利器。
假定數(shù)據(jù)是臟的
在處理數(shù)據(jù)的時(shí)候,會(huì)像污水處理廠一樣,每一步都問(wèn)自己要如何處理這些污水。這種情況的出現(xiàn),到底是因?yàn)閿?shù)據(jù)源臟了,還是因?yàn)閿?shù)據(jù)提煉過(guò)程做得不好?
美國(guó)有一家初創(chuàng)公司,專注于與地理位置相關(guān)的數(shù)據(jù)收集、整理和查詢服務(wù)。它將地理位置的相關(guān)指標(biāo),按照酒店和旅館等屬性劃分為不同細(xì)類,對(duì)外提供基于位置信息的實(shí)時(shí)查詢,為包括美國(guó)最大點(diǎn)評(píng)網(wǎng) Yelp在內(nèi)的多個(gè)知名應(yīng)用提供底層數(shù)據(jù)服務(wù)。
這家公司最令人印象深刻的是,它對(duì)于所收集來(lái)的數(shù)據(jù)會(huì)提供一個(gè)數(shù)據(jù)質(zhì)量評(píng)分,以反映數(shù)據(jù)的可信度和質(zhì)量水平。它會(huì)對(duì)這些數(shù)據(jù)的源頭以及對(duì)處理數(shù)據(jù)階段所用的算法進(jìn)行評(píng)分。也就是說(shuō),這家公司在提煉數(shù)據(jù)的每一個(gè)階段都進(jìn)行了數(shù)據(jù)化管理。
這家公司的做法讓我們看到了一個(gè)趨勢(shì),也是一個(gè)非常重要的趨勢(shì)。因?yàn)樗紫纫呀?jīng)接受了數(shù)據(jù)源肯定是臟的和數(shù)據(jù)源一定會(huì)被污染的事實(shí)。所以,它在處理數(shù)據(jù)的時(shí)候,會(huì)像污水處理廠一樣,每一步都問(wèn)自己要如何處理這些污水。這種情況的出現(xiàn),到底是因?yàn)閿?shù)據(jù)源臟了,還是因?yàn)閿?shù)據(jù)提煉過(guò)程做得不好?這個(gè)過(guò)程我們一定要區(qū)分,而且這樣的區(qū)分是可取的。這家公司是假定數(shù)據(jù)是“臟”的來(lái)做數(shù)據(jù)管理,而不是假定數(shù)據(jù)是穩(wěn)定的。而且,假定數(shù)據(jù)是“臟”的來(lái)處理數(shù)據(jù),在大數(shù)據(jù)時(shí)代將是一個(gè)非常重要的趨勢(shì)。
事實(shí)上,我們今天在處理的大數(shù)據(jù),依然只是冰山一角,而更大的數(shù)據(jù)都隱藏在我們的語(yǔ)言中,比如我們說(shuō)的話和寫的字。所以,將來(lái)我們要準(zhǔn)確地從互動(dòng)中抓取數(shù)據(jù),也一定要依賴對(duì)自然語(yǔ)言的處理?,F(xiàn)在,美國(guó)的很多數(shù)據(jù)研究人員都在瞄準(zhǔn)非結(jié)構(gòu)性數(shù)據(jù),即語(yǔ)言處理這一領(lǐng)域。
學(xué)會(huì)慢慢淡化數(shù)據(jù)
數(shù)據(jù)是有優(yōu)先值的,在數(shù)據(jù)中有些是特別核心的,有些即使缺失了也沒(méi)有多大問(wèn)題。所以,我們要學(xué)會(huì)真正坐下來(lái)盤點(diǎn)那些對(duì)公司最有價(jià)值、對(duì)用戶最有價(jià)值的數(shù)據(jù)。
想要確定數(shù)據(jù)的優(yōu)先值,就要先解決以下幾個(gè)問(wèn)題。一是數(shù)據(jù)的標(biāo)準(zhǔn)化。在大數(shù)據(jù)時(shí)代,我們需要一個(gè)標(biāo)準(zhǔn)化的東西供我們進(jìn)行交流。二是我們到底如何對(duì)接和交換數(shù)據(jù),如何在交換的時(shí)候保持?jǐn)?shù)據(jù)的穩(wěn)定性。比如自然語(yǔ)言,比如在無(wú)線和 PC不同場(chǎng)景下受到的影響,這些情況都會(huì)滋生出許多新問(wèn)題。
第三個(gè)重要的問(wèn)題是數(shù)據(jù)的存儲(chǔ),這將涉及數(shù)據(jù)的時(shí)效性這一問(wèn)題。有人曾經(jīng)提出過(guò)一個(gè)很有價(jià)值的觀點(diǎn),即現(xiàn)實(shí)中,網(wǎng)站最大的場(chǎng)景變化就是網(wǎng)站改版。因?yàn)橹匦略O(shè)計(jì)網(wǎng)站,本身就影響數(shù)據(jù),比如公司的詳情頁(yè)和首頁(yè),任何改變都在影響數(shù)據(jù)。如果在 1~3年后,你才說(shuō)得出數(shù)據(jù)的這一改變是由于促銷、用戶行為或是改版引起的,那這一數(shù)據(jù)就已經(jīng)沒(méi)有任何價(jià)值了,這就是數(shù)據(jù)的時(shí)效性。
所以,美國(guó)出現(xiàn)了一個(gè)概念叫數(shù)據(jù)淡化( Data Decay),意思很明顯,數(shù)據(jù)會(huì)慢慢淡化。我們要更清楚地認(rèn)識(shí)到,數(shù)據(jù)是有優(yōu)先值的,在數(shù)據(jù)中有些是特別核心的,有些即使缺失了也沒(méi)有多大問(wèn)題。所以我們要學(xué)會(huì)真正坐下來(lái)盤點(diǎn)那些對(duì)公司最有價(jià)值、對(duì)用戶最有價(jià)值的數(shù)據(jù),這是一個(gè)非常重要的趨勢(shì)。
數(shù)據(jù)的標(biāo)簽化管理
數(shù)據(jù)的屬性標(biāo)簽是人類經(jīng)驗(yàn)判斷的數(shù)據(jù),是數(shù)據(jù)后的數(shù)據(jù)。
數(shù)據(jù)的屬性標(biāo)簽是人類經(jīng)驗(yàn)判斷的數(shù)據(jù),是數(shù)據(jù)后的數(shù)據(jù)。例如,當(dāng)你要為一件物品打上標(biāo)簽時(shí),其實(shí)就已經(jīng)動(dòng)用了你的經(jīng)驗(yàn)數(shù)據(jù)分析,并進(jìn)行了歸納總結(jié),結(jié)合當(dāng)下的環(huán)境給出了判斷。如果沒(méi)有考慮環(huán)境的影響及準(zhǔn)確性的評(píng)估,這種經(jīng)驗(yàn)加上直覺(jué)的判斷是不穩(wěn)定且又難以解釋的。但從數(shù)據(jù)收集的角度去看,數(shù)據(jù)的屬性標(biāo)簽又是一個(gè)潛力極大的數(shù)據(jù)。
在數(shù)據(jù)屬性的管理上,對(duì)于用戶來(lái)說(shuō),每個(gè)人身上貼的標(biāo)簽都是多種多樣的,但是對(duì)于企業(yè)來(lái)說(shuō),如何將這些標(biāo)簽歸一,如何用一個(gè)點(diǎn)去將之串聯(lián),又如何把這些點(diǎn)連起來(lái)去描述這個(gè)用戶,這才是核心問(wèn)題。
比如說(shuō),你要去應(yīng)聘一家公司, A公司對(duì)你的評(píng)價(jià)是“很可靠”, B公司對(duì)你的評(píng)價(jià)是“不可靠”,而 C公司準(zhǔn)備雇用你,然后 C公司看到了 A公司和 B公司給你貼的兩個(gè)標(biāo)簽:“可靠”和“不可靠”,它就會(huì)困惑。
這樣的問(wèn)題常常發(fā)生,那么,我們要怎么去做標(biāo)簽的管理呢?
首先,我們要明確的是,“可靠”這個(gè)概念是沒(méi)有標(biāo)準(zhǔn)化意義的,除非在定義標(biāo)簽之前,我們就界定清楚這個(gè)“可靠”的標(biāo)準(zhǔn)是什么。否則,“可靠”的標(biāo)準(zhǔn)是準(zhǔn)時(shí)還錢、說(shuō)話算數(shù),還是他向來(lái)都很守時(shí),我們就無(wú)從得知了。如果這些標(biāo)準(zhǔn)是“可靠”,就給予了我們一種可以還原數(shù)據(jù)的能力。所以,在屬性管理中,假如屬性是“×”,那么我們一定要定義清楚什么是“×”,在沒(méi)有清楚定義的情況下,這個(gè)數(shù)據(jù)的屬性是毫無(wú)價(jià)值的,而且,將來(lái)你也依然不知道怎么使用這一數(shù)據(jù)。
標(biāo)簽在觀察之后加進(jìn)平臺(tái)和直接加進(jìn)去是不一樣的。在電商平臺(tái)中,就有一些標(biāo)簽是在觀察后加進(jìn)去的,如果由賣家自由地加標(biāo)簽進(jìn)去,必然會(huì)造成混亂。所以,標(biāo)簽的屬性管理,在運(yùn)營(yíng)數(shù)據(jù)中非常重要。
標(biāo)簽化管理,是一個(gè)非常重要的趨勢(shì)。電商企業(yè)今天面對(duì)的一些問(wèn)題在美國(guó)的電商企業(yè)中同樣存在,可見(jiàn),我們發(fā)現(xiàn)的問(wèn)題,別人也在面對(duì),不過(guò)這些問(wèn)題并不需要現(xiàn)在就去解決。
屬性管理的層級(jí)化十分有必要,但是在使用數(shù)據(jù)前,必須要了解數(shù)據(jù)的場(chǎng)景、數(shù)據(jù)是如何放進(jìn)去的和數(shù)據(jù)的場(chǎng)景是什么。在這一切未知之前,就說(shuō)數(shù)據(jù)如何好用的話,是不可能的。所以,現(xiàn)在企業(yè)運(yùn)營(yíng)數(shù)據(jù)的趨勢(shì)是,我們應(yīng)該找出一些屬性進(jìn)行歸類,然后再慢慢地考慮如何提煉,這對(duì)于未來(lái)非常重要。
重要的是數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系,而不是數(shù)據(jù)本身
大數(shù)據(jù)價(jià)值的實(shí)現(xiàn),在于數(shù)據(jù)與數(shù)據(jù)的連接。
Google做了一件非常驚人的事情 —— Google甚至能在不明白某個(gè)網(wǎng)頁(yè)語(yǔ)言的情況下,知道其內(nèi)容是什么。試想一下,如果你懂俄語(yǔ),看出俄語(yǔ)網(wǎng)頁(yè)里在講什么當(dāng)然很簡(jiǎn)單。但是,如果你僅僅通過(guò)看字詞的排列和網(wǎng)站的分類,就知道網(wǎng)頁(yè)的內(nèi)容,這是不是很令人驚嘆?
這就是知識(shí)圖譜,它是一個(gè)無(wú)窮無(wú)盡的世界。事實(shí)上,知識(shí)圖譜并不是數(shù)據(jù),而是數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系。但這里有一個(gè)非常大的弊端,就是數(shù)據(jù)的儲(chǔ)藏量非常大、儲(chǔ)存的方法也很復(fù)雜,且稍微改變一點(diǎn)點(diǎn)關(guān)系的定義,整體就會(huì)產(chǎn)生巨大的變化。
比如說(shuō),有一個(gè)知識(shí)圖譜在說(shuō)電商平臺(tái)用戶之間的關(guān)系,那數(shù)據(jù)信息就非常龐大了。試想一下,今天電商平臺(tái)里有多少個(gè)用戶跟你有關(guān)系?假如說(shuō)有 25個(gè)人,那么 25個(gè)人的關(guān)系就演變成了 25×25條關(guān)系。這時(shí)候,我再問(wèn)你“什么是關(guān)系”、“見(jiàn)過(guò)就算關(guān)系,還是一起買過(guò)東西叫關(guān)系”的問(wèn)題就具備了一定的難度。
關(guān)系建立的維度是無(wú)限大的,而且定義稍微改變一下,整個(gè)存儲(chǔ)和整個(gè)數(shù)據(jù)庫(kù)都會(huì)發(fā)生變化。所以,知識(shí)圖譜的把控是有難度的。舉個(gè)貼近我們生活的例子,比如說(shuō)銀行很早之前就給你開(kāi)辦了信用卡,決定銀行這一決策的不是你的個(gè)人關(guān)系而是總關(guān)系。銀行決定是否貸款給你,是要看你愛(ài)人做什么職業(yè)以及你家中其他人的經(jīng)濟(jì)情況如何。當(dāng)這種種關(guān)系關(guān)聯(lián)起來(lái)時(shí),就會(huì)產(chǎn)生一個(gè)極為重要的知識(shí)圖譜。
以往我們談大數(shù)據(jù)時(shí)候的本錢,莫過(guò)于“我有這種數(shù)據(jù),你沒(méi)有”。在未來(lái),數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系才是重中之重,而不是單純的數(shù)據(jù)本身。
數(shù)據(jù)的實(shí)時(shí)化與實(shí)時(shí)性分層
我們千萬(wàn)不要把所有的能力都用來(lái)處理實(shí)時(shí)化的問(wèn)題,因?yàn)槲覀円廊粫?huì)有大量的數(shù)據(jù)需要在恰當(dāng)?shù)臅r(shí)機(jī)(Right Time)處理,有的數(shù)據(jù)是重要的,但不緊急。
以上講到的很多內(nèi)容都是關(guān)于數(shù)據(jù)收集和管理層面的,而在數(shù)據(jù)的處理上,我在 LinkedIn上看到了一個(gè)很有趣且有價(jià)值的做法。 LinkedIn在處理數(shù)據(jù)時(shí),會(huì)把公司的數(shù)據(jù)服務(wù)分為幾層,一方面是緊迫度,另一方面是重要不重要。比如,它會(huì)把數(shù)據(jù)分為“快數(shù)據(jù)緊急”、“快數(shù)據(jù)不緊急”和“慢數(shù)據(jù)重要”等。
我覺(jué)得對(duì)數(shù)據(jù)實(shí)時(shí)性分層的做法是合理的,而有人覺(jué)得數(shù)據(jù)的實(shí)時(shí)化處理是趨勢(shì),但是我持有一定的懷疑態(tài)度。 Real Time是“實(shí)時(shí)”,Right Time是“恰當(dāng)?shù)臅r(shí)機(jī)”。但是,據(jù)我看來(lái),數(shù)據(jù)處理不一定要實(shí)時(shí)。比如,我們常見(jiàn)的情況是,每家公司都有財(cái)務(wù)的相關(guān)數(shù)據(jù),這類數(shù)據(jù)的處理都是“ T+1”,意思是你想要的數(shù)據(jù)在第二天才可以拿到。因?yàn)樵谄渌麛?shù)據(jù)沒(méi)有到位的情況下,數(shù)據(jù)實(shí)時(shí)化的價(jià)值也不大。
但是,換個(gè)場(chǎng)景來(lái)看,銀行若要判斷某個(gè)人的信用卡是否被盜用,那么肯定要對(duì)之進(jìn)行實(shí)時(shí)化處理。數(shù)據(jù)的實(shí)時(shí)化,讓我們從商業(yè)的角度去認(rèn)知數(shù)據(jù),值得注意的是,在具備了實(shí)時(shí)化的數(shù)據(jù)處理能力后,很多以前不能解決的場(chǎng)景開(kāi)始變得能夠解決。在未來(lái)的某一天,編碼的工程師能夠在編碼時(shí)直接寫上“如果一個(gè)三天前只瀏覽未購(gòu)買的客戶回來(lái)了,我要不要給他一個(gè)兩元錢的紅包”。這個(gè)程序是完全編好的,用戶登錄本身就成了一個(gè)實(shí)時(shí)標(biāo)簽,快速的運(yùn)算會(huì)讓每個(gè)網(wǎng)站都具備最強(qiáng)的時(shí)效性。
我們?cè)贀Q一個(gè)角度來(lái)思考,如今手機(jī)、電視、游戲機(jī)和 PC等多屏運(yùn)作的時(shí)代下,作為一個(gè)網(wǎng)站,有多大的能力在非??焖俚那闆r下,讓自身在非常小的時(shí)間點(diǎn)里抓住消費(fèi)者,賣出產(chǎn)品,這種實(shí)時(shí)的能力會(huì)在未來(lái)的商業(yè)中變得越來(lái)越重要。
一個(gè)網(wǎng)站必須要讓自己的實(shí)時(shí)能力更高,甚至用戶接下來(lái)的每一步你都應(yīng)該猜到,但我們千萬(wàn)不要把所有的能力都用在處理實(shí)時(shí)化上,因?yàn)橐廊粫?huì)有大量的數(shù)據(jù)需要在恰當(dāng)?shù)臅r(shí)機(jī)( Right Time)處理,有的數(shù)據(jù)是重要的,但不緊急。
未來(lái)是人機(jī)的結(jié)合體
人和機(jī)器的結(jié)合,或者人和數(shù)據(jù)的結(jié)合將是未來(lái)的一種進(jìn)步模式,人類將通過(guò)數(shù)據(jù)變得更加智能。
很多人會(huì)問(wèn),大數(shù)據(jù)目前發(fā)展到什么階段了?我的答案是——水分太多的階段。但毋庸置疑,大數(shù)據(jù)已經(jīng)極大地影響了我們的社會(huì),但還遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到它的爆發(fā)點(diǎn)。因?yàn)橛辛舜髷?shù)據(jù),人的經(jīng)驗(yàn)開(kāi)始和數(shù)據(jù)結(jié)合,兩者相互激活,讓人的智慧得到了規(guī)?;胤糯?,這也使得整個(gè)社會(huì)開(kāi)始伴隨著數(shù)據(jù)的發(fā)展產(chǎn)生巨大的改變。但是,在大數(shù)據(jù)的使用上,未來(lái)的發(fā)展空間注定會(huì)比現(xiàn)在取得的成績(jī)更加宏大,“數(shù)據(jù)化運(yùn)營(yíng)”和“運(yùn)營(yíng)數(shù)據(jù)”這個(gè)數(shù)據(jù)與人之間的閉環(huán)系統(tǒng)也會(huì)越來(lái)越完善,人機(jī)結(jié)合仍然有巨大的空間讓我們?nèi)ネ诰颉?/span>
未來(lái),數(shù)據(jù)的種類將超出我們的想象。以前的數(shù)據(jù)更多集中在外部行為的監(jiān)控上,不論是網(wǎng)絡(luò)購(gòu)買行為,還是網(wǎng)上社交行為,都是用戶在“遠(yuǎn)距離”提供數(shù)據(jù),即便這樣,我們?nèi)匀贿€沒(méi)有運(yùn)用好這些數(shù)據(jù)。隨著可穿戴式設(shè)備的出現(xiàn),數(shù)據(jù)和人將真正融為一體,類似谷歌眼鏡這樣的設(shè)備,將讓我們看到的東西即時(shí)數(shù)據(jù)化;類似健康手環(huán)類設(shè)備和可以深度收集腦電波數(shù)據(jù)的設(shè)備,將隨時(shí)會(huì)使我們?nèi)梭w的活動(dòng)轉(zhuǎn)化成數(shù)據(jù)。目前,記錄睡眠狀況只是其初步的應(yīng)用,在不遠(yuǎn)的未來(lái),用數(shù)據(jù)記錄我們每一秒鐘的生活也將成為可能。
當(dāng)萬(wàn)物皆數(shù)據(jù)的時(shí)刻到來(lái)時(shí),商業(yè)發(fā)展的更多新機(jī)會(huì)將會(huì)出現(xiàn),數(shù)據(jù)將會(huì)幫助我們更好地做出判斷,比如,什么時(shí)候最適合吃飯、什么時(shí)候身體疲憊適合睡覺(jué)和什么時(shí)候記憶力最好等,這些都能通過(guò)數(shù)據(jù)來(lái)進(jìn)行預(yù)判。甚至于,當(dāng)記錄了人的足夠數(shù)據(jù)之后,數(shù)據(jù)就可能告訴我們此時(shí)此刻應(yīng)該做些什么及最佳的策略。也許在那時(shí),決定人是否聰明的指標(biāo),已經(jīng)不是 IQ,而是是否擁有足夠優(yōu)質(zhì)的數(shù)據(jù)。
人和機(jī)器的結(jié)合,或者人和數(shù)據(jù)的結(jié)合將是未來(lái)的一種進(jìn)步模式,人類將通過(guò)數(shù)據(jù)變得更加智能。
最后我想用兩句話來(lái)總結(jié):
當(dāng)下,我們要學(xué)會(huì)人機(jī)分工,讓人做人最擅長(zhǎng)的事情,讓機(jī)器做機(jī)器最擅長(zhǎng)的事情;
未來(lái),我們要相信人機(jī)結(jié)合,人機(jī)的界線已經(jīng)模糊,無(wú)人駕駛汽車已經(jīng)變成可能。未來(lái)人類的身上流動(dòng)著的是血液以及數(shù)據(jù)。
忽略了趨勢(shì),過(guò)去的價(jià)值一文不值
我們通常都認(rèn)為,經(jīng)驗(yàn)應(yīng)該是越多越好。一個(gè)有經(jīng)驗(yàn)的人總是更能夠在很多事情上做出正確的判斷,因?yàn)榉e累使然。但事實(shí)上,我們發(fā)現(xiàn),有時(shí)候經(jīng)驗(yàn)越多,似乎越容易讓人犯一些低級(jí)錯(cuò)誤。這就好像,你會(huì)發(fā)覺(jué)往往天天研究彩票和股票的人總是發(fā)不了大財(cái),而往往是一個(gè)菜鳥(niǎo)莫名其妙地就中了大獎(jiǎng)和買了一只牛股。
為什么經(jīng)驗(yàn)有時(shí)會(huì)使人犯低級(jí)錯(cuò)誤呢?在這里,我們應(yīng)該將其分成兩種情況來(lái)看待:一種是信息不對(duì)稱;另一種則是邏輯錯(cuò)誤。
當(dāng)我們討論信息的不對(duì)稱時(shí),首先要講的就是經(jīng)驗(yàn)。經(jīng)驗(yàn)是對(duì)過(guò)去的度量,但不是所有經(jīng)驗(yàn)信息的質(zhì)量都很好。在經(jīng)驗(yàn)的數(shù)據(jù)庫(kù)里,肯定有一些信息是正確的,有一些是錯(cuò)誤的。當(dāng)經(jīng)驗(yàn)中混有很多噪音干擾時(shí),我們會(huì)跟隨錯(cuò)誤的經(jīng)驗(yàn)做出判斷,此時(shí),我們就會(huì)發(fā)現(xiàn)自己變笨了。
比如,在使用沒(méi)有評(píng)估過(guò)的經(jīng)驗(yàn)時(shí),你用 A方案獲得了成功,用 B方案卻失敗了,而且在評(píng)估的過(guò)程中也不是單純的 0或1,而是用 0~1的范圍來(lái)度量的。說(shuō)到這個(gè),就要提到數(shù)據(jù)分析師了。一般而言,數(shù)據(jù)分析師對(duì)于信息是很有潔癖的,也就是在對(duì)于經(jīng)驗(yàn)的累積上,他們對(duì)質(zhì)量把控得十分嚴(yán)格,如對(duì)于數(shù)據(jù)信息的排序、分析可靠的信息源進(jìn)行多次使用、了解信息的出處和知道信息的提供者等。根據(jù)這些,數(shù)據(jù)分析師在它們的輔助下做出了決定。這意味著,你所有的信息來(lái)源都需要有正確的途徑和渠道,不然,這個(gè)決策也會(huì)出現(xiàn)偏差。
除此之外,還有一個(gè)因素導(dǎo)致經(jīng)驗(yàn)使人變笨,那就是在分析時(shí)忽略了趨勢(shì),這個(gè)道理可以用賽馬的故事來(lái)舉證。
在香港,你經(jīng)常會(huì)發(fā)現(xiàn)拿著一大堆材料的人會(huì)分析馬匹的數(shù)據(jù)。比如,有人會(huì)根據(jù)一匹馬進(jìn)行 1 200米跑的時(shí)間,來(lái)計(jì)算它未來(lái)可能跑完全程所需要的時(shí)間。但我們發(fā)現(xiàn),還是有很多人因算錯(cuò)導(dǎo)致賭馬失敗。為什么呢?因?yàn)闅v史數(shù)據(jù)和我們今天面對(duì)的情況中出現(xiàn)了一些假象。香港大多數(shù)賭馬的人,他們最終收集到的數(shù)據(jù)都是受到影響的,而不是經(jīng)過(guò)清洗的,當(dāng)然是不準(zhǔn)確的。每一個(gè)賭馬的人都在看過(guò)去的數(shù)據(jù)——馬會(huì)會(huì)給每一個(gè)賭馬者提供前三場(chǎng)賽馬的數(shù)據(jù),大家只會(huì)關(guān)注這個(gè)結(jié)果,而不會(huì)去關(guān)注賽馬當(dāng)天發(fā)生了什么。如果是我,則會(huì)去回看錄像,就可能發(fā)現(xiàn)其他的情況。比如,如果這匹馬本來(lái)想發(fā)力,但前面有馬匹擋住了它,它才被扣除了兩秒鐘;或者騎師揚(yáng)鞭,鞭子掉了,扣除 5秒鐘;再或者有些馬發(fā)脾氣偏離跑道,也要扣除秒數(shù)。當(dāng)排除所有意外算出的時(shí)間,就是干凈的、沒(méi)有影響因素的真正經(jīng)驗(yàn)了。這時(shí)候,我們得到的第 1~3名的數(shù)據(jù)和最終比賽結(jié)束公布出來(lái)的第 1~3名的數(shù)據(jù)就會(huì)不一樣。
除此之外,還要觀察有關(guān)賽馬成長(zhǎng)的趨勢(shì)問(wèn)題。事實(shí)上,在每一場(chǎng)賽馬里都會(huì)出現(xiàn)很多意外,如果這些意外都不出現(xiàn),也會(huì)直接導(dǎo)致結(jié)果的不同。因?yàn)槊科ヱR幼年和成年的狀態(tài)是完全不同的,因此它的數(shù)據(jù)價(jià)值評(píng)估也是不一樣的。一匹馬 3~4歲等同于我們?nèi)祟?18~25歲,體能上會(huì)出現(xiàn)非常大的變化;又或者,年幼的馬匹對(duì)于騎士的體重非常敏感,多 1~2磅就會(huì)有非常大的影響,但長(zhǎng)到 5歲后,負(fù)重對(duì)其的影響則會(huì)慢慢降低,這就是硬趨勢(shì)。即便有很多過(guò)往經(jīng)驗(yàn)的數(shù)據(jù)都不能很好地匹配今天你要做的事情時(shí),意味著經(jīng)驗(yàn)需要將數(shù)據(jù)進(jìn)行清洗——把當(dāng)天的影響因素都找出來(lái),并還原,這時(shí)候得到的數(shù)據(jù)才是正確的經(jīng)驗(yàn)。
結(jié)論就是,經(jīng)驗(yàn)使人變笨的原因在于你之前的經(jīng)驗(yàn)本身就存在誤差,即數(shù)據(jù)源本身就存在問(wèn)題,而這種誤差一般人看不出來(lái)。因此,在過(guò)去的經(jīng)驗(yàn)積累本身就有問(wèn)題的情況下,根據(jù)經(jīng)驗(yàn)得出的結(jié)論自然會(huì)使人犯低級(jí)錯(cuò)誤。
你永遠(yuǎn)不要假定這個(gè)世界是真空的,所以你還需要多多觀察頻繁出現(xiàn)的新數(shù)據(jù)。當(dāng)有新的數(shù)據(jù)出現(xiàn)時(shí),以往的經(jīng)驗(yàn)就需要重新做評(píng)估了。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
如何考取數(shù)據(jù)分析師證書(shū):以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動(dòng)企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無(wú)外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫(kù)的日常操作中,我們經(jīng)常會(huì)遇到需要整合多張表數(shù)據(jù)的場(chǎng)景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,面對(duì)海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫(kù)操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問(wèn)題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開(kāi)啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書(shū)) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08