
關(guān)于數(shù)據(jù)處理的幾個(gè)踩過坑的案例
因?yàn)檫@段時(shí)間好忙,好久沒有更新,我怕失去你們,所以就寫了幾個(gè)我在數(shù)據(jù)處理中碰到的坑,就是分享給你們看下是不是你們也有這種情況,但是我寫到一般,腦子短路了,寫不出來了,只能寫了三種情況,后續(xù)想起來,我就來補(bǔ)。
1
空值的區(qū)別
這個(gè)問題,是針對(duì)大部分剛開始做數(shù)據(jù)分析的新手來說的,就是一定要注意,無論你的數(shù)據(jù)是為建模還是做數(shù)據(jù)分析。我說下這個(gè)情況是什么出現(xiàn)的,就是你現(xiàn)在有兩張表,然后你要用主表連另外一張表,另外一張表呢,假設(shè)只有一個(gè)變量以及一個(gè)主鍵,那么這個(gè)變量可以是字符也可以是數(shù)值,然后這個(gè)變量本來就有了非空,那么這時(shí)候假設(shè)你的主表有部分主鍵是不在這張表,那就意味著主表中的部分主鍵會(huì)在這張表中匹配不到,那么這時(shí)候你的主表是left join的情況下的話,你去練這張表,這時(shí)候你的變量空值其實(shí)是包含兩種情況:1、在變量中為空,2、這張表沒有主表的主鍵。實(shí)際上是這兩種情況,但是如果你這時(shí)候不做任何處理,那就數(shù)據(jù)分析,就會(huì)把這兩部分的缺失,變成同一類的客戶,但是你在業(yè)務(wù)上解釋是不一樣的。
2
處理客戶多條數(shù)據(jù)的情況
第一個(gè)例子:我們在日常進(jìn)件中,其實(shí)往往一個(gè)客戶在公司都是有多條記錄,你要取那一條這個(gè)問題這個(gè)之前講過,這是我實(shí)際中遇到的一個(gè)例子,我想統(tǒng)計(jì)一個(gè)客戶他從注冊到申請這段時(shí)間登錄次數(shù),這時(shí)候其實(shí)有個(gè)問題,有些客戶是注冊了很長時(shí)間,并且也有完成好幾筆單子,但是有些客戶他是剛注冊,然后申請,這時(shí)候你不論情況,就直接算客戶的登錄次數(shù),這就就會(huì)有誤差,那么現(xiàn)在從業(yè)務(wù)出發(fā),你需要規(guī)定的是,如果客戶只有一筆單,那么就只接算他的登錄次數(shù),那么如果客戶是以前是完成好幾筆單,你就應(yīng)該取上一筆單結(jié)束之后,到下一筆單申請之間申請的次數(shù),這樣子才能把全部的客戶拉到同一個(gè)標(biāo)準(zhǔn)去衡量登錄次數(shù)這個(gè)變量的特征。
第二個(gè)例子:假設(shè)你現(xiàn)在是想做一個(gè)客戶近6個(gè)月的通話次數(shù)穩(wěn)定性,那么這時(shí)候你拿到數(shù)據(jù),直接懟代碼,你會(huì)發(fā)現(xiàn)其實(shí)有些客戶根本就沒有6個(gè)月的通話記錄,有些客戶不止6個(gè)月的通話記錄,那么這時(shí)你應(yīng)該處理這種沒有6個(gè)月通話記錄,這里假設(shè)客戶手機(jī)在網(wǎng)時(shí)長不足6個(gè)月,那么這時(shí)候你可以先把這部分沒有6個(gè)月的客戶先置空,或者打一個(gè)特殊的標(biāo)簽,你知道他們就是不足6個(gè)月的,另外那些多于6個(gè)月的可以取在申請時(shí)間往后的6個(gè)月,那么這時(shí)候你算出來的穩(wěn)定性指標(biāo)才是把客戶基本拉到一個(gè)水平面比較的。這個(gè)穩(wěn)定性并不一定是psi,也可以是標(biāo)準(zhǔn)差,方差,這個(gè)衍生變量有說,這里就不說了。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03