
一手?jǐn)?shù)據(jù) vs 二手?jǐn)?shù)據(jù)
1.一手?jǐn)?shù)據(jù)(Primary data)
也稱為原始數(shù)據(jù)。顧名思義,是指直接獲取,沒有經(jīng)過加工或者第三方傳遞獲得的數(shù)據(jù)。比如傳統(tǒng)調(diào)研中的問卷測(cè)評(píng)、 小組訪談、面對(duì)面溝通等形式獲得的數(shù)據(jù),或者是互聯(lián)網(wǎng)時(shí)代用戶直接填寫的個(gè)人信息數(shù)據(jù)以及平臺(tái)抓取的行為數(shù)據(jù)等等。
2.二手?jǐn)?shù)據(jù)(Secondary data)
主要是相對(duì)于一手?jǐn)?shù)據(jù)而言,指的是通過第三方或者是現(xiàn)有的數(shù)據(jù)資料獲取的數(shù)據(jù)。比如國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)、知名文獻(xiàn)中 羅列的數(shù)據(jù)等等。 一手?jǐn)?shù)據(jù)的來源渠道,一般比較固定,往往是和自身直接相關(guān)。比如搭建的網(wǎng)站,組織的活動(dòng),開 展的 調(diào)研等。而二手?jǐn)?shù)據(jù)則相對(duì)比較多樣化,凡是會(huì)產(chǎn)出數(shù)據(jù)相關(guān)信息的第三方機(jī)構(gòu)都可以作為來源渠道。
3.優(yōu)劣勢(shì)分析
一手?jǐn)?shù)據(jù)和二手?jǐn)?shù)據(jù),在實(shí)際應(yīng)用中都是非常重要的。它們不同的優(yōu)缺點(diǎn),可以很好地互補(bǔ),從而幫助企業(yè)在效果和效 率間找到比較好的平衡。
在實(shí)際項(xiàng)目中,一般會(huì)把兩類數(shù)據(jù)進(jìn)行結(jié) 合??偨Y(jié)來看,一手和二手?jǐn)?shù)據(jù)的選擇, 可以參考右圖的形式進(jìn)行判斷。
同時(shí),在一手?jǐn)?shù)據(jù)的使用過程,需要特別 注意的是,要對(duì)采集回來的數(shù)據(jù)進(jìn)行邏輯 合理性驗(yàn)證。
而二手?jǐn)?shù)據(jù),因?yàn)槭占倪^程由第三方完 成。因此數(shù)據(jù)的可信性和準(zhǔn)確度,就依賴 于第三方機(jī)構(gòu)的可信性。
如何獲取一手?jǐn)?shù)據(jù)?
當(dāng)我們需要獲取一手?jǐn)?shù)據(jù)的時(shí)候,一種常用的方式就是抽樣調(diào)查。 抽樣調(diào)查不止在傳統(tǒng)行業(yè)中比較常用,在現(xiàn)在互聯(lián)網(wǎng)企業(yè)中也時(shí)常會(huì)用到。比如一些優(yōu)惠活動(dòng)或者特定客群營銷等方案的測(cè)試,就需要 用 到抽樣的方式選擇測(cè)試群體。 在做抽樣調(diào)查時(shí),我們都希望盡可能地減少誤差,讓抽樣的樣本能夠充分代表整體的特征。那么誤差和 哪些因素相關(guān)呢?抽樣誤差(Sampling Error)的大小,主要由樣本容量的大小和抽樣方式來決定。 一般,我們認(rèn)為抽樣可以分類兩類:一類我們叫做概率抽樣(Probability Sampling),也叫作客觀抽樣。第二類,我們叫做非概率抽樣 (Non-probability Sampling),也叫作主觀抽樣。下面我們來分別介紹這兩種抽樣方法。
概率抽樣
顧名思義,是一種基于概率的抽樣方式,因此也被稱為客觀抽樣。從理論的角度來說,概率抽樣是符合科學(xué)和統(tǒng)計(jì)原則的,抽樣誤差可 以估計(jì)。也是在可能的情況下,最優(yōu)先被推薦使用的抽樣方法。但是,精確度高的方法,往往操作的復(fù)雜度和耗費(fèi)的成本也會(huì)相對(duì)偏高。 概率抽樣,雖然可以避免主觀判斷帶來的謬誤,但是它常常受限于項(xiàng)目經(jīng)費(fèi)、時(shí)間和保密性等原則,從而難以實(shí)際使用。
非概率抽樣
和概率抽樣相反,非概率抽樣是一種簡(jiǎn)單、易使用的抽樣方式。它主要通過抽樣者的判斷,包括對(duì)樣本特征的判斷和對(duì)項(xiàng)目成本的考量, 綜合特殊的要求或者設(shè)定,最終選擇合適的樣本。因此,這種方法會(huì)受到主觀因素的影響,不符合統(tǒng)計(jì)科學(xué)的原則,抽樣誤差是無法估 計(jì)和計(jì)算的。但是在實(shí)際應(yīng)用中,大量的案例還是證明了非概率誤差依然有一定的有效性。在樣本量充足的前提下,通過設(shè)定簡(jiǎn)單的配 比,以及選擇有經(jīng)驗(yàn)的抽樣者,基本上可以保證抽樣結(jié)果的有效性。而且由于非概率抽樣比較容易重復(fù)操作,因此用非概率抽樣反復(fù)進(jìn) 行同一試驗(yàn),結(jié)果往往也有趨同性。另外,這一抽樣方式,雖然無法衡量抽樣誤差,但是由于抽樣過程可以進(jìn)行設(shè)計(jì)和控制,因此可以 更簡(jiǎn)單有效地控制非抽樣誤差(Non-sampling Error)。
總結(jié)來說,概率抽樣和非概率抽樣,我們可以通過以下的表格進(jìn)行區(qū)別:
介紹了概率抽樣和非概率抽樣之后,我們重點(diǎn)來看一下概率抽樣方法。常用的概率抽樣方法主要有以下4種:
分層抽樣(Stratified Sampling)
正如之前提到的,簡(jiǎn)單隨機(jī)抽樣的假設(shè)并不總是成立。如果總體可以按照一些特征分成若干層。層與層之間差異明顯,每個(gè)層內(nèi)部的個(gè) 體特征相近,那么我們可以對(duì)每個(gè)層做簡(jiǎn)單隨機(jī)抽樣。抽樣結(jié)果合并的集合,就是我們最終確認(rèn)的抽樣樣本。 在實(shí)際操作中,我們可以按照每一層的個(gè)體數(shù)量來決定抽取數(shù)量,使得每個(gè)層抽取的比例都相等,這樣的抽樣我們叫做按比例分層抽樣。 一般,如果每層重要性差不多,數(shù)量差異也不是很大的情況下,我們都是這樣操作的。 而如果有一些層非常重要,或者有些層的個(gè)體數(shù)非常少,那么我們就要采取非按比例分層抽樣的方法。 如果總體中個(gè)體間呈現(xiàn)明顯的幾類,那么使用分層抽樣可以更好地反映總體。避免簡(jiǎn)單隨機(jī)抽樣可能帶來的樣本集中或者特征缺失的情 況。因此,在概率抽樣中,分層抽樣也是使用最多的一種。我們?cè)趯?duì)城市,或者是大型的業(yè)務(wù)線進(jìn)行研究的時(shí)候,都可以采用分層抽樣。
系統(tǒng)抽樣(Systematic Sampling)
除了分層抽樣之外,系統(tǒng)抽樣也對(duì)簡(jiǎn)單隨機(jī)抽樣,進(jìn)行了改進(jìn)。使用系統(tǒng)抽樣的時(shí)候,仍然需要將個(gè)體進(jìn)行編號(hào),然后根據(jù)抽樣樣本容 量決定抽樣的間距。因此又叫做等距抽樣或者機(jī)械抽樣。這種方法,減少了抽樣過程中的人力和時(shí)間消耗。不過,系統(tǒng)抽樣一般很少作 為單獨(dú)的抽樣方法使用,通常是配合其他方法一起進(jìn)行。
分段抽樣(Multi-stage Sampling)
前面提到的,都是一次性抽取完成樣本的方法,這些方法可以統(tǒng)稱為單階段抽樣。然而在有些情況下,我們并不能一 次性完成樣本的抽取,比如在全國范圍內(nèi)選擇一定數(shù)量的用戶作為試點(diǎn)調(diào)查。這個(gè)時(shí)候我們需要分階段地去完成抽樣 過程,這種方法,我們叫做分段抽樣。 分段抽樣中,我們首先把總體劃分成一些大小差不多的群體。在這些群體中隨機(jī)抽取幾個(gè)。被抽中的群體,就作為下 一步進(jìn)行隨機(jī)抽樣的“總體”。 因此,在學(xué)習(xí)過程中,一定要注意區(qū)分分段抽樣和分層抽樣。雖然兩者都是對(duì)總體進(jìn)行了一定的劃分。但是分層抽樣 是按照一定特征進(jìn)行劃分,劃分的目的是為了避免特征的過分集中和缺失。抽取的過程也是一步完成的,只有在分層 之后才會(huì)進(jìn)行隨機(jī)抽樣。而分段抽樣則不同,它是由于總體太大,無法直接進(jìn)行抽取,所以才需要進(jìn)行多步抽樣。每 一次對(duì)總體的劃分是為了進(jìn)行隨機(jī)抽取,而抽取后,下一步的“總體”就會(huì)得到一定程度的減小。
如何選擇抽樣方法?
1. 二手?jǐn)?shù)據(jù)的特點(diǎn)是( )。
A. 數(shù)據(jù)缺乏可靠性
B. 不適合自己的研究需要
C. 采集數(shù)據(jù)的成本低,但搜集比較困難
D. 采集數(shù)據(jù)的成本低,搜集比較容易
2. 與概率抽樣相比,非概率抽樣的缺點(diǎn)是( )。
A. 調(diào)查成本比較高
B. 不適合探索性的研究
C. 樣本統(tǒng)計(jì)量的分布是確定的
D. 無法使用樣本的結(jié)果對(duì)總體相應(yīng)的參數(shù)進(jìn)行推斷
3. 為了估計(jì)A市愿意坐地鐵上下班的人數(shù)的比例,在收集數(shù)據(jù)時(shí),最有可能采用的數(shù)據(jù)搜集方法是?
A. 普查
B. 實(shí)驗(yàn)
C. 隨機(jī)抽樣
D. 公開發(fā)表的資料
更多考試介紹及備考福利請(qǐng)點(diǎn)擊:CDA 認(rèn)證考試中心官網(wǎng)
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10CDA 數(shù)據(jù)分析師:商業(yè)數(shù)據(jù)分析實(shí)踐的落地者與價(jià)值創(chuàng)造者 商業(yè)數(shù)據(jù)分析的價(jià)值,最終要在 “實(shí)踐” 中體現(xiàn) —— 脫離業(yè)務(wù)場(chǎng)景的分 ...
2025-09-10