如何利用SAS進行隨機抽樣

利用SAS進行隨機抽樣

在構(gòu)建數(shù)據(jù)挖掘模型過程中，有時我們無法對所有的整體進行全面研究，有時我們希望將整體劃分為訓(xùn)練集、驗證集、測試集三份用于不同目的的數(shù)據(jù)集，甚至在K-折交叉驗證中，我們需要把樣本隨機的劃分為K份數(shù)據(jù)子集。本文介紹SAS的SURVEYSELECT過程和RANUNI函數(shù)在隨機抽樣方面的應(yīng)用。

0、讀入數(shù)據(jù)集，并對數(shù)據(jù)集按分層變量進行排序。本文數(shù)據(jù)集采用students.txt：

* 從students.txt讀入文件到數(shù)據(jù)集students;

DATA students;

INFILE ‘C:\students.txt’;

INPUT id class $ gender $ math english history chem phys literat;

RUN;

* 查看數(shù)據(jù)集內(nèi)容;

PROC PRINT DATA = students;

TITLE ‘Students”s class gender & scores’;

RUN;

* 對二維列聯(lián)表（班級、性別）進行頻數(shù)統(tǒng)計;

PROC FREQ DATA = students;

TABLES class * gender /NOPERCENT NOROW NOCOL;

RUN;

* 首先對數(shù)據(jù)集按分層變量進行排序;

PROC SORT DATA = students;

BY class gender;

RUN;

1、利用SURVEYSELECT過程進行等比例分層抽樣

* 利用SURVEYSELECT過程對數(shù)據(jù)集進行等比例分層抽樣;

PROC SURVEYSELECT DATA = students out = samp1 method = srs samprate = .5 seed = 9876;

STRATA class gender;

RUN;

* 查看分層抽樣的結(jié)果;

PROC FREQ DATA = samp1;

TABLES class * gender /NOPERCENT NOROW NOCOL;

RUN;

2、利用SURVEYSELECT過程進行不等比例分層抽樣

* 利用SURVEYSELECT過程對數(shù)據(jù)集進行等不比例分層抽樣;

PROC SURVEYSELECT DATA = students out = samp2 method = srs samprate = (.4 .6 .4 .6 .4 .6)seed = 9876;

STRATA class gender;

RUN;

* 查看分層抽樣的結(jié)果;

PROC FREQ DATA = samp2;

TABLES class * gender /NOPERCENT NOROW NOCOL;

RUN;

3、利用SURVEYSELECT過程根據(jù)抽樣數(shù)量進行分層抽樣

* 利用SURVEYSELECT過程對數(shù)據(jù)集進行指定數(shù)量的分層抽樣;

PROC SURVEYSELECT DATA = students out = samp3 method = srs n = (8 4 6 8 5 7) seed =9876;

STRATA class gender;

RUN;

* 查看分層抽樣的結(jié)果;

PROC FREQ DATA = samp3;

TABLES class * gender /NOPERCENT NOROW NOCOL;

RUN;

4、利用隨機數(shù)函數(shù)RANUNI對數(shù)據(jù)集進行粗略劃分

* 利用RANUNI函數(shù)將數(shù)據(jù)集粗略的劃分為N=5份;

DATA s1 s2 s3 s4 s5;

SET students;

r = RANUNI(991889);

IF r<0.2 THEN OUTPUT s1;

ELSE IF r<0.4 THEN OUTPUT s2;

ELSE IF r<0.6 THEN OUTPUT s3;

ELSE IF r<0.8 THEN OUTPUT s4;

ELSE OUTPUT s5;

DROP r;

RUN;

5、利用隨機數(shù)函數(shù)RANUNI對數(shù)據(jù)集進行精確劃分

* 根據(jù)數(shù)據(jù)集創(chuàng)建視圖students_v,增加隨機數(shù)列;

DATA students_v /view=students_v;

SET students;

srt = RANUNI(999890);

RUN;

* 按照隨機數(shù)列對數(shù)據(jù)集進行排序,創(chuàng)建數(shù)據(jù)集students_srt,刪除隨機數(shù)列;

PROC SORT DATA = students_v OUT = students_srt(DROP = srt);

BY srt;

RUN;

*  將數(shù)據(jù)集精確地劃分為N=5份;

DATA s1 s2 s3 s4 s5;

RETAIN per ;

SET students_srt NOBS= total;

IF _N_ = 1 THEN per = INT(total/5);

if _N_<= per then output s1;

ELSE IF _N_<= 2 * per THEN OUTPUT s2;

ELSE IF _N_<= 3 * per THEN OUTPUT s3;

ELSE IF _N_<= 4 * per THEN OUTPUT s4;

ELSE OUTPUT s5;

DROP per;

RUN;