深入理解SAS之批量數據導入

當我們在處理『大量的數據』（我偏不說大數據）的時候，如果一個文件一個文件的讀入未免太不優(yōu)雅。然而，如果我們操作的工具僅限于SAS，那無疑是『戴著鐐銬跳舞』。SAS的循環(huán)那可不是像R那揮之即來的_for-loop_那么簡單。

下面，我們就來演示一番如何優(yōu)雅地舞動SAS這件，實現批量數據載入。

1.準備一份文件名數據集

讀取某個文件夾下的文件名，這在R中再簡單不過了。直接一個dir()函數搞定。

當然，我們要做的還要稍微復雜一些。我們需要讀取原文件名in_name，并提供相應的SAS數據集文件名out_name。然而，我們傲嬌的SAS在文件名命名的時候，不像R那么隨心所欲。它有著這樣那樣的規(guī)矩。如：文件名不能超過32個字符；文件名內不能含小數點.。很不幸的是，博主要處理的數據恰好含有小數點.。所以，輸出文件名不能直接使用原文件名。于是，前面整理的正則表達式知識終于可以派上用場了。

廢話不多說，直接上代碼。

當然，如果你說一定要用SAS全程搞定，那也不是不可能。這里提供一行SAS暗黑代碼。

X "dir F:\Morgage\raw_data\lars__final_year_dat\*.dat/b >F:\Morgage\raw_data\lars__final_year_dat\filename" ;

通過X命令，執(zhí)行命令提示符語句。首先，通過dir命令切換到F:\Morgage\raw_data\lars__final_year_dat\*.dat；接著，通過管道操作符>把同類型的.dat格式文件的文件名輸出到文件夾F:\Morgage\raw_data\lars__final_year_dat\下的filename文件中。

有沒有一種Linux命令行的既視感？

2.寫一個讀入數據的宏

%macro readfile_dat(v_dir,in_name,out_name);
    /*?????????????v_dir,???????in_name,????SAS???????out_name*/
    %let dir = &v_dir;
    %let gsm= &in_name;
    %let filename = "&dir&gsm";
    libname Mor_dat 'F:\Morgage\sas_data\dat';

    data Mor_dat.&out_name;
        
        infile &filename;

        input variable ; /*此處省略一萬個變量的輸入格式*/

    run;
    
%mend readfile_dat;

3.利用數據步實現循環(huán)讀取數據集

這一步是一個技巧活。這里，讀入第一步中創(chuàng)建的數據集，并將每一行得到的變量值作為參數傳給第二步中讀取我們所需要處理的數據集的宏。

data _null_;
    length in_name $ 19 out_name $ 15;
    infile "F:\Morgage\raw_data\DAT_FileNameList.csv"  dsd delimiter=' ';
    input in_name $  out_name $ ;
    call execute(compress('%readfile_dat(F:\Morgage\raw_data\lars__final_year_dat\,'||in_name||','||out_name||')'));

run;

最后，可以用proc print過程檢查一下讀取是否正確。