SAS—HASH對象的應用

HASH table原理

先介紹下hash的原理吧。hash table其實就是散列表，也叫哈希表，根據(jù)關Key-value鍵值對而直接進行訪問的數(shù)據(jù)結構。它通過把key-value映射到表中一個位置來訪問記錄，不用掃描整張表以加快查找的速度。這個映射函數(shù)叫做散列函數(shù)，存放記錄的數(shù)組叫做哈希表。

在數(shù)據(jù)裝載時，根據(jù)F（key）=內(nèi)存地址將表存到內(nèi)存中指定的地址。

比如我最愛的杰倫，根據(jù)散列函數(shù)F(周杰倫) = 18 就可找到對應的value為87啦。

sas hash table 的優(yōu)點

hash table是 SAS 查找技術中最為常用的技術啦，性能表現(xiàn)經(jīng)評測也比較上乘，在SAS 產(chǎn)品中已被廣泛使用，同時也深受國外SAS程序員的喜愛，但在國內(nèi)大家好像并不怎么常用。但是想想可以用sas hash提高下數(shù)據(jù)查詢的效率，是不是在小伙伴面前有些小逼格呢!?

下面呢就介紹下sas hash table的優(yōu)點：

1.hash table 可以根據(jù) K-V 定位數(shù)據(jù)，直接得到變量的存儲地址，可以減少查詢的次數(shù)；

2.hash table的變量查找是在內(nèi)存中進行的，可以提高性能；

3.hash table可以在data步運行時的動態(tài)地添加、更新、刪除等操作；

4.hash 可以做一些merge 和 proc sql 難以實現(xiàn)的數(shù)據(jù)集合并，并在細節(jié)上可以有更多的控制。

當然，因為sas hash是在內(nèi)存中運行，所以如果數(shù)據(jù)太大，還是不要用hash對象了。

sas 定義hash對象

Hash對象的最基本的要點有三個：

（1）要放入內(nèi)存中的表

（2）用來通過hash函數(shù)建立與內(nèi)存對應存儲地址的KEY值（可以是數(shù)值、字符或者兩者的混合，最好是表的主鍵否則只有第一條記錄有效，因為key值相同通過F（key）只會指向一個地址）。

（3）要調(diào)入內(nèi)存中與key值一起構成數(shù)組的變量.

在SAS中分別通過以下步驟來完成上述三個要點：

hash的使用實例

（1）通過hash可以實現(xiàn)表與表的高效關聯(lián)

（2）可以對hash表中的數(shù)據(jù)進行控制設計巧妙的算法。下邊是一些具體的例子：

1. 使用hash對象來篩選數(shù)據(jù)

/*新入職員工信息*/

data id_newly;

input id $  epl_ym;

cards

;

1101 201201

1102 201201

1123 201203

1105 201202

1104 201202

1105 201202

;

run;

如下圖所示：

/*創(chuàng)建每位員工的銷售級別及銷售額*/

data sales_all;

input id $ grade $ amt;

cards

;

1001 a 561

1101 c 256

1002 b 421

1003 a 691

1005 a 555

1004 b 398

1015 a 402

1102 c 128

1123 d 96

1105 c 196

1104 d 89

1086 b 632

1093 a 701

1115 c 221

;

run;

如下圖所示：

/*使用hash對象篩選新員工的銷售額*/

data sales_newly;

length id $8. epl_ym 8.;/*定義數(shù)據(jù)變量id、epl_ym類型和長度，此處將變量類型和長度寫死在程序里，這樣當查找表的數(shù)據(jù)結構發(fā)生變化時還要重寫代碼。以后會單獨介紹一下hash 對象處理的技巧。

*/

if _n_ = 1 then do;

declare hash newly(dataset:'id_newly');/*使用數(shù)據(jù)集id_newly定義hash對象*/

newly.definekey('id');/*其中定義id為主鍵*/

newly.definedata('epl_ym');/*定義epl_ym為信息變量*/

newly.definedone();/*結束hash對象的初始化*/

end;

set sales_all;

rc = newly.find(key:id);/*調(diào)用find方法檢索數(shù)據(jù)集sales_all中的變量id的值是否出現(xiàn)在hash對象的主鍵中*/

if rc = 0;/*此處注意，find()找到匹配的值返回的是0，這個和其他語言不同。*/

run;

所得結果如下：

2.使用hash對象拼接數(shù)據(jù)

/*創(chuàng)建銷售等級對應的傭金比例數(shù)據(jù)集*/

data grade;

input grade $ rate;

cards

;

a 0.20

b 0.18

c 0.15

d 0.10

e 0.05

;

run;

結果如下：

/*計算傭金*/

data csm_amt;

if _n_ = 0 then do;

set id_newly grade;

end;

else if _n_ = 1 then do;

declare hash newly(dataset:'id_newly');

newly.definekey('id');

newly.definedata('epl_ym');

newly.definedone();

declare hash grd(dataset:'grade');

grd.definekey('grade');

grd.definedata('rate');

grd.definedone();

end;

call missing (of _all_);

set sales_all;

rc1 = newly.find(key:id);

rc2 = grd.find(key:grade);

if rc1 = 0 then csm_amt = amt*rate;

run;

3.調(diào)用definedata 時使用all選項

/*小組信息*/

data team_info;

input team $ open_ym grade employees;

cards

;

a 201201 12 6

b 201202 11 9

c 201205 9 12

d 201506 7 20

e 201205 8 9 

f 201206 10 23

;

run;

所得數(shù)據(jù)集如下：

data employ_new;

input id $ team $;

cards

;

2001 c

2036 d

;

run;

data newly_info;

if _n_ = 0 then do;

set team_info;

end;

else if _n_ = 1 then do;

declare hash t(dataset:'team_info');

t.definekey('team');

t.definedata(all:'yes');

t.definedone();

end;

call missing(of _all_ );

set employ_new;src = t.find();

run;