5.     用proc distance做什么？

我們知道數(shù)據(jù)變量分四類：名義變量、次序變量、interval變量和ritio變量。但sas里面目前的聚類算法都要求變量時ratio變量。那想要對離散變量進行聚類怎么呢？一種想法自然是講所有的離散變量都轉成0-1變量。這會有如下幾個問題：

1)    變量的信息可能會有損失，比如次序型變量轉成0-1變量后，次序信息就很難保留；

2)    當離散變量的取值非常多時，轉成0-1變量后生成的新變量也會非常多，這樣也會造成很多處理上的不便；

3)    0-1變量也沒法做標準化等等一些運算，因為這種運算其實是沒有意義的

那該如何處理離散變量的聚類呢？答案是用proc distance。我們知道聚類過程中首先是從計算距離或者相似度開始的。一個很自然的想法就是針對離散變量定義有意義的距離（對離散變量和連續(xù)變量混合類型的數(shù)據(jù)）。Proc distance就是用來算這種距離的一個很好的過程。距離或者相似度可以看成是連續(xù)數(shù)據(jù)，自然就可以用sas里面的聚類算法了。

6.     用proc stdize做什么？

前面說過聚類算法首先要算的距離，然后通過距離來執(zhí)行后續(xù)的計算。在距離計算的過程方差比較大的變量影響會更大，這個通常不是我們希望看到。所以非常有必要講參與聚類的變量轉換成方差盡量相同。Proc stdize就能實現(xiàn)這種功能。Proc stdize不僅提供了將變量轉換了均值為0，方差轉換為1的標準化，還提供了很多其它類型的標準化。比如，range標準化（變量減去最小值除以最大值和最小值得差）

7.     用proc varclus做什么？

在做回歸分析的時候，我們知道變量過多會有兩個問題：

1)    變量過多會影響預測的準確，尤其當無關緊要的變量引入模型之后；

2)    變量過多不可避免的會引起變量之前的共線性，這個會影響參數(shù)估計的精度

聚類分析實際上也存在類似的問題，所以有必要先對變量做降維。說到降維，馬上有人會說這個可以用主成分啊，這個的確沒錯。但是主成分的解釋性還是有點差。尤其是第二主成分之后的主成分。那用什么比較好呢？答案是proc varclus——斜交主成分。

我們常說的主成分實際上正交主成分。斜交主成分是在正交主成分的基礎上再做了一些旋轉。這樣得到的主成分不僅能保留主成分的優(yōu)點（主成分變量相關程度比較低）。另外一方面又能有很到的解釋性，并且能達到對變量聚類的效果。使同類別里面的變量盡可能相關程度比較高，不同類別里面的變量相關程度盡可能低。這樣根據(jù)一定的規(guī)則我們就可以在每個類別里面選取一些有代表性的變量，這樣既能保證原始的數(shù)據(jù)信息不致?lián)p失太多，也能有效消除共線性。有效提升聚類分析的精度。

8.     用proc mds 和proc princomp做什么？

將原始數(shù)據(jù)降到兩維，通過圖形探測整個數(shù)據(jù)聚類后大致大類別數(shù)

9.     用proc aceclus做什么？

聚類算法尤其是k-means算法要求聚類數(shù)據(jù)是球形數(shù)據(jù)。如果是細長型的數(shù)據(jù)或者非凸型數(shù)據(jù)，這些算法的表現(xiàn)就會相當差。一個很自然的變通想法就是，能不能將非球形數(shù)據(jù)變換成球形數(shù)據(jù)呢？答案是可以的。這就要用到proc aceclus。

/*********************************************************/
/*1.模擬數(shù)據(jù)1;測試標準化方法對聚類的影響
模擬數(shù)據(jù)，樣本量相同，均值和方差不相同*/
/*********************************************************/
data compact;
keep x y c;
n=100;
scale=1; mx=0; my=0; c=1;link generate;
scale=2; mx=8; my=0; c=2;link generate;
scale=3; mx=4; my=8; c=3;link generate;
stop;
generate:
do i=1 to n;
x=rannor(1)*scale+mx;
y=rannor(1)*scale+my;
output;
end;
return;
run;
title ‘模擬數(shù)據(jù)1’;
proc gplot data=compact;
plot y*x=c;
symbol1 c=blue;
symbol2 c=black;
symbol3 c=red;
run;

proc stdize data=compact method=std
out=scompacted2;
var x y;
run;
title ‘標準化后的模擬數(shù)據(jù)1’;
proc gplot data=scompacted2;
plot y*x=c;
symbol1 c=blue;
symbol2 c=black;
symbol3 c=red;
run;

/*********************************************************/
/*2.create result table*/
/*********************************************************/
data result;
length method$ 12;
length misclassified 8;
length chisq 8;
stop;
run;

%let inputs=x y;
%let group=c;
%macro standardize(dsn=,nc=,method=);
title “&method”;
%if %bquote(%upcase(&method))=NONE %then %do;
data temp;
set &dsn;
run;
%end;
%else %do;
proc stdize data=&dsn method=&method out=temp;
var &inputs;
run;
%end;
proc fastclus data=temp maxclusters=&nc least=2
out=clusout noprint;
var &inputs;
run;
proc freq data=clusout;
tables &group*cluster / norow nocol nopercent
chisq out=freqout;
output out=stats chisq;
run;
data temp sum;
set freqout end=eof;
by &group;
retain members mode c;
if first.&group then do;
members=0; mode=0;
end;
members=members+count;
if cluster NE . then do;
if count > mode then do;
mode=count;
c=cluster;
end;
end;
if last.&group then do;
cum+(members-mode);
output temp;
end;
if eof then output sum;
run;
proc print data=temp noobs;
var &group c members mode cum;
run;
data result;
merge sum (keep=cum) stats;
if 0 then modify result;
method = “&method”;
misclassified = cum;
chisq = _pchi_;
pchisq = p_pchi;
output result;
run;
%mend standardize;

%standardize(dsn=compact,nc=3,method=ABW(.5));
%standardize(dsn=compact,nc=3,method=AGK(.9));
%standardize(dsn=compact,nc=3,method=AHUBER(.5));
%standardize(dsn=compact,nc=3,method=AWAVE(.25));
%standardize(dsn=compact,nc=3,method=EUCLEN);
%standardize(dsn=compact,nc=3,method=IQR);
%standardize(dsn=compact,nc=3,method=L(1));
%standardize(dsn=compact,nc=3,method=L(2));
%standardize(dsn=compact,nc=3,method=MAD);
%standardize(dsn=compact,nc=3,method=MAXABS);
%standardize(dsn=compact,nc=3,method=MEAN);
%standardize(dsn=compact,nc=3,method=MEDIAN);
%standardize(dsn=compact,nc=3,method=MIDRANGE);
%standardize(dsn=compact,nc=3,method=NONE);
%standardize(dsn=compact,nc=3,method=RANGE);
%standardize(dsn=compact,nc=3,method=SPACING(.3));
%standardize(dsn=compact,nc=3,method=STD);
%standardize(dsn=compact,nc=3,method=SUM);
%standardize(dsn=compact,nc=3,method=USTD);

proc sort data=result;
by misclassified;
run;
title ‘匯總數(shù)據(jù)’;
title2 ‘聚類判定類別錯誤樣本數(shù)排序’;
proc print data=result;
run;