5.     用proc distance做什么？

我們知道數(shù)據(jù)變量分四類：名義變量、次序變量、interval變量和ritio變量。但sas里面目前的聚類算法都要求變量時(shí)ratio變量。那想要對(duì)離散變量進(jìn)行聚類怎么呢？一種想法自然是講所有的離散變量都轉(zhuǎn)成0-1變量。這會(huì)有如下幾個(gè)問題：

1)    變量的信息可能會(huì)有損失，比如次序型變量轉(zhuǎn)成0-1變量后，次序信息就很難保留；

2)    當(dāng)離散變量的取值非常多時(shí)，轉(zhuǎn)成0-1變量后生成的新變量也會(huì)非常多，這樣也會(huì)造成很多處理上的不便；

3)    0-1變量也沒法做標(biāo)準(zhǔn)化等等一些運(yùn)算，因?yàn)檫@種運(yùn)算其實(shí)是沒有意義的

那該如何處理離散變量的聚類呢？答案是用proc distance。我們知道聚類過程中首先是從計(jì)算距離或者相似度開始的。一個(gè)很自然的想法就是針對(duì)離散變量定義有意義的距離（對(duì)離散變量和連續(xù)變量混合類型的數(shù)據(jù)）。Proc distance就是用來算這種距離的一個(gè)很好的過程。距離或者相似度可以看成是連續(xù)數(shù)據(jù)，自然就可以用sas里面的聚類算法了。

6.     用proc stdize做什么？

前面說過聚類算法首先要算的距離，然后通過距離來執(zhí)行后續(xù)的計(jì)算。在距離計(jì)算的過程方差比較大的變量影響會(huì)更大，這個(gè)通常不是我們希望看到。所以非常有必要講參與聚類的變量轉(zhuǎn)換成方差盡量相同。Proc stdize就能實(shí)現(xiàn)這種功能。Proc stdize不僅提供了將變量轉(zhuǎn)換了均值為0，方差轉(zhuǎn)換為1的標(biāo)準(zhǔn)化，還提供了很多其它類型的標(biāo)準(zhǔn)化。比如，range標(biāo)準(zhǔn)化（變量減去最小值除以最大值和最小值得差）

7.     用proc varclus做什么？

在做回歸分析的時(shí)候，我們知道變量過多會(huì)有兩個(gè)問題：

1)    變量過多會(huì)影響預(yù)測的準(zhǔn)確，尤其當(dāng)無關(guān)緊要的變量引入模型之后；

2)    變量過多不可避免的會(huì)引起變量之前的共線性，這個(gè)會(huì)影響參數(shù)估計(jì)的精度

聚類分析實(shí)際上也存在類似的問題，所以有必要先對(duì)變量做降維。說到降維，馬上有人會(huì)說這個(gè)可以用主成分啊，這個(gè)的確沒錯(cuò)。但是主成分的解釋性還是有點(diǎn)差。尤其是第二主成分之后的主成分。那用什么比較好呢？答案是proc varclus——斜交主成分。

我們常說的主成分實(shí)際上正交主成分。斜交主成分是在正交主成分的基礎(chǔ)上再做了一些旋轉(zhuǎn)。這樣得到的主成分不僅能保留主成分的優(yōu)點(diǎn)（主成分變量相關(guān)程度比較低）。另外一方面又能有很到的解釋性，并且能達(dá)到對(duì)變量聚類的效果。使同類別里面的變量盡可能相關(guān)程度比較高，不同類別里面的變量相關(guān)程度盡可能低。這樣根據(jù)一定的規(guī)則我們就可以在每個(gè)類別里面選取一些有代表性的變量，這樣既能保證原始的數(shù)據(jù)信息不致?lián)p失太多，也能有效消除共線性。有效提升聚類分析的精度。

8.     用proc mds 和proc princomp做什么？

將原始數(shù)據(jù)降到兩維，通過圖形探測整個(gè)數(shù)據(jù)聚類后大致大類別數(shù)

9.     用proc aceclus做什么？

聚類算法尤其是k-means算法要求聚類數(shù)據(jù)是球形數(shù)據(jù)。如果是細(xì)長型的數(shù)據(jù)或者非凸型數(shù)據(jù)，這些算法的表現(xiàn)就會(huì)相當(dāng)差。一個(gè)很自然的變通想法就是，能不能將非球形數(shù)據(jù)變換成球形數(shù)據(jù)呢？答案是可以的。這就要用到proc aceclus。

/*********************************************************/
/*1.模擬數(shù)據(jù)1;測試標(biāo)準(zhǔn)化方法對(duì)聚類的影響
模擬數(shù)據(jù)，樣本量相同，均值和方差不相同*/
/*********************************************************/
data compact;
keep x y c;
n=100;
scale=1; mx=0; my=0; c=1;link generate;
scale=2; mx=8; my=0; c=2;link generate;
scale=3; mx=4; my=8; c=3;link generate;
stop;
generate:
do i=1 to n;
x=rannor(1)*scale+mx;
y=rannor(1)*scale+my;
output;
end;
return;
run;
title ‘模擬數(shù)據(jù)1’;
proc gplot data=compact;
plot y*x=c;
symbol1 c=blue;
symbol2 c=black;
symbol3 c=red;
run;

proc stdize data=compact method=std
out=scompacted2;
var x y;
run;
title ‘標(biāo)準(zhǔn)化后的模擬數(shù)據(jù)1’;
proc gplot data=scompacted2;
plot y*x=c;
symbol1 c=blue;
symbol2 c=black;
symbol3 c=red;
run;

/*********************************************************/
/*2.create result table*/
/*********************************************************/
data result;
length method$ 12;
length misclassified 8;
length chisq 8;
stop;
run;

%let inputs=x y;
%let group=c;
%macro standardize(dsn=,nc=,method=);
title “&method”;
%if %bquote(%upcase(&method))=NONE %then %do;
data temp;
set &dsn;
run;
%end;
%else %do;
proc stdize data=&dsn method=&method out=temp;
var &inputs;
run;
%end;
proc fastclus data=temp maxclusters=&nc least=2
out=clusout noprint;
var &inputs;
run;
proc freq data=clusout;
tables &group*cluster / norow nocol nopercent
chisq out=freqout;
output out=stats chisq;
run;
data temp sum;
set freqout end=eof;
by &group;
retain members mode c;
if first.&group then do;
members=0; mode=0;
end;
members=members+count;
if cluster NE . then do;
if count > mode then do;
mode=count;
c=cluster;
end;
end;
if last.&group then do;
cum+(members-mode);
output temp;
end;
if eof then output sum;
run;
proc print data=temp noobs;
var &group c members mode cum;
run;
data result;
merge sum (keep=cum) stats;
if 0 then modify result;
method = “&method”;
misclassified = cum;
chisq = _pchi_;
pchisq = p_pchi;
output result;
run;
%mend standardize;

%standardize(dsn=compact,nc=3,method=ABW(.5));
%standardize(dsn=compact,nc=3,method=AGK(.9));
%standardize(dsn=compact,nc=3,method=AHUBER(.5));
%standardize(dsn=compact,nc=3,method=AWAVE(.25));
%standardize(dsn=compact,nc=3,method=EUCLEN);
%standardize(dsn=compact,nc=3,method=IQR);
%standardize(dsn=compact,nc=3,method=L(1));
%standardize(dsn=compact,nc=3,method=L(2));
%standardize(dsn=compact,nc=3,method=MAD);
%standardize(dsn=compact,nc=3,method=MAXABS);
%standardize(dsn=compact,nc=3,method=MEAN);
%standardize(dsn=compact,nc=3,method=MEDIAN);
%standardize(dsn=compact,nc=3,method=MIDRANGE);
%standardize(dsn=compact,nc=3,method=NONE);
%standardize(dsn=compact,nc=3,method=RANGE);
%standardize(dsn=compact,nc=3,method=SPACING(.3));
%standardize(dsn=compact,nc=3,method=STD);
%standardize(dsn=compact,nc=3,method=SUM);
%standardize(dsn=compact,nc=3,method=USTD);

proc sort data=result;
by misclassified;
run;
title ‘匯總數(shù)據(jù)’;
title2 ‘聚類判定類別錯(cuò)誤樣本數(shù)排序’;
proc print data=result;
run;