在SAS中如何解決中文亂碼問題

在日常的數(shù)據(jù)分析處理工作中，不可避免的經(jīng)常會和中文字符串打交道。如果數(shù)據(jù)中有亂碼，該如何處理？...

在日常工作中，使用SAS進(jìn)行數(shù)據(jù)處理是很正常的事情，不可避免的經(jīng)常會和中文字符串打交道。不知道各位在使用EG的過程中，打開數(shù)據(jù)集查看數(shù)據(jù)的時候，有沒有遇到過以下問題？
（雖然我也只是偶爾遇到，但已經(jīng)被折磨好幾年?。?

SAS Enterprise Guide 5.1

SAS Enterprise Guide 6.1

SAS Enterprise Guide 7.1

不同的版本提示的錯誤形式不完全一樣，但出現(xiàn)的原因卻是一模一樣的（下面有情景再現(xiàn)的過程）。仔細(xì)查看，不難發(fā)現(xiàn)真正的錯誤信息都是一樣的，主要是：

“Failed to transcode data from U_EUC_CN_CE to U_UTF8_CE encoding because it contained characters wihch are not supported by your SAS session encoding. Please review your encoding= and locale= SAS system options to ensure that they can accommodate tje data that you want to process.”

這段話是什么意思呢？其實就是上面EG 7.1版本的錯誤提示的中文描述。簡而言之，就是告訴你數(shù)據(jù)中有無法處理的編碼數(shù)據(jù)。

出現(xiàn)這個問題，僅僅是不能打開查看數(shù)據(jù)嗎？不是！如果出現(xiàn)這個問題，意味著你基本不能用這個數(shù)據(jù)進(jìn)行后續(xù)的分析了。只要進(jìn)行的處理或者分析涉及到該有問題的字段就會提示上面的這個錯誤信息，陰魂不散，揮之不去。

最簡單粗暴的辦法就是不用圖形化的工具EG，用最經(jīng)典的Base工具就沒有這個問題了，一勞永逸。而有時候沒法不用EG的時候怎么辦？比如我是用EG連著SAS服務(wù)器進(jìn)行處理的，該怎么辦？

至于為什么EG會出現(xiàn)這個問題，而Base界面沒有這個問題呢？主要是因為軟件的底層設(shè)計而導(dǎo)致的，這個編碼問題說大不大，說小不??；忽略了就可以正常使用，如果不忽略，那么它就是一個問題。下面會對這個問題進(jìn)行再現(xiàn)，剖析其原因，你就明白了。

當(dāng)我第一次遇到這個問題的時候，想不明白，就去google搜索錯誤信息，找到的文檔資料基本都是說編碼或者地區(qū)的設(shè)置問題。意思就是說數(shù)據(jù)的編碼跟現(xiàn)有的SAS環(huán)境的編碼不一致，也就是上面錯誤信息當(dāng)中提示的。要你通過option encoding= locale=; 修改到正確的編碼及地區(qū)，就可以解決問題了?？墒俏业沫h(huán)境是沒有任何問題的，數(shù)據(jù)也是同樣的環(huán)境生成的。經(jīng)過了幾次的研究，最后搞清楚了，這個問題是由于中文被截斷而導(dǎo)致的。

（下文需要有一定的IT基礎(chǔ)知識，不懂的童鞋，可度娘有關(guān)數(shù)據(jù)存儲、數(shù)據(jù)編碼方面的知識；只要大概明白數(shù)據(jù)是怎么在計算機(jī)中存儲及還原的就OK了）

具體來說：在GBK編碼中（SAS中文的默認(rèn)編碼方式），一個漢字是占兩個字節(jié)。由于各種原因，在存儲數(shù)據(jù)的時候某個漢字只存儲了其中的一個字節(jié)，另一個字節(jié)丟失了。那么就導(dǎo)致這個字節(jié)沒法還原，不知道是什么東西（因為少一個字節(jié)的信息）。所以才會有上面的錯誤提示：數(shù)據(jù)中包含當(dāng)前SAS會話編碼不支持的編碼數(shù)據(jù)。

我們可以用下面簡單的程序來再現(xiàn)這個問題（在EG中運行這段程序，在Base中是可以正常查看數(shù)據(jù)的，但只顯示“你好”。）

data test;

length str $ 5;

str="你好啊";

run;

當(dāng)運行完這段程序，打開test數(shù)據(jù)集查看的時候，就出現(xiàn)上面的錯誤信息：

“你好啊”三個漢字需要6個字節(jié)去存儲，而str事先定義了長度為5個字節(jié)，這就導(dǎo)致只存儲了2.5個漢字；而存儲的這0.5個漢字信息由于沒法顯示，所以才導(dǎo)致上面提示的編碼問題。

進(jìn)一步來看看底層的信息（十六進(jìn)制編碼）：

data _null_;

length str1 $ 5 str2 $ 6;

str1="你好啊";

str2="你好啊";

put str1 $hex12.;

put str2 $hex12.;

run;

日志信息：

從上面的日志信息可以看到，就是因為少存儲了“A1”這個字節(jié)信息，導(dǎo)致“B0”這個字節(jié)無法解碼，無法正常顯示。
額外補充（懂的人就此略過）：

漢字“你”的GBK編碼，十進(jìn)制為50403，十六進(jìn)制為C4E3

漢字“好”的GBK編碼，十進(jìn)制為47811，十六進(jìn)制為BAC3

漢字“啊”的GBK編碼，十進(jìn)制為45217，十六進(jìn)制為B0A1有人可能會想：英文字符就是一個字節(jié)存儲的，一個字節(jié)也能顯示出來；為什么這里的一個字節(jié)就出問題了？ 
這就涉及到編碼范圍的問題了，英文字符是ASCII編碼。通過查看標(biāo)準(zhǔn)的ASCII碼表就可發(fā)現(xiàn)，最大的編碼十進(jìn)制為127，十六進(jìn)制為7F；而B0是遠(yuǎn)大于7F的，超出了ASCII的編碼范圍，因此無法顯示。

如果你夠仔細(xì)，你就會發(fā)現(xiàn)，其實在EG的錯誤提示中，就包含了這段出問題的十六進(jìn)制編碼信息：c4 e3 ba c3 b0。

問題的原因既然搞清楚了，那么如何解決的思路就很清晰了。說白了就是找出字符串中有中文截斷的地方，然后將這半個漢字的信息直接刪除就沒問題了。

以前面生成的test數(shù)據(jù)為例，str的最后一個字節(jié)包含了半個漢字信息，只要將最后一個字節(jié)刪掉就OK了。

data test2;

set test;

code_before=put(str,$hex10.);

str=substr(str,1,4);

code_after=put(str,$hex10.);

run;

如上所示，經(jīng)過處理后，可以正常的顯示數(shù)據(jù)了。

（注：code_after中最后一個字節(jié)“20”是空格的十六進(jìn)制編碼。字符變量中多余的字節(jié)，SAS默認(rèn)用空格來填充。因此“你好”兩個漢字占4個字節(jié)，剩余一個字節(jié)就是空格。）

雖然解決方法很清晰，想起來也很簡單，但要實現(xiàn)起來還不是那么容易。上面的情況是特例，我們明顯知道在哪個地方有問題，直接處理就OK。

但通常情況下，我們是不知道在字符串的具體哪個地方有截斷，也不知道是哪些觀測有截斷的問題；而且每條觀測中被截斷的位置也不一定都一樣，甚至也不知道截斷的數(shù)據(jù)后面有沒有其他字符數(shù)據(jù)。面對這么多不確定，該如何解決？

下面，提供一種思路，有興趣的童鞋可以自由發(fā)揮，去解決這個問題。

首先，GBK編碼方案中，總體的編碼是有范圍的，從8140~FEFE。其中首字節(jié)在81~FE之間，尾字節(jié)在40~FE之間，剔除xx7F一條線；總計23940個碼位，共收入21886個漢字和圖形符號，其中漢字21003個，圖形符號883個。

其次，ASCII編碼的范圍是從00~7F，共計128個碼位，收入大小寫英文字母、數(shù)字、符號、及特殊控制字符。其中可顯示的編碼范圍為20~7E。

基于上面的這些信息，就可以從十六進(jìn)制編碼入手，逐個去判斷識別，進(jìn)而找到存在截斷的位置，然后將其處理掉。記得要考慮以下多種情況：數(shù)據(jù)分析師培訓(xùn)
截斷情況出現(xiàn)在字符串末尾

截斷情況出現(xiàn)在字符串中間，且后面緊跟英文字母

截斷情況出現(xiàn)在字符串中間，且后面緊跟完整的漢字

推薦學(xué)習(xí)書籍
《CDA一級教材》適合CDA一級考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計已有10萬+在讀~

免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0