一、案例綜述

案例編號(hào)：102006

案例名稱(chēng)：中英文垃圾短信過(guò)濾

作者姓名（或單位、或來(lái)源）：朱江

案例所屬行業(yè)：J631 電信

案例所用軟件：R

案例包含知識(shí)點(diǎn)：中英文文本數(shù)據(jù)處理 樸素貝葉斯分類(lèi)

案例描述：

目前全球范圍內(nèi)手機(jī)已經(jīng)不成不可替代的生活必需品，而短信和微信成為人們?nèi)粘贤ǖ闹饕绞?，其中廣告商利用短信服務(wù)（SMS）文本信息，以潛在消費(fèi)者為目標(biāo)，給他們發(fā)送不需要的廣告信息。目前垃圾短信可以實(shí)現(xiàn)對(duì)固定區(qū)域內(nèi)特定手機(jī)號(hào)碼段的用戶(hù)群發(fā)，并且手機(jī)號(hào)信息泄露極其嚴(yán)重。這些都導(dǎo)致手機(jī)用戶(hù)特別是老的手機(jī)用戶(hù)收到垃圾短信的頻率較高，故垃圾短信和正常短信的分類(lèi)不管是對(duì)于運(yùn)營(yíng)商還是對(duì)于客戶(hù)來(lái)說(shuō)都是較為有利的工具。
樸素貝葉斯已經(jīng)成功的用于垃圾郵件的過(guò)濾，所以它很有可能用于垃圾短信的過(guò)濾。然而，相對(duì)于垃圾郵件來(lái)說(shuō)，垃圾短信的自動(dòng)過(guò)濾有額外的挑戰(zhàn)：由于短信文本數(shù)的限制，所以一條短信是否是垃圾信息的文本量減少了；短信的口語(yǔ)化導(dǎo)致文本可能極其不規(guī)整，尤其是中文文本，會(huì)帶來(lái)文本處理的難度；縮寫(xiě)的形式在中英文文本中都較為普遍，而且中文文本中新興詞匯的使用，都會(huì)模糊合法信息和垃圾信息的界限。
本案例包含已經(jīng)添加好標(biāo)簽的英文短信數(shù)據(jù)和中文短信數(shù)據(jù)，英文數(shù)據(jù)有5559條，可以進(jìn)行全數(shù)據(jù)處理，數(shù)據(jù)文件不是很大。而中文短信有80萬(wàn)條的信息，信息量較大，在處理過(guò)程中會(huì)生成130多G的稀疏矩陣，遠(yuǎn)超出R的內(nèi)存限制，且中文文本處理更為麻煩，故這里按照短信長(zhǎng)度正常短信和垃圾短信分別取前1000條進(jìn)行分類(lèi)建模
本案例知識(shí)點(diǎn)沒(méi)有辦法細(xì)分，因?yàn)槲谋咎幚磉^(guò)程中生成的文本文件都比較大，會(huì)加大內(nèi)存消耗，且建模前的稀疏矩陣存儲(chǔ)讀取都需要轉(zhuǎn)格式較為繁瑣，故這里我們英文短信分類(lèi)作為一個(gè)知識(shí)點(diǎn)，中文短信分類(lèi)作為一個(gè)知識(shí)點(diǎn)。

本案例共包含兩個(gè)個(gè)知識(shí)點(diǎn)
1英文短信文本讀取、清洗、詞云、建模、評(píng)估
2中文短信文本讀取、清洗、詞云、建模、評(píng)估

案例執(zhí)行形式：
單人上機(jī)

二、案例知識(shí)點(diǎn)

知識(shí)點(diǎn)1：

知識(shí)點(diǎn)名稱(chēng)：英文短信文本讀取、清洗、詞云、建模、評(píng)估
知識(shí)點(diǎn)所屬工作角色：文本處理 文本挖掘 詞云 樸素貝葉斯分類(lèi) 分類(lèi)模型評(píng)估
知識(shí)點(diǎn)背景：英文文本挖掘過(guò)程中常見(jiàn)的文本預(yù)處理，樸素貝葉斯屬于一種比較簡(jiǎn)單的分類(lèi)模型。

知識(shí)點(diǎn)描述：
涉及到英文文本處理中的去除無(wú)關(guān)字符、大小寫(xiě)轉(zhuǎn)換、去除停用詞、去除空白、詞匯修剪(stem)
知識(shí)點(diǎn)關(guān)鍵詞：
文本處理 文本挖掘 詞云 樸素貝葉斯分類(lèi) 分類(lèi)模型評(píng)估
知識(shí)點(diǎn)所用軟件：
Rstudio
操作目的：
英文短信文本讀取、清洗、詞云、建模、評(píng)估

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：
sms_spam.csv

操作步驟：
?讀取文件，將其中的type列轉(zhuǎn)化為因子

可見(jiàn)其中正常短信共有4812條，垃圾短信有747條。
?將所有的文本信息構(gòu)建成語(yǔ)料庫(kù)，并且打印出未經(jīng)處理的前十條信息


?構(gòu)建去除非子母類(lèi)字符的函數(shù)，用空格替換

?使用大寫(xiě)變小寫(xiě)、去除停用詞、去除多余空格以及上面構(gòu)建的函數(shù)轉(zhuǎn)換語(yǔ)料庫(kù)，并且觀察轉(zhuǎn)換后的前十條信息


?將原數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集占75%，測(cè)試集占25%。

?查看訓(xùn)練集和測(cè)試集中垃圾信息占比是否近似

可見(jiàn)占比都在13%左右
?將語(yǔ)料庫(kù)同樣分為訓(xùn)練集測(cè)試集，方便后面構(gòu)建文檔詞矩陣使用

?分別對(duì)所有訓(xùn)練集，訓(xùn)練集中垃圾信息，訓(xùn)練集中正常信息創(chuàng)建詞云
所有訓(xùn)練集信息的詞云：


訓(xùn)練集中的垃圾信息的詞云：

訓(xùn)練集中正常信息的詞云：


?篩選出現(xiàn)在大于等于5條短信中的詞，由訓(xùn)練語(yǔ)料庫(kù)和測(cè)試語(yǔ)料庫(kù)生成文檔詞矩陣（稀疏矩陣），根據(jù)篩選出的詞篩選稀疏矩陣的列

將文檔詞矩陣中所有大于0的數(shù)字替換為“yes”，0替換為“no”，得到訓(xùn)練矩陣train和測(cè)試矩陣test

?使用樸素貝葉斯對(duì)訓(xùn)練矩陣建模，通過(guò)測(cè)試矩陣預(yù)測(cè)出分類(lèi)，然后評(píng)估模型的性能


得到的結(jié)果中，正常短信中錯(cuò)誤的將垃圾信息預(yù)測(cè)為正常信息的占比為12.7%，垃圾短信中錯(cuò)誤的將正常信息預(yù)測(cè)為垃圾信息的占比為85%，可見(jiàn)模型性能一般，需要更多的初期工作，例如更多的數(shù)據(jù)采集，詞匯處理上更多的選擇等等
操作結(jié)果：
得到訓(xùn)練集中不同類(lèi)型短信的詞云；將測(cè)試集的短信分類(lèi)。

知識(shí)點(diǎn)小結(jié)：
本知識(shí)點(diǎn)顯示了英文文本清洗及轉(zhuǎn)換為文檔詞矩陣的全套流程，以及使用樸素貝葉斯進(jìn)行分類(lèi)和評(píng)估的全套流程。

知識(shí)點(diǎn)2：
知識(shí)點(diǎn)名稱(chēng)：中文短信文本讀取、清洗、詞云、建模、評(píng)估
知識(shí)點(diǎn)所屬工作角色：
文本處理 文本挖掘 詞云 樸素貝葉斯分類(lèi) 分類(lèi)模型評(píng)估
知識(shí)點(diǎn)背景：
中文文本挖掘過(guò)程中常見(jiàn)的文本預(yù)處理，樸素貝葉斯屬于一種比較簡(jiǎn)單的分類(lèi)模型。
知識(shí)點(diǎn)描述
涉及到中文文本處理中的去除無(wú)關(guān)字符、去除停用詞、去除空白、分詞
知識(shí)點(diǎn)關(guān)鍵詞：
文本處理 文本挖掘 詞云 樸素貝葉斯分類(lèi) 分類(lèi)模型評(píng)估
知識(shí)點(diǎn)所用軟件：
Rstudio
操作目的：
中文短信文本讀取、清洗、詞云、建模、評(píng)估
知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：
sms_labelled.txt stop.txt
操作步驟:
操作步驟：
?讀取文件，用readLines按行讀取

?抽取每行文本中的標(biāo)簽信息、短信信息、計(jì)算短信長(zhǎng)度、合并成一個(gè)表格


可見(jiàn)其中第一列是標(biāo)簽，0表示正常信息，1表示垃圾信息
?按文本長(zhǎng)度由長(zhǎng)到短排列所有信息，選取正常信息和垃圾信息中的前一千條

將標(biāo)簽變量type0重新命名為“ham”和“spam”

訓(xùn)練集中的垃圾信息的詞云：


訓(xùn)練集中正常信息的詞云：


?篩選出現(xiàn)在大于等于5條短信中的詞，由訓(xùn)練語(yǔ)料庫(kù)和測(cè)試語(yǔ)料庫(kù)生成文檔詞矩陣（稀疏矩陣），根據(jù)篩選出的詞篩選稀疏矩陣的列

將文檔詞矩陣中所有大于0的數(shù)字替換為“yes”，0替換為“no”，得到訓(xùn)練矩陣train和測(cè)試矩陣test

?使用樸素貝葉斯對(duì)訓(xùn)練矩陣建模，通過(guò)測(cè)試矩陣預(yù)測(cè)出分類(lèi)，然后評(píng)估模型的性能


得到的結(jié)果中，雖然只有200條短信，正常短信中錯(cuò)誤的將垃圾信息預(yù)測(cè)為正常信息的占比為25%，垃圾短信中錯(cuò)誤的將正常信息預(yù)測(cè)為垃圾信息的占比為15.5%，可見(jiàn)模型性能較英文模型有了不錯(cuò)的提升 
操作結(jié)果：
得到訓(xùn)練集中不同類(lèi)型短信的詞云；將測(cè)試集的短信分類(lèi)。

知識(shí)點(diǎn)小結(jié)：
本知識(shí)點(diǎn)顯示了中文文本清洗及轉(zhuǎn)換為文檔詞矩陣的全套流程，以及使用樸素貝葉斯進(jìn)行分類(lèi)和評(píng)估的全套流程。
在詞云中觀察到有亂碼，可能是由于txt存儲(chǔ)類(lèi)型不是UTF-8編碼，可以打開(kāi)txt源文件另存為指定編碼來(lái)處理。