一、案例綜述

案例編號(hào)：102006

案例名稱：中英文垃圾短信過濾

作者姓名（或單位、或來源）：朱江

案例所屬行業(yè)：J631 電信

案例所用軟件：R

案例包含知識(shí)點(diǎn)：中英文文本數(shù)據(jù)處理 樸素貝葉斯分類

案例描述：

目前全球范圍內(nèi)手機(jī)已經(jīng)不成不可替代的生活必需品，而短信和微信成為人們?nèi)粘贤ǖ闹饕绞?，其中廣告商利用短信服務(wù)（SMS）文本信息，以潛在消費(fèi)者為目標(biāo)，給他們發(fā)送不需要的廣告信息。目前垃圾短信可以實(shí)現(xiàn)對固定區(qū)域內(nèi)特定手機(jī)號(hào)碼段的用戶群發(fā)，并且手機(jī)號(hào)信息泄露極其嚴(yán)重。這些都導(dǎo)致手機(jī)用戶特別是老的手機(jī)用戶收到垃圾短信的頻率較高，故垃圾短信和正常短信的分類不管是對于運(yùn)營商還是對于客戶來說都是較為有利的工具。
樸素貝葉斯已經(jīng)成功的用于垃圾郵件的過濾，所以它很有可能用于垃圾短信的過濾。然而，相對于垃圾郵件來說，垃圾短信的自動(dòng)過濾有額外的挑戰(zhàn)：由于短信文本數(shù)的限制，所以一條短信是否是垃圾信息的文本量減少了；短信的口語化導(dǎo)致文本可能極其不規(guī)整，尤其是中文文本，會(huì)帶來文本處理的難度；縮寫的形式在中英文文本中都較為普遍，而且中文文本中新興詞匯的使用，都會(huì)模糊合法信息和垃圾信息的界限。
本案例包含已經(jīng)添加好標(biāo)簽的英文短信數(shù)據(jù)和中文短信數(shù)據(jù)，英文數(shù)據(jù)有5559條，可以進(jìn)行全數(shù)據(jù)處理，數(shù)據(jù)文件不是很大。而中文短信有80萬條的信息，信息量較大，在處理過程中會(huì)生成130多G的稀疏矩陣，遠(yuǎn)超出R的內(nèi)存限制，且中文文本處理更為麻煩，故這里按照短信長度正常短信和垃圾短信分別取前1000條進(jìn)行分類建模
本案例知識(shí)點(diǎn)沒有辦法細(xì)分，因?yàn)槲谋咎幚磉^程中生成的文本文件都比較大，會(huì)加大內(nèi)存消耗，且建模前的稀疏矩陣存儲(chǔ)讀取都需要轉(zhuǎn)格式較為繁瑣，故這里我們英文短信分類作為一個(gè)知識(shí)點(diǎn)，中文短信分類作為一個(gè)知識(shí)點(diǎn)。

本案例共包含兩個(gè)個(gè)知識(shí)點(diǎn)
1英文短信文本讀取、清洗、詞云、建模、評估
2中文短信文本讀取、清洗、詞云、建模、評估

案例執(zhí)行形式：
單人上機(jī)

二、案例知識(shí)點(diǎn)

知識(shí)點(diǎn)1：

知識(shí)點(diǎn)名稱：英文短信文本讀取、清洗、詞云、建模、評估
知識(shí)點(diǎn)所屬工作角色：文本處理 文本挖掘 詞云 樸素貝葉斯分類 分類模型評估
知識(shí)點(diǎn)背景：英文文本挖掘過程中常見的文本預(yù)處理，樸素貝葉斯屬于一種比較簡單的分類模型。

知識(shí)點(diǎn)描述：
涉及到英文文本處理中的去除無關(guān)字符、大小寫轉(zhuǎn)換、去除停用詞、去除空白、詞匯修剪(stem)
知識(shí)點(diǎn)關(guān)鍵詞：
文本處理 文本挖掘 詞云 樸素貝葉斯分類 分類模型評估
知識(shí)點(diǎn)所用軟件：
Rstudio
操作目的：
英文短信文本讀取、清洗、詞云、建模、評估

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：
sms_spam.csv

操作步驟：
?讀取文件，將其中的type列轉(zhuǎn)化為因子

可見其中正常短信共有4812條，垃圾短信有747條。
?將所有的文本信息構(gòu)建成語料庫，并且打印出未經(jīng)處理的前十條信息


?構(gòu)建去除非子母類字符的函數(shù)，用空格替換

?使用大寫變小寫、去除停用詞、去除多余空格以及上面構(gòu)建的函數(shù)轉(zhuǎn)換語料庫，并且觀察轉(zhuǎn)換后的前十條信息


?將原數(shù)據(jù)分為訓(xùn)練集和測試集，其中訓(xùn)練集占75%，測試集占25%。

?查看訓(xùn)練集和測試集中垃圾信息占比是否近似

可見占比都在13%左右
?將語料庫同樣分為訓(xùn)練集測試集，方便后面構(gòu)建文檔詞矩陣使用

?分別對所有訓(xùn)練集，訓(xùn)練集中垃圾信息，訓(xùn)練集中正常信息創(chuàng)建詞云
所有訓(xùn)練集信息的詞云：


訓(xùn)練集中的垃圾信息的詞云：

訓(xùn)練集中正常信息的詞云：


?篩選出現(xiàn)在大于等于5條短信中的詞，由訓(xùn)練語料庫和測試語料庫生成文檔詞矩陣（稀疏矩陣），根據(jù)篩選出的詞篩選稀疏矩陣的列

將文檔詞矩陣中所有大于0的數(shù)字替換為“yes”，0替換為“no”，得到訓(xùn)練矩陣train和測試矩陣test

?使用樸素貝葉斯對訓(xùn)練矩陣建模，通過測試矩陣預(yù)測出分類，然后評估模型的性能


得到的結(jié)果中，正常短信中錯(cuò)誤的將垃圾信息預(yù)測為正常信息的占比為12.7%，垃圾短信中錯(cuò)誤的將正常信息預(yù)測為垃圾信息的占比為85%，可見模型性能一般，需要更多的初期工作，例如更多的數(shù)據(jù)采集，詞匯處理上更多的選擇等等
操作結(jié)果：
得到訓(xùn)練集中不同類型短信的詞云；將測試集的短信分類。

知識(shí)點(diǎn)小結(jié)：
本知識(shí)點(diǎn)顯示了英文文本清洗及轉(zhuǎn)換為文檔詞矩陣的全套流程，以及使用樸素貝葉斯進(jìn)行分類和評估的全套流程。

知識(shí)點(diǎn)2：
知識(shí)點(diǎn)名稱：中文短信文本讀取、清洗、詞云、建模、評估
知識(shí)點(diǎn)所屬工作角色：
文本處理 文本挖掘 詞云 樸素貝葉斯分類 分類模型評估
知識(shí)點(diǎn)背景：
中文文本挖掘過程中常見的文本預(yù)處理，樸素貝葉斯屬于一種比較簡單的分類模型。
知識(shí)點(diǎn)描述
涉及到中文文本處理中的去除無關(guān)字符、去除停用詞、去除空白、分詞
知識(shí)點(diǎn)關(guān)鍵詞：
文本處理 文本挖掘 詞云 樸素貝葉斯分類 分類模型評估
知識(shí)點(diǎn)所用軟件：
Rstudio
操作目的：
中文短信文本讀取、清洗、詞云、建模、評估
知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：
sms_labelled.txt stop.txt
操作步驟:
操作步驟：
?讀取文件，用readLines按行讀取

?抽取每行文本中的標(biāo)簽信息、短信信息、計(jì)算短信長度、合并成一個(gè)表格


可見其中第一列是標(biāo)簽，0表示正常信息，1表示垃圾信息
?按文本長度由長到短排列所有信息，選取正常信息和垃圾信息中的前一千條

將標(biāo)簽變量type0重新命名為“ham”和“spam”

訓(xùn)練集中的垃圾信息的詞云：


訓(xùn)練集中正常信息的詞云：


?篩選出現(xiàn)在大于等于5條短信中的詞，由訓(xùn)練語料庫和測試語料庫生成文檔詞矩陣（稀疏矩陣），根據(jù)篩選出的詞篩選稀疏矩陣的列

將文檔詞矩陣中所有大于0的數(shù)字替換為“yes”，0替換為“no”，得到訓(xùn)練矩陣train和測試矩陣test

?使用樸素貝葉斯對訓(xùn)練矩陣建模，通過測試矩陣預(yù)測出分類，然后評估模型的性能


得到的結(jié)果中，雖然只有200條短信，正常短信中錯(cuò)誤的將垃圾信息預(yù)測為正常信息的占比為25%，垃圾短信中錯(cuò)誤的將正常信息預(yù)測為垃圾信息的占比為15.5%，可見模型性能較英文模型有了不錯(cuò)的提升 
操作結(jié)果：
得到訓(xùn)練集中不同類型短信的詞云；將測試集的短信分類。

知識(shí)點(diǎn)小結(jié)：
本知識(shí)點(diǎn)顯示了中文文本清洗及轉(zhuǎn)換為文檔詞矩陣的全套流程，以及使用樸素貝葉斯進(jìn)行分類和評估的全套流程。
在詞云中觀察到有亂碼，可能是由于txt存儲(chǔ)類型不是UTF-8編碼，可以打開txt源文件另存為指定編碼來處理。