一分鐘了解互聯(lián)網(wǎng)數(shù)據(jù)挖掘流程

1、爬蟲抓取網(wǎng)絡(luò)數(shù)據(jù) 

真實的數(shù)據(jù)挖掘項目，一定是從獲取數(shù)據(jù)開始的，除了通過一些渠道購買或者下載專業(yè)數(shù)據(jù)外，常常需要大家自己動手爬互聯(lián)網(wǎng)數(shù)據(jù)，這個時候，爬蟲就顯得格外重要了。

Nutch爬蟲的主要作用是從網(wǎng)絡(luò)上抓取網(wǎng)頁數(shù)據(jù)并建立索引。我們只需指定網(wǎng)站的頂級網(wǎng)址，如taobao.com，爬蟲可以自動探測出頁面內(nèi)容里新的網(wǎng)址，從而進一步抓取鏈接網(wǎng)頁數(shù)據(jù)。nutch支持把抓取的數(shù)據(jù)轉(zhuǎn)化成文本，如（PDF、WORD、EXCEL、HTML、XML等形式）轉(zhuǎn)換成純文字字符。

Nutch與Hadoop集成，可以將下載的數(shù)據(jù)保存到hdfs，用于后續(xù)離線分析。使用步驟為：

• 向hdfs中存入待抓取的網(wǎng)站url

$ hadoop fs -put urldir urldir

注：

第一個urldir為本地文件夾，存放了url數(shù)據(jù)文件，每行一個url地址

第二個urldir為hdfs的存儲路徑。

• 啟動nutch，在NUTCH_HONE目錄下執(zhí)行以下命令

$ bin/nutch crawlurldir –dir crawl -depth 3 –topN 10

命令成功執(zhí)行后，會在hdfs中生成crawl目錄。

2、MapReduce預處理數(shù)據(jù) 

對于下載的原始文本文檔，無法直接進行處理，需要對文本內(nèi)容進行預處理，包括文檔切分、文本分詞、去停用詞（包括標點、數(shù)字、單字和其它一些無意義的詞）、文本特征提取、詞頻統(tǒng)計、文本向量化等操作。

常用的文本預處理算法是TF-IDF，其主要思想是，如果某個詞或短語在一篇文章中出現(xiàn)的頻率高，并且在其他文章中很少出現(xiàn)，則認為此詞或者短語具有很好的類別區(qū)分能力，適合用來做分類。

• 輸入原始文本內(nèi)容：

Againit seems that cocoa delivered……

• 執(zhí)行TF-IDF預處理：

hadoop jar $JAR SparseVectorsFromSequenceFiles……

• 輸出文本向量:

9219:0.246 453:0.098 10322:0.21 11947:0.272 ……

每一列是詞及其權(quán)重，使用冒號分隔，例如“9219:0.246”表示編號為9219的詞，對應原始單詞為“Again”，其權(quán)重值為0.246。

3、Mahout數(shù)據(jù)挖掘 

預處理后的數(shù)據(jù)就可以用來做數(shù)據(jù)挖掘。Mahout是一個很強大的數(shù)據(jù)挖掘工具，是分布式機器學習算法的集合，包括：協(xié)同過濾、分類、聚類等。

以LDA算法為例，它可以將文檔集中每篇文檔的主題按照概率分布的形式給出。它是一種無監(jiān)督學習算法，在訓練時不需要手工標注主題，需要的僅僅是指定主題的數(shù)量K。此外LDA的另一個優(yōu)點則是，對于每一個主題均可找出一些詞語來描述它。

• 輸入預處理后的數(shù)據(jù):

9219:0.246 453:0.098 ……

• 執(zhí)行LDA挖掘算法：

mahout cvb –k 20……

• 輸出挖掘結(jié)果：

topic1 {computer,technology,system,internet,machine}

topic2 {play,film,movie,star,director,production,stage}

我們可以獲知用戶的偏好是哪些主題，這些主題是由一些關(guān)鍵詞組成。

4、Sqoop導出到關(guān)系數(shù)據(jù)庫 

在某些場景下，需要把數(shù)據(jù)挖掘的結(jié)果導出到關(guān)系數(shù)據(jù)庫，用于及時響應外部應用查詢。

sqoop是一個用來把hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個關(guān)系型數(shù)據(jù)庫（例如：MySQL ,Oracle 等）中的數(shù)據(jù)導入到hadoop的hdfs中，也可以將hdfs的數(shù)據(jù)導出到關(guān)系型數(shù)據(jù)庫中：

sqoop export –connect jdbc:mysql://localhost:3306/zxtest –username root–password root –table result_test –export-dir /user/mr/lda/out

export操作實現(xiàn)把hdfs目錄/user/mr/lda/out下數(shù)據(jù)導出到mysql的result_test表。