大數(shù)據(jù)分析的流程淺析：大數(shù)據(jù)整理過程分析

數(shù)據(jù)整理是數(shù)據(jù)分析過程中最重要的環(huán)節(jié)，在大數(shù)據(jù)分析過程中也是如此。在小數(shù)據(jù)時代，數(shù)據(jù)整理包括數(shù)據(jù)的清洗、數(shù)據(jù)轉(zhuǎn)換、歸類編碼和數(shù)字編碼等過程，其中數(shù)據(jù)清洗占據(jù)最重要的位置，就是檢查數(shù)據(jù)一致性，處理無效值和缺失值等操作。在大數(shù)據(jù)時代，這些工作被弱化了，在有些大數(shù)據(jù)的算法和應(yīng)用中，基本不再進行數(shù)據(jù)清洗了，因為大數(shù)據(jù)的多樣化使得其數(shù)據(jù)。有一定的不精確性。但數(shù)據(jù)轉(zhuǎn)換和編碼過程還是需要的。下面以大數(shù)據(jù)分析中文本分類的例子，來分析大數(shù)據(jù)整理的過程。

　　在本例中，以mahout為大數(shù)據(jù)分析軟件，文本分類算法選用樸素貝葉斯算法(new bayes)，分類對象是來自不同類別的新聞數(shù)據(jù)。

　　當(dāng)我們使用網(wǎng)頁爬蟲，每小時源源不斷的從多個不同類別的新聞網(wǎng)站上取得數(shù)據(jù)時，取得的這些數(shù)據(jù)都是文本數(shù)據(jù)，也就是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)是不需要進行數(shù)據(jù)清洗過程，但它們在進入到mahout實現(xiàn)的樸素貝葉斯算法時，需要進行必要的數(shù)據(jù)轉(zhuǎn)換。該轉(zhuǎn)換主要分兩個步驟：

　　1.數(shù)據(jù)系列化

　　由于取得的大量的文本數(shù)據(jù)集中，每個新聞?wù)家粋€文檔，共有無數(shù)個小的文件，由于Mahout運行在Hadoop的HDFS上，HDFS是為大文件設(shè)計的。如果我們把這些無窮多個小文件都拷貝上去，這樣是非常不合適。試想：假設(shè)對1000萬篇新聞進行分類，難道要拷貝1000w個文件么?這樣會使HDFS中運行name node節(jié)點的終端崩潰掉。

　　因此，Mahout采用SequenceFile作為其基本的數(shù)據(jù)交換格式。其思路是：通過調(diào)用mahout內(nèi)置的解析器，掃描所有目錄和文件，并把每個文件都轉(zhuǎn)成單行文本，以目錄名開頭，跟著是文檔出現(xiàn)的所有單詞，這樣就把無窮多個小文件，轉(zhuǎn)換成一個系列化的大文件。然后把這個大文件，再上傳到HDFS上，就可以充分發(fā)揮HDFS分布式文件系統(tǒng)的優(yōu)勢。當(dāng)然，這個轉(zhuǎn)換過程由mahout的內(nèi)置工具完成，而大數(shù)據(jù)分析師這個時候只需要把所有的新聞按文件夾分好類放置好，同時運行mahout內(nèi)置的解析器命令就可以了。

　　2.文本內(nèi)容向量化

　　簡單地說就是把文本內(nèi)容中的每個單詞(去除一些連接詞后)轉(zhuǎn)換成數(shù)據(jù)，復(fù)雜地說就是進行向量空間模型化(VSM)。該過程使每個單詞都有一個編號，這個編號是就它在文檔向量所擁有的維度。這個工作在mahout中實現(xiàn)時，大數(shù)據(jù)分析師也只需要執(zhí)行其中的一個命令，就可以輕松地實現(xiàn)文本內(nèi)容的向量化。

　　有了這些被向量化的數(shù)據(jù)，再通過mahout的樸素貝葉斯算法，我們就可以對計算機訓(xùn)練出一套規(guī)則，根據(jù)這個規(guī)則，機器就可以對后續(xù)收集的新聞數(shù)據(jù)進行自動的分類了。

　　從上述文本分類的大數(shù)據(jù)整理過程可以看出，大數(shù)據(jù)時代的數(shù)據(jù)整理過程不再強調(diào)數(shù)據(jù)的精確性，而強調(diào)的是對非結(jié)構(gòu)化數(shù)據(jù)的數(shù)量化。當(dāng)然，不同的大數(shù)據(jù)分析應(yīng)用使用的算法也不一樣，其數(shù)據(jù)整理過程也不太一樣，但從總體上看，大數(shù)據(jù)分析的數(shù)據(jù)整理區(qū)別于小數(shù)據(jù)時代的精確性，而變得更粗放一些。