大數(shù)據(jù)分析的流程淺析:大數(shù)據(jù)整理過(guò)程分析_數(shù)據(jù)分析師考試

數(shù)據(jù)整理是數(shù)據(jù)分析過(guò)程中最重要的環(huán)節(jié)，在大數(shù)據(jù)分析過(guò)程中也是如此。在小數(shù)據(jù)時(shí)代，數(shù)據(jù)整理包括數(shù)據(jù)的清洗、數(shù)據(jù)轉(zhuǎn)換、歸類編碼和數(shù)字編碼等過(guò)程，其中數(shù)據(jù)清洗占據(jù)最重要的位置，就是檢查數(shù)據(jù)一致性，處理無(wú)效值和缺失值等操作。在大數(shù)據(jù)時(shí)代，這些工作被弱化了，在有些大數(shù)據(jù)的算法和應(yīng)用中，基本不再進(jìn)行數(shù)據(jù)清洗了，因?yàn)榇髷?shù)據(jù)的多樣化使得其數(shù)據(jù)。有一定的不精確性。但數(shù)據(jù)轉(zhuǎn)換和編碼過(guò)程還是需要的。下面以大數(shù)據(jù)分析中文本分類的例子，來(lái)分析大數(shù)據(jù)整理的過(guò)程。

　　在本例中，以mahout為大數(shù)據(jù)分析軟件，文本分類算法選用樸素貝葉斯算法(new bayes)，分類對(duì)象是來(lái)自不同類別的新聞數(shù)據(jù)。

　　當(dāng)我們使用網(wǎng)頁(yè)爬蟲，每小時(shí)源源不斷的從多個(gè)不同類別的新聞網(wǎng)站上取得數(shù)據(jù)時(shí)，取得的這些數(shù)據(jù)都是文本數(shù)據(jù)，也就是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)是不需要進(jìn)行數(shù)據(jù)清洗過(guò)程，但它們?cè)谶M(jìn)入到mahout實(shí)現(xiàn)的樸素貝葉斯算法時(shí)，需要進(jìn)行必要的數(shù)據(jù)轉(zhuǎn)換。該轉(zhuǎn)換主要分兩個(gè)步驟：

　　1.數(shù)據(jù)系列化

　　由于取得的大量的文本數(shù)據(jù)集中，每個(gè)新聞?wù)家粋€(gè)文檔，共有無(wú)數(shù)個(gè)小的文件，由于Mahout運(yùn)行在Hadoop的HDFS上，HDFS是為大文件設(shè)計(jì)的。如果我們把這些無(wú)窮多個(gè)小文件都拷貝上去，這樣是非常不合適。試想：假設(shè)對(duì)1000萬(wàn)篇新聞進(jìn)行分類，難道要拷貝1000w個(gè)文件么?這樣會(huì)使HDFS中運(yùn)行name node節(jié)點(diǎn)的終端崩潰掉。

　　因此，Mahout采用SequenceFile作為其基本的數(shù)據(jù)交換格式。其思路是：通過(guò)調(diào)用mahout內(nèi)置的解析器，掃描所有目錄和文件，并把每個(gè)文件都轉(zhuǎn)成單行文本，以目錄名開(kāi)頭，跟著是文檔出現(xiàn)的所有單詞，這樣就把無(wú)窮多個(gè)小文件，轉(zhuǎn)換成一個(gè)系列化的大文件。然后把這個(gè)大文件，再上傳到HDFS上，就可以充分發(fā)揮HDFS分布式文件系統(tǒng)的優(yōu)勢(shì)。當(dāng)然，這個(gè)轉(zhuǎn)換過(guò)程由mahout的內(nèi)置工具完成，而大數(shù)據(jù)分析師這個(gè)時(shí)候只需要把所有的新聞按文件夾分好類放置好，同時(shí)運(yùn)行mahout內(nèi)置的解析器命令就可以了。

　　2.文本內(nèi)容向量化

　　簡(jiǎn)單地說(shuō)就是把文本內(nèi)容中的每個(gè)單詞(去除一些連接詞后)轉(zhuǎn)換成數(shù)據(jù)，復(fù)雜地說(shuō)就是進(jìn)行向量空間模型化(VSM)。該過(guò)程使每個(gè)單詞都有一個(gè)編號(hào)，這個(gè)編號(hào)是就它在文檔向量所擁有的維度。這個(gè)工作在mahout中實(shí)現(xiàn)時(shí)，大數(shù)據(jù)分析師也只需要執(zhí)行其中的一個(gè)命令，就可以輕松地實(shí)現(xiàn)文本內(nèi)容的向量化。

　　有了這些被向量化的數(shù)據(jù)，再通過(guò)mahout的樸素貝葉斯算法，我們就可以對(duì)計(jì)算機(jī)訓(xùn)練出一套規(guī)則，根據(jù)這個(gè)規(guī)則，機(jī)器就可以對(duì)后續(xù)收集的新聞數(shù)據(jù)進(jìn)行自動(dòng)的分類了。

　　從上述文本分類的大數(shù)據(jù)整理過(guò)程可以看出，大數(shù)據(jù)時(shí)代的數(shù)據(jù)整理過(guò)程不再?gòu)?qiáng)調(diào)數(shù)據(jù)的精確性，而強(qiáng)調(diào)的是對(duì)非結(jié)構(gòu)化數(shù)據(jù)的數(shù)量化。當(dāng)然，不同的大數(shù)據(jù)分析應(yīng)用使用的算法也不一樣，其數(shù)據(jù)整理過(guò)程也不太一樣，但從總體上看，大數(shù)據(jù)分析的數(shù)據(jù)整理區(qū)別于小數(shù)據(jù)時(shí)代的精確性，而變得更粗放一些。