你不得不知的數(shù)據(jù)分析法

數(shù)據(jù)分析，最先要明確的是目的，沒有目的，就沒有方向。目的是做數(shù)據(jù)分析的一條主線，根據(jù)目的才能去想要什么數(shù)據(jù)，要經(jīng)過哪些處理，再進(jìn)行什么樣的分析，得出什么樣的報(bào)告。

那么，我們就來進(jìn)行數(shù)據(jù)分析的第一步，我們先來假設(shè)一個(gè)命題，也就是我們的目的。做電商的人都知道，流量對(duì)于店鋪來說，是一個(gè)很重要的東西，而要有流量，就要有展現(xiàn)，展現(xiàn)分很多，各種活動(dòng)，直通車鉆展，當(dāng)然還有大家最喜歡的免費(fèi)流量，免費(fèi)的展現(xiàn)。那最核心的還是，想要有展現(xiàn)，就得有排名。那我們不妨來研究一下，排名到底有什么樣的規(guī)則。

一篇文章，必然講不完那么大的一個(gè)命題，所以我給大家演示的也是其中的一部分。眾所皆知，在免費(fèi)流量里面，綜合入口是最大的，而影響綜合入口一個(gè)很大的因素就是上下架時(shí)間點(diǎn)對(duì)于排名的影響（當(dāng)然除了3個(gè)豆腐塊之外），那這次就來看看上下架的時(shí)間點(diǎn)，對(duì)于排名來說，它的影響到底是什么樣的。

目前有了目的，我們就要來選擇數(shù)據(jù)，我們需要什么數(shù)據(jù)來分析，那第一個(gè)能想到的，必然就是在某一個(gè)時(shí)間點(diǎn)，在某一個(gè)關(guān)鍵詞下面，綜合排名前幾頁的寶貝的具體下架時(shí)間。

查找你想了解的寶貝關(guān)鍵詞，拉出相關(guān)數(shù)據(jù)（我用的馭寶魔盒拉的數(shù)據(jù)，也可以用其他軟件采集）：

這里已經(jīng)有了我們所需要的上下架時(shí)間，這時(shí)候你要做好記錄，什么關(guān)鍵詞，詞的寶貝數(shù)是多少，什么時(shí)間點(diǎn)拉下來的。

我會(huì)這樣做一個(gè)記錄。這個(gè)記錄方便以后查看，包括可能后續(xù)的需要更加大數(shù)據(jù)或者其他方面的研究。

好了，我們完成了第二個(gè)步驟，我們有了數(shù)據(jù)，接下去，就是考驗(yàn)大家用工具的一些基本功底了，我們要對(duì)整個(gè)數(shù)據(jù)進(jìn)行一些處理。光光這么看數(shù)據(jù)，可能能看出一些東西來，但是必然不嚴(yán)謹(jǐn)，偶然性比較大，而且我們需要分析的維度是時(shí)間，時(shí)間在這里，還不是一個(gè)序列，只是一個(gè)變量，但是這又不是一個(gè)數(shù)值型的變量，不能直接拿來做一個(gè)直觀的比較。而且有時(shí)候不處理直接看幾萬條數(shù)據(jù)，看見頭都會(huì)大。所以數(shù)據(jù)處理和清理這一步很重要。

所以這里，我就對(duì)于這個(gè)時(shí)間變量進(jìn)行一個(gè)模擬變量的數(shù)字化：

首先一步，我會(huì)把這個(gè)時(shí)間點(diǎn)，單獨(dú)提取出來，當(dāng)然，日期也是，日期必然也會(huì)有好多個(gè)日期：

但是我會(huì)先把其他日期屏蔽掉，因?yàn)槠渌掌诘牧亢苌?，屬于離群值，大家也都知道，離群值不同于異常值（當(dāng)然也要經(jīng)過分析看看是不是異常值，由于軟件跟系統(tǒng)原因，出現(xiàn)異常值也是正常），但是這些離群值，數(shù)量不大，除了3個(gè)是豆腐塊之外，也就一只手不到的數(shù)目。這些數(shù)目，我們可以單獨(dú)作為研究，其實(shí)這也是一個(gè)很好的維度，我們可以看看，為什么這些寶貝離下架時(shí)間點(diǎn)明明還有很長(zhǎng)的時(shí)間，但是卻能在前面幾頁，當(dāng)然這不是我們目前主要的課題，所以不深入討論，大家感興趣可以自行研究。

好了，異常值也沒有了，接下去，我們要做的就是模擬變量的一個(gè)數(shù)字化，以便于我們分析，這里就是讓時(shí)間變量，變成我們可以分析的數(shù)值，大概的意思就是離我查詢的那個(gè)時(shí)間點(diǎn)為標(biāo)準(zhǔn)，離的近的數(shù)字小，離的遠(yuǎn)的數(shù)字大。

其中的14點(diǎn)，就是我查詢的時(shí)間，所以就以這個(gè)為一個(gè)標(biāo)準(zhǔn)點(diǎn)。經(jīng)過這些處理之后，我們就大概的得到了我們想要的一個(gè)數(shù)據(jù)，就是我們有了排名，有了上下架時(shí)間。

接下去，就是展現(xiàn)我們數(shù)據(jù)分析師功底的時(shí)候了，我的做法是，先把這個(gè)導(dǎo)入到常用的數(shù)據(jù)分析軟件SAS中，一般我個(gè)人使用的話，一般使用的是SAS Enterprise Guide這個(gè)模塊，比較無腦黨一點(diǎn)。

大概簡(jiǎn)單的這么做了一個(gè)過程流：

這是大概做的一個(gè)數(shù)據(jù)流，我還是跟大家講講我那時(shí)候做的一個(gè)思路吧，那個(gè)才是最重要的，也是我希望大家能學(xué)到的。

這個(gè)就是我剛剛弄好的兩個(gè)變量，其中假設(shè)排名分，就是設(shè)的一個(gè)根據(jù)排名越高，給分越高的一個(gè)設(shè)定，在這個(gè)分析中，并沒有什么作用，大家不必去在意。然后，需要做一個(gè)初步判斷，最簡(jiǎn)單的方法，就是作圖，直觀，簡(jiǎn)單，能看出很多東西。我先做了一個(gè)散點(diǎn)圖，看看分布。

其實(shí)就這個(gè)圖，就能說明很多的問題了，我們已經(jīng)可以初步的下一個(gè)結(jié)論，這個(gè)詞，時(shí)間點(diǎn)到了某一個(gè)點(diǎn)之后，排名最前面的一些，和后面的完全不是一個(gè)規(guī)則，或者說權(quán)重。然后也可以初步判斷，在某個(gè)時(shí)間段之內(nèi)后，排名靠前之后，其中的權(quán)重應(yīng)該為差不多，而不是再根據(jù)時(shí)間點(diǎn)的推移，加大權(quán)重。當(dāng)然這需要驗(yàn)證，包括可以研究，究竟是這個(gè)詞的原因，還是說這個(gè)量級(jí)的寶貝數(shù)都是這個(gè)規(guī)則。大家可以自己去做一個(gè)驗(yàn)證。

圖其實(shí)已經(jīng)告訴我了，這樣發(fā)分布規(guī)則，基本做不了其他什么數(shù)據(jù)的分析了，這里規(guī)則分兩個(gè)，但是其中的關(guān)聯(lián)基本沒有，我這邊也可以演示給大家看：

很明顯，這個(gè)P值太大，根本沒法拒絕原假設(shè)，這個(gè)詞基本不能正常的做一個(gè)邏輯回歸的分析，當(dāng)然也可以分類做個(gè)驗(yàn)證：

我是把排名前40位做了個(gè)驗(yàn)證，也可以看到，至少可以說嗎，單單根據(jù)上下架，是無法做出什么判斷了。

當(dāng)然，我們也可以看看，是否說，天貓店跟集市店，對(duì)于排名是否有影響：

可以看出，1為天貓店，0為集市店。在這個(gè)詞，確實(shí)天貓店在第一頁的占比會(huì)比后面幾頁要高，具體當(dāng)然還需要大家去找更多的證據(jù)去證明。我這邊更多的是提供一種思維思路，指引大家自己去做一個(gè)分析。

當(dāng)然，我們會(huì)想到的是，詞的一個(gè)寶貝數(shù)，量級(jí)的一個(gè)影響，我們可以把上面的看成是一個(gè)50萬寶貝數(shù)的量級(jí)。

那我接下去再分析了兩個(gè)詞，一個(gè)是10萬，一個(gè)是100萬左右寶貝數(shù)的詞。我們先來看10萬的：

這邊縱坐標(biāo)的1，已經(jīng)是代表了1天，因?yàn)檫@個(gè)詞的寶貝數(shù)比較少，已經(jīng)不能把日期看做一個(gè)離群值來考慮了?？梢钥吹剑@邊明顯分為3個(gè)層級(jí)，在一天到一天半之內(nèi)的時(shí)間，也是可以上首頁的，那我們是否也可以考慮，把這三個(gè)層級(jí)分下，看看具體他們寶貝有什么區(qū)別，也可以作為我們排名靠前該怎么做的一個(gè)依據(jù)。

我大致用EXCEL做了一下，這個(gè)圖是用透視表之后做的，可以看到，如果提前一天就想上第一頁，可以對(duì)于寶貝的銷量要求就增高了，這些大家都可以自己去做一個(gè)分析，比較簡(jiǎn)單。也可以讓自己獲得很多東西。當(dāng)然這也需要再看看別的詞是否也這樣，我強(qiáng)調(diào)了很多次，因?yàn)殡娚桃?guī)則的數(shù)據(jù)分析很大程度上，也算是大量樣本下的驗(yàn)證分析。

然后我們看看100萬左右的：

這里我沒有對(duì)那些離群值做一個(gè)處理，也是為了讓大家看看效果，前面3個(gè)點(diǎn)是豆腐塊，后面基本都是靠近下架時(shí)間點(diǎn)的寶貝了。

這篇文章就先寫這么多吧，相對(duì)比較簡(jiǎn)單，操作步驟需要大家自己去實(shí)踐和繼續(xù)分析。我們可以初步推斷，詞下面寶貝數(shù)量級(jí)越大，上下架權(quán)重越大，特別是到達(dá)某一個(gè)特定的時(shí)間點(diǎn)之后，而且不同量級(jí)，規(guī)則會(huì)有所不同。當(dāng)然還可以做下一步：大量驗(yàn)證，量級(jí)可以為10，20...500萬量級(jí)，每個(gè)量級(jí)3~5個(gè)詞，驗(yàn)證上面結(jié)果，得出更加詳細(xì)結(jié)論，比如詳細(xì)的改變權(quán)重時(shí)間點(diǎn)，異常值為何出現(xiàn)等細(xì)化研究，可以驗(yàn)證——同一個(gè)層級(jí)之類，排名是否就按照人氣排名......主要給大家提供的還是一個(gè)思路，而不是直接告訴大家規(guī)則，那樣的話，很快就沒用了，教大家的是可以提前比別人知道的一些方法。