數(shù)據(jù)分析的主要內(nèi)容仍是結(jié)構(gòu)化計(jì)算_數(shù)據(jù)分析師

日常業(yè)務(wù)中會(huì)出現(xiàn)各種各樣的數(shù)據(jù)分析問題，但究其本質(zhì)，其主要內(nèi)容仍然是結(jié)構(gòu)化數(shù)據(jù)的計(jì)算。比如：

• 指定時(shí)間段，計(jì)算各營業(yè)網(wǎng)點(diǎn)的月銷售額比上期和同期比。

   實(shí)現(xiàn)思路：對(duì)銷售數(shù)據(jù)按時(shí)間段過濾，再按照營業(yè)網(wǎng)點(diǎn)、年、月進(jìn)行三級(jí)分組匯總，最后進(jìn)行跨行組的有序計(jì)算。

• 找出收盤價(jià)連續(xù)增長超過10天的股票。

   實(shí)現(xiàn)思路：將日交易數(shù)據(jù)按照股票分組，組內(nèi)按照日期排序，計(jì)算出股價(jià)的增長額，計(jì)算出連續(xù)正增長的天數(shù)，過濾出連續(xù)正增長超過10天的股票。

• 將合同信息、付款信息等不同來源的數(shù)據(jù)關(guān)聯(lián)到項(xiàng)目付款進(jìn)度中，并找到逾期未付款的項(xiàng)目。

   實(shí)現(xiàn)思路：首先進(jìn)行異構(gòu)數(shù)據(jù)源之間的關(guān)聯(lián)計(jì)算，之后進(jìn)行分組匯總，最后進(jìn)行過濾。

   可以看到，這些日常數(shù)據(jù)分析問題大都可以分解為結(jié)構(gòu)化數(shù)據(jù)的過濾、分組、匯總、排序、排名、關(guān)聯(lián)等算法。

   當(dāng)然，偶爾也會(huì)出現(xiàn)模型或預(yù)測類的數(shù)據(jù)分析問題，比如：找出哪些商品之間存在較高的相關(guān)度，預(yù)測哪只股票將會(huì)上漲等等。這類算法需要的數(shù)學(xué)知識(shí)太多，日常工作人員一般不會(huì)掌握。這種分析在數(shù)據(jù)分析事務(wù)中非常重要，但并不是日常數(shù)據(jù)分析的主要內(nèi)容。

   日常數(shù)據(jù)分析的主要內(nèi)容仍是結(jié)構(gòu)化數(shù)據(jù)計(jì)算，因此很多工具都支持此類計(jì)算，比如：R語言、Python、SQL、集算器等。

   R語言提供有dataframe數(shù)據(jù)類型，支持結(jié)構(gòu)化數(shù)據(jù)計(jì)算。但R語言的設(shè)計(jì)初衷是進(jìn)行科學(xué)數(shù)據(jù)的統(tǒng)計(jì)分析，重點(diǎn)在于矩陣和向量的計(jì)算，因此在結(jié)構(gòu)化數(shù)據(jù)計(jì)算方面缺乏專業(yè)性。

   事實(shí)上，dataframe只是R語言新增的功能，模型預(yù)測類的算法才是R語言的重點(diǎn)，比如：回歸分析regression analysis、方差分析ANOVAanalysis、一致性評(píng)估Agreementevaluation、貝努利分布Bernoulli distribution等等。這些算法在日常數(shù)據(jù)分析中很少用到。

   Python有第三方函數(shù)庫pandas，支持結(jié)構(gòu)化數(shù)據(jù)的計(jì)算。但Pandas的設(shè)計(jì)目標(biāo)仍然是科學(xué)數(shù)據(jù)的統(tǒng)計(jì)分析，而不是結(jié)構(gòu)化數(shù)據(jù)的計(jì)算，因此在這方面并不專業(yè)。和R語言類似，Pandas的功能也是圍繞模型和預(yù)測展開的，在日常數(shù)據(jù)分析中很少用到。

   可以看到，支持結(jié)構(gòu)化數(shù)據(jù)計(jì)算的工具雖然不少，但專業(yè)的并不多，算來算去，還是老牌計(jì)算語言SQL更專業(yè)。

   SQL的設(shè)計(jì)目標(biāo)是純粹的結(jié)構(gòu)化數(shù)據(jù)計(jì)算，專業(yè)性更強(qiáng)，而且應(yīng)用面非常廣。

   但是對(duì)于日常分析來講，SQL也存在不足之處，比較突出的是：應(yīng)用環(huán)境復(fù)雜、不擅長有序計(jì)算。SQL的安裝部署、維護(hù)管理非常復(fù)雜。SQL數(shù)據(jù)集本身缺乏序號(hào)，因此在有序計(jì)算方面存在天生的短板，比如同期比、比上期、相對(duì)區(qū)間取數(shù)、分組中的排名、分組中取前后幾名等等這些是日常數(shù)據(jù)分析中常見的問題，開頭提到的幾個(gè)例子也大多和有序計(jì)算相關(guān)，用SQL可以解決此類問題，但難度較大。

   集算器的設(shè)計(jì)目標(biāo)是純粹的結(jié)構(gòu)化數(shù)據(jù)計(jì)算，這一點(diǎn)和SQL類似。

   相對(duì)來講，集算器的應(yīng)用環(huán)境比較簡單，安裝部署毫無難度。集算器支持從數(shù)據(jù)庫取數(shù)，也可以直接讀取Txt、日志、Excel中的結(jié)構(gòu)化數(shù)據(jù)。另外，集算器的序表天生具有序號(hào)，器可以輕松上面提到的有序計(jì)算。不過集算器在外存計(jì)算和內(nèi)存計(jì)算的語法不，需要更新另一種寫法，不如SQL語法的一致性好。