數(shù)據(jù)分析的主要內(nèi)容仍是結(jié)構(gòu)化計算_數(shù)據(jù)分析師

日常業(yè)務(wù)中會出現(xiàn)各種各樣的數(shù)據(jù)分析問題，但究其本質(zhì)，其主要內(nèi)容仍然是結(jié)構(gòu)化數(shù)據(jù)的計算。比如：

指定時間段，計算各營業(yè)網(wǎng)點的月銷售額比上期和同期比。

   實現(xiàn)思路：對銷售數(shù)據(jù)按時間段過濾，再按照營業(yè)網(wǎng)點、年、月進(jìn)行三級分組匯總，最后進(jìn)行跨行組的有序計算。

找出收盤價連續(xù)增長超過10天的股票。

   實現(xiàn)思路：將日交易數(shù)據(jù)按照股票分組，組內(nèi)按照日期排序，計算出股價的增長額，計算出連續(xù)正增長的天數(shù)，過濾出連續(xù)正增長超過10天的股票。

將合同信息、付款信息等不同來源的數(shù)據(jù)關(guān)聯(lián)到項目付款進(jìn)度中，并找到逾期未付款的項目。

   實現(xiàn)思路：首先進(jìn)行異構(gòu)數(shù)據(jù)源之間的關(guān)聯(lián)計算，之后進(jìn)行分組匯總，最后進(jìn)行過濾。

   可以看到，這些日常數(shù)據(jù)分析問題大都可以分解為結(jié)構(gòu)化數(shù)據(jù)的過濾、分組、匯總、排序、排名、關(guān)聯(lián)等算法。

   當(dāng)然，偶爾也會出現(xiàn)模型或預(yù)測類的數(shù)據(jù)分析問題，比如：找出哪些商品之間存在較高的相關(guān)度，預(yù)測哪只股票將會上漲等等。這類算法需要的數(shù)學(xué)知識太多，日常工作人員一般不會掌握。這種分析在數(shù)據(jù)分析事務(wù)中非常重要，但并不是日常數(shù)據(jù)分析的主要內(nèi)容。

   日常數(shù)據(jù)分析的主要內(nèi)容仍是結(jié)構(gòu)化數(shù)據(jù)計算，因此很多工具都支持此類計算，比如：R語言、Python、SQL、集算器等。

   R語言提供有dataframe數(shù)據(jù)類型，支持結(jié)構(gòu)化數(shù)據(jù)計算。但R語言的設(shè)計初衷是進(jìn)行科學(xué)數(shù)據(jù)的統(tǒng)計分析，重點在于矩陣和向量的計算，因此在結(jié)構(gòu)化數(shù)據(jù)計算方面缺乏專業(yè)性。

   事實上，dataframe只是R語言新增的功能，模型預(yù)測類的算法才是R語言的重點，比如：回歸分析regression analysis、方差分析ANOVAanalysis、一致性評估Agreementevaluation、貝努利分布Bernoulli distribution等等。這些算法在日常數(shù)據(jù)分析中很少用到。

   Python有第三方函數(shù)庫pandas，支持結(jié)構(gòu)化數(shù)據(jù)的計算。但Pandas的設(shè)計目標(biāo)仍然是科學(xué)數(shù)據(jù)的統(tǒng)計分析，而不是結(jié)構(gòu)化數(shù)據(jù)的計算，因此在這方面并不專業(yè)。和R語言類似，Pandas的功能也是圍繞模型和預(yù)測展開的，在日常數(shù)據(jù)分析中很少用到。

   可以看到，支持結(jié)構(gòu)化數(shù)據(jù)計算的工具雖然不少，但專業(yè)的并不多，算來算去，還是老牌計算語言SQL更專業(yè)。

   SQL的設(shè)計目標(biāo)是純粹的結(jié)構(gòu)化數(shù)據(jù)計算，專業(yè)性更強(qiáng)，而且應(yīng)用面非常廣。

   但是對于日常分析來講，SQL也存在不足之處，比較突出的是：應(yīng)用環(huán)境復(fù)雜、不擅長有序計算。SQL的安裝部署、維護(hù)管理非常復(fù)雜。SQL數(shù)據(jù)集本身缺乏序號，因此在有序計算方面存在天生的短板，比如同期比、比上期、相對區(qū)間取數(shù)、分組中的排名、分組中取前后幾名等等這些是日常數(shù)據(jù)分析中常見的問題，開頭提到的幾個例子也大多和有序計算相關(guān)，用SQL可以解決此類問題，但難度較大。

   集算器的設(shè)計目標(biāo)是純粹的結(jié)構(gòu)化數(shù)據(jù)計算，這一點和SQL類似。

   相對來講，集算器的應(yīng)用環(huán)境比較簡單，安裝部署毫無難度。集算器支持從數(shù)據(jù)庫取數(shù)，也可以直接讀取Txt、日志、Excel中的結(jié)構(gòu)化數(shù)據(jù)。另外，集算器的序表天生具有序號，器可以輕松上面提到的有序計算。不過集算器在外存計算和內(nèi)存計算的語法不，需要更新另一種寫法，不如SQL語法的一致性好。