大數(shù)據(jù)環(huán)境下的多維分析技術(shù)

正是由于多維分析技術(shù)在業(yè)務(wù)分析系統(tǒng)的核心功能中的不可替代性，隨著商業(yè)智能系統(tǒng)的深入應(yīng)用，分析系統(tǒng)的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，原有依賴硬盤(pán)IO處理性能（包括傳統(tǒng)數(shù)據(jù)庫(kù)、多維立方體文件）的多維分析技術(shù)遭遇到性能瓶頸。與此同時(shí)，隨著服務(wù)器內(nèi)存價(jià)格的下降，一種新的基于內(nèi)存的OLAP技術(shù)架構(gòu)出現(xiàn)了。這種新架構(gòu)既能夠保證類(lèi)似于MOLAP方式的高性能，也能基于更大的數(shù)據(jù)量進(jìn)行分析，還不用定期將數(shù)據(jù)庫(kù)里的數(shù)據(jù)刷新到OLAP服務(wù)器來(lái)防止數(shù)據(jù)過(guò)期。這種新的體系架構(gòu)當(dāng)之無(wú)愧地成為大數(shù)據(jù)環(huán)境下搭建多維分析功能的流行選擇，而IBM Cognos的Dynamic Cubes就是它的代表作。

動(dòng)態(tài)立方體（Dynamic Cubes）作為一種新的技術(shù)架構(gòu)最先應(yīng)用在Cognos的10.2.0版本。下面我們以Cognos的11.0版本來(lái)看看怎樣對(duì)動(dòng)態(tài)立方體進(jìn)行性能調(diào)優(yōu)。

影響因素

動(dòng)態(tài)立方體是以原有ROLAP技術(shù)為基礎(chǔ)，使用服務(wù)器內(nèi)存作緩存的一種新型技術(shù)架構(gòu)。它的響應(yīng)性能的影響因素包括。

數(shù)據(jù)倉(cāng)庫(kù)（數(shù)據(jù)集市）：由于DynamicCubes的事實(shí)表數(shù)據(jù)都存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，因此，有時(shí)數(shù)據(jù)倉(cāng)庫(kù)的性能好壞會(huì)影響前端多維分析查詢的響應(yīng)速度。在數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)模型中，需要注意：

維表中的連接事實(shí)表的代理鍵的數(shù)據(jù)類(lèi)型應(yīng)該采用integer類(lèi)型

維表中的各個(gè)層級(jí)的層級(jí)鍵的數(shù)據(jù)類(lèi)型應(yīng)該采用integer類(lèi)型

2.數(shù)據(jù)庫(kù)：提高數(shù)據(jù)庫(kù)的查詢性能，有助于提高最終多維分析展現(xiàn)的響應(yīng)速度。

有時(shí)候多維分析的性能?chē)?yán)重依賴于數(shù)據(jù)庫(kù)運(yùn)行大數(shù)據(jù)量多任務(wù)查詢?nèi)蝿?wù)的性能

數(shù)據(jù)庫(kù)基于的硬件資源（內(nèi)存、CPU及IO）應(yīng)該考慮到大數(shù)據(jù)量并行查詢的性能，因此基于物理機(jī)的數(shù)據(jù)庫(kù)性能當(dāng)然比基于虛擬機(jī)的更優(yōu)

盡量少用或者不用視圖，因?yàn)橐晥D的數(shù)據(jù)不是物理存在的

最好采用分析型的MPP數(shù)據(jù)庫(kù)，因?yàn)槎嗑S分析都是針對(duì)大數(shù)據(jù)量的匯總查詢

采用列存儲(chǔ)技術(shù)的數(shù)據(jù)庫(kù)對(duì)于大量并發(fā)并聯(lián)查詢性能更優(yōu)

要確保查詢性能最優(yōu)化，可以通過(guò)數(shù)據(jù)庫(kù)的性能分析監(jiān)控、執(zhí)行計(jì)劃分析等工具

索引的設(shè)計(jì)，對(duì)于非MPP數(shù)據(jù)庫(kù)，索引的設(shè)計(jì)對(duì)于查詢性能影響很大

動(dòng)態(tài)立方體性能調(diào)優(yōu)

1.由于動(dòng)態(tài)立方體使用機(jī)器內(nèi)存和CPU進(jìn)行性能增強(qiáng)，所以在對(duì)應(yīng)用服務(wù)器的硬件進(jìn)行評(píng)估時(shí)應(yīng)該為將來(lái)的性能擴(kuò)展留一定的預(yù)留空間。硬件評(píng)估可以通過(guò)Cognos提供的建模工具Cube Designer里的“評(píng)估硬件需求”功能初步估算。如下圖所示。

2.在多維立方體模型設(shè)計(jì)時(shí)，使用模型驗(yàn)證功能，可以知道影響性能的問(wèn)題所在?？赡艿膯?wèn)題有：連接字段類(lèi)型、星形模型與雪花模型、過(guò)濾器的使用、視圖的使用等等。如下圖所示。

3.評(píng)估模型的復(fù)雜度。如果多維模型的維度和度量很多,數(shù)據(jù)量也很大，可以通過(guò)設(shè)計(jì)聚合表或者聚合內(nèi)存來(lái)提升查詢性能。動(dòng)態(tài)立方體會(huì)通過(guò)聚合感知技術(shù)找到最合適的聚合數(shù)據(jù)集進(jìn)行查詢以提高查詢性能。如下圖所示。

4.JVM設(shè)置。動(dòng)態(tài)立方體使用Java虛擬機(jī)作為內(nèi)存管理的容器載體，所以Cognos也提供了一些JVM堆設(shè)置來(lái)優(yōu)化數(shù)據(jù)查詢性能。你可以在Cognos Administration界面上找到Query Service服務(wù)進(jìn)行參數(shù)調(diào)整。如下圖所示。

5.您還可以通過(guò)Cognos的Dynamic Query Analyzer (DQA)工具來(lái)對(duì)動(dòng)態(tài)立方體的查詢性能進(jìn)行評(píng)估并得到優(yōu)化建議。在進(jìn)行評(píng)估之前，記得將Dynamic Cubes的工作日志打開(kāi)，如下圖所示。