大數(shù)據環(huán)境下的多維分析技術

正是由于多維分析技術在業(yè)務分析系統(tǒng)的核心功能中的不可替代性，隨著商業(yè)智能系統(tǒng)的深入應用，分析系統(tǒng)的數(shù)據量呈指數(shù)級增長，原有依賴硬盤IO處理性能（包括傳統(tǒng)數(shù)據庫、多維立方體文件）的多維分析技術遭遇到性能瓶頸。與此同時，隨著服務器內存價格的下降，一種新的基于內存的OLAP技術架構出現(xiàn)了。這種新架構既能夠保證類似于MOLAP方式的高性能，也能基于更大的數(shù)據量進行分析，還不用定期將數(shù)據庫里的數(shù)據刷新到OLAP服務器來防止數(shù)據過期。這種新的體系架構當之無愧地成為大數(shù)據環(huán)境下搭建多維分析功能的流行選擇，而IBM Cognos的Dynamic Cubes就是它的代表作。

動態(tài)立方體（Dynamic Cubes）作為一種新的技術架構最先應用在Cognos的10.2.0版本。下面我們以Cognos的11.0版本來看看怎樣對動態(tài)立方體進行性能調優(yōu)。

影響因素

動態(tài)立方體是以原有ROLAP技術為基礎，使用服務器內存作緩存的一種新型技術架構。它的響應性能的影響因素包括。

數(shù)據倉庫（數(shù)據集市）：由于DynamicCubes的事實表數(shù)據都存儲在數(shù)據倉庫中，因此，有時數(shù)據倉庫的性能好壞會影響前端多維分析查詢的響應速度。在數(shù)據倉庫的多維數(shù)據模型中，需要注意：

維表中的連接事實表的代理鍵的數(shù)據類型應該采用integer類型

維表中的各個層級的層級鍵的數(shù)據類型應該采用integer類型

2.數(shù)據庫：提高數(shù)據庫的查詢性能，有助于提高最終多維分析展現(xiàn)的響應速度。

有時候多維分析的性能嚴重依賴于數(shù)據庫運行大數(shù)據量多任務查詢任務的性能

數(shù)據庫基于的硬件資源（內存、CPU及IO）應該考慮到大數(shù)據量并行查詢的性能，因此基于物理機的數(shù)據庫性能當然比基于虛擬機的更優(yōu)

盡量少用或者不用視圖，因為視圖的數(shù)據不是物理存在的

最好采用分析型的MPP數(shù)據庫，因為多維分析都是針對大數(shù)據量的匯總查詢

采用列存儲技術的數(shù)據庫對于大量并發(fā)并聯(lián)查詢性能更優(yōu)

要確保查詢性能最優(yōu)化，可以通過數(shù)據庫的性能分析監(jiān)控、執(zhí)行計劃分析等工具

索引的設計，對于非MPP數(shù)據庫，索引的設計對于查詢性能影響很大

動態(tài)立方體性能調優(yōu)

1.由于動態(tài)立方體使用機器內存和CPU進行性能增強，所以在對應用服務器的硬件進行評估時應該為將來的性能擴展留一定的預留空間。硬件評估可以通過Cognos提供的建模工具Cube Designer里的“評估硬件需求”功能初步估算。如下圖所示。

2.在多維立方體模型設計時，使用模型驗證功能，可以知道影響性能的問題所在。可能的問題有：連接字段類型、星形模型與雪花模型、過濾器的使用、視圖的使用等等。如下圖所示。

3.評估模型的復雜度。如果多維模型的維度和度量很多,數(shù)據量也很大，可以通過設計聚合表或者聚合內存來提升查詢性能。動態(tài)立方體會通過聚合感知技術找到最合適的聚合數(shù)據集進行查詢以提高查詢性能。如下圖所示。

4.JVM設置。動態(tài)立方體使用Java虛擬機作為內存管理的容器載體，所以Cognos也提供了一些JVM堆設置來優(yōu)化數(shù)據查詢性能。你可以在Cognos Administration界面上找到Query Service服務進行參數(shù)調整。如下圖所示。

5.您還可以通過Cognos的Dynamic Query Analyzer (DQA)工具來對動態(tài)立方體的查詢性能進行評估并得到優(yōu)化建議。在進行評估之前，記得將Dynamic Cubes的工作日志打開，如下圖所示。