如何進行大量數(shù)據(jù)需要統(tǒng)計的數(shù)據(jù)庫設計_數(shù)據(jù)分析師

數(shù)據(jù)越大查詢越慢，這個是必然的的，使用緩存可以提升速度，但是不能實時。。。最佳解決方案就是多級報表。。。
比如，如果要統(tǒng)計全國2000多個縣市數(shù)據(jù)，就要遍歷2000個點。。如果中間加個省級報表，，這樣全國報表就可以建立在30多個省級報表匯總就可以了。。。 
在省級報表基礎上，可以仿照軍區(qū)方式，對全國劃區(qū)，比如7個大區(qū)，這樣，統(tǒng)計全國報表只要遍歷7個點啦。。
所以，我覺得比較好的方式就是多級報表，推薦  全國》》區(qū)域》》省》》市縣不過我想更加通用的方案是 建立業(yè)務級別的索引。。
1. 業(yè)務級別的索引 1
2. 創(chuàng)建索引可以大大提高系統(tǒng)的性能。 1
3. 索引的實現(xiàn) 2
3.1. 通常使用B樹及其變種B+樹。（需要排序） 2
3.2. 使用hash 2
4. 業(yè)務索引的存儲 2
5. 索引的實現(xiàn)方式優(yōu)化 2
5.1. 增量索引 2
6. 增加索引也有許多不利的方面。 2

1.業(yè)務級別的索引

大數(shù)據(jù)量統(tǒng)計下的統(tǒng)計非常慢。緩存可以部分解決這個問題，也可以緩解這個問題，但是緩存往往不能實時查詢。多級關聯(lián)查詢也比較麻煩。。

解決思路，就是仿照數(shù)據(jù)庫，建立業(yè)務級別的索引。。

默認數(shù)據(jù)庫只能建立列的索引，，只有oracle支持函數(shù)索引，mysql ,mssql都不支持函數(shù)索引
至于業(yè)務索引，只能自己實現(xiàn)了。。

2.創(chuàng)建索引可以大大提高系統(tǒng)的性能。
第一，通過創(chuàng)建唯一性索引，可以保證數(shù)據(jù)庫表中每一行數(shù)據(jù)的唯一性。
第二，可以大大加快數(shù)據(jù)的檢索速度，這也是創(chuàng)建索引的最主要的原因。
第三，可以加速表和表之間的連接，特別是在實現(xiàn)數(shù)據(jù)的參考完整性方面特別有意義。
第四，在使用分組和排序子句進行數(shù)據(jù)檢索時，同樣可以顯著減少查詢中分組和排序的時間。
第五，通過使用索引，可以在查詢的過程中，使用優(yōu)化隱藏器，提高系統(tǒng)的性能。 

3.索引的實現(xiàn)
3.1.通常使用B樹及其變種B+樹。（需要排序）
3.2.使用hash

4.業(yè)務索引的存儲
可以使用表來存儲。。。Oracle可以建立函數(shù)索引，，但業(yè)務索引需要使用編程語言代碼來計算結果，最后把結果存儲到索引里面，建立專門的索引存儲表。。。

5.索引的實現(xiàn)方式優(yōu)化
5.1.增量索引
6. 增加索引也有許多不利的方面。
第一，創(chuàng)建索引和維護索引要耗費時間，這種時間隨著數(shù)據(jù)量的增加而增加。
第二，索引需要占物理空間，除了數(shù)據(jù)表占數(shù)據(jù)空間之外，每一個索引還要占一定的物理空間，如果要建立聚簇索引，那么需要的空間就會更大。
第三，當對表中的數(shù)據(jù)進行增加、刪除和修改的時候，索引也要動態(tài)的維護，這樣就降低了數(shù)據(jù)的維護速度
但從數(shù)據(jù)庫角度，做集群。  建議用hadoop.