如何進(jìn)行大量數(shù)據(jù)需要統(tǒng)計(jì)的數(shù)據(jù)庫設(shè)計(jì)_數(shù)據(jù)分析師

數(shù)據(jù)越大查詢?cè)铰@個(gè)是必然的的，使用緩存可以提升速度，但是不能實(shí)時(shí)。。。最佳解決方案就是多級(jí)報(bào)表。。。
比如，如果要統(tǒng)計(jì)全國2000多個(gè)縣市數(shù)據(jù)，就要遍歷2000個(gè)點(diǎn)。。如果中間加個(gè)省級(jí)報(bào)表，，這樣全國報(bào)表就可以建立在30多個(gè)省級(jí)報(bào)表匯總就可以了。。。 
在省級(jí)報(bào)表基礎(chǔ)上，可以仿照軍區(qū)方式，對(duì)全國劃區(qū)，比如7個(gè)大區(qū)，這樣，統(tǒng)計(jì)全國報(bào)表只要遍歷7個(gè)點(diǎn)啦。。
所以，我覺得比較好的方式就是多級(jí)報(bào)表，推薦  全國》》區(qū)域》》省》》市縣不過我想更加通用的方案是 建立業(yè)務(wù)級(jí)別的索引。。
1. 業(yè)務(wù)級(jí)別的索引 1
2. 創(chuàng)建索引可以大大提高系統(tǒng)的性能。 1
3. 索引的實(shí)現(xiàn) 2
3.1. 通常使用B樹及其變種B+樹。（需要排序） 2
3.2. 使用hash 2
4. 業(yè)務(wù)索引的存儲(chǔ) 2
5. 索引的實(shí)現(xiàn)方式優(yōu)化 2
5.1. 增量索引 2
6. 增加索引也有許多不利的方面。 2

1.業(yè)務(wù)級(jí)別的索引

大數(shù)據(jù)量統(tǒng)計(jì)下的統(tǒng)計(jì)非常慢。緩存可以部分解決這個(gè)問題，也可以緩解這個(gè)問題，但是緩存往往不能實(shí)時(shí)查詢。多級(jí)關(guān)聯(lián)查詢也比較麻煩。。

解決思路，就是仿照數(shù)據(jù)庫，建立業(yè)務(wù)級(jí)別的索引。。

默認(rèn)數(shù)據(jù)庫只能建立列的索引，，只有oracle支持函數(shù)索引，mysql ,mssql都不支持函數(shù)索引
至于業(yè)務(wù)索引，只能自己實(shí)現(xiàn)了。。

2.創(chuàng)建索引可以大大提高系統(tǒng)的性能。
第一，通過創(chuàng)建唯一性索引，可以保證數(shù)據(jù)庫表中每一行數(shù)據(jù)的唯一性。
第二，可以大大加快數(shù)據(jù)的檢索速度，這也是創(chuàng)建索引的最主要的原因。
第三，可以加速表和表之間的連接，特別是在實(shí)現(xiàn)數(shù)據(jù)的參考完整性方面特別有意義。
第四，在使用分組和排序子句進(jìn)行數(shù)據(jù)檢索時(shí)，同樣可以顯著減少查詢中分組和排序的時(shí)間。
第五，通過使用索引，可以在查詢的過程中，使用優(yōu)化隱藏器，提高系統(tǒng)的性能。 

3.索引的實(shí)現(xiàn)
3.1.通常使用B樹及其變種B+樹。（需要排序）
3.2.使用hash

4.業(yè)務(wù)索引的存儲(chǔ)
可以使用表來存儲(chǔ)。。。Oracle可以建立函數(shù)索引，，但業(yè)務(wù)索引需要使用編程語言代碼來計(jì)算結(jié)果，最后把結(jié)果存儲(chǔ)到索引里面，建立專門的索引存儲(chǔ)表。。。

5.索引的實(shí)現(xiàn)方式優(yōu)化
5.1.增量索引
6. 增加索引也有許多不利的方面。
第一，創(chuàng)建索引和維護(hù)索引要耗費(fèi)時(shí)間，這種時(shí)間隨著數(shù)據(jù)量的增加而增加。
第二，索引需要占物理空間，除了數(shù)據(jù)表占數(shù)據(jù)空間之外，每一個(gè)索引還要占一定的物理空間，如果要建立聚簇索引，那么需要的空間就會(huì)更大。
第三，當(dāng)對(duì)表中的數(shù)據(jù)進(jìn)行增加、刪除和修改的時(shí)候，索引也要?jiǎng)討B(tài)的維護(hù)，這樣就降低了數(shù)據(jù)的維護(hù)速度
但從數(shù)據(jù)庫角度，做集群。  建議用hadoop.