大數(shù)據(jù)量高并發(fā)訪問(wèn)數(shù)據(jù)庫(kù)結(jié)構(gòu)的設(shè)計(jì)

如果不能設(shè)計(jì)一個(gè)合理的數(shù)據(jù)庫(kù)模型，不僅會(huì)增加客戶端和服務(wù)器段程序的編程和維護(hù)的難度，而且將會(huì)影響系統(tǒng)實(shí)際運(yùn)行的性能。所以，在一個(gè)系統(tǒng)開(kāi)始實(shí)施之前，完備的數(shù)據(jù)庫(kù)模型的設(shè)計(jì)是必須的。

    在一個(gè)系統(tǒng)分析、設(shè)計(jì)階段，因?yàn)閿?shù)據(jù)量較小，負(fù)荷較低。我們往往只注意到功能的實(shí)現(xiàn)，而很難注意到性能的薄弱之處，等到系統(tǒng)投入實(shí)際運(yùn)行一段時(shí)間后，才發(fā)現(xiàn)系統(tǒng)的性能在降低，這時(shí)再來(lái)考慮提高系統(tǒng)性能則要花費(fèi)更多的人力物力，而整個(gè)系統(tǒng)也不可避免的形成了一個(gè)打補(bǔ)丁工程。
    所以在考慮整個(gè)系統(tǒng)的流程的時(shí)候，我們必須要考慮，在高并發(fā)大數(shù)據(jù)量的訪問(wèn)情況下，我們的系統(tǒng)會(huì)不會(huì)出現(xiàn)極端的情況。（例如：對(duì)外統(tǒng)計(jì)系統(tǒng)在7月16日出現(xiàn)的數(shù)據(jù)異常的情況，并發(fā)大數(shù)據(jù)量的的訪問(wèn)造成，數(shù)據(jù)庫(kù)的響應(yīng)時(shí)間不能跟上數(shù)據(jù)刷新的速度造成。具體情況是：在日期臨界時(shí)（00：00：00），判斷數(shù)據(jù)庫(kù)中是否有當(dāng)前日期的記錄，沒(méi)有則插入一條當(dāng)前日期的記錄。在低并發(fā)訪問(wèn)的情況下，不會(huì)發(fā)生問(wèn)題，但是當(dāng)日期臨界時(shí)的訪問(wèn)量相當(dāng)大的時(shí)候，在做這一判斷的時(shí)候，會(huì)出現(xiàn)多次條件成立，則數(shù)據(jù)庫(kù)里會(huì)被插入多條當(dāng)前日期的記錄，從而造成數(shù)據(jù)錯(cuò)誤。），數(shù)據(jù)庫(kù)的模型確定下來(lái)之后，我們有必要做一個(gè)系統(tǒng)內(nèi)數(shù)據(jù)流向圖，分析可能出現(xiàn)的瓶頸。
    為了保證數(shù)據(jù)庫(kù)的一致性和完整性，在邏輯設(shè)計(jì)的時(shí)候往往會(huì)設(shè)計(jì)過(guò)多的表間關(guān)聯(lián)，盡可能的降低數(shù)據(jù)的冗余。（例如用戶表的地區(qū)，我們可以把地區(qū)另外存放到一個(gè)地區(qū)表中）如果數(shù)據(jù)冗余低，數(shù)據(jù)的完整性容易得到保證，提高了數(shù)據(jù)吞吐速度，保證了數(shù)據(jù)的完整性，清楚地表達(dá)數(shù)據(jù)元素之間的關(guān)系。而對(duì)于多表之間的關(guān)聯(lián)查詢（尤其是大數(shù)據(jù)表）時(shí)，其性能將會(huì)降低，同時(shí)也提高了客戶端程序的編程難度，因此，物理設(shè)計(jì)需折衷考慮，根據(jù)業(yè)務(wù)規(guī)則，確定對(duì)關(guān)聯(lián)表的數(shù)據(jù)量大小、數(shù)據(jù)項(xiàng)的訪問(wèn)頻度，對(duì)此類(lèi)數(shù)據(jù)表頻繁的關(guān)聯(lián)查詢應(yīng)適當(dāng)提高數(shù)據(jù)冗余設(shè)計(jì)但增加了表間連接查詢的操作，也使得程序的變得復(fù)雜，為了提高系統(tǒng)的響應(yīng)時(shí)間，合理的數(shù)據(jù)冗余也是必要的。設(shè)計(jì)人員在設(shè)計(jì)階段應(yīng)根據(jù)系統(tǒng)操作的類(lèi)型、頻度加以均衡考慮。
   另外，最好不要用自增屬性字段作為主鍵與子表關(guān)聯(lián)。不便于系統(tǒng)的遷移和數(shù)據(jù)恢復(fù)。對(duì)外統(tǒng)計(jì)系統(tǒng)映射關(guān)系丟失（******************）。
    原來(lái)的表格必須可以通過(guò)由它分離出去的表格重新構(gòu)建。使用這個(gè)規(guī)定的好處是，你可以確保不會(huì)在分離的表格中引入多余的列，所有你創(chuàng)建的表格結(jié)構(gòu)都與它們的實(shí)際需要一樣大。應(yīng)用這條規(guī)定是一個(gè)好習(xí)慣，不過(guò)除非你要處理一個(gè)非常大型的數(shù)據(jù)，否則你將不需要用到它。（例如一個(gè)通行證系統(tǒng)，我可以將USERID，USERNAME，USERPASSWORD，單獨(dú)出來(lái)作個(gè)表，再把USERID作為其他表的外鍵）
表的設(shè)計(jì)具體注意的問(wèn)題：
1、數(shù)據(jù)行的長(zhǎng)度不要超過(guò)8020字節(jié)，如果超過(guò)這個(gè)長(zhǎng)度的話在物理頁(yè)中這條數(shù)據(jù)會(huì)占用兩行從而造成存儲(chǔ)碎片，降低查詢效率。
2、能夠用數(shù)字類(lèi)型的字段盡量選擇數(shù)字類(lèi)型而不用字符串類(lèi)型的（電話號(hào)碼），這會(huì)降低查詢和連接的性能，并會(huì)增加存儲(chǔ)開(kāi)銷(xiāo)。這是因?yàn)橐嬖谔幚聿樵兒瓦B接回逐個(gè)比較字符串中每一個(gè)字符，而對(duì)于數(shù)字型而言只需要比較一次就夠了。
3、對(duì)于不可變字符類(lèi)型char和可變字符類(lèi)型varchar 都是8000字節(jié),char查詢快，但是耗存儲(chǔ)空間，varchar查詢相對(duì)慢一些但是節(jié)省存儲(chǔ)空間。在設(shè)計(jì)字段的時(shí)候可以靈活選擇，例如用戶名、密碼等長(zhǎng)度變化不大的字段可以選擇CHAR，對(duì)于評(píng)論等長(zhǎng)度變化大的字段可以選擇VARCHAR。

4、字段的長(zhǎng)度在最大限度的滿足可能的需要的前提下，應(yīng)該盡可能的設(shè)得短一些，這樣可以提高查詢的效率，而且在建立索引的時(shí)候也可以減少資源的消耗。

5、基本表及其字段之間的關(guān)系, 應(yīng)盡量滿足第三范式。但是，滿足第三范式的數(shù)據(jù)庫(kù)設(shè)計(jì)，往往不是最好的設(shè)計(jì)。為了提高數(shù)據(jù)庫(kù)的運(yùn)行效率，常常需要降低范式標(biāo)準(zhǔn)：適當(dāng)增加冗余，達(dá)到以空間換時(shí)間的目的。

6、若兩個(gè)實(shí)體之間存在多對(duì)多的關(guān)系，則應(yīng)消除這種關(guān)系。消除的辦法是，在兩者之間增加第三個(gè)實(shí)體。這樣，原來(lái)一個(gè)多對(duì)多的關(guān)系，現(xiàn)在變?yōu)閮蓚€(gè)一對(duì)多的關(guān)系。要將原來(lái)兩個(gè)實(shí)體的屬性合理地分配到三個(gè)實(shí)體中去。這里的第三個(gè)實(shí)體，實(shí)質(zhì)上是一個(gè)較復(fù)雜的關(guān)系，它對(duì)應(yīng)一張基本表。一般來(lái)講，數(shù)據(jù)庫(kù)設(shè)計(jì)工具不能識(shí)別多對(duì)多的關(guān)系，但能處理多對(duì)多的關(guān)系。

7、主鍵PK的取值方法，PK是供程序員使用的表間連接工具，可以是一無(wú)物理意義的數(shù)字串, 由程序自動(dòng)加1來(lái)實(shí)現(xiàn)。也可以是有物理意義的字段名或字段名的組合。不過(guò)前者比后者好。當(dāng)PK是字段名的組合時(shí)，建議字段的個(gè)數(shù)不要太多，多了不但索引占用空間大，而且速度也慢。

8、主鍵與外鍵在多表中的重復(fù)出現(xiàn), 不屬于數(shù)據(jù)冗余，這個(gè)概念必須清楚，事實(shí)上有許多人還不清楚。非鍵字段的重復(fù)出現(xiàn), 才是數(shù)據(jù)冗余！而且是一種低級(jí)冗余，即重復(fù)性的冗余。高級(jí)冗余不是字段的重復(fù)出現(xiàn)，而是字段的派生出現(xiàn)。

　　〖例4〗：商品中的“單價(jià)、數(shù)量、金額”三個(gè)字段，“金額”就是由“單價(jià)”乘以“數(shù)量”派生出來(lái)的，它就是冗余，而且是一種高級(jí)冗余。冗余的目的是為了提高處理速度。只有低級(jí)冗余才會(huì)增加數(shù)據(jù)的不一致性，因?yàn)橥粩?shù)據(jù)，可能從不同時(shí)間、地點(diǎn)、角色上多次錄入。因此，我們提倡高級(jí)冗余(派生性冗余)，反對(duì)低級(jí)冗余(重復(fù)性冗余)。

9、中間表是存放統(tǒng)計(jì)數(shù)據(jù)的表，它是為數(shù)據(jù)倉(cāng)庫(kù)、輸出報(bào)表或查詢結(jié)果而設(shè)計(jì)的，有時(shí)它沒(méi)有主鍵與外鍵(數(shù)據(jù)倉(cāng)庫(kù)除外)。臨時(shí)表是程序員個(gè)人設(shè)計(jì)的，存放臨時(shí)記錄，為個(gè)人所用?；砗椭虚g表由DBA維護(hù)，臨時(shí)表由程序員自己用程序自動(dòng)維護(hù)。

10、防止數(shù)據(jù)庫(kù)設(shè)計(jì)打補(bǔ)丁的方法是“三少原則”

　　 (1) 一個(gè)數(shù)據(jù)庫(kù)中表的個(gè)數(shù)越少越好。只有表的個(gè)數(shù)少了，才能說(shuō)明系統(tǒng)的E--R圖少而精，去掉了重復(fù)的多余的實(shí)體，形成了對(duì)客觀世界的高度抽象，進(jìn)行了系統(tǒng)的數(shù)據(jù)集成，防止了打補(bǔ)丁式的設(shè)計(jì)；

　　 (2) 一個(gè)表中組合主鍵的字段個(gè)數(shù)越少越好。因?yàn)橹麈I的作用，一是建主鍵索引，二是做為子表的外鍵，所以組合主鍵的字段個(gè)數(shù)少了，不僅節(jié)省了運(yùn)行時(shí)間，而且節(jié)省了索引存儲(chǔ)空間；

　　 (3) 一個(gè)表中的字段個(gè)數(shù)越少越好。只有字段的個(gè)數(shù)少了，才能說(shuō)明在系統(tǒng)中不存在數(shù)據(jù)重復(fù)，且很少有數(shù)據(jù)冗余，更重要的是督促讀者學(xué)會(huì)“列變行”，這樣就防止了將子表中的字段拉入到主表中去，在主表中留下許多空余的字段。所謂“列變行”，就是將主表中的一部分內(nèi)容拉出去，另外單獨(dú)建一個(gè)子表。這個(gè)方法很簡(jiǎn)單，有的人就是不習(xí)慣、不采納、不執(zhí)行。

　　數(shù)據(jù)庫(kù)設(shè)計(jì)的實(shí)用原則是：在數(shù)據(jù)冗余和處理速度之間找到合適的平衡點(diǎn)?！叭佟笔且粋€(gè)整體概念，綜合觀點(diǎn)，不能孤立某一個(gè)原則。該原則是相對(duì)的，不是絕對(duì)的。“三多”原則肯定是錯(cuò)誤的。試想：若覆蓋系統(tǒng)同樣的功能，一百個(gè)實(shí)體(共一千個(gè)屬性) 的E--R圖，肯定比二百個(gè)實(shí)體(共二千個(gè)屬性)的E--R圖，要好得多。

　　提倡“三少”原則，是叫讀者學(xué)會(huì)利用數(shù)據(jù)庫(kù)設(shè)計(jì)技術(shù)進(jìn)行系統(tǒng)的數(shù)據(jù)集成。數(shù)據(jù)集成的步驟是將文件系統(tǒng)集成為應(yīng)用數(shù)據(jù)庫(kù)，將應(yīng)用數(shù)據(jù)庫(kù)集成為主題數(shù)據(jù)庫(kù)，將主題數(shù)據(jù)庫(kù)集成為全局綜合數(shù)據(jù)庫(kù)。集成的程度越高，數(shù)據(jù)共享性就越強(qiáng)，信息孤島現(xiàn)象就越少，整個(gè)企業(yè)信息系統(tǒng)的全局E—R圖中實(shí)體的個(gè)數(shù)、主鍵的個(gè)數(shù)、屬性的個(gè)數(shù)就會(huì)越少。

　　提倡“三少”原則的目的，是防止讀者利用打補(bǔ)丁技術(shù)，不斷地對(duì)數(shù)據(jù)庫(kù)進(jìn)行增刪改，使企業(yè)數(shù)據(jù)庫(kù)變成了隨意設(shè)計(jì)數(shù)據(jù)庫(kù)表的“垃圾堆”，或數(shù)據(jù)庫(kù)表的“大雜院”，最后造成數(shù)據(jù)庫(kù)中的基本表、代碼表、中間表、臨時(shí)表雜亂無(wú)章，不計(jì)其數(shù)，導(dǎo)致企事業(yè)單位的信息系統(tǒng)無(wú)法維護(hù)而癱瘓。

　　 “三多”原則任何人都可以做到，該原則是“打補(bǔ)丁方法”設(shè)計(jì)數(shù)據(jù)庫(kù)的歪理學(xué)說(shuō)?！叭佟痹瓌t是少而精的原則，它要求有較高的數(shù)據(jù)庫(kù)設(shè)計(jì)技巧與藝術(shù)，不是任何人都能做到的，因?yàn)樵撛瓌t是杜絕用“打補(bǔ)丁方法”設(shè)計(jì)數(shù)據(jù)庫(kù)的理論依據(jù)。

11、在給定的系統(tǒng)硬件和系統(tǒng)軟件條件下，提高數(shù)據(jù)庫(kù)系統(tǒng)的運(yùn)行效率的辦法是：

　　 (1) 在數(shù)據(jù)庫(kù)物理設(shè)計(jì)時(shí)，降低范式，增加冗余, 少用觸發(fā)器, 多用存儲(chǔ)過(guò)程。
　　 (2) 當(dāng)計(jì)算非常復(fù)雜、而且記錄條數(shù)非常巨大時(shí)(例如一千萬(wàn)條)，復(fù)雜計(jì)算要先在數(shù)據(jù)庫(kù)外面，以文件系統(tǒng)方式用編程語(yǔ)言計(jì)算處理完成之后，最后才入庫(kù)追加到表中去。

　　 (3) 發(fā)現(xiàn)某個(gè)表的記錄太多，例如超過(guò)一千萬(wàn)條，則要對(duì)該表進(jìn)行水平分割。水平分割的做法是，以該表主鍵PK的某個(gè)值為界線，將該表的記錄水平分割為兩個(gè)表。若發(fā)現(xiàn)某個(gè)表的字段太多，例如超過(guò)八十個(gè)，則垂直分割該表，將原來(lái)的一個(gè)表分解為兩個(gè)表。

　　 (4) 對(duì)數(shù)據(jù)庫(kù)管理系統(tǒng)DBMS進(jìn)行系統(tǒng)優(yōu)化，即優(yōu)化各種系統(tǒng)參數(shù)，如緩沖區(qū)個(gè)數(shù)。
　　 (5) 在使用面向數(shù)據(jù)的SQL語(yǔ)言進(jìn)行程序設(shè)計(jì)時(shí)，盡量采取優(yōu)化算法。
　　總之，要提高數(shù)據(jù)庫(kù)的運(yùn)行效率，必須從數(shù)據(jù)庫(kù)系統(tǒng)級(jí)優(yōu)化、數(shù)據(jù)庫(kù)設(shè)計(jì)級(jí)優(yōu)化、程序?qū)崿F(xiàn)級(jí)優(yōu)化，這三個(gè)層次上同時(shí)下功夫。

主鍵設(shè)計(jì)：
1、不建議用多個(gè)字段做主鍵，單個(gè)表還可以，但是關(guān)聯(lián)關(guān)系就會(huì)有問(wèn)題，主鍵自增是高性能的。

2、一般情況下，如果有兩個(gè)外鍵，不建議采用兩個(gè)外鍵作為聯(lián)合住建，另建一個(gè)字段作為主鍵。除非這條記錄沒(méi)有邏輯刪除標(biāo)志，且該表永遠(yuǎn)只有一條此聯(lián)合主鍵的記錄。

3、一般而言，一個(gè)實(shí)體不能既無(wú)主鍵又無(wú)外鍵。在E—R 圖中, 處于葉子部位的實(shí)體, 可以定義主鍵，也可以不定義主鍵(因?yàn)樗鼰o(wú)子孫), 但必須要有外鍵(因?yàn)樗懈赣H)。
主鍵與外鍵的設(shè)計(jì)，在全局?jǐn)?shù)據(jù)庫(kù)的設(shè)計(jì)中，占有重要地位。當(dāng)全局?jǐn)?shù)據(jù)庫(kù)的設(shè)計(jì)完成以后，有個(gè)美國(guó)數(shù)據(jù)庫(kù)設(shè)計(jì)專家說(shuō)：“鍵，到處都是鍵，除了鍵之外，什么也沒(méi)有”，這就是他的數(shù)據(jù)庫(kù)設(shè)計(jì)經(jīng)驗(yàn)之談，也反映了他對(duì)信息系統(tǒng)核心(數(shù)據(jù)模型)的高度抽象思想。因?yàn)椋褐麈I是實(shí)體的高度抽象，主鍵與、外鍵的配對(duì)，表示實(shí)體之間的連接。