電商網(wǎng)站是怎么處理大數(shù)據(jù)和并發(fā)架構(gòu)網(wǎng)站

今天和一個做某超市的電商的一個技術(shù)核心聊的時候，發(fā)現(xiàn)了一個很重要的信息，我不斷的去思考和挖掘它們是怎么去應(yīng)對大數(shù)據(jù)已經(jīng)淘寶的電商網(wǎng)站的架構(gòu)是如何的。其中得出一下幾點心得，第一：服務(wù)器負責(zé)均衡，第二：數(shù)據(jù)庫主從分離，第三：安全性。

　　第一點服務(wù)器負責(zé)均衡:

　　web 負載均衡的作用就是把請求均勻的分配給各個節(jié)點，它是一種動態(tài)均衡，通過一些工具實時地分析數(shù)據(jù)包，掌握網(wǎng)絡(luò)中的數(shù)據(jù)流量狀況，把請求理分配出去。對于不同的應(yīng)用環(huán)境(如電子商務(wù)網(wǎng)站，它的計 算負荷大;再如網(wǎng)絡(luò)數(shù)據(jù)庫應(yīng)用，讀寫頻繁，服務(wù)器的存儲子系統(tǒng)系統(tǒng)面臨很大壓力;再如視頻服務(wù)應(yīng)用，數(shù)據(jù)傳輸量大，網(wǎng)絡(luò)接口負擔(dān)重壓。)，使用的均衡策略 (算法)是不同的。 所以均衡策略(算法)也就有了多種多樣的形式，廣義上的負載均衡既可以設(shè)置專門的網(wǎng)關(guān)、負載均衡器，也可以通過一些專用軟件與協(xié)議來實現(xiàn)。在OSI七層協(xié)議模型中的第二(數(shù)據(jù)鏈路層)、第三(網(wǎng)絡(luò)層)、第四(傳輸層)、第七層(應(yīng)用層)都有相應(yīng)的負載均衡策略(算法)，在數(shù)據(jù)鏈路層上實現(xiàn)負載均衡的原理是根據(jù)數(shù)據(jù)包的目的MAC地址選擇不同的路徑;在網(wǎng)絡(luò)層上可利用基于IP地址的分配方式將數(shù)據(jù)流疏通到多個節(jié)點;而傳輸層和應(yīng)用層的交換(Switch)，本身便是一種基于訪問流量的控制方式，能夠?qū)崿F(xiàn)負載均衡。

　　目前，基于負載均衡的算法主要有三種：輪循(Round-Robin)、最小連接數(shù)(Least Connections First)，和快速響應(yīng)優(yōu)先(Faster Response Precedence)。

　?、佥喲惴?，就是將來自網(wǎng)絡(luò)的請求依次分配給集群中的節(jié)點進行處理。

　?、谧钚∵B接數(shù)算法，就是為集群中的每臺服務(wù)器設(shè)置一個記數(shù)器，記錄每個服務(wù)器當(dāng)前的連接數(shù)，負載均衡系統(tǒng)總是選擇當(dāng)前連接數(shù)最少的服務(wù)器分配任務(wù)。 這要比"輪循算法"好很多，因為在有些場合中，簡單的輪循不能判斷哪個節(jié)點的負載更低，也許新的工作又被分配給了一個已經(jīng)很忙的服務(wù)器了。

　　③快速響應(yīng)優(yōu)先算法，是根據(jù)群集中的節(jié)點的狀態(tài)(CPU、內(nèi)存等主要處理部分)來分配任務(wù)。 這一點很難做到，事實上到目前為止，采用這個算法的負載均衡系統(tǒng)還很少。尤其對于硬件負載均衡設(shè)備來說，只能在TCP/IP協(xié)議方面做工作，幾乎不可能深入到服務(wù)器的處理系統(tǒng)中進行監(jiān)測。但是它是未來發(fā)展的方向。

　　上面是負載均衡常用的算法，基于以上負載均衡算法的使用方式上，又分為如下幾種：

　　1、DNS輪詢

　　最早的負載均衡技術(shù)是通過DNS來實現(xiàn)的，在DNS中為多個地址配置同一個名字，因而查詢這個名字的客戶機將得到其中一個地址，從而使得不同的客戶訪問不同的服務(wù)器，達到負載均衡的目的。

　　DNS負載均衡是一種簡單而有效的方法，但是它不能區(qū)分服務(wù)器的差異，也不能反映服務(wù)器的當(dāng)前運行狀態(tài)。當(dāng)使用DNS負載均衡的時候，必須盡量保證不同的 客戶計算機能均勻獲得不同的地址。由于DNS數(shù)據(jù)具備刷新時間標志，一旦超過這個時間限制，其他DNS服務(wù)器就需要和這個服務(wù)器交互，以重新獲得地址數(shù) 據(jù)，就有可能獲得不同IP地址。因此為了使地址能隨機分配，就應(yīng)使刷新時間盡量短，不同地方的DNS服務(wù)器能更新對應(yīng)的地址，達到隨機獲得地址，然而將過 期時間設(shè)置得過短，將使DNS流量大增，而造成額外的網(wǎng)絡(luò)問題。DNS負載均衡的另一個問題是，一旦某個服務(wù)器出現(xiàn)故障，即使及時修改了DNS設(shè)置，還是 要等待足夠的時間(刷新時間)才能發(fā)揮作用，在此期間，保存了故障服務(wù)器地址的客戶計算機將不能正常訪問服務(wù)器

　　2、反向代理服務(wù)器

　　使用代理服務(wù)器，可以將請求轉(zhuǎn)發(fā)給內(nèi)部的服務(wù)器，使用這種加速模式顯然可以提升靜態(tài)網(wǎng)頁的訪問速度。然而，也可以考慮這樣一種技術(shù)，使用代理服務(wù)器將請求均勻轉(zhuǎn)發(fā)給多臺服務(wù)器，從而達到負載均衡的目的。

　　這種代理方式與普通的代理方式有所不同，標準代理方式是客戶使用代理訪問多個外部服務(wù)器，而這種代理方式是代理多個客戶訪問內(nèi)部服務(wù)器，因此也被稱為反向代理模式。雖然實現(xiàn)這個任務(wù)并不算是特別復(fù)雜，然而由于要求特別高的效率，實現(xiàn)起來并不簡單。

　　使用反向代理的好處是，可以將負載均衡和代理服務(wù)器的高速緩存技術(shù)結(jié)合在一起，提供有益的性能。然而它本身也存在一些問題，首先就是必須為每一種服務(wù)都專門開發(fā)一個反向代理服務(wù)器，這就不是一個輕松的任務(wù)。

　　代理服務(wù)器本身雖然可以達到很高效率，但是針對每一次代理，代理服務(wù)器就必須維護兩個連接，一個對外的連接，一個對內(nèi)的連接，因此對于特別高的連接請求， 代理服務(wù)器的負載也就非常之大。反向代理方式下能應(yīng)用優(yōu)化的負載均衡策略，每次訪問最空閑的內(nèi)部服務(wù)器來提供服務(wù)。但是隨著并發(fā)連接數(shù)量的增加，代理服務(wù) 器本身的負載也變得非常大，最后反向代理服務(wù)器本身會成為服務(wù)的瓶頸。

　　3、地址轉(zhuǎn)換網(wǎng)關(guān)

　　支持負載均衡的地址轉(zhuǎn)換網(wǎng)關(guān)，可以將一個外部IP地址映射為多個內(nèi)部IP地址，對每次TCP連接請求動態(tài)使用其中一個內(nèi)部地址，達到負載均衡的目的。很多 硬件廠商將這種技術(shù)集成在他們的交換機中，作為他們第四層交換的一種功能來實現(xiàn)，一般采用隨機選擇、根據(jù)服務(wù)器的連接數(shù)量或者響應(yīng)時間進行選擇的負載均衡 策略來分配負載。由于地址轉(zhuǎn)換相對來講比較接近網(wǎng)絡(luò)的低層，因此就有可能將它集成在硬件設(shè)備中，通常這樣的硬件設(shè)備是局域網(wǎng)交換機。

　　第二：數(shù)據(jù)庫主從關(guān)系的映射：

　　很重要一個信息就是數(shù)據(jù)庫的分離，電商的數(shù)據(jù)庫業(yè)務(wù)是這樣做的，業(yè)務(wù)數(shù)據(jù)的增刪改進行的是在主數(shù)據(jù)庫的操作，全部的查詢都是在從數(shù)據(jù)庫操作，大家可能就會有疑問了，那么怎么保證數(shù)據(jù)的一致性呢，是因為數(shù)據(jù)庫服務(wù)進行映射和配置，當(dāng)主數(shù)據(jù)庫發(fā)生了數(shù)據(jù)變化會立刻同步到所有的從數(shù)據(jù)庫。這樣的做法的好處就是減少數(shù)據(jù)庫服務(wù)器的壓力。從而大大的提升查詢和性能。真是一種聰明的做法。