如何實(shí)現(xiàn)更節(jié)能的數(shù)據(jù)存儲(chǔ)和分析？

面對(duì)當(dāng)前這樣的商業(yè)環(huán)境：在每一條現(xiàn)有的渠道上全天候不間斷地開展業(yè)務(wù)，公司需要收集、存儲(chǔ)、跟蹤和分析海量數(shù)據(jù)——從點(diǎn)擊流數(shù)據(jù)和事件日志到手機(jī)通話記錄的各種數(shù)據(jù)。

而這一切都是需要企業(yè)和環(huán)境付出成本的：數(shù)據(jù)倉庫和存放數(shù)據(jù)倉庫的龐大數(shù)據(jù)中心耗用大量電能，運(yùn)行大批服務(wù)器和冷卻服務(wù)器都需要耗電。那么，這方面的耗電量有多大呢？據(jù)估計(jì)，每年的耗電量多達(dá)驚人的610億千瓦時(shí)，據(jù)估計(jì)成本高達(dá)45億美元。

IT行業(yè)已經(jīng)開始通過各種方法，應(yīng)對(duì)數(shù)據(jù)中心能耗巨大的問題，包括使用更高效的冷卻系統(tǒng)、虛擬化技術(shù)、刀片服務(wù)器和存儲(chǔ)區(qū)域網(wǎng)絡(luò)。但一個(gè)根本的挑戰(zhàn)仍然存在——隨著數(shù)據(jù)量急劇增加，注重硬件設(shè)備的數(shù)據(jù)倉庫方法只能繼續(xù)通過部署更多硬件來應(yīng)對(duì)這個(gè)問題。這樣一來，通過更好的冷卻技術(shù)或結(jié)構(gòu)更緊湊的服務(wù)器在節(jié)能方面獲得的任何好處很快就蕩然無存。

為了盡量縮減硬件足跡（hardware footprint），許多企業(yè)還通過首先搞清楚信息分析需要多少服務(wù)器空間和資源，以減小“數(shù)據(jù)足跡”（data footprint）。如果企業(yè)能將明顯旨在分析海量數(shù)據(jù)的新型數(shù)據(jù)庫技術(shù)和成本合理、高效利用資源的開源軟件結(jié)合起來，就有助于節(jié)省資金、提高節(jié)能效果。

企業(yè)可以從以下三個(gè)主要方面來開展這項(xiàng)工作：縮減數(shù)據(jù)足跡、減少部署資源以及減少日常管理和維護(hù)。下面更深入地分析每個(gè)方面：

一、縮減數(shù)據(jù)足跡。

近年來，面向列的數(shù)據(jù)庫已被許多人認(rèn)為是分析海量數(shù)據(jù)的首選架構(gòu)。面向列的數(shù)據(jù)庫是以逐列的方式，而不是逐行的方式來存儲(chǔ)數(shù)據(jù)。這有許多優(yōu)點(diǎn)。大多數(shù)分析查詢只涉及表中的一小部分列，所以面向列的數(shù)據(jù)庫只要關(guān)注檢索需要的那部分?jǐn)?shù)據(jù)。這加快了查詢速度，又減少了磁盤的輸入/輸出和計(jì)算資源。

此外，這種數(shù)據(jù)庫能夠高效地壓縮數(shù)據(jù)，因?yàn)槊恳涣兄淮鎯?chǔ)了一種數(shù)據(jù)類型，而不是每一行通常含有幾種數(shù)據(jù)類型?？梢葬槍?duì)每一種數(shù)據(jù)類型來優(yōu)化壓縮，這減小了數(shù)據(jù)庫所需的存儲(chǔ)量。面向列的數(shù)據(jù)庫還大大加快了查詢處理速度，因而大幅增加了服務(wù)器能夠處理的并發(fā)查詢數(shù)量。

如今市面上有一系列面向列的解決方案。有些重復(fù)數(shù)據(jù)所需要的硬件足跡與基于行的傳統(tǒng)系統(tǒng)一樣大。另一些解決方案將列技術(shù)與其他技術(shù)相結(jié)合，因而不需要重復(fù)數(shù)據(jù)。這就意味著用戶不需要一樣多的服務(wù)器或一樣大的存儲(chǔ)器來分析同樣多的數(shù)據(jù)。

比如說，一些面向列的數(shù)據(jù)庫能夠達(dá)到的壓縮效果從10:1（一個(gè)10TB的數(shù)據(jù)庫變成1TB的數(shù)據(jù)庫）到40：1以上，具體取決于數(shù)據(jù)。借助這樣的壓縮級(jí)別，分布式服務(wù)器環(huán)境就可以縮小20倍至50倍，可縮減至單單一個(gè)設(shè)備——大幅減少了散熱量、耗電量和碳排放量。

虛擬數(shù)據(jù)集市也閃亮登場(chǎng)，充分利用企業(yè)信息集成（EII）技術(shù)，讓用戶能夠以精準(zhǔn)的視角了解數(shù)據(jù)集，又不需要物理存儲(chǔ)器。這種方法的缺點(diǎn)是，復(fù)雜查詢速度可能很慢，分析要求需要以近實(shí)時(shí)的方式查詢數(shù)據(jù)時(shí)，這會(huì)是個(gè)問題。

開源碼軟件則進(jìn)一步提高了資源的利用效率，因?yàn)樗ǔ２恍枰獙Ｓ杏布驅(qū)I(yè)設(shè)備。

二、減少部署資源。

新的數(shù)據(jù)庫技術(shù)結(jié)合開源技術(shù)，還能帶來更簡(jiǎn)單的、“自己動(dòng)手”的測(cè)試和部署模式。這大大減少了讓分析解決方案投入運(yùn)行起來所需的資源數(shù)量。

考慮一下采購(gòu)和部署傳統(tǒng)的專有解決方案可能需要的資源：漫長(zhǎng)的產(chǎn)品評(píng)估過程之后，很可能需要廠商派人到客戶現(xiàn)場(chǎng)，安裝和配置硬件和設(shè)備。從自然環(huán)境和公司利潤(rùn)的角度來看，成本包括差旅費(fèi)（乘飛機(jī)旅行、租車和酒店住宿）以及硬件（多臺(tái)服務(wù)器、冷卻設(shè)備和連接線材），還有人員（對(duì)解決方案進(jìn)行定制可能需要整整一隊(duì)專家。）

借助新的開源技術(shù)，軟件可以從網(wǎng)上下載。另外，軟件設(shè)計(jì)成了易于安裝，那樣一個(gè)人就能負(fù)責(zé)安裝和部署。支持需求也減少了，這意味著問題可以通過電話會(huì)議來解決，而不是通過人員當(dāng)面趕到現(xiàn)場(chǎng)來解決，后者不但成本更高，還存在碳排放問題。

三、減少日常管理和維護(hù)。

由于傳統(tǒng)的數(shù)據(jù)倉庫解決方案通常用來處理特定類型的查詢?nèi)蝿?wù)，所以它們不是特別適合這種環(huán)境：數(shù)據(jù)管理要求不斷變化，而實(shí)時(shí)分析又至關(guān)重要。（事實(shí)上，實(shí)時(shí)動(dòng)態(tài)的需求在網(wǎng)絡(luò)主導(dǎo)的世界幾乎很普遍。）如果改動(dòng)這類解決方案，以便能處理特定查詢，就需要工作量繁重的手動(dòng)微調(diào)，因而會(huì)大量耗用IT資源。

比如說，試圖運(yùn)行一組復(fù)雜的分析查詢，此外還要針對(duì)旨在存儲(chǔ)海量IT日志數(shù)據(jù)的數(shù)據(jù)倉庫，不斷改變模式（schema），這就好比試圖用字典來查找駕駛方向。這需要全面地重新配置底層數(shù)據(jù)結(jié)構(gòu)，要求數(shù)據(jù)庫設(shè)計(jì)人員創(chuàng)建索引和數(shù)據(jù)分區(qū)。索引和分區(qū)還會(huì)增加數(shù)據(jù)大??；在某些情況下，會(huì)將數(shù)據(jù)大小增加兩倍或更多。

相比之下，一些新的分析數(shù)據(jù)庫產(chǎn)品消除了這些手動(dòng)工作和日常工作，可以提供一種更“類似谷歌”的體驗(yàn)，那樣用戶就可以輕松地利用軟件，答復(fù)多種類型的問題。這種級(jí)別的靈活性有望將日常維護(hù)和操作支持最多減少90%。公司只要開發(fā)一款可以由許多人使用的解決方案，就能優(yōu)化人員的使用，還能優(yōu)化時(shí)間和資金方面的投入。此外，數(shù)據(jù)分析方面更高的工作效率意味著，可以在不犧牲性能的情況下，減少所用的硬件。

眼下一些公司甚至在改用外包的操作管理，進(jìn)一步減少公司內(nèi)部所需的資源數(shù)量。易于使用和維護(hù)的分析、集成和智能解決方案非常適合這種辦法，因?yàn)樗鼈兒苋菀子赏獍峁┥虂磉M(jìn)行管理。