大數(shù)據(jù)、高性能環(huán)境對(duì)存儲(chǔ)的需求

一直以來(lái)，高性能計(jì)算的主要目的就是提高運(yùn)算速度，來(lái)解決大規(guī)模科學(xué)計(jì)算和海量數(shù)據(jù)的處理問(wèn)題。高性能計(jì)算每秒萬(wàn)億次級(jí)的強(qiáng)大計(jì)算能力，使其成為石油、生物勘探、氣象預(yù)測(cè)、生命科學(xué)研究等領(lǐng)域的重要技術(shù)選擇。但是隨著數(shù)據(jù)量以及數(shù)據(jù)價(jià)值的不斷增長(zhǎng)，金融、電信、互聯(lián)網(wǎng)等領(lǐng)域?qū)Ω咝阅苡?jì)算的需求不斷加大。隨著技術(shù)的發(fā)展，高性能計(jì)算系統(tǒng)的處理能力越來(lái)越強(qiáng)，任務(wù)的計(jì)算時(shí)間越來(lái)越短，對(duì)業(yè)務(wù)的價(jià)值不斷提高。但是，要想實(shí)現(xiàn)快速的任務(wù)計(jì)算處理，高性能計(jì)算系統(tǒng)的存儲(chǔ)能力是關(guān)鍵。因?yàn)樵谟?jì)算開(kāi)始，要從存儲(chǔ)系統(tǒng)中讀取數(shù)據(jù)；計(jì)算結(jié)束時(shí)，要向存儲(chǔ)系統(tǒng)中寫(xiě)入計(jì)算后的結(jié)果。如果這之間的讀取和寫(xiě)入速度不匹配，不僅會(huì)拖延高性能項(xiàng)目的完成周期，低延遲還會(huì)嚴(yán)重影響高性能創(chuàng)造價(jià)值的能力。通常，高性能計(jì)算要求存儲(chǔ)系統(tǒng)能夠滿足性能、可擴(kuò)展性要求，保護(hù)投資回報(bào)：吞吐量達(dá)到幾個(gè)甚至幾十個(gè)GB/s ，容量能擴(kuò)展至PB級(jí)；透明的訪問(wèn)和數(shù)據(jù)共享；集中式的智能化管理，高性價(jià)比；可按需獨(dú)立擴(kuò)展容量和性能等。中橋分析師在深圳華大基因研究院實(shí)地測(cè)試了EMC Isilon 產(chǎn)品在其HPC 環(huán)境下的運(yùn)行情況，并記錄下其結(jié)果。

   背景
    高性能計(jì)算（High Performance Computing—HPC ）指通常使用很多處理器（作為單個(gè)機(jī)器的一部分）或者某一集群組織中幾臺(tái)計(jì)算機(jī)（作為單個(gè)計(jì)算資源操作）的計(jì)算系統(tǒng)和環(huán)境。長(zhǎng)期以來(lái)，高性能計(jì)算應(yīng)用的主要領(lǐng)域是科學(xué)與工程計(jì)算，諸如高能物理、核爆炸模擬、氣象預(yù)報(bào)、石油勘探、地震預(yù)報(bào)、地球模擬、藥品研制、CAD 設(shè)計(jì)中的仿真與建模、流體力學(xué)的計(jì)算等。如今，像金融證券、政府信息化、電信行業(yè)、教育、企業(yè)、網(wǎng)絡(luò)游戲等領(lǐng)域?qū)PC的需求也在迅猛增長(zhǎng)。
   高性能計(jì)算的應(yīng)用
    高性能計(jì)算有著廣泛的行業(yè)應(yīng)用基礎(chǔ)，下面列舉幾個(gè)行業(yè)對(duì)高性能計(jì)算的應(yīng)用需求：
   1. 航空航天行業(yè)
    在航空航天行業(yè)，隨著中國(guó)航空航天事業(yè)的快速發(fā)展，尤其是載人航天技術(shù)的巨大成功，我國(guó)科技人員對(duì)空氣動(dòng)力學(xué)的數(shù)值模擬研究提出了越來(lái)越多的需求，常規(guī)的計(jì)算能力遠(yuǎn)遠(yuǎn)無(wú)法滿足復(fù)雜的大型飛行器設(shè)計(jì)所帶來(lái)的巨大需求。在航空航天企業(yè)的設(shè)計(jì)過(guò)程中，研究人員往往需要把飛機(jī)表面分成幾百萬(wàn)甚至幾千萬(wàn)個(gè)離散型的網(wǎng)格點(diǎn)，然后通過(guò)高性能計(jì)算平臺(tái)求解方程，得出每個(gè)網(wǎng)格點(diǎn)的溫度、速度、摩擦力等各種參數(shù)，并模擬出連續(xù)型的曲線，進(jìn)而為飛機(jī)設(shè)計(jì)提供寶貴的參考資料。對(duì)這類(lèi)計(jì)算來(lái)說(shuō)，網(wǎng)格點(diǎn)分割得越細(xì)密，計(jì)算結(jié)果的精確度也就越好。但是這些大規(guī)模設(shè)計(jì)計(jì)算問(wèn)題不但單個(gè)作業(yè)計(jì)算量龐大，且需不斷調(diào)整、重復(fù)計(jì)算，因此高性能在航天航空行業(yè)中占據(jù)著舉足輕重的地位。
    2. 能源行業(yè)
    石油能源作為國(guó)家戰(zhàn)略資源，對(duì)于國(guó)家經(jīng)濟(jì)、安全、軍事等各方面都具有非常重要的戰(zhàn)略意義。石油勘探承擔(dān)著尋找儲(chǔ)油構(gòu)造、確定井位的重要任務(wù)。目前的主流做法就是人為的制造相應(yīng)規(guī)模的地震（視勘探地區(qū)面積與深度不同），同時(shí)在相應(yīng)的地層遍布若干震波收集點(diǎn)。由于不同材料的地質(zhì)環(huán)境對(duì)地震波的影響是有規(guī)可循的，所以借助這一點(diǎn)，通過(guò)相關(guān)的算法，即可以通過(guò)對(duì)地震波的傳遞演算來(lái)“計(jì)算出”地質(zhì)結(jié)構(gòu)，從而找出我們所需要的能源位置。這種計(jì)算量無(wú)疑是異常龐大的，由于地震波法勘探收集的數(shù)據(jù)通常都以TB計(jì)，近年來(lái)海洋油氣勘探所采集的數(shù)據(jù)甚至開(kāi)始向PB規(guī)模發(fā)展。為此，只有借助高性能計(jì)算，才能在最短的時(shí)間內(nèi)處理這些海量數(shù)據(jù)。
   3. 生命科學(xué)
    在現(xiàn)代生命科學(xué)領(lǐng)域，以數(shù)據(jù)為驅(qū)動(dòng)力的改變正引發(fā)著巨大的變革。海量生物數(shù)據(jù)的分析將會(huì)增強(qiáng)疾病的實(shí)時(shí)監(jiān)控能力和對(duì)潛在流行病做出反應(yīng)的能力，但海量數(shù)據(jù)的挖掘、處理、存儲(chǔ)卻面臨著前所未有的挑戰(zhàn)。特別是隨著新一代測(cè)序技術(shù)的迅猛發(fā)展，基因組學(xué)研究產(chǎn)生的海量數(shù)據(jù)正以每12- 18個(gè)月10倍的速度增長(zhǎng)，已遠(yuǎn)超越著名的摩爾定律，這使得眾多生物企業(yè)和科研機(jī)構(gòu)面臨強(qiáng)大的數(shù)據(jù)分析和存儲(chǔ)需求。
    在國(guó)內(nèi)，生物基因行業(yè)的發(fā)展勢(shì)頭也不可小覷。2011年1 月30日，國(guó)家發(fā)改委已批復(fù)同意深圳依托華大基因研究院組建國(guó)家基因庫(kù)，這是中國(guó)首次建立國(guó)家級(jí)基因庫(kù)，首期投資為1500萬(wàn)元。深圳國(guó)家基因庫(kù)是一個(gè)服務(wù)于國(guó)家戰(zhàn)略需求的國(guó)家級(jí)公益性創(chuàng)新科研及產(chǎn)業(yè)基礎(chǔ)設(shè)施建設(shè)項(xiàng)目，是目前我國(guó)唯一一個(gè)獲批籌建的國(guó)家級(jí)基因庫(kù)，是全球僅次美國(guó)、日本和歐洲三個(gè)國(guó)家級(jí)基因庫(kù)之后的世界第四個(gè)國(guó)家級(jí)基因庫(kù)?，F(xiàn)在，該國(guó)家基因庫(kù)已經(jīng)收集了100 萬(wàn)GB的生物數(shù)據(jù)，包含基因組、轉(zhuǎn)錄組、蛋白質(zhì)組、代謝組及表型的數(shù)據(jù)，同時(shí)也積累了約四十萬(wàn)份生物樣本。預(yù)計(jì)該基因庫(kù)最終將達(dá)到10億GB級(jí)別的數(shù)據(jù)容量。深圳國(guó)家基因庫(kù)和國(guó)際上已有的基因庫(kù)相比，它的特點(diǎn)是既有“濕庫(kù)”也有“干庫(kù)”：前者把千萬(wàn)種實(shí)體的動(dòng)植物、微生物和人類(lèi)組織細(xì)胞等資源和樣本納入網(wǎng)絡(luò)；后者匯集巨量的核酸、基因表達(dá)、蛋白、表型等多類(lèi)數(shù)據(jù)信息，成為“大數(shù)據(jù)”生物學(xué)時(shí)代研究生物生長(zhǎng)發(fā)育、疾病、衰老、死亡以及向產(chǎn)業(yè)化推廣的利器。
   4. 金融行業(yè)
    金融說(shuō)到底就是數(shù)據(jù)。在金融市場(chǎng)中，擁有速度就意味著更高的生產(chǎn)力和更多的市場(chǎng)份額。金融計(jì)算模型相當(dāng)復(fù)雜，數(shù)據(jù)收集越多，計(jì)算結(jié)果越精確。金融分析師都迫切地需要一個(gè)能模擬復(fù)雜現(xiàn)實(shí)環(huán)境，并進(jìn)行精確處理的金融計(jì)算程序，以便對(duì)每個(gè)投資產(chǎn)品及時(shí)地評(píng)估投資收益，衡量投資風(fēng)險(xiǎn)，以期獲得更好的投資回報(bào)。也正因此，高性能計(jì)算已經(jīng)越來(lái)越多地應(yīng)用到全球資本市場(chǎng)，以期在最短時(shí)間內(nèi)實(shí)現(xiàn)對(duì)市場(chǎng)的動(dòng)態(tài)響應(yīng)與轉(zhuǎn)換。
    5. 氣象預(yù)報(bào)
    世紀(jì)二十年代初，天氣預(yù)報(bào)方程已基本建立。但只有在計(jì)算機(jī)出現(xiàn)以后，數(shù)值天氣預(yù)報(bào)才成為可能。而在使用并行計(jì)算機(jī)系統(tǒng)之前，由于受處理能力的限制，只能做到24小時(shí)天氣預(yù)報(bào)。高性能計(jì)算是解決數(shù)值預(yù)報(bào)中大規(guī)?？茖W(xué)計(jì)算必要手段。采用高性能計(jì)算技術(shù)，可以從提高分辨率來(lái)提高預(yù)報(bào)精度。
   6. 游戲動(dòng)漫和影視產(chǎn)業(yè)
    隨著3D、4D電影的興起和高清動(dòng)漫趨熱，由高性能計(jì)算（HPC ）集群構(gòu)成的“渲染農(nóng)場(chǎng)”已經(jīng)成為三維動(dòng)畫(huà)、影視特效公司不可或缺的生產(chǎn)工具。動(dòng)漫渲染基于一套完整的程序進(jìn)行計(jì)算，從而通過(guò)模型、光線、材質(zhì)、陰影等元素的組合設(shè)定，將動(dòng)漫設(shè)計(jì)轉(zhuǎn)化為具體圖像。以《玩具總動(dòng)員》為例，如果僅使用單臺(tái)工作站（單一處理器）進(jìn)行動(dòng)畫(huà)渲染，這部長(zhǎng)達(dá)77分鐘的影片的渲染時(shí)間將會(huì)是43年，而采用集群渲染系統(tǒng)，只需約80天。