大數(shù)據(jù)、高性能環(huán)境對存儲的需求

一直以來，高性能計算的主要目的就是提高運算速度，來解決大規(guī)?？茖W(xué)計算和海量數(shù)據(jù)的處理問題。高性能計算每秒萬億次級的強大計算能力，使其成為石油、生物勘探、氣象預(yù)測、生命科學(xué)研究等領(lǐng)域的重要技術(shù)選擇。但是隨著數(shù)據(jù)量以及數(shù)據(jù)價值的不斷增長，金融、電信、互聯(lián)網(wǎng)等領(lǐng)域?qū)Ω咝阅苡嬎愕男枨蟛粩嗉哟?。隨著技術(shù)的發(fā)展，高性能計算系統(tǒng)的處理能力越來越強，任務(wù)的計算時間越來越短，對業(yè)務(wù)的價值不斷提高。但是，要想實現(xiàn)快速的任務(wù)計算處理，高性能計算系統(tǒng)的存儲能力是關(guān)鍵。因為在計算開始，要從存儲系統(tǒng)中讀取數(shù)據(jù)；計算結(jié)束時，要向存儲系統(tǒng)中寫入計算后的結(jié)果。如果這之間的讀取和寫入速度不匹配，不僅會拖延高性能項目的完成周期，低延遲還會嚴(yán)重影響高性能創(chuàng)造價值的能力。通常，高性能計算要求存儲系統(tǒng)能夠滿足性能、可擴展性要求，保護(hù)投資回報：吞吐量達(dá)到幾個甚至幾十個GB/s ，容量能擴展至PB級；透明的訪問和數(shù)據(jù)共享；集中式的智能化管理，高性價比；可按需獨立擴展容量和性能等。中橋分析師在深圳華大基因研究院實地測試了EMC Isilon 產(chǎn)品在其HPC 環(huán)境下的運行情況，并記錄下其結(jié)果。

   背景
    高性能計算（High Performance Computing—HPC ）指通常使用很多處理器（作為單個機器的一部分）或者某一集群組織中幾臺計算機（作為單個計算資源操作）的計算系統(tǒng)和環(huán)境。長期以來，高性能計算應(yīng)用的主要領(lǐng)域是科學(xué)與工程計算，諸如高能物理、核爆炸模擬、氣象預(yù)報、石油勘探、地震預(yù)報、地球模擬、藥品研制、CAD 設(shè)計中的仿真與建模、流體力學(xué)的計算等。如今，像金融證券、政府信息化、電信行業(yè)、教育、企業(yè)、網(wǎng)絡(luò)游戲等領(lǐng)域?qū)PC的需求也在迅猛增長。
   高性能計算的應(yīng)用
    高性能計算有著廣泛的行業(yè)應(yīng)用基礎(chǔ)，下面列舉幾個行業(yè)對高性能計算的應(yīng)用需求：
   1. 航空航天行業(yè)
    在航空航天行業(yè)，隨著中國航空航天事業(yè)的快速發(fā)展，尤其是載人航天技術(shù)的巨大成功，我國科技人員對空氣動力學(xué)的數(shù)值模擬研究提出了越來越多的需求，常規(guī)的計算能力遠(yuǎn)遠(yuǎn)無法滿足復(fù)雜的大型飛行器設(shè)計所帶來的巨大需求。在航空航天企業(yè)的設(shè)計過程中，研究人員往往需要把飛機表面分成幾百萬甚至幾千萬個離散型的網(wǎng)格點，然后通過高性能計算平臺求解方程，得出每個網(wǎng)格點的溫度、速度、摩擦力等各種參數(shù)，并模擬出連續(xù)型的曲線，進(jìn)而為飛機設(shè)計提供寶貴的參考資料。對這類計算來說，網(wǎng)格點分割得越細(xì)密，計算結(jié)果的精確度也就越好。但是這些大規(guī)模設(shè)計計算問題不但單個作業(yè)計算量龐大，且需不斷調(diào)整、重復(fù)計算，因此高性能在航天航空行業(yè)中占據(jù)著舉足輕重的地位。
    2. 能源行業(yè)
    石油能源作為國家戰(zhàn)略資源，對于國家經(jīng)濟、安全、軍事等各方面都具有非常重要的戰(zhàn)略意義。石油勘探承擔(dān)著尋找儲油構(gòu)造、確定井位的重要任務(wù)。目前的主流做法就是人為的制造相應(yīng)規(guī)模的地震（視勘探地區(qū)面積與深度不同），同時在相應(yīng)的地層遍布若干震波收集點。由于不同材料的地質(zhì)環(huán)境對地震波的影響是有規(guī)可循的，所以借助這一點，通過相關(guān)的算法，即可以通過對地震波的傳遞演算來“計算出”地質(zhì)結(jié)構(gòu)，從而找出我們所需要的能源位置。這種計算量無疑是異常龐大的，由于地震波法勘探收集的數(shù)據(jù)通常都以TB計，近年來海洋油氣勘探所采集的數(shù)據(jù)甚至開始向PB規(guī)模發(fā)展。為此，只有借助高性能計算，才能在最短的時間內(nèi)處理這些海量數(shù)據(jù)。
   3. 生命科學(xué)
    在現(xiàn)代生命科學(xué)領(lǐng)域，以數(shù)據(jù)為驅(qū)動力的改變正引發(fā)著巨大的變革。海量生物數(shù)據(jù)的分析將會增強疾病的實時監(jiān)控能力和對潛在流行病做出反應(yīng)的能力，但海量數(shù)據(jù)的挖掘、處理、存儲卻面臨著前所未有的挑戰(zhàn)。特別是隨著新一代測序技術(shù)的迅猛發(fā)展，基因組學(xué)研究產(chǎn)生的海量數(shù)據(jù)正以每12- 18個月10倍的速度增長，已遠(yuǎn)超越著名的摩爾定律，這使得眾多生物企業(yè)和科研機構(gòu)面臨強大的數(shù)據(jù)分析和存儲需求。
    在國內(nèi)，生物基因行業(yè)的發(fā)展勢頭也不可小覷。2011年1 月30日，國家發(fā)改委已批復(fù)同意深圳依托華大基因研究院組建國家基因庫，這是中國首次建立國家級基因庫，首期投資為1500萬元。深圳國家基因庫是一個服務(wù)于國家戰(zhàn)略需求的國家級公益性創(chuàng)新科研及產(chǎn)業(yè)基礎(chǔ)設(shè)施建設(shè)項目，是目前我國唯一一個獲批籌建的國家級基因庫，是全球僅次美國、日本和歐洲三個國家級基因庫之后的世界第四個國家級基因庫?，F(xiàn)在，該國家基因庫已經(jīng)收集了100 萬GB的生物數(shù)據(jù)，包含基因組、轉(zhuǎn)錄組、蛋白質(zhì)組、代謝組及表型的數(shù)據(jù)，同時也積累了約四十萬份生物樣本。預(yù)計該基因庫最終將達(dá)到10億GB級別的數(shù)據(jù)容量。深圳國家基因庫和國際上已有的基因庫相比，它的特點是既有“濕庫”也有“干庫”：前者把千萬種實體的動植物、微生物和人類組織細(xì)胞等資源和樣本納入網(wǎng)絡(luò)；后者匯集巨量的核酸、基因表達(dá)、蛋白、表型等多類數(shù)據(jù)信息，成為“大數(shù)據(jù)”生物學(xué)時代研究生物生長發(fā)育、疾病、衰老、死亡以及向產(chǎn)業(yè)化推廣的利器。
   4. 金融行業(yè)
    金融說到底就是數(shù)據(jù)。在金融市場中，擁有速度就意味著更高的生產(chǎn)力和更多的市場份額。金融計算模型相當(dāng)復(fù)雜，數(shù)據(jù)收集越多，計算結(jié)果越精確。金融分析師都迫切地需要一個能模擬復(fù)雜現(xiàn)實環(huán)境，并進(jìn)行精確處理的金融計算程序，以便對每個投資產(chǎn)品及時地評估投資收益，衡量投資風(fēng)險，以期獲得更好的投資回報。也正因此，高性能計算已經(jīng)越來越多地應(yīng)用到全球資本市場，以期在最短時間內(nèi)實現(xiàn)對市場的動態(tài)響應(yīng)與轉(zhuǎn)換。
    5. 氣象預(yù)報
    世紀(jì)二十年代初，天氣預(yù)報方程已基本建立。但只有在計算機出現(xiàn)以后，數(shù)值天氣預(yù)報才成為可能。而在使用并行計算機系統(tǒng)之前，由于受處理能力的限制，只能做到24小時天氣預(yù)報。高性能計算是解決數(shù)值預(yù)報中大規(guī)?？茖W(xué)計算必要手段。采用高性能計算技術(shù)，可以從提高分辨率來提高預(yù)報精度。
   6. 游戲動漫和影視產(chǎn)業(yè)
    隨著3D、4D電影的興起和高清動漫趨熱，由高性能計算（HPC ）集群構(gòu)成的“渲染農(nóng)場”已經(jīng)成為三維動畫、影視特效公司不可或缺的生產(chǎn)工具。動漫渲染基于一套完整的程序進(jìn)行計算，從而通過模型、光線、材質(zhì)、陰影等元素的組合設(shè)定，將動漫設(shè)計轉(zhuǎn)化為具體圖像。以《玩具總動員》為例，如果僅使用單臺工作站（單一處理器）進(jìn)行動畫渲染，這部長達(dá)77分鐘的影片的渲染時間將會是43年，而采用集群渲染系統(tǒng)，只需約80天。