大數(shù)據(jù)時代 PB級數(shù)據(jù)怎么管

如何理解PB級數(shù)據(jù)？說到這個數(shù)據(jù)量級，人們首先會聯(lián)想到CADAL項目(大學數(shù)字圖書館國際合作計劃),該項目可以說是開啟了大數(shù)據(jù)時代PB級數(shù)據(jù)管理的一個典型案例。他的成功運行搭建為眾多方案商提供了借鑒。

PB級數(shù)據(jù)挑戰(zhàn)多

據(jù)大學數(shù)字圖書館國際合作計劃管理中心副主任黃晨介紹：“CADAL項目面臨的三個大數(shù)據(jù)應用挑戰(zhàn)是：首先是 PB級數(shù)據(jù)需要長期保留;其次，需要24小時不間斷為高校師生服務;最后，多重業(yè)務需要共享資源。為此，我們在建設中，從系統(tǒng)穩(wěn)定性、易用性、分級存儲/信息生命周期管理、硬件升級更新與業(yè)務連續(xù)性、可用性、性能六個方面去考慮。

事實上，CADAL在開展二期項目的過程中，就明顯感覺到了大數(shù)據(jù)上述的三大應用挑戰(zhàn)。經(jīng)過一期和二期工程建設，CADAL項目已經(jīng)完成250多萬冊古籍和相關音視頻資料的數(shù)字化，面向全國2000所高校開展服務，部分資源向公眾開放。250多萬冊古籍和相關音視頻資料加在一起，數(shù)據(jù)量已經(jīng)達到600TB。三期工程將繼續(xù)擴大資源建設，數(shù)據(jù)量將很快達到PB級。

為此，信息基礎架構平臺需要能夠動態(tài)地支持多重工作流，滿足不同的性能要求、不同的容量要求，并且隨時能夠改變;需要有效地管理共享資源，存儲資源按需分配，同時通過配額管理功能，以提高利用率。

選擇方案的關鍵點

據(jù)了解，250萬冊的紙質圖書，需要1棟15層的大樓才能容納。如圖2所示。而采用現(xiàn)代的技術手段，只需要一個機柜，就足夠應對250萬冊甚至更多圖書的數(shù)字化影像。圖所3所示。

圖2某省圖書館介紹，建筑面積18073平方米，書庫主體15層，可容納250萬冊藏書

圖3 這樣一組EMC Isilon機柜可以保存幾千萬冊數(shù)字化圖書

面對上述挑戰(zhàn)，據(jù)CADAL項目管理中心數(shù)據(jù)主管劉濤老師介紹說，CADAL項目管理中心從系統(tǒng)穩(wěn)定性、易用性、分級存儲/信息生命周期管理、硬件升級更新與業(yè)務連續(xù)性、可用性、性能六個方面進行綜合考察。最終選擇了EMC Isilon，總容量1PB的EMC Isilon大數(shù)據(jù)存儲系統(tǒng)在CADAL項目管理中心部署完成，投入使用。

方案核心優(yōu)勢

這一方案的核心優(yōu)勢主要表現(xiàn)在兩個方面：

一是支持文件、FTP等多種靈活的訪問方式，簡化了操作，提高了效率。

CADAL圖書數(shù)字化的大致工作流程是：共建高校申報圖書資源à項目管理委員會審定à共建高校負責數(shù)字化處理并將數(shù)字圖書提交給管理中心à管理中心將數(shù)字圖書發(fā)布到前端存儲對外提供服務，同時備份多份份到后端存儲。

劉老師經(jīng)常要做的一件事情是：通過工作機將共建高校提交的數(shù)字圖書從臨時存儲復制到前端和后臺存儲。由于各臺服務器連接不同的光纖存儲，需要把存儲設備掛接到服務器才能操作，并且各服務器還應用不同的操作系統(tǒng)，數(shù)據(jù)需要走“臨時存儲à工作機服務器à服務器à后端存儲”的路徑。換成Isilon之后，數(shù)據(jù)只需要走“臨時存儲à前端服務器à后端Isilon存儲”的路徑，由于Isilon的吞吐量很大，并且沒有文件系統(tǒng)和LUN管理的兼容問題，可以同時從多個臨時存儲往后端Isilon存儲保存數(shù)據(jù)，且沒有額外的速度損失，效率大大提高。以前，從共建高校接收數(shù)字圖書較多時，后端的發(fā)布或備份服務器上的數(shù)據(jù)流量會比較大，會影響其它數(shù)據(jù)訪問或應用，發(fā)布和備份會出現(xiàn)瓶頸;如果大量使用光纖存儲，服務器端的成本也會增加。采用Isilon之后，硬件上帶寬提高了，系統(tǒng)上跳過了操作系統(tǒng)層面的處理，這種現(xiàn)象有較大改觀。

二是支持磁盤分級存儲、節(jié)點分級存儲和SSD固態(tài)硬盤加速，既保證了大容量，也保證了高性能。

CADAL的做法是，將活躍的數(shù)據(jù)保存在配有固態(tài)硬盤的高速Isilon節(jié)點上，其它數(shù)據(jù)保存在普通Isilon節(jié)點上。不同高校圖書館提供的數(shù)字圖書分區(qū)保存，存儲空間按需分配，并實行配額管理，提高存儲利用率。

PB知識鏈接：

TechTarget自己的百科網(wǎng)站W(wǎng)hatis有關于PB大小的定義：“PB是數(shù)據(jù)存儲容量的單位，它等于2的50次方個字節(jié)，或者在數(shù)值上大約等于1000個TB?！?/span>

那么一個TB呢？

“TB是一個計算機存儲容量的單位，它等于2的40次方，或者接近一萬億個字節(jié)(即，一千千兆字節(jié))?！?/span>

未來學家Raymond Kurzweil他的論文中對PB的定義進行延伸：人類功能記憶的容量預計在1.25個TB。這意味著，800個人類記憶才相當于1個PB。

如果這樣還不夠清楚，那么Adfonic的CTO Wes Biggs給出了下面更直接的計算：

假設手機播放MP3的編碼速度為平均每分鐘1MB，而1首歌曲的平均時長為4分鐘，那么1PB歌曲可以連續(xù)播放2000年。

如果智能手機相機拍攝相片的平均大小為3MB，打印照片的平均大小為8.5英寸，那么總共1PB的照片的并排排列長度就達到48000英里——大約可以環(huán)繞地球2周。

1PB足夠存儲整個美國人口的DNA，而且還能再克隆2倍。