使用大數(shù)據(jù)閃存打造融合數(shù)據(jù)平臺(tái)

隨著企業(yè)、服務(wù)提供商和超大型數(shù)據(jù)中心從描述性分析向預(yù)測(cè)性和規(guī)范性分析演進(jìn)，結(jié)合了融合運(yùn)營(yíng)和分析數(shù)據(jù)管道的融合數(shù)據(jù)平臺(tái)變得日益重要。大數(shù)據(jù)閃存可讓數(shù)據(jù)處理平臺(tái)快速訪問(wèn)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)流，從而以較低成本創(chuàng)建有效的預(yù)測(cè)模型。
隨著大數(shù)據(jù)從描述性分析（批量）向預(yù)測(cè)性（交互）和規(guī)范性（實(shí)時(shí)）分析演進(jìn)，企業(yè)正在越來(lái)越多地使用串流數(shù)據(jù)源和歷史批量數(shù)據(jù)，以提高機(jī)器的學(xué)習(xí)能力并建立預(yù)測(cè)模型。簡(jiǎn)而言之，描述性分析是為了了解事態(tài)，預(yù)測(cè)性分析是為了建立一個(gè)假設(shè)場(chǎng)景模型，而規(guī)范性分析是為了通過(guò)采取數(shù)據(jù)驅(qū)動(dòng)型行動(dòng)來(lái)影響結(jié)果。新型分析應(yīng)用能夠在交易發(fā)生時(shí)實(shí)時(shí)捕獲它，并能影響其結(jié)果，從而帶來(lái)直接的商業(yè)效益。這方面的用例包括：
    反洗錢(qián)
    欺詐分析
    定向營(yíng)銷(xiāo)
    工業(yè)互聯(lián)網(wǎng)（IoT/IoE）
    實(shí)時(shí)生產(chǎn)制造
    醫(yī)療領(lǐng)域的患者數(shù)據(jù)情報(bào)
    SanDisk閃迪利用新型分析應(yīng)用對(duì)半導(dǎo)體制造數(shù)據(jù)進(jìn)行實(shí)時(shí)分析。
從Lambda架構(gòu)到SMACK
Lambda架構(gòu)因其融合實(shí)時(shí)分析和批量分析的能力而深受喜愛(ài)。Lambda架構(gòu)使用HDFS、Scalding和HBASE作為融合實(shí)時(shí)分析和批量數(shù)據(jù)管道的構(gòu)建模塊。但是，該架構(gòu)帶來(lái)的多管道復(fù)制代碼和數(shù)據(jù)的開(kāi)銷(xiāo)，使得其難以大規(guī)模部署。
為了克服Lambda架構(gòu)的局限性，必需配備一個(gè)能夠有效處理批量和實(shí)時(shí)串流的大數(shù)據(jù)管道。全新的SMACK堆?！猄cala及其Spark、Mesos、Akka、Cassandra和Kafka生態(tài)系統(tǒng)便旨在實(shí)現(xiàn)這一點(diǎn)。SMACK串流已成為一個(gè)用于處理批量和串流數(shù)據(jù)的有效大型平臺(tái)。
Meosphere的Infinity堆棧或MapR新近發(fā)布的Converged Data Platform等解決方案都是Lambda架構(gòu)的實(shí)例。
配備SMACK（Spark、Mesos、Akka、Cassandra和Kafka）堆棧的串流架構(gòu)
以下是SMARK堆棧的簡(jiǎn)要介紹：
Spark：一個(gè)快速、通用的分布式大型數(shù)據(jù)處理引擎。
Mesos：一個(gè)集群資源管理系統(tǒng)，在各個(gè)分布式應(yīng)用之間提供高效的資源隔離和共享功能。
Akka：一個(gè)工具包和運(yùn)行環(huán)境，用于在JVM上創(chuàng)建高并發(fā)、分布式、彈性消息驅(qū)動(dòng)型應(yīng)用。
Cassandra：一個(gè)分布式、高度可用的數(shù)據(jù)庫(kù)，旨在處理多個(gè)數(shù)據(jù)中心的大量數(shù)據(jù)。
Kafka：一個(gè)高吞吐量、低時(shí)延的分布式消息系統(tǒng)，旨在處理實(shí)時(shí)數(shù)據(jù)流。
面向融合數(shù)據(jù)平臺(tái)的大數(shù)據(jù)閃存
為了創(chuàng)建有效的預(yù)測(cè)模型，融合堆棧系統(tǒng)需要快速訪問(wèn)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)流?；陂W存的數(shù)據(jù)網(wǎng)格可為這些新的數(shù)據(jù)驅(qū)動(dòng)型架構(gòu)帶來(lái)巨大效益。
2015年3月，SanDisk閃迪設(shè)立了 “大數(shù)據(jù)閃存”市場(chǎng)類(lèi)別，推出了InfiniFlash系統(tǒng)，它擁有極高的容量以及卓越的性能和經(jīng)濟(jì)性（源于低成本晶圓和全新的閃存尺寸規(guī)格）。
事實(shí)上，InfiniFlash系統(tǒng)之所以能成為融合數(shù)據(jù)平臺(tái)架構(gòu)的構(gòu)建模塊，其架構(gòu)和性能起著至關(guān)重要的作用：
數(shù)據(jù)捕獲
每秒可捕獲數(shù)百萬(wàn)個(gè)事件，且無(wú)事件丟失
更快的批量攝取
便于擴(kuò)展
使用Avro或Protobuf格式存儲(chǔ)數(shù)據(jù)，無(wú)需ETL（提取、轉(zhuǎn)換、加載）過(guò)程
通過(guò)支持Kafka等分布式消息系統(tǒng)消除負(fù)載
數(shù)據(jù)處理
能夠有效處理實(shí)時(shí)事件和批量數(shù)據(jù)
輸入存儲(chǔ)處理，以秒和亞秒級(jí)實(shí)現(xiàn)時(shí)延交付
數(shù)據(jù)存儲(chǔ)
面向數(shù)據(jù)密集型工作負(fù)載的軟件定義數(shù)據(jù)構(gòu)造，提供敏捷性和可擴(kuò)展性
可長(zhǎng)時(shí)間存儲(chǔ)數(shù)個(gè)TB的數(shù)據(jù)
支持高吞吐量的批量數(shù)據(jù)存儲(chǔ)，且滿足低時(shí)延實(shí)時(shí)查詢
可處理分離的數(shù)據(jù)源和“突發(fā)性”工作負(fù)載
采用無(wú)模式方式存儲(chǔ)數(shù)據(jù)
支持HDFS和NoSQL數(shù)據(jù)庫(kù)（如Cassandra、CouchDB、MemSQL、HBase等）
可借助Rackscale架構(gòu)擴(kuò)展至PB級(jí)
極低的年故障率（AFR）
可使用解聚/共享存儲(chǔ)提供企業(yè)就緒度、沿襲（審計(jì)日志）、合規(guī)（依法保留等）和版本控制（維護(hù)不同的時(shí)間點(diǎn)副本）
專(zhuān)為來(lái)自HDFS/S3的故障、備份和補(bǔ)丁而設(shè)計(jì)
最為經(jīng)濟(jì)高效，低于/GB[1]
數(shù)據(jù)查詢
支持亞秒級(jí)時(shí)延的實(shí)時(shí)查詢
支持批量/聚集查詢
支持針對(duì)HDFS和NoSQL的查詢
使用InfiniFlash“大數(shù)據(jù)閃存”打造數(shù)據(jù)密集型融合數(shù)據(jù)平臺(tái)的三大原因
無(wú)論您是企業(yè)還是服務(wù)提供商，以下是您應(yīng)該考慮使用InfiniFlash打造融合數(shù)據(jù)平臺(tái)的三大原因：
1.滿足捕獲、處理、存儲(chǔ)和查詢數(shù)據(jù)管道的所有要求
傳統(tǒng)的直接附加型存儲(chǔ)解決方案和純HDD解決方案無(wú)法提供融合數(shù)據(jù)平臺(tái)所需的大規(guī)模性能和吞吐量。此外，它們也不具備可擴(kuò)展性所帶來(lái)的資本支出和運(yùn)營(yíng)支出效益，也不具備這些平臺(tái)所要求的敏捷性和企業(yè)就緒程度。
與傳統(tǒng)硬盤(pán)相比，InfiniFlash系統(tǒng)的性能是它們的50倍，密度是它們的5倍，可靠性是它們的4倍，而且便于向上和向外擴(kuò)展，以滿足大數(shù)據(jù)應(yīng)用的苛刻要求[2]。基于閃存的軟件定義數(shù)據(jù)構(gòu)造可讓用戶根據(jù)需要靈活選用多種文件系統(tǒng)，其中包括HDFS、Spectrum Scale、Lustre和Ceph。
2.全球支持
InfiniFlash在全球各地得到了SanDisk閃迪及其合作伙伴的支持。InfiniFlash是TSA Net Support Community的一部分，可確保滿足嚴(yán)格的SLA協(xié)議要求。與此同時(shí)，我們的FlashStart?功能可確保其安裝順利，并提供卓越的客戶體驗(yàn)。
3.同類(lèi)最佳的生態(tài)系統(tǒng)
SanDisk閃迪與眾多業(yè)內(nèi)領(lǐng)先的軟件開(kāi)發(fā)者和硬件合作伙伴開(kāi)展合作，通過(guò)同類(lèi)最佳的生態(tài)系統(tǒng)獲得更多的選擇和靈活性。我們的合作伙伴包括： RedhatCeph、Nexenta、ICloudbyte以及思科、聯(lián)想、戴爾、Supermicro、Quanta等廠商。同時(shí)，我們也正與開(kāi)源社區(qū)開(kāi)展密切合作，并通過(guò)我們的各項(xiàng)事業(yè)成為貢獻(xiàn)者和思想領(lǐng)袖。（欲了解SanDisk閃迪對(duì)于開(kāi)源SCST企業(yè)級(jí)特性所做出的貢獻(xiàn)，請(qǐng)點(diǎn)擊此處。）
結(jié)語(yǔ)
搭建融合數(shù)據(jù)平臺(tái)是為了滿足融合運(yùn)營(yíng)和分析管道的要求，以及隨后的捕獲、處理、存儲(chǔ)和查詢階段的存儲(chǔ)要求，一個(gè)基于大數(shù)據(jù)閃存的數(shù)據(jù)構(gòu)造是融合平臺(tái)理想的存儲(chǔ)層構(gòu)建模塊，可讓數(shù)據(jù)管道的每個(gè)階段都受益。