隨著不斷增加的大數(shù)據(jù)解決方案需求，Apache Hadoop已經(jīng)迅速成為存儲(chǔ)和處理海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的首選平臺(tái)之一。企業(yè)只需在少量基于英特爾? 至強(qiáng)? 處理器的服務(wù)器上部署這種開(kāi)源軟件框架，就可用較低的成本迅速開(kāi)始進(jìn)行大數(shù)據(jù)分析。隨后可逐步將其 Apache Hadoop 集群擴(kuò)展到數(shù)百乃至數(shù)千個(gè)節(jié)點(diǎn)，從而將多 PB 數(shù)據(jù)的查詢(xún)響應(yīng)時(shí)間縮短到次秒級(jí)。

　　英特爾與 Apache Hadoop 社區(qū)開(kāi)展協(xié)作，支持系統(tǒng)管理員盡可能地實(shí)現(xiàn)其 Apache Hadoop 集群的最高性能同時(shí)保證復(fù)雜度處于最低限度。英特爾開(kāi)發(fā)了 HiTune 性能分析器和 HiBench 基準(zhǔn)測(cè)試套件，用它們來(lái)降低 Apache Hadoop 性能調(diào)優(yōu)的復(fù)雜性，用戶(hù)可以在更短的時(shí)間內(nèi)更有信心地設(shè)計(jì)和實(shí)現(xiàn) Apache Hadoop 解決方案。

　　HiTune 性能分析器

　　Apache Hadoop 的主要優(yōu)勢(shì)之一就是比傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)更容易部署和使用。然而，由于分布式環(huán)境的硬件與軟件之間存在復(fù)雜的交互，因此要優(yōu)化 Apache Hadoop 集群和工作負(fù)載以提高性能會(huì)面臨重重挑戰(zhàn)。為了應(yīng)對(duì)這樣的挑戰(zhàn)，英特爾開(kāi)發(fā)了 HiTune，為開(kāi)發(fā)人員提供了開(kāi)發(fā)高度可伸縮型應(yīng)用程序的簡(jiǎn)單工具。這種可伸縮、輕量級(jí)、可擴(kuò)展的性能分析器可以幫助您向客戶(hù)交付性能更高的 Apache Hadoop 集群和應(yīng)用程序。此外，還可以幫助您的客戶(hù)在其集群的整個(gè)生命周期內(nèi)獲得更高的價(jià)值。

　　典型的 Apache Hadoop 查詢(xún)是使用直觀、高級(jí)的數(shù)據(jù)流模型編寫(xiě)的。這對(duì)于程序員而言非常理想，因?yàn)閿?shù)據(jù)分區(qū)、任務(wù)分發(fā)、負(fù)載平衡、容錯(cuò)和節(jié)點(diǎn)通信等所有繁雜的細(xì)節(jié)都由 Apache Hadoop 運(yùn)行時(shí)環(huán)境來(lái)處理。然而，隱藏這種低級(jí)復(fù)雜性也會(huì)導(dǎo)致性能調(diào)優(yōu)成為一項(xiàng)繁瑣的挑戰(zhàn)。因?yàn)楣こ處煂?duì)于硬件與軟件之間的低級(jí)交互知之甚少，甚至毫不知曉，而這種認(rèn)識(shí)卻是理解和優(yōu)化性能所必不可少的前提。工程師們通常只能依靠漫長(zhǎng)而又耗時(shí)的試錯(cuò)法，而結(jié)果往往也只是能得到次優(yōu)的性能。

　　HiTune 將監(jiān)視 Apache Hadoop 集群中各服務(wù)器的關(guān)鍵性能指標(biāo)，隨后匯總這些低級(jí)指標(biāo)，將這些指標(biāo)與高級(jí)數(shù)據(jù)流模型相關(guān)聯(lián)。這樣工程師就可以獲得不同任務(wù)與階段之間動(dòng)態(tài)交互的深入了解，并迅速查明拖慢性能的性能瓶頸、應(yīng)用程序熱點(diǎn)和硬件問(wèn)題。

　　1、簡(jiǎn)化和加速性能調(diào)優(yōu)。HiTune 提供了詳盡的分析和可視化，對(duì)正在運(yùn)行的應(yīng)用程序的性能影響微不足道，而且無(wú)需修改源代碼。英特爾工程師廣泛利用這種工具，在很多情況下，僅憑相對(duì)簡(jiǎn)單的硬件或軟件調(diào)整就實(shí)現(xiàn)了高達(dá)六倍的性能收益。

　　2、跨數(shù)千臺(tái)服務(wù)器擴(kuò)展分析。HiTune 可用于分析生產(chǎn)環(huán)境中跨數(shù)千臺(tái)服務(wù)器運(yùn)行、包含數(shù)十萬(wàn)個(gè)同步進(jìn)程的應(yīng)用程序。HiTune分析引擎可作為一個(gè) Apache Hadoop 作業(yè)來(lái)運(yùn)行，支持通過(guò)大規(guī)模并行執(zhí)行海量性能數(shù)據(jù)的快速分析。工程師不需要分析在一個(gè)集群的某個(gè)部分上運(yùn)行的部分應(yīng)用程序，而是可以收集和分析完整的信心，獲得更有用的洞察。

　　3、逐漸獲得更高的價(jià)值。英特爾將繼續(xù)為 Apache Hadoop 和其他分布式大數(shù)據(jù)解決方案擴(kuò)展并優(yōu)化 HiTune。英特爾已經(jīng)利用 HiTune 調(diào)優(yōu)和優(yōu)化了 Apache Hive 的性能，Apache Hive 是基于 Apache Hadoop 構(gòu)建的開(kāi)源數(shù)據(jù)倉(cāng)庫(kù)。您現(xiàn)在積累的調(diào)優(yōu)專(zhuān)業(yè)經(jīng)驗(yàn)會(huì)在未來(lái)交付更高的價(jià)值。

　　HiBench 基準(zhǔn)測(cè)試套件

　　隨著市場(chǎng)的發(fā)展，隨著客戶(hù)開(kāi)始以接近實(shí)時(shí)的方式利用大數(shù)據(jù)洞察力來(lái)提高收入流、盈利能力和經(jīng)營(yíng)效率，優(yōu)化和驗(yàn)證 Apache Hadoop 集群的性能變得更加重要。利用 HiBench 基準(zhǔn)測(cè)試套件，您可以跨不同的工作負(fù)載準(zhǔn)確而又一致地度量、驗(yàn)證和對(duì)比 Apache Hadoop 集群的性能，為客戶(hù)提供更出色的信息和信心。

　　HiBench 提供了對(duì) 10 種易于使用的 Apache Hadoop 工作負(fù)載的便捷訪問(wèn)，這些工作負(fù)載經(jīng)過(guò)擴(kuò)展、配置和定制，能夠反映典型的部署。您可以為特定的通用任務(wù)度量性能，例如排序和文字計(jì)數(shù)，或者為更加復(fù)雜的實(shí)際應(yīng)用度量性能，這些應(yīng)用包括 Web 搜索、機(jī)器學(xué)習(xí)和數(shù)據(jù)分析。不同的工作負(fù)載具有不同的特征，使您能夠建立測(cè)試矩陣，體現(xiàn)特定環(huán)境的資源需求。

　　英特爾將繼續(xù)擴(kuò)展和改進(jìn) HiBench，還會(huì)與領(lǐng)先供應(yīng)商和標(biāo)準(zhǔn)實(shí)體聯(lián)手協(xié)作，開(kāi)發(fā)針對(duì) Apache Hadoop 的行業(yè)標(biāo)準(zhǔn)性能基準(zhǔn)測(cè)試。建立這些基準(zhǔn)測(cè)試之后，您就具備了理解架構(gòu)問(wèn)題、度量和驗(yàn)證 Apache Hadoop 解決方案性能的更好基礎(chǔ)。

　　構(gòu)建一個(gè)經(jīng)過(guò)驗(yàn)證的基礎(chǔ)

　　設(shè)計(jì)全面優(yōu)化的 Apache Hadoop 集群需要深入理解整個(gè)解決方案體系?？赡芤度霐?shù)月的時(shí)間來(lái)探索 Apache Hadoop 工作負(fù)載特征，并了解如何與底層硬件和軟件交互。還可以利用英特爾多年來(lái)與目前運(yùn)行某些全球規(guī)模最大、最成功的 Apache Hadoop 實(shí)現(xiàn)的企業(yè)之間共同研究和協(xié)同使用所得到的專(zhuān)業(yè)經(jīng)驗(yàn)，這些企業(yè)包括 Google、Yahoo! 和某些頂尖的電信與金融服務(wù)企業(yè)。

　　英特爾將這種專(zhuān)業(yè)經(jīng)驗(yàn)構(gòu)造成為參考架構(gòu)、調(diào)優(yōu)指南和最佳實(shí)踐建議，可以將它們用作設(shè)計(jì)和部署 Apache Hadoop 集群的起點(diǎn)。利用從硬件規(guī)范直至完整軟件架構(gòu)的明確指南，可以更迅速、更經(jīng)濟(jì)地設(shè)計(jì)、構(gòu)建和配置最適宜的解決方案。

　　還可以在多種領(lǐng)先 Apache Hadoop 發(fā)布版中任意選擇，所有這些發(fā)布版均已針對(duì)英特爾至強(qiáng)處理器而高度優(yōu)化。英特爾與 Cloudera、Hortonworks、IBM 和其他商業(yè)經(jīng)銷(xiāo)商合作，確保運(yùn)用的是已專(zhuān)門(mén)針對(duì)企業(yè)環(huán)境中的生產(chǎn)就緒性而進(jìn)行擴(kuò)展、加強(qiáng)和測(cè)試的軟件，在英特爾架構(gòu)上實(shí)現(xiàn)最優(yōu)性能。