前段時間 V4.1發(fā)布時，首次將強大的Hadoop擴展至Power平臺之上，但僅限于產(chǎn)品中的開源組件，如HDFS/YARN/HBASE/HIVE等。如今最新產(chǎn)品更新包的發(fā)布使得BigInsights中的其他IBM增加組件：BigSQL、BigR等，也可以輕松運行在Power之上。

BigInsights V4.1最新補丁包增強功能包括：

眾多開源組件：IBM對開源社區(qū)的的持續(xù)投入和大力支持，終究會反饋到產(chǎn)品中，如目前中更新了如下重要組件：Spark更新至1.4.1，Ambari 更新至2.1， Hadoop版本更新至2.7.1。

IBM BigSQL: IBM持續(xù)在企業(yè)級SQL on Hadoop上的投入，使得Big SQL功能不斷完善，本次更新包括：可以和Yarn集成提高了管理性；BigSQL的函數(shù)庫實現(xiàn)了K-Means分類算法和樸素貝葉斯算法，進一步增強了SQL分析能力；增強了組件的高可用，現(xiàn)在對所有組件都可支持HA，如下圖顯示了在擁有6個管理節(jié)點的大型集群（超過100個節(jié)點）中，BigSQL 管理服務BigSQL Head Node和Big SQL Scheduler的HA配置：

Big R: 新增機器學習算法的分布式實現(xiàn)，包括：決策樹、隨機森林和逐步回歸算法，讓熟悉R的數(shù)據(jù)科學家更方便的將R應用擴展至Hadoop集群。

文本分析：增強了文本分析能力，包括將文本分析結(jié)果導出成CSV格式，直接通過BigSheet查看結(jié)果及增加了文本分析項目快照功能。

BigInsights on Power：所有組件均支持運行在Power平臺之上。

在所有的增強中，最重要的是最后一點，即全面支持Power，這甚至可以成為的獨門絕技！為什么可以這么說？ 我們先來看看Power 8 中的眾多技術(shù)升級中，給在Power平臺上運行Hadoop帶來的好處：

CPU的增強：Power 8 的CPU并行處理能力大幅增強，每通道可支持12 核CPU，每核支持 8 線程（比Power7提高2倍），并可動態(tài)切換SMT1到SMT8的8種模式，非常適合支持混合型的工作負載，能更好的支持各種高階數(shù)據(jù)分析任務，如：分群算法、分類算法、特征提取任務以及文本分析、自然語義分析任務等。

緩存系統(tǒng)的增強：Power8的內(nèi)存比Power7增加了2.3 倍, CPU內(nèi)部的多級緩存也增強了3倍，這可以讓類似于HBASE這樣對緩存敏感的計算任務執(zhí)行得更快。

IO系統(tǒng)的增強：Power 8 集成了第三代PCIe技術(shù)，帶來高達192GB/秒的I/O帶寬，比Power7 提高了2.4倍，可以讓MapReduce作業(yè)無需任何優(yōu)化即可將效率提升2倍以上，更適合于大數(shù)據(jù)量數(shù)據(jù)加載和處理。

對Java性能的優(yōu)化：POWER系統(tǒng)專門對 IBM Java技術(shù)進行了優(yōu)化， 相同的任務運行在Power上比運行在同等配置的X86環(huán)境快24倍之多。

那么，這些Power平臺的增強到底對運行Hadoop有什么意義呢？我們以中帶有的、常見Hadoop組件HBASE為例進行分析：

HBASE是Hadoop中主流的NOSQL DB技術(shù)的一種，可以提供低延時的Key-Value數(shù)據(jù)的查詢和處理；HBASE以表、行的形式存儲數(shù)據(jù)，數(shù)據(jù)表被分割為多個數(shù)據(jù)分區(qū)，每個數(shù)據(jù)分區(qū)由物理上獨立的Region Server組件進行管理；類似于MapRduce作業(yè)，HBASE在進行數(shù)據(jù)操作時需要大量IO開銷，通常這些會成為HBase的性能瓶頸，在如下表格中總結(jié)了HBASE的主要數(shù)據(jù)操作對平臺資源的要求：

 通過以上表格可以看出，HBASE的性能通常局限在緩存、內(nèi)存、磁盤，而Power8針對這些方面的優(yōu)化，可以極大改善HBASE應用的性能！在對比測試中，在同等條件下的Power和X86大數(shù)據(jù)平臺分別運行Terasort測試，Power比X86平臺快出2.5倍！

當然，對于使用Power運行Hadoop, 很多人會關(guān)心成本問題，我們先看看某客戶的大數(shù)據(jù)平臺遷移項目(從X86遷移到Power8)，為達到同樣的處理能力，X86和Power所需要的資源配置分別如下：

在該客戶環(huán)境的實際使用結(jié)果中，POWER8 提供了原X86平臺相同的計算能力，卻使用了更少的資源，主要包括：

只使用了1/5數(shù)量的服務器 --> 減少了管理成本;

只使用了1/5數(shù)量的CPU內(nèi)核 --> 減少商業(yè)Hadoop軟件的成本；

只使用了1/5 的機房空間 --> 減少基礎(chǔ)設施成本。

因此，從以上的例子可以看出，使用Power搭建大數(shù)據(jù)平臺，不一定會比使用X86貴喲！ 特別在很多客戶已經(jīng)具有Power設備、可對設備進行利舊使用的情況下，使用Power的成本反而會更低：使用BigInsights在Power環(huán)境上搭建大數(shù)據(jù)平臺，前5個服務器節(jié)點的軟件授權(quán)完全免費！ 如果您的企業(yè)剛好有可以利用的Power設備，何不馬上試試！

詳情請咨詢！

客服熱線：023-66090381