基于Hadoop的越來越多地被企業所采用。但是，如何進行合理地規劃和配置Hadoop平臺是很多用戶頭痛的事情。在我們接觸或合作的很大一部分客戶，他們在給Hadoop配置硬件的時候，通常沒有考慮到對大數據處理的特性，造成后續Hadoop集群的性能無法滿足要求。典型的配置問題包括：

• 數據節點的CPU和內存配置很高，但磁盤數量很少（少于6塊磁盤）
• 按容量考慮而選擇單盤容量非常大的磁盤（大于8TB），但磁盤數量偏少
• 數據接收速度和查詢性能要求高，但配置的是1GbE網絡
• 高可用性要求高場景下管理節點和數據節點混合在一起，或者管理節點數量偏少（少于4個）

本文通過三種不同場景的Hadoop集群方案，對其配置進行說明以便為用戶提供參考。

方案一：低成本的互聯網分析（IA）

該方案是為互聯網分析（Internet Analysis，縮寫成IA）或一般非結構化數據處理而設計的Hadoop集群，具有以下特點：

支持非結構化數據的接收和分析

• WebServer日志文件，點擊流量，Twitter或Facebook的流入
• 支持使用DataClick、BigInsights或Scoop進行數據注入
• 運行Map/Reduce作業

數據的臨時存儲或輕量存儲的要求

• 432 TB 裸存儲
• 超過100 TB 可用存儲空間（數據非壓縮）
• 靈活的壓縮選項（文件格式類型）

1 Gb 以太網數據網絡

• 結合數據和管理網絡
• 單獨的監控網絡支持xCat

可靠的硬件，無需硬件冗余的成本

• HDFS數據復制機制實現數據保護
• 支持xCat快速部署

方案二：通用型的數據落地區或數據湖（LZ）

該方案是為通用型的數據落地區（Landing Zone，縮寫成LZ）或數據湖而設計，主要特點如下：

非結構化數據的快速接收、分析和存儲

• ETL 工作負載，包括 DataStage, Informatica
• DataClick, BigInsights Console 和Scoop
• 運行Map/Reduce 和Hive作業
• 每GB數據的成本低且數據完全保護

數據的長期存儲和企業級的保護

• 每個機架1.344 PB裸存儲!
• 超過400 TB 可用存儲空間（數據非壓縮）
• 壓縮和加密選項
• 靈活的存儲框架 – HDFS 或GPFS

靈活的網絡和安全選項

• 完全冗余的路由或私有網絡
• 10/40 Gb 混合的以太網數據網絡

基于硬件和軟件冗余的可靠構造

• OS、電源、網絡和Name Node服務
• HDFS數據復制機制實現數據保護

方案三：強大的NoSQL或復雜分析（NS/CA）

該方案支持NoSQL或復雜分析（Complex Analysis），對可靠性、性能等要求比前面兩個方案更高。它具有以下特點：

非結構化數據的快速接收、分析和查詢

• 使用BigSQL代替DW & RDBMS
• Hbase, Accumulo, Hive 和 Map/Reduce 作業
• BigR, R 或SPSS數據挖掘
• 每GB數據的成本低且數據完全保護

數據的長期存儲和企業級的保護

• 每個機架896 TB裸存儲!
• 超過300 TB 可用存儲空間（數據非壓縮）
• 壓縮和加密選項
• 靈活的存儲框架 – HDFS 或GPFS

靈活的網絡和安全選項

• 完全冗余的路由或私有網絡
• 10/40 Gb 混合的以太網數據網絡

基于硬件和軟件冗余的可靠構造

• OS、電源、網絡和Name Node服務
• HDFS數據復制機制實現數據保護

根據不同的方案類型，IBM建議的配置參考如下：

集群總體指標

數據節點詳細指標

管理節點詳細指標

網絡詳細指標

結束語

上述內容是IBM根據實踐經驗推薦的配置參考模型，用戶在實踐使用時可以數據量進行增刪數據節點，服務器和網絡設備也可用換成類似性能其它廠商的產品。

詳情請咨詢“”！

客服熱線：023-66090381