目前在開源市場上已經(jīng)有了多款實(shí)時(shí)大數(shù)據(jù)的處理工具，最值得關(guān)注的還屬Storm與Spark。這兩套方案都?xì)w屬于Apache基金會(huì)，都能為用戶提供良好的實(shí)時(shí)處理能力。兩款工具在功能方面有一部分交集，但也各自擁有著不同的特性與市場定位。

Storm : 實(shí)時(shí)流處理

Storm是一款極具可擴(kuò)展能力和容錯(cuò)能力的開源分布計(jì)算系統(tǒng)，高度專注于流處理領(lǐng)域。在設(shè)計(jì)思路中充分考慮到大規(guī)模可擴(kuò)展能力，利用“故障快速、自動(dòng)重啟”方案為處理提供容錯(cuò)性支持。

Storm在事件處理與增量計(jì)算方面表現(xiàn)尤為突出，能夠以實(shí)時(shí)方式根據(jù)不斷變化的參數(shù)對數(shù)據(jù)流進(jìn)行處理。它可以同時(shí)提供原語以實(shí)現(xiàn)通用性分布RPC，在理論上也能夠被用于任何分布式計(jì)算任務(wù)，但其最為根本的優(yōu)勢仍然表現(xiàn)在事件流處理方面。

Spark:通用分步式計(jì)算平臺(tái)

Spark是一套快速出色、可擴(kuò)展能力驚人且極具靈活性的開源分布式計(jì)算平臺(tái)，與Hadoop以及Mesos相兼容并且支持多川計(jì)算模式，其中包括流、以圖為核心的操作、SQL訪問外加分布式機(jī)器學(xué)習(xí)等。

該項(xiàng)目最大的亮點(diǎn)在于其支持多處理模式以及支持庫。Spark的實(shí)際擴(kuò)展記錄令人滿意，而且與Storm一樣堪稱構(gòu)建實(shí)時(shí)分析與大數(shù)據(jù)處理系統(tǒng)的卓越平臺(tái)。另外，它擁有能夠與存儲(chǔ)在多種不同數(shù)據(jù)源內(nèi)的數(shù)據(jù)實(shí)現(xiàn)協(xié)作的適配器–包括HDFS文件、Cassandra、HBase以及S3。

終極PK，如何做選擇?

看需求!

選擇之前，弄清楚你的主要需求。可以對兩套平臺(tái)進(jìn)行一番詳盡分析，利用這兩套平臺(tái)各自建立一個(gè)小規(guī)模概念驗(yàn)證項(xiàng)目，而后運(yùn)行自己的基準(zhǔn)工作負(fù)載，借此在最終選擇前親身體驗(yàn)二者的工作負(fù)載處理能力是否與預(yù)期相一致。

如果你的需求主要集中在流處理與復(fù)雜事件的處理層面，而且需要從零開始為項(xiàng)目構(gòu)建一套目標(biāo)明確的集群設(shè)施，那么建議選擇Storm，特別是在現(xiàn)有Storm流機(jī)制能夠確切滿足集成需求的情況下。這一結(jié)論并不屬于硬性要求或者強(qiáng)制規(guī)則，但上述因素的存在確實(shí)更適合由Storm出面打理。

如果你打算使用現(xiàn)有Hadoop或者M(jìn)esos集群，而且/或者既定流程需要涉及與圖形處理、SQL訪問或者批量處理相關(guān)的其它實(shí)質(zhì)性要求，那么Spark則值得加以優(yōu)先考慮。

當(dāng)然，這二者也是能共存的。根據(jù)各位工作負(fù)載、基礎(chǔ)設(shè)施以及具體要求的不同，大家可能還會(huì)找出一種將Storm與Spark加以結(jié)合的理想方案。其它同樣可能發(fā)揮作用的工具還包括Kafka、Hadoop以及Flume等等，而這正是開源機(jī)制的最大亮點(diǎn)所在。

無論選擇哪一套方案，這些工具的存在都切實(shí)表明，實(shí)時(shí)大數(shù)據(jù)處理市場的游戲規(guī)則已經(jīng)發(fā)生了變化。曾經(jīng)只能為少數(shù)精英所掌握的強(qiáng)大選項(xiàng)如今已經(jīng)進(jìn)入尋常百姓家，或者說，至少適用于多數(shù)中等規(guī)模或者大型企業(yè)。不要浪費(fèi)資源，充分享受由此帶來的便利吧。

轉(zhuǎn)載自

關(guān)于更多大數(shù)據(jù)相關(guān)資訊>>>

2016革新之年，雙節(jié)同慶驚喜不斷！優(yōu)惠詳情點(diǎn)擊查看>>