作者M(jìn)ike Olson是Cloudera創(chuàng)始人之一

現(xiàn)任Cloudera首席策略官

在2018年10月3日Cloudera和Hortonworks宣布合并成一家公司。我想跟大家分享下這次合并背后的想法。

首先，請(qǐng)記住Apache Hadoop的歷史。

谷歌在20世紀(jì)90年代末和21世紀(jì)初建立了一個(gè)創(chuàng)新的用于數(shù)據(jù)存儲(chǔ)和分析的橫向擴(kuò)展平臺(tái)，并發(fā)表了相關(guān)的研究論文。Doug Cutting和Mike Cafarella當(dāng)時(shí)正在開發(fā)一個(gè)個(gè)人項(xiàng)目，一個(gè)網(wǎng)絡(luò)爬蟲，他們讀到了Google論文，于是啟動(dòng)了Hadoop項(xiàng)目 – 一個(gè)開源項(xiàng)目來構(gòu)建Google系統(tǒng)。

雅虎很快意識(shí)到了該項(xiàng)目的前景。他們配備了一個(gè)團(tuán)隊(duì)來推動(dòng)Hadoop向前發(fā)展，并聘請(qǐng)了Doug。該團(tuán)隊(duì)于2006年交付了第一個(gè)生產(chǎn)集群，并在隨后的幾年中不斷改進(jìn)。

2008年，我與來自谷歌，F(xiàn)acebook和雅虎的三位同仁共同創(chuàng)辦了Cloudera，為企業(yè)市場提供基于Hadoop的大數(shù)據(jù)平臺(tái)。我們當(dāng)時(shí)相信，今天我們?nèi)匀幌嘈牛袌鲂枰?規(guī)模地捕獲、存儲(chǔ)、管理和分析數(shù)據(jù)。我們是第一家將該軟件商業(yè)化的公司，建立在雅虎和其他互聯(lián)網(wǎng)公司的工作基礎(chǔ)之上。

三年后，在雅虎的Hadoop核心開發(fā)團(tuán)隊(duì)分拆出來，創(chuàng)建了Hortonworks。他們也看到了企業(yè)中大規(guī)模數(shù)據(jù)的巨大潛力。他們?cè)谘呕⒁呀?jīng)證明了建立和提供技術(shù)的能力。

自2011年以來，我們兩家公司各自進(jìn)行了創(chuàng)新，以打造更好的產(chǎn)品，贏得更多業(yè)務(wù)。在競爭激烈的數(shù)據(jù)管理領(lǐng)域，我們都尊重另一方的成功。我為我們?cè)贑loudera所做的事感到自豪，我對(duì)Hortonworks團(tuán)隊(duì)所取得的成就印象深刻。

開源軟件使競爭動(dòng)態(tài)比大多數(shù)公司更有趣。雖然我們每個(gè)人都努力創(chuàng)造差異化，但我們?cè)诋a(chǎn)品中共享了大量的代碼。我們的開發(fā)團(tuán)隊(duì)合作開發(fā)了最初的Hadoop軟件，以及生態(tài)系統(tǒng)中的新進(jìn)入者如Apache Hive，Apache Spark等，這是一個(gè)旨在大規(guī)模數(shù)據(jù)存儲(chǔ)和分析的大型且不斷增長的項(xiàng)目集合。

自Cloudera和Hortonworks成立以來，競爭格局發(fā)生了巨大變化。今天，市場里包括越來越多的公司，他們都認(rèn)識(shí)到我們?cè)缇椭赖氖虑?– 大數(shù)據(jù)是個(gè)大買賣。在數(shù)據(jù)中心和云中，有大量的參與者，通常建立在我們創(chuàng)造或貢獻(xiàn)的技術(shù)基礎(chǔ)上爭奪份額。

實(shí)際上是隨著物聯(lián)網(wǎng)應(yīng)用的出現(xiàn)，這個(gè)機(jī)會(huì)才真正有所增長。非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的巨大增長壓倒了傳統(tǒng)的數(shù)據(jù)倉庫。機(jī)器學(xué)習(xí)為我們的客戶帶來了新的挑戰(zhàn)，同時(shí)也帶來了變革力量。我們雙方在這些領(lǐng)域分別進(jìn)行了創(chuàng)新。我們都相信，橫向擴(kuò)展，Shared-Nothing (非共享) 架構(gòu)，這一Hadoop的基礎(chǔ) ，是物聯(lián)網(wǎng)，數(shù)據(jù)倉庫和機(jī)器學(xué)習(xí)的基礎(chǔ)。我們都在幫助企業(yè)擁抱這些能力。

除此之外，我們的企業(yè)客戶希望我們?cè)跀?shù)據(jù)中心和公共云中提供Apache Nifi，Apache Spark和Apache Impala等項(xiàng)目。像Cloud Native Computing Foundation (云原生計(jì)算基金會(huì)) 這樣的努力，以及Hadoop生態(tài)系統(tǒng)中對(duì)容器化和編排服務(wù)的擁抱，使得平臺(tái)更易于使用，操作更簡單，不論是在防火墻后面還是在云端。

這樣的未來我們雙方共同追求會(huì)更好。我們?nèi)匀恢铝τ陂_源。在競爭日益激烈的領(lǐng)域，我們可以比單打獨(dú)斗創(chuàng)造更有效的創(chuàng)新，以各種方式協(xié)作，在數(shù)據(jù)中心和公共云中提供云原生產(chǎn)品，以我們雙方多年成功的方式可以繼續(xù)引領(lǐng)市場。

將這兩家公司合并在一起我感到無比高興。在接下來幾個(gè)月可以預(yù)期的是：

我們宣布了合并，但我們預(yù)計(jì)該交易將持續(xù)數(shù)月才能落地。我們將接受正常的監(jiān)管審查，即任何上市公司的規(guī)模合并都需要，另外兩家公司的股東必須達(dá)成并批準(zhǔn)該交易。

從現(xiàn)在到交易完成，我們雙方仍然是獨(dú)立公司。我們的客戶運(yùn)行我們各自的產(chǎn)品。雙方銷售團(tuán)隊(duì)各自與其新老客戶合作，以贏得更多業(yè)務(wù)并使這些客戶獲得成功。雙方繼續(xù)照舊。

運(yùn)行CDH，HDP和HDF的客戶將獲得新的承諾。自合并完成之日起，這些產(chǎn)品線將至少被各自支持和維護(hù)三年。任何已選擇產(chǎn)品的客戶都可以確信所選平臺(tái)的長期未來。

我們的合作伙伴應(yīng)該發(fā)現(xiàn)這個(gè)合并對(duì)他們也有幫助。我們雙方都有大型的合作伙伴社區(qū)，我們的合作伙伴將得益于統(tǒng)一標(biāo)準(zhǔn)，并能和更大的公司服務(wù)于更多的客戶。

我們雙方最近都發(fā)布了重要的新平臺(tái)版本。 Hortonworks版本3和Cloudera版本6都在剛剛過去的夏天發(fā)布了。這是個(gè)幸運(yùn)的巧合。我們都在當(dāng)前的開源項(xiàng)目版本中重新定義了我們的最新產(chǎn)品，這意味著我們的開發(fā)路線比以前更接近。在我們完成交易后某個(gè)時(shí)段將會(huì)將兩者合并為一個(gè)“統(tǒng)一”版本。

從長遠(yuǎn)來看，我們將會(huì)增強(qiáng)這個(gè)統(tǒng)一的連貫平臺(tái)，以包含我們各自單獨(dú)開發(fā)的所有功能，以便客戶可以安全地從當(dāng)前的Hortonworks或Cloudera的安裝升級(jí)到新產(chǎn)品。鑒于我們的維護(hù)承諾，這些客戶將能在合適的商業(yè)情況下做出決定。他們目前的工作負(fù)載都是可以放心的。

與此同時(shí)，我們雙方也都有各自獨(dú)特的產(chǎn)品。Hortonworks為流數(shù)據(jù)和物聯(lián)網(wǎng)工作負(fù)載提供Hortonworks DataFlow (HDF) 產(chǎn)品。Cloudera提供Cloudera Data Science Workbench（CDSW）和Workload Experience Manager (WXM)。我們將盡快地互相移植這些產(chǎn)品，使它們能與雙方的平臺(tái)工作，這樣兩家公司的現(xiàn)有客戶都可以用到雙方所有的創(chuàng)新產(chǎn)品。

兩家公司的成立都是因?yàn)槲覀兩钚艛?shù)據(jù)的力量。從Hadoop早年的日子開始，我們就以各自的公司共同在開源社區(qū)努力證明這一信念是正確的。

并肩在一起，我們將會(huì)加速客戶和社區(qū)的創(chuàng)新。 作為一體，我們將擴(kuò)展廣泛的Hadoop生態(tài)系統(tǒng)包含容器化和編排服務(wù)，使其更具彈性和更多自助服務(wù)。我們現(xiàn)在占有獨(dú)特的優(yōu)勢，提供從邊緣到人工智能的第一個(gè)企業(yè)數(shù)據(jù)云。

沖鋒吧！

本文轉(zhuǎn)載自：

關(guān)于Cloudera

Cloudera相信數(shù)據(jù)可以創(chuàng)造今天不可能的事情，明天可能。Cloudera使人們能夠?qū)?fù)雜數(shù)據(jù)轉(zhuǎn)化為清晰可行的見解,并提供針對(duì)云優(yōu)化的機(jī)器學(xué)習(xí)和分析的現(xiàn)代平臺(tái)。世界上最大的企業(yè)信任Cloudera，以幫助解決他們最具挑戰(zhàn)性的業(yè)務(wù)問題。

關(guān)于Hortonworks

Hortonworks是企業(yè)級(jí)全球數(shù)據(jù)管理平臺(tái)，服務(wù)和解決方案的領(lǐng)先供應(yīng)商，可為超過一半的財(cái)富100強(qiáng)企業(yè)提供任何類型數(shù)據(jù)的可操作情報(bào).Hortonworks致力于推動(dòng)開源社區(qū)的創(chuàng)新，為其提供獨(dú)特的價(jià)值。企業(yè)客戶。與其合作伙伴一起，Hortonworks提供技術(shù)，專業(yè)知識(shí)和支持，以便企業(yè)客戶可以采用現(xiàn)代數(shù)據(jù)架構(gòu)。

【Cloudera產(chǎn)品介紹】 【】 【】