在短短幾年里，大數(shù)據(jù)技術(shù)從炒作的概念變?yōu)樾聰?shù)字時(shí)代的核心破壞者。2014年，公司里越來(lái)越多的大數(shù)據(jù)舉措從測(cè)試步入生產(chǎn)。2015年，大數(shù)據(jù)將在企業(yè)里進(jìn)一步推進(jìn)，使用更多的用例(特別是實(shí)時(shí)用例)，Hadoop分布式專(zhuān)家MapR的聯(lián)合創(chuàng)始人兼CEO John Schroeder說(shuō)。

Schroeder說(shuō)：“今年，機(jī)構(gòu)將覆蓋之前的初次批量實(shí)現(xiàn)，進(jìn)行大數(shù)據(jù)實(shí)時(shí)部署。現(xiàn)有的行業(yè)領(lǐng)導(dǎo)者和那些后起之秀已經(jīng)付出了巨大努力，它們通過(guò)將新的大數(shù)據(jù)平臺(tái)合并到‘動(dòng)態(tài)’數(shù)據(jù)分析中來(lái)影響業(yè)務(wù)，這些實(shí)現(xiàn)將驅(qū)動(dòng)行業(yè)的發(fā)展。”

Schroeder說(shuō)五大發(fā)展將會(huì)主導(dǎo)2015。

1.數(shù)據(jù)敏捷性成為焦點(diǎn)

對(duì)于許多需求來(lái)說(shuō)，遺留的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的處理過(guò)程過(guò)于緩慢和僵化，因此數(shù)據(jù)敏捷性是大數(shù)據(jù)技術(shù)發(fā)展的驅(qū)動(dòng)力之一。在2015年，Schroeder認(rèn)為，隨著機(jī)構(gòu)將他們的注意力從捕獲和管理數(shù)據(jù)轉(zhuǎn)換到使用它們，數(shù)據(jù)敏捷性將會(huì)更加集中。

他說(shuō)：“遺留的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)如此昂貴，以至于需要DBA對(duì)數(shù)據(jù)進(jìn)行全面綜合和結(jié)構(gòu)化。前期的DBA成本推遲了對(duì)新數(shù)據(jù)源的訪問(wèn)，而隨著時(shí)間的推移，這剛性的結(jié)構(gòu)也很難改變。最終的結(jié)果就是，遺留數(shù)據(jù)庫(kù)不夠敏捷，不能滿足今天多數(shù)組織的需要。”

他補(bǔ)充說(shuō)：“最初的數(shù)據(jù)項(xiàng)目集中在目標(biāo)數(shù)據(jù)源的存儲(chǔ)。機(jī)構(gòu)將會(huì)把自己的注意力轉(zhuǎn)移到數(shù)據(jù)敏捷性上，而不是關(guān)心正在管理著多少數(shù)據(jù)。執(zhí)行和分析數(shù)據(jù)的能力又是如何影響操作的?當(dāng)用戶偏好、市場(chǎng)條件、競(jìng)爭(zhēng)行為和操作狀態(tài)發(fā)生變化時(shí)，如何才能快速適應(yīng)和響應(yīng)?這些問(wèn)題將會(huì)在2015年指引大數(shù)據(jù)的投資和規(guī)模。”

2.機(jī)構(gòu)從數(shù)據(jù)湖泊轉(zhuǎn)移到數(shù)據(jù)處理平臺(tái)

從某種程度上來(lái)說(shuō)，2014年是數(shù)據(jù)湖泊(或者數(shù)據(jù)中心)的一年。基于對(duì)象的存儲(chǔ)倉(cāng)庫(kù)以其原生格式(無(wú)論是結(jié)構(gòu)化的、非機(jī)構(gòu)化的或半結(jié)構(gòu)化的)保存著原始數(shù)據(jù)，直到可以使用。數(shù)據(jù)湖泊有著強(qiáng)烈的價(jià)值主張，它們代表著一個(gè)可伸縮的基礎(chǔ)結(jié)構(gòu)，這樣的結(jié)構(gòu)經(jīng)濟(jì)(降低了成本)又敏捷。

Schroeder認(rèn)為，隨著處理數(shù)據(jù)的多計(jì)算和執(zhí)行引擎就位，數(shù)據(jù)湖泊將會(huì)在2015年繼續(xù)發(fā)展。它不僅會(huì)更有效，它還會(huì)創(chuàng)建一個(gè)單點(diǎn)管理和一個(gè)單點(diǎn)安全。

“在2015年，隨著機(jī)構(gòu)從批處理轉(zhuǎn)移到實(shí)時(shí)處理，將Hadoop、數(shù)據(jù)庫(kù)和基于文件的引擎集成到他們的大規(guī)模處理平臺(tái)，數(shù)據(jù)湖泊將會(huì)有所發(fā)展”，他說(shuō)。 “換句話說(shuō)，它并不是關(guān)于數(shù)據(jù)湖泊中支持大量查詢和報(bào)告的大規(guī)模存儲(chǔ)。2015年的大趨勢(shì)是，圍繞事件和數(shù)據(jù)的實(shí)時(shí)持續(xù)訪問(wèn)和處理，以此來(lái)獲取穩(wěn)定的狀態(tài)和及時(shí)采取行動(dòng)。”

3.自助服務(wù)大數(shù)據(jù)成為主流

大數(shù)據(jù)工具和服務(wù)的進(jìn)步意味著，在2015年，商業(yè)用戶和數(shù)據(jù)科學(xué)家訪問(wèn)數(shù)據(jù)的瓶頸將逐漸緩解，Schroeder說(shuō)。

2015年，IT將會(huì)擁抱自助服務(wù)大數(shù)據(jù)，允許商業(yè)用戶使用大數(shù)據(jù)自助服務(wù)，他說(shuō)。“自助服務(wù)授權(quán)開(kāi)發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接控制對(duì)數(shù)據(jù)的探索。”

“之前，需要IT技術(shù)來(lái)建立集中的數(shù)據(jù)結(jié)構(gòu)”，他補(bǔ)充道。“這是一種耗時(shí)和昂貴的做法。對(duì)于一些用例，Hadoop已經(jīng)使得企業(yè)適應(yīng)了‘結(jié)構(gòu)準(zhǔn)備好’。高級(jí)一點(diǎn)的機(jī)構(gòu)將會(huì)轉(zhuǎn)移到執(zhí)行上的數(shù)據(jù)綁定，遠(yuǎn)離中心結(jié)構(gòu)，以此來(lái)滿足持續(xù)的需求。自助服務(wù)加快機(jī)構(gòu)利用新數(shù)據(jù)源以及回應(yīng)機(jī)會(huì)和威脅。”

4.Hadoop供應(yīng)商整合：新商業(yè)模式的發(fā)展

早在2013年，因特爾引入了它自己的Hadoop版本，聲稱這個(gè)版本將會(huì)與原版有所不同，它采用一種增強(qiáng)的方法，將Hadoop直接置入到因特爾的機(jī)器中。但是一年后，因特爾放棄了它自己的版本，然后重磅推出Hadoop發(fā)行版供應(yīng)商Cloudera。

當(dāng)時(shí)，因特爾注意到，客戶們都在觀望Hadoop市場(chǎng)如何打開(kāi)。Hadoop的選擇實(shí)在是太多了。Schroeder相信，Hadoop供應(yīng)商的整合在2015年將會(huì)繼續(xù)，而失敗者將會(huì)停止它們的發(fā)行版，將注意力轉(zhuǎn)移到其它地方。

“現(xiàn)在，我們已經(jīng)貢獻(xiàn)開(kāi)源代碼20年了，它為市場(chǎng)提供了巨大的價(jià)值”，Schroeder說(shuō)。“技術(shù)處于成熟階段。技術(shù)生命周期始于創(chuàng)新和高度差異化產(chǎn)品的創(chuàng)造，止于產(chǎn)品最終商業(yè)化。[Edgar F.] Codd于1969年使用創(chuàng)新而建立了關(guān)系數(shù)據(jù)庫(kù)概念，1986年也導(dǎo)致了Oracle IPO，而起始于1995年的第一個(gè)MySQL版本。所以歷史上，數(shù)據(jù)庫(kù)平臺(tái)技術(shù)成熟之前，為了看到商業(yè)化，它花了26年時(shí)間的創(chuàng)新。”

“在技術(shù)成熟周期中，Hadoop是比較早的，自Google發(fā)布萌芽的MapReduce白皮書(shū)起，僅僅只有十年的時(shí)間”，他補(bǔ)充道。“在初級(jí)概念發(fā)布僅10年后，Hadoop在全球被采用，超越以往任何其它數(shù)據(jù)平臺(tái)。Hadoop正在創(chuàng)新階段，所以供應(yīng)商誤采用‘Red Hat for Hadoop’策略已經(jīng)在市場(chǎng)上出現(xiàn)了，尤其是因特爾和最近的EMC。”

Schroeder相信，2015將會(huì)見(jiàn)到一個(gè)嶄新的、更微妙的開(kāi)源軟件的發(fā)展，它們會(huì)結(jié)合深度創(chuàng)新和社區(qū)開(kāi)發(fā)。

“開(kāi)源社區(qū)對(duì)于建立標(biāo)準(zhǔn)和共識(shí)是至關(guān)重要的”，他說(shuō)。“競(jìng)爭(zhēng)是催化劑，它將Hadoop從最初的批分析處理器轉(zhuǎn)換成一個(gè)全功能數(shù)據(jù)平臺(tái)。”

5.企業(yè)架構(gòu)師不再炒作大數(shù)據(jù)

2015年將會(huì)看到，企業(yè)架構(gòu)師會(huì)成為焦點(diǎn)，因他們對(duì)Hadoop技術(shù)的深入理解，得到定義更好和更成熟的大數(shù)據(jù)應(yīng)用需求說(shuō)明，包括像高可用性和業(yè)務(wù)連續(xù)性等元素。

“在數(shù)據(jù)中心中，隨著機(jī)構(gòu)快速?gòu)脑囼?yàn)轉(zhuǎn)移到實(shí)際應(yīng)用，企業(yè)架構(gòu)師將前臺(tái)和中心轉(zhuǎn)移到實(shí)際應(yīng)用”，Schroeder說(shuō)。“IT領(lǐng)導(dǎo)在決定適應(yīng)SLA的基礎(chǔ)架構(gòu)、提供高可用性、業(yè)務(wù)連續(xù)性和適應(yīng)關(guān)鍵業(yè)務(wù)需求上就很重要了。在2014年，圍繞Hadoop蓬勃發(fā)展的生態(tài)系統(tǒng)，擁有大量的應(yīng)用、工具和組件。在 2015年，市場(chǎng)將集中在將Hadoop集成到數(shù)據(jù)中心，并交付業(yè)務(wù)結(jié)果所需的跨平臺(tái)差異和架構(gòu)上。”

來(lái)源：Sanesee翻譯  作者：Thor Olavsrud