本文章是CDP中Cloudera的Operational DB（OpDB）系列文章的一部分。每篇文章都會(huì)詳細(xì)介紹新功能。從本系列的開頭以CDP中的Operational Database開始。

Cloudera的OpDB提供了一組豐富的功能來(lái)存儲(chǔ)和訪問數(shù)據(jù)。在本文章中，我們將研究OpDB的可訪問性功能，以及如何利用這些功能來(lái)訪問數(shù)據(jù)。

分配和分片

Cloudera的Operational DB（OpDB）是橫向擴(kuò)展的數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS），旨在線性擴(kuò)展至PB級(jí)數(shù)據(jù)。 像所有DBMS一樣，橫向擴(kuò)展是通過分片實(shí)現(xiàn)的。支持兩種不同的分片策略：

• 自動(dòng)分片
• 預(yù)定義分片

自動(dòng)分片

啟用自動(dòng)分片后，表將在整個(gè)集群中動(dòng)態(tài)分布，并且當(dāng)分片大小超過可配置的限制時(shí)，表將自動(dòng)拆分并在集群中的服務(wù)器之間移動(dòng)。一個(gè)表段在中間鍵處分為兩部分，創(chuàng)建了兩個(gè)大致相等的一半，這兩個(gè)一半可以由不同的服務(wù)器提供服務(wù)。

無(wú)論與OpDB一起使用的網(wǎng)絡(luò)（WAN或本地）如何，都將應(yīng)用自動(dòng)分片。 可以將群集設(shè)置為跨越WAN，在這種情況下，將在WAN上進(jìn)行分片和數(shù)據(jù)移動(dòng)，而數(shù)據(jù)丟失為零。可以將系統(tǒng)配置為了解哪個(gè)節(jié)點(diǎn)位于哪個(gè)數(shù)據(jù)中心，這可以為分片提供額外的彈性，因?yàn)榉制母北究梢苑植荚诙鄠€(gè)數(shù)據(jù)中心中。

預(yù)定義分片

可以基于策略，通常以租戶特定的方式，將碎片限制為群集中節(jié)點(diǎn)的特定子集。 這樣就可以實(shí)施基于地理的策略。 然后，可以在群集之間復(fù)制表并通過策略進(jìn)行設(shè)置，以確保將表及其關(guān)聯(lián)分片的復(fù)制限制在所需的地理位置。

Cloudera的OpDB為數(shù)據(jù)主權(quán)提供本地支持。如果群集跨越多個(gè)國(guó)家/地區(qū)，則可以使用區(qū)域服務(wù)器組將數(shù)據(jù)與HDFS Rack隔離配置一起錨定特定國(guó)家/地區(qū)中的數(shù)據(jù)。

查詢

Cloudera提供了三個(gè)查詢引擎，這些查詢引擎針對(duì)不同類型的用例進(jìn)行了優(yōu)化，包括操作和分析用例以及NoSQL接口，以在各種操作和數(shù)據(jù)倉(cāng)庫(kù)工作負(fù)載中實(shí)現(xiàn)優(yōu)化的性能。 這樣可以跨多個(gè)分片執(zhí)行查詢和數(shù)據(jù)聯(lián)接。

Cloudera的OpDB提供了本機(jī)OLTP SQL引擎，該引擎支持查詢多個(gè)數(shù)據(jù)和對(duì)象模型，包括查詢和跨它們的聯(lián)接。 我們的兩個(gè)OLAP查詢引擎可用于映射駐留在我們的OpDB（或其他位置）中的外部表，并可在它們之間查詢或聯(lián)接以進(jìn)行典型的數(shù)據(jù)倉(cāng)庫(kù)更復(fù)雜的分析查詢。

數(shù)據(jù)整合工具

Cloudera提供了多種工具來(lái)實(shí)現(xiàn)與數(shù)據(jù)倉(cāng)庫(kù)和聯(lián)合查詢處理的集成。

例如：

• 由Flink，Spark，Hive和MapReduce提供批量導(dǎo)出到數(shù)據(jù)倉(cāng)庫(kù)的功能
• Nifi將流導(dǎo)出導(dǎo)出到數(shù)據(jù)倉(cāng)庫(kù)
• Phoenix，Impala和Hive提供了我們OpDB中的現(xiàn)場(chǎng)數(shù)據(jù)查詢
• Hive提供了跨我們的OpDB，數(shù)據(jù)倉(cāng)庫(kù)解決方案和第三方數(shù)據(jù)倉(cāng)庫(kù)解決方案的聯(lián)合查詢處理

Cloudera的OpDB包含許多Hadoop工具，并與大多數(shù)Hadoop生態(tài)系統(tǒng)集成。OpDB提供NoSQL和SQL接口。此接口沒有任何限制，并且在Hadoop社區(qū)中得到很好的支持。

移動(dòng)OpDB

MiNiFi可以在邊緣的便攜式設(shè)備上使用，并提供與OpDB的數(shù)據(jù)連接。查詢編輯器HUE可以在移動(dòng)或便攜式設(shè)備上運(yùn)行。

基于標(biāo)準(zhǔn)的連接

除了直接對(duì)我們的數(shù)據(jù)存儲(chǔ)區(qū)和工具進(jìn)行API訪問之外，Cloudera還提供了通過SQL引擎提供的JDBC和ODBC驅(qū)動(dòng)程序。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺(tái)服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動(dòng)了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請(qǐng)聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！