從SQL Server 2019 (15.x)開始，SQL Server大數(shù)據(jù)群集使你可以部署在Kubernetes上運(yùn)行的SQL Server、Spark和HDFS容器的可縮放群集。這些組件并行運(yùn)行以確保可讀取、寫入和處理Transact-SQL或Spark中的大數(shù)據(jù)，這樣你就可以借助大量大數(shù)據(jù)輕松合并并分析高價(jià)值關(guān)系數(shù)據(jù)。

點(diǎn)擊下載Microsoft SQL Server正式版

方案

SQL Server大數(shù)據(jù)群集在與大數(shù)據(jù)交互方面提供了靈活性。可查詢外部數(shù)據(jù)源，存儲(chǔ)通過SQL Server管理的HDFS中的大數(shù)據(jù)，或通過群集查詢來自多個(gè)外部數(shù)據(jù)源的數(shù)據(jù)。然后，可以將數(shù)據(jù)用于AI、機(jī)器學(xué)習(xí)和其他分析任務(wù)。下列各部分提供了有關(guān)這些方案的詳細(xì)信息。

數(shù)據(jù)虛擬化

通過利用SQL Server PolyBase，SQL Server大數(shù)據(jù)群集可以在不移動(dòng)或復(fù)制數(shù)據(jù)的情況下查詢外部數(shù)據(jù)源。SQL Server 2019 (15.x) 引入了數(shù)據(jù)源的新連接器。

Data Lake

SQL Server大數(shù)據(jù)群集包括可縮放的HDFS存儲(chǔ)池。 這可用于存儲(chǔ)可能來自多個(gè)外部源的大數(shù)據(jù)。 大數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)群集中的HDFS中后，便可分析和查詢數(shù)據(jù)并將其與關(guān)系數(shù)據(jù)相結(jié)合。

橫向擴(kuò)展數(shù)據(jù)市場(chǎng)

SQL Server大數(shù)據(jù)群集提供了向外擴(kuò)展計(jì)算和存儲(chǔ)，以提高分析任何數(shù)據(jù)的性能。來自各種源的數(shù)據(jù)可作為緩存跨數(shù)據(jù)池節(jié)點(diǎn)進(jìn)行引入和分布以供進(jìn)一步分析。

集成的AI和機(jī)器學(xué)習(xí)

SQL Server大數(shù)據(jù)群集在HDFS存儲(chǔ)池中存儲(chǔ)的數(shù)據(jù)和數(shù)據(jù)池中啟用AI和機(jī)器學(xué)習(xí)任務(wù)。使用R、Python、Scala或者Java可在SQL Server中使用Spark以及內(nèi)置的AI工具。

管理和監(jiān)視

通過命令行工具、API、門戶和動(dòng)態(tài)管理視圖的組合提供管理和監(jiān)視。

可以使用Azure Data Studio在大數(shù)據(jù)群集上執(zhí)行各種任務(wù)。這是由新的SQL Server 2019擴(kuò)展（預(yù)覽版）啟用的。 此擴(kuò)展提供：

• 用于常見管理任務(wù)的內(nèi)置片段。

• 瀏覽HDFS、上傳文件、預(yù)覽文件和創(chuàng)建目錄的能力。

• 創(chuàng)建、打開和運(yùn)行與Jupyter兼容的筆記本的能力。

• 用于簡(jiǎn)化外部數(shù)據(jù)源的創(chuàng)建的數(shù)據(jù)虛擬化向?qū)А?/p>

體系結(jié)構(gòu)

SQL Server大數(shù)據(jù)群集是由Kubernetes編排的Linux 容器群集。

Kubernetes的概念

Kubernetes是一個(gè)開放源代碼容器業(yè)務(wù)流程協(xié)調(diào)程序，可以根據(jù)需要縮放容器部署。下表定義了一些重要的Kubernetes術(shù)語：

在SQL Server大數(shù)據(jù)群集中，Kubernetes負(fù)責(zé)SQL Server大數(shù)據(jù)群集的狀態(tài)，Kubernetes構(gòu)建和配置群集節(jié)點(diǎn)，將pod分配給節(jié)點(diǎn)，并監(jiān)視群集的運(yùn)行狀況。

大數(shù)據(jù)群集體系結(jié)構(gòu)

下圖顯示了SQL Server的大數(shù)據(jù)群體的組件。

控制器

控制器為群集提供管理和安全性。它包含控制服務(wù)、配置存儲(chǔ)和其他群集級(jí)服務(wù)，例如Kibana、Grafana和彈性搜索。

計(jì)算池

計(jì)算池為群集提供計(jì)算資源。它包含在Linux上的SQL Server Pod上運(yùn)行的節(jié)點(diǎn)。計(jì)算池中的Pod分為用于特定處理任務(wù)的SQL Compute實(shí)例。

數(shù)據(jù)池

數(shù)據(jù)池用于數(shù)據(jù)暫留和緩存。數(shù)據(jù)池由一個(gè)或多個(gè)運(yùn)行Linux上的SQL Server的Pod組成。它用于從SQL查詢或Spark作業(yè)中提取數(shù)據(jù)。SQL Server大數(shù)據(jù)群集數(shù)據(jù)市場(chǎng)持久保留在數(shù)據(jù)池中。

存儲(chǔ)池

存儲(chǔ)池由Linux上的SQL Server、Spark和HDFS組成的存儲(chǔ)池Pod組成。SQL Server大數(shù)據(jù)群集中的所有存儲(chǔ)節(jié)點(diǎn)都是HDFS群集的成員。

后續(xù)步驟

有關(guān)部署SQL Server大數(shù)據(jù)群集的詳細(xì)信息，請(qǐng)參閱SQL Server大數(shù)據(jù)群集入門。

*想要獲得Microsoft SQL Server更多資源或正版授權(quán)的朋友，可以咨詢了解哦~

慧都網(wǎng)·1024程序員節(jié)，DevExpress、MyEclipse、Axure RP、Aspose、FastReport等產(chǎn)品限時(shí)放“價(jià)”，給你專屬寵愛！點(diǎn)擊下方圖片查看活動(dòng)詳情↓↓↓