簡介

Apache Hadoop Ozone是一個分布式鍵值存儲，可以高效地管理大小文件。Ozone旨在與現(xiàn)有的Apache Hadoop生態(tài)系統(tǒng)很好地配合使用，并且滿足了對新的開源對象存儲的需求，該對象存儲旨在簡化操作使用并擴展到單個集群中的數(shù)千個節(jié)點和數(shù)十億個對象。

較早的文章介紹Ozone和Ozone概述介紹了臭氧的設(shè)計理念和關(guān)鍵概念。這篇面向開發(fā)人員的文章更深入地介紹了系統(tǒng)體系結(jié)構(gòu)。研究了Ozone的構(gòu)建基塊，并了解如何將它們組合在一起以構(gòu)建可擴展的分布式存儲系統(tǒng)。

了解可伸縮性問題

為了將Ozone擴展到數(shù)十億個文件，需要解決HDFS中存在的兩個瓶頸。

命名空間可伸縮性

不能再將整個名稱空間存儲在單個節(jié)點的內(nèi)存中。關(guān)鍵的見解是名稱空間具有引用位置，因此僅可以將工作集存儲在內(nèi)存中。名稱空間由稱為Ozone Manager的服務(wù)管理。

塊圖可擴展性

這是一個較難解決的問題。與名稱空間不同，由于存儲節(jié)點（DataNodes）定期發(fā)送有關(guān)系統(tǒng)中每個塊的塊報告，因此塊圖不具有引用位置。Ozone將這個問題委托給了一個稱為Hadoop分布式數(shù)據(jù)存儲（HDDS）的共享通用存儲層。

積木

Ozone由以下關(guān)鍵成分組成。

• 使用現(xiàn)成的鍵值存儲（RocksDB）構(gòu)建的存儲容器。
• 通過Apache Ratis的RAFT共識協(xié)議。RAFT是一種共識協(xié)議，其實質(zhì)與Paxos相似，但旨在易于理解和實施。Apache Ratis是RAFT的開源Java實現(xiàn)，針對高吞吐量進行了優(yōu)化。
• 存儲容器管理器（SCM）–一種管理復(fù)制容器生命周期的服務(wù)。
• Hadoop分布式數(shù)據(jù)存儲（HDDS）–用于不提供名稱空間的塊的通用分布式存儲層。
• Ozone Manager（OM）–一種實現(xiàn)Ozone鍵值名稱空間的名稱空間管理器。

放在一起

在本節(jié)中，我們將了解如何將這些構(gòu)造塊放在一起以創(chuàng)建分布式鍵值存儲。

儲存容器

在最底層，Ozone將用戶數(shù)據(jù)存儲在存儲容器中。容器是塊名稱及其數(shù)據(jù)的鍵-值對的集合。鍵是在容器內(nèi)本地唯一的塊名稱。值是塊數(shù)據(jù)，范圍從0字節(jié)到256MB。塊名稱不必是全局唯一的。

每個容器都支持一些簡單的操作：

容器使用RocksDB存儲在磁盤上，并針對較大的值進行了一些優(yōu)化。

RAFT復(fù)制

分布式文件系統(tǒng)必須容忍單個磁盤/節(jié)點的丟失，因此我們需要一種通過網(wǎng)絡(luò)復(fù)制容器的方法。為此，引入了一些容器的其他屬性。

• 容器是復(fù)制的單位。 因此，其最大大小限制為5GB（管理員可配置）。
• 每個容器可以處于以下兩種狀態(tài)之一：打開或關(guān)閉。 打開的容器可以接受新的鍵值存儲，而關(guān)閉的容器是不可變的。
• 每個容器都有三個副本。
使用RAFT復(fù)制打開的容器狀態(tài)更改（寫入）。 RAFT是基于仲裁的協(xié)議，其中仲裁的節(jié)點對變更進行投票。 在給定的時間，單個節(jié)點充當(dāng)領(lǐng)導(dǎo)者并提出更改建議。 因此，所有容器操作都可以實時可靠地復(fù)制到至少法定數(shù)量的節(jié)點（2）。

容器副本存儲在DataNodes上。

容器生命周期

容器以打開狀態(tài)開始?？蛻舳司帉憠K以打開容器，然后使用提交操作最終確定塊數(shù)據(jù)。編寫塊分為兩個階段：

• 寫入塊數(shù)據(jù)。根據(jù)客戶端的速度和網(wǎng)絡(luò)/磁盤帶寬，這可能會花費任意長時間。如果客戶端在提交該塊之前死亡，則不完整的數(shù)據(jù)將由SCM自動進行垃圾回收。
• 提交塊。此操作從根本上使該塊在容器中可見。

存儲容器管理器（SCM）

現(xiàn)在，我們知道了如何將塊存儲在容器中以及如何通過網(wǎng)絡(luò)復(fù)制容器。下一步是構(gòu)建一個集中服務(wù)，該服務(wù)知道所有容器在群集中的存儲位置。該服務(wù)是SCM。

SCM從所有DataNode定期獲取報告，告知這些節(jié)點上的容器副本及其當(dāng)前狀態(tài)。 SCM可以選擇三個DataNode的集合來存儲新的開放容器，并指示它們相互形成RAFT復(fù)制環(huán)。

SCM還可以了解容器何時變滿，并指示引導(dǎo)副本“關(guān)閉”容器。 SCM還可以檢測復(fù)制的封閉容器下/上的情況，并確保每個封閉容器存在三個副本。

容器+ RAFT + SCM = HDDS！

有了以上三個構(gòu)建塊，就可以完成創(chuàng)建HDDS的所有工作，HDDS是一個沒有全局命名空間的分布式塊存儲層。現(xiàn)在，DataNode被分為三組，每組形成一個Ratis復(fù)制環(huán)。每個環(huán)可以有多個打開的容器。

SCM每30秒從每個DataNode接收一次報告，以通知每個節(jié)點上打開和關(guān)閉的容器副本。根據(jù)此報告，SCM做出決策，例如分配新容器，關(guān)閉打開的容器，在磁盤丟失/數(shù)據(jù)丟失時重新復(fù)制關(guān)閉的容器。

SCM的客戶可以請求分配新塊，然后將塊數(shù)據(jù)寫入分配的容器中?？蛻舳诉€可以讀取打開/關(guān)閉容器中的塊并刪除塊。關(guān)鍵是HDDS本身并不關(guān)心單個容器的內(nèi)容。內(nèi)容完全由使用SCM的應(yīng)用程序管理。

添加名稱空間– Ozone Manager

有了HDDS，唯一缺少的要素就是全局鍵值命名空間。這是由OzoneManager提供的。 OM是從鍵名到相應(yīng)的塊集的映射服務(wù)。

客戶端可以將多個塊寫入HDDS，然后提交它們的key-> blocks，將它們原子地映射到OM，以使密鑰在名稱空間中可見。

OM將自己的狀態(tài)存儲在RocksDB數(shù)據(jù)庫中。

HDDS超越Ozone

HDDS可以被其他分布式文件系統(tǒng)實現(xiàn)用作塊存儲層。已經(jīng)討論并可能在將來實現(xiàn)的一些示例：

• HDDS上的HDFS（HDFS-10419）– HDDS可通過替換現(xiàn)有的HDFS塊管理器來巧妙地解決塊空間可伸縮性問題。這個想法類似于HDFS-5477提議。
• cBlocks（HDFS-11118）–由HDDS存儲支持的可安裝iSCSI卷的原型。
• 假設(shè)的對象存儲，還將其名稱空間存儲在HDDS容器中。