HDFS 3．x 數(shù)據(jù)存儲新特性－糾刪碼

HDFS是一個高吞吐、高容錯的分布式文件系統(tǒng)，但是HDFS在保證高容錯的同時也帶來了高昂的存儲成本，比如有5T的數(shù)據(jù)存儲在HDFS上，按照HDFS的默認(rèn)3副本機制，將會占用15T的存儲空間。那么有沒有一種能達到和副本機制相同的容錯能力但是能大幅度降低存儲成本的機制呢，有，就是在HDFS 3．x 版本引入的糾刪碼機制。

1． EC介紹

Erasure Coding  簡稱 EC，中文名：糾刪碼

EC（糾刪碼）是一種編碼技術(shù)，在 HDFS 之前，這種編碼技術(shù)在廉價磁盤冗余陣列（RAID）中應(yīng)用最廣泛，RAID 通過條帶化技術(shù)實現(xiàn) EC，條帶化技術(shù)就是一種自動將 I／O 的負(fù)載均衡到多個物理磁盤上的技術(shù)，原理就是將一塊連續(xù)的數(shù)據(jù)分成很多小部分并把他們分別存儲到不同磁盤上去，這就能使多個進程同時訪問數(shù)據(jù)的多個不同部分而不會造成磁盤沖突（當(dāng)多個進程同時訪問一個磁盤時，可能會出現(xiàn)磁盤沖突），而且在需要對這種數(shù)據(jù)進行順序訪問的時候可以獲得最大程度上的 I／O 并行能力，從而獲得非常好的性能。

在HDFS中，把連續(xù)的數(shù)據(jù)分成很多的小部分稱為條帶化單元，對于原始數(shù)據(jù)單元的每個條帶單元，都會計算并存儲一定數(shù)量的奇偶檢驗單元，計算的過程稱為編碼，可以通過基于剩余數(shù)據(jù)和奇偶校驗單元的解碼計算來恢復(fù)任何條帶化單元上的錯誤。

2． HDFS數(shù)據(jù)冗余存儲策略

HDFS的存儲策略是副本機制，這種存儲方式使得數(shù)據(jù)存儲的安全性得到提高，但同時也帶來了額外的開銷，HDFS默認(rèn)的3副本方案在存儲空間和其他資源（如網(wǎng)絡(luò)帶寬）上有200％的額外開銷，但是對于I／O活動相對較低的數(shù)據(jù)，在正常期間很少訪問其他塊副本，但是仍然消耗與第一個副本相同的資源量。

因此，HDFS 3．x 版本一個重大改進就是使用糾刪碼（EC）代替副本機制，糾刪碼技術(shù)提供了與副本機制相同的容錯能力，而存儲空間卻少得多。在典型的糾刪碼（EC）設(shè)置中，存儲開銷不超過50％。

3． EC算法實現(xiàn)原理

EC的實現(xiàn)算法有很多種，較為常見的一種算法是Reed－Solomon（RS），它有兩個參數(shù)，記為RS（k，m），k 表示數(shù)據(jù)塊，m 表示校驗塊，有多少個校驗塊就最多可容忍多少個塊（包括數(shù)據(jù)塊和校驗塊）丟失，具體原理通過如下例子解釋：

我們使用RS（3，2），表示使用 3 個原始數(shù)據(jù)塊，2 個校驗塊。

例：由RS（3，2） 可求出它的生成矩陣 GT，和 7、8、9 三個原始數(shù)據(jù)塊 Data，通過矩陣乘法，計算出來兩個校驗數(shù)據(jù)塊 50、122。這時原始數(shù)據(jù)加上校驗數(shù)據(jù)，一共五個數(shù)據(jù)塊：7、8、9、50、122，可以任意丟兩個，然后通過算法進行恢復(fù)，矩陣乘法如下圖所示：

矩陣乘法

GT 是生成矩陣，RS（k，m） 的生成矩陣就是 m 行 k 列的矩陣；

Data 代表原始數(shù)據(jù)，7，8，9代表原始數(shù)據(jù)塊；

Parity 代表校驗數(shù)據(jù)，50，122代表校驗數(shù)據(jù)塊。

所以3個原始數(shù)據(jù)塊，如果使用2個校驗塊，EC編碼總共占用5個數(shù)據(jù)塊的磁盤空間，與2副本機制占用6個數(shù)據(jù)塊的磁盤空間容錯能力相當(dāng)。

4． EC的應(yīng)用場景

將EC技術(shù)集成進HDFS可以提高存儲效率，同時仍提供與傳統(tǒng)的基于副本的HDFS部署類似的數(shù)據(jù)持久性。例如，一個具有6個塊的3副本文件將消耗 6 ＊ 3 ＝ 18 個磁盤空間。但是，使用EC（6個數(shù)據(jù)，3個校驗）部署時，它將僅消耗9個磁盤空間塊。

但是EC在編碼過程及數(shù)據(jù)重建期間會大量的使用CPU資源，并且數(shù)據(jù)大部分是執(zhí)行遠程讀取，所以還會有大量的網(wǎng)絡(luò)開銷。

所以，對于CPU資源緊張且存儲成本較低的情況下，可以采用副本機制存儲數(shù)據(jù)，對于CPU資源有剩余且存儲成本較高的情況下，可以采用EC機制存儲數(shù)據(jù)。

5． EC在HDFS的架構(gòu)

HDFS 是直接使用 Online EC（以EC格式寫入數(shù)據(jù)），避免了轉(zhuǎn)換階段并節(jié)省了存儲空間。Online EC 還通過并行利用多個磁盤主軸來增強順序I／O性能。在具有高端網(wǎng)絡(luò)的群集中，這尤其理想。其次，它自然地將一個小文件分發(fā)到多個DataNode，而無需將多個文件捆綁到一個編碼組中。這極大地簡化了文件操作，例如刪除，磁盤配額以及namespaces之間的遷移。

在一般HDFS集群中，小文件可占總存儲消耗的3／4以上，為了更好的支持小文件，HDFS目前支持條形布局（Striping Layout）的EC方案，而HDFS連續(xù)布局（Contiguous Layout）方案正在開發(fā)中。

條形布局：

條形布局

優(yōu)點：

客戶端緩存數(shù)據(jù)較少；無論文件大小都適用。

缺點：

會影響一些位置敏感任務(wù)的性能，因為原先在一個節(jié)點上的塊被分散到了多個不同的節(jié)點上；和多副本存儲策略轉(zhuǎn)換比較麻煩。連續(xù)布局：

連續(xù)布局

優(yōu)點：

容易實現(xiàn)；方便和多副本存儲策略進行轉(zhuǎn)換。

缺點：

需要客戶端緩存足夠的數(shù)據(jù)塊；不適合存儲小文件。

傳統(tǒng)模式下 HDFS 中文件的基本構(gòu)成單位是block，而EC模式下文件的基本構(gòu)成單位是block group。以RS（3，2）為例，每個block group包含3個數(shù)據(jù)塊，2個校驗塊。

HDFS對于引入EC模式所做的主要擴展如下：

NameNode：HDFS文件在邏輯上由block group組成，每個block group包含一定數(shù)量的內(nèi)部塊，為了減少這些內(nèi)部塊對NameNode內(nèi)存消耗，HDFS引入了新的分層塊命名協(xié)議。可以從其任何內(nèi)部塊的ID推斷出block group的ID。這允許在塊組而不是塊的級別進行管理。

Client：客戶端讀取和寫入路徑得到了增強，可以并行處理block group中的多個內(nèi)部塊。

DataNode：DataNode運行額外ErasureCodingWorker（ECWorker）任務(wù)，用于對失敗的糾刪編碼塊進行后臺恢復(fù)。NameNode檢測到失敗的EC塊， 會選擇一個DataNode進行恢復(fù)工作。此過程類似于失敗時如何重新恢復(fù)副本的塊。重建執(zhí)行三個關(guān)鍵的任務(wù)節(jié)點：

從源節(jié)點讀取數(shù)據(jù)：使用專用線程池從源節(jié)點并行讀取輸入數(shù)據(jù)�；�于EC策略，對所有源目標(biāo)的發(fā)起讀取請求，并僅讀取最少數(shù)量的輸入塊進行重建。解碼數(shù)據(jù)并生成輸出數(shù)據(jù)：從輸入數(shù)據(jù)解碼新數(shù)據(jù)和奇偶校驗塊。所有丟失的數(shù)據(jù)和奇偶校驗塊一起解碼。將生成的數(shù)據(jù)塊傳輸?shù)侥繕?biāo)節(jié)點：解碼完成后，恢復(fù)的塊將傳輸?shù)侥繕?biāo)DataNodes。

糾刪碼策略：為了適應(yīng)異構(gòu)的工作負(fù)載，HDFS群集中的文件和目錄允許具有不同的復(fù)制和糾刪碼策略。糾刪碼策略封裝了如何對文件進行編碼／解碼。每個策略由以下信息定義：

EC模式：這包括EC組（例如6 ＋ 3）中的數(shù)據(jù)和奇偶校驗塊的數(shù)量，以及編解碼器算法（例如Reed－Solomon，XOR）。條帶化單元的大小。這確定了條帶讀取和寫入的粒度，包括緩沖區(qū)大小和編碼工作。

我們可以通過XML文件定義自己的EC策略，該文件必須包含以下三個部分：

layoutversion：這表示EC策略XML文件格式的版本。schemas：這包括所有用戶定義的EC模式。policies：這包括所有用戶定義的EC策略，每個策略均由schema id和條帶化單元的大小（cellsize）組成。

Hadoop conf目錄中有一個配置EC策略的XML示例文件，配置時可以參考該文件，文件名稱為user＿ec＿policies．xml．template。

6． 集群的硬件配置

糾刪碼對群集在CPU和網(wǎng)絡(luò)方面有一定的要求：

編碼和解碼工作會消耗HDFS客戶端和DataNode上的額外CPU。

糾刪碼文件也分布在整個機架上，以實現(xiàn)機架容錯。這意味著在讀寫條帶化文件時，大多數(shù)操作都是在機架上進行的。因此，網(wǎng)絡(luò)二等分帶寬非常重要。

對于機架容錯，擁有至少與配置的EC條帶寬度一樣多的機架也很重要。對于EC策略RS（6，3），這意味著最少要有9個機架，理想情況下是10或11個機架，以處理計劃內(nèi)和計劃外的中斷。對于機架少于條帶寬度的群集，HDFS無法保持機架容錯，但仍會嘗試在多個節(jié)點之間分布條帶化文件以保留節(jié)點級容錯。

7． 最后

在HDFS默認(rèn)情況下，所有的EC策略是被禁止的，我們可以根據(jù)群集的大小和所需的容錯屬性，通過hdfs ec ［－enablePolicy －policy］命令啟用EC策略。

例如，對于具有9個機架的群集，像RS－10－4－1024k這樣的策略將不會保留機架級的容錯能力，而RS－6－3－1024k或RS－3－2－1024k可能更合適。

RS－10－4－1024k 表示有10個數(shù)據(jù)塊，4個校驗塊。

在副本機制下，我們可以設(shè)置副本因子，指定副本的數(shù)量，但是在EC策略下，指定副本因子是沒有意義的，因為它始終為1，無法通過相關(guān)命令進行更改。