shenh062326

High Availability for the HDFS Namenode

Sanjay Radia, Suresh Srinivas

Yahoo! Inc

 (本文為namdnoe HA的設(shè)計(jì)文檔翻譯)

1.       問題闡述

有許多方法可以改善HDFS Namednoe（NN）的可用性，包括減少啟動(dòng)時(shí)間，更新配置而不需要重啟集群，減少升級(jí)時(shí)間與提供一個(gè)手動(dòng)或自動(dòng)的NN故障切換等。本文主要關(guān)注于NN的故障切換以解決NN的單點(diǎn)故障問題。

 

有許多方法用以解決NN的失敗，其中包括使用共享存儲(chǔ)，使用虛擬IP與智能客戶端。 可以使用Zookeeper用于領(lǐng)導(dǎo)者選舉，或者其他架構(gòu)類似Linux HA。 這些不同的解決方法可以共享一些框架部件， 本文的目的是定義這些框架部件并提供一些具體設(shè)計(jì)，用以建立一個(gè)機(jī)器故障切換的解決方案，以此提供HDFS Namenode的高可用性并隔離HDFS的服務(wù)。

 

2.       術(shù)語

1)         Active NN － 為客戶端提供讀寫操作的服務(wù)的活動(dòng)NN

2)         Standby NN － 這個(gè)NN等待并當(dāng)Active NN死去的時(shí)候成為active

                         i.              BackupNode 在hadoop－0.21中可用于實(shí)現(xiàn)Standby的共享存儲(chǔ)文件系統(tǒng)的名字空間。

3)         為了不導(dǎo)致混淆，我們不會(huì)使用Primary 或者 Secondary來代表Active和Standby，因?yàn)?/span>Secondary在老版本中是checkpoing 節(jié)點(diǎn)。

4)         Hot，Warm， Cold 的故障切換，Standby NN 存儲(chǔ)正在運(yùn)行的Active的子狀態(tài) 。

                         i.              Cold Standby：Standby NN沒有狀態(tài)。

                       ii.              Warm Standby：Standby 有部分狀態(tài)：

1.         它已加載fsImage和editLog但是沒有收到塊報(bào)告；

2.         它已加載fsImage和roolled logs與所有塊報(bào)告。

5)         Hot Standby： Standby已經(jīng)有Active的所有狀態(tài)，并立刻啟動(dòng)。

3.       上層應(yīng)用

1)         計(jì)劃停機(jī)： 一個(gè)hadoop集群經(jīng)常需要停止以升級(jí)軟件或配置，一個(gè)4000節(jié)點(diǎn)的hadoop集群需要大約兩個(gè)小時(shí)的時(shí)間重啟。

2)         非計(jì)劃停機(jī)或服務(wù)無響應(yīng): Namenode服務(wù)經(jīng)常由于硬件，系統(tǒng)，NN進(jìn)程失敗或NN 進(jìn)程程序幾分鐘無響應(yīng)而出現(xiàn)故障， 然而這些有可能出乎意料的影響一些重要的上層應(yīng)用。

以上兩種情況下，一個(gè)warm或hot 故障切換可以減少停機(jī)時(shí)間， 事實(shí)上計(jì)劃升級(jí)是影響HDFS服務(wù)不可用的最大因素， 因?yàn)?/span>HDFS Namenode 失敗是很少的。（根據(jù)Yahoo 和Facebook的經(jīng)驗(yàn)）。

4.       不考慮的情況

1)         Active－Active NNs －我們的初始設(shè)計(jì)是一個(gè)NN成為Active而另外一個(gè)standby（warm 或hot）， 可選方案是可以考慮允許Standby提供讀操作。 我們認(rèn)為Active－Active 需要額外的工作， 也許需要重新設(shè)計(jì)。

2)         一個(gè)名字空間多于兩個(gè)NN

3)         大面積的失敗，這通常叫做BCP。

5.       支持的失敗情況

1)         只要單HW失敗（disks，NICs，links等），兩個(gè)時(shí)不進(jìn)行處理，但這種情況下保證數(shù)據(jù)不會(huì)損壞。

2)         軟件失敗：例如NN進(jìn)程失敗，或者NN 進(jìn)程死鎖。注意系統(tǒng)無法恢復(fù)當(dāng)standby在剛變成Active的時(shí)候出現(xiàn)軟件失敗。

3)         NN GC是一個(gè)棘手的問題，如果一個(gè)NN進(jìn)入GC并且不回復(fù)，它不能被認(rèn)為死。

6.       需求

1)         只有一個(gè)NN處于Active

                         i.              只有Active能處理客戶端的請(qǐng)求并答復(fù)。

                       ii.              只有Active能改變持久化狀態(tài)；

                      iii.              可選： Standby處理讀請(qǐng)求。

2)         第一步支持手動(dòng)故障切換－一些組織希望使用故障切換僅僅在軟件升級(jí)的時(shí)候，這是導(dǎo)致hadoop集群不可用的最大原因。、

3)         無法自動(dòng)回滾，如果舊的Active重啟或變成健康狀態(tài)的時(shí)候。

4)         數(shù)據(jù)比可用性更重要

                         i.              手動(dòng)或者自動(dòng)故障切換不應(yīng)該導(dǎo)致數(shù)據(jù)損壞

5)         盡量不用特殊硬件

6)         HA安裝和失敗管理應(yīng)該簡(jiǎn)單，并得防止數(shù)據(jù)損壞即使在操作失誤的情況下。

7)         短時(shí)間的NN垃圾收集不應(yīng)該被認(rèn)為失敗與觸發(fā)自動(dòng)故障切換。

7.       具體用例

1)         單點(diǎn)NN配置，沒有故障切換

2)         Active和Standby手動(dòng)切換

                         i.              Standby可以是cold/warm/hot

3)         Active和Standby 自動(dòng)切換

                         i.              兩個(gè)NN啟動(dòng)，一個(gè)自動(dòng)成為Active另外一個(gè)成為Standby

                       ii.              Active 和Standby 運(yùn)行著

                      iii.              Active失敗，或者不健康，Standby接替

                      iv.              Active和Standby運(yùn)行， Active 手動(dòng)停機(jī)

                       v.              Active和Standby運(yùn)行，Standby失敗，Active繼續(xù)

                      vi.              Active運(yùn)行，Standby停機(jī)維修，Active死并無法啟動(dòng)，Standby啟動(dòng)并成為Active

                    vii.              兩個(gè)NN啟動(dòng)，只有一個(gè)起來，它成為Active

                   viii.              Active和Standby運(yùn)行，Active狀態(tài)未知，Standby接替。

 

8.       設(shè)計(jì)方案

下面我們描述一些設(shè)計(jì)方案。在許多地方都有一些選擇，例如：是否存儲(chǔ)NN的實(shí)時(shí)狀態(tài)，如何進(jìn)行領(lǐng)導(dǎo)者選舉（使用zookeeper 或者Linux HA或者其它方法），或者如何實(shí)現(xiàn)隔離技術(shù)。然而其余的部分很簡(jiǎn)單。下面兩個(gè)圖表描述使用zookeeper 和Linux HA做共享存儲(chǔ)的整體方針；設(shè)計(jì)可以擴(kuò)展到BackupNode。

NN HA with Shared Storage and Zookeeper

 

NN HA with Shared Storage and Linux HA

1)    NN元數(shù)據(jù)的共享存儲(chǔ)與無共享存儲(chǔ)

Active與Standby既可以共享存儲(chǔ)（例如NFS）或者Active把edits形成流發(fā)給Standby（就像0.21里BackupNode的實(shí)現(xiàn)）。其中一些考慮如下：

                         i.              共享存儲(chǔ)成為單點(diǎn)故障，因此需要其高可用。Bookkeeper 是一個(gè)比較好的解決方法但是在prime time還未準(zhǔn)備好，可以考慮成為長(zhǎng)遠(yuǎn)的方法。使用bookkeeper ，NN不需要在本地磁盤保持狀態(tài)，導(dǎo)致NN結(jié)束時(shí)‘無狀態(tài)’。某些組織由于其他原因在其集群中已經(jīng)存在HA NFS。

                       ii.              BackupNode更便宜，因?yàn)樗恍枰褂霉蚕矸?wù)器。然而其不支持用例的第三條。

                      iii.              BackupNode不需要隔離技術(shù)，只要不必解決用例的第三條時(shí)。共享存儲(chǔ)需要隔離。然而，如果我們使用Stonith來解決隔離問題，那么就能解決所有隔離需求。

                      iv.              BackupNode不具有對(duì)稱性，因此不能接替除非有Active的完整狀態(tài)。

                       v.              當(dāng)BackupNode停機(jī)時(shí)，還是依賴于remote存儲(chǔ)以存儲(chǔ)Active的額外狀態(tài)，這就轉(zhuǎn)回到了共享存儲(chǔ)。

 

2)   并行塊報(bào)告給Active和Atandby

我們的設(shè)計(jì)中需要并行發(fā)送塊報(bào)告給Active和Standby以保證warm或hot故障切換。塊報(bào)告可以直接由datanode發(fā)送，也可以通過中間層把塊報(bào)告發(fā)給Active和Standby。

3)   客戶端在故障切換時(shí)重定向

當(dāng)Active失敗時(shí)，客戶端需要重新連接到新的Active，這叫做客戶端故障切換。有多種方法可以實(shí)現(xiàn)。

        i.      更改DNS的綁定：這不是一個(gè)好方法，因?yàn)椴僮飨到y(tǒng)以及許多庫(kù)把DNS緩存著，因此不會(huì)立刻做相應(yīng)的改變。

       ii.      智能客戶端：基于服務(wù)器的重定向，重試或者重新查找Active。

1.   注意基于服務(wù)器的重定向需要注意腦裂，無論服務(wù)器是否重定向。這種情況下一個(gè)更好的隔離方法是需要共享存儲(chǔ)，因此只有一端可以寫editlog。

2.   是否可以在HTTP或JMX下工作。

3.   故障切換時(shí)間將更長(zhǎng)，因?yàn)樵谡业叫翹N的地址前客戶端總是需要與第一個(gè)NN（有可能已經(jīng)死了）交互。

     iii.      使用一個(gè)負(fù)載平衡器來發(fā)送客戶端的請(qǐng)求到正確的NN,但這在大規(guī)模的環(huán)境中（例如：10萬客戶端）是很困難的。

       iv.      IP故障切換－這在生產(chǎn)環(huán)境下經(jīng)常用到。

1.   Namenode服務(wù)器使用虛擬IP地址，虛擬IP地址被Active使用。

2.   問題：在跨交換機(jī)的環(huán)境下是否工作，是否只能在VLAN中使用。

4)   客戶端在NN啟動(dòng)時(shí)超時(shí)

NN在某些情況下花很長(zhǎng)時(shí)間啟動(dòng)，加載image，應(yīng)用edits恢復(fù)塊位置信息。這有可能導(dǎo)致客戶端超時(shí)并認(rèn)為NN死了。因此，當(dāng)Active啟動(dòng)的時(shí)候，應(yīng)該在客戶端的請(qǐng)求中返回“啟動(dòng)中”以表示客戶端應(yīng)該等待。這種模式是safemode的特殊例子。

5)   故障切換控制使用獨(dú)立于NN進(jìn)程的故障切換控制器（Watchdog）

我們的方法是使用獨(dú)立于NN進(jìn)程的故障切換控制器進(jìn)程。這個(gè)故障切換控制器與Linux HA的資源管理器非常相似。在基于Linux HA的解決方法中，作為其一部分的RM可以直接使用。而zookeeper ，我們可以自己寫一個(gè)，或者配置Linux HA的資源管理器使用zookeeper 。

故障切換控制器執(zhí)行以下功能：

        i.      監(jiān)控健康的NN，OS和HW，以及其他資源例如網(wǎng)絡(luò)連接。

       ii.      使用heartbeat以此選舉領(lǐng)導(dǎo)者。（heartbeat發(fā)送給zookeeper，使用zookeeper 選舉領(lǐng)導(dǎo)者 ）

     iii.      在領(lǐng)導(dǎo)選舉中Active被選中。Active故障切換控制器指示其監(jiān)控的NN從Standby轉(zhuǎn)換為Active。（注意每個(gè)NN啟動(dòng)的時(shí)候都是Standby，只有在接到故障切換控制器的指示后才成為active）

使用獨(dú)立的故障切換控制器進(jìn)程有以下的優(yōu)點(diǎn)：

        i.      把這個(gè)功能集成到NN會(huì)導(dǎo)致心跳機(jī)制患上GC的失敗。

       ii.      故障切換控制器應(yīng)該是寫成緊湊的代碼，從失敗的應(yīng)用中獨(dú)立出來以增加容錯(cuò)。

     iii.      把選舉機(jī)制做成插件形式。

6)   隔離（fencing）