HBase可以支持百TB數(shù)據(jù)規(guī)模、數(shù)百萬QPS壓力下的毫秒響應(yīng)，適用于大數(shù)據(jù)背景下的風(fēng)控和推薦等在線場景。阿里云HBase服務(wù)了多家金融、廣告、媒體類業(yè)務(wù)中的風(fēng)控和推薦，持續(xù)的在高可用、低延遲、低成本方向上進行優(yōu)化。目前單集群承諾可用性99.9%，SSD機型上可以做到請求毛刺99.5% < 50ms，以及新上線的表內(nèi)冷熱分離可以加速熱數(shù)據(jù)訪問性能、減少冷數(shù)據(jù)存儲成本并且在API上對用戶透明。為了進一步滿足客戶在可用性以及低延遲上的訴求，阿里云HBase將提供以主備架構(gòu)為平臺，以冗余、并發(fā)、隔離、降級等全方位服務(wù)為支撐的高可用解決方案，目標提供99.99%可用性、99.9%請求小于50ms。目前高可用項目一期已經(jīng)完成，本文將介紹主備架構(gòu)以及一鍵切換能力。

HBase單集群可用性

一個HBase系統(tǒng)包含了Zookeeper、HDFS、HBase三個組件。其中Zookeeper在數(shù)據(jù)和計算上都進行了冗余，且是一個可自愈系統(tǒng)，單節(jié)點故障可在秒級恢復(fù)。HBase對Zookeeper是輕依賴，一般不會出現(xiàn)大問題。HDFS是一個Master-Slave模式的分布式文件系統(tǒng)，存在中心節(jié)點Namenode，Namenode支持以HA方式部署，單Namenode故障可秒級恢復(fù)，在兩個NN都宕機的情況下依然可以重啟自愈，但恢復(fù)時間取決于回放日志大小，在分鐘級別。數(shù)據(jù)多副本冗余，Datanode單節(jié)點宕機不中斷服務(wù)。HBase也是一個Master-Slave模式的分布式系統(tǒng)，其中HMaster不參與讀寫路徑，因此HMaster宕機不中斷服務(wù)，但長期宕機會影響負載均衡、Failover等能力，HMaster支持HA方式部署。HBase還有一個單點是Meta服務(wù)，它隨機選擇一個RegionServer節(jié)點作為宿主，如果meta服務(wù)不可用則所有請求路由會失效，導(dǎo)致整體不可用。由于客戶端有路由緩存，meta服務(wù)停機不會立即造成不可用。HBase數(shù)據(jù)分片使用Range Partition的方式，每一個Region由一個RegionServer服務(wù)，即HBase的計算服務(wù)是0冗余，因此當RegionServer故障時多個分片不可服務(wù)。HBase Failover機制可以自愈，單RegionServer宕機恢復(fù)時間在分鐘級，多個RegionServer宕機恢復(fù)時間在10分鐘~1小時時間不等。

單集群HBase高可用部署

組件角色高可用機制故障影響Zookeeper數(shù)據(jù)、計算冗余單點宕機秒級服務(wù)HDFSNamenode雙節(jié)點HA部署單點宕機秒級恢復(fù)，雙節(jié)點宕機恢復(fù)時間在分鐘級Datanode數(shù)據(jù)、計算冗余單點宕機不中斷服務(wù)HBaseHMaster雙節(jié)點HA部署不影響數(shù)據(jù)讀寫Meta服務(wù)單點，可自愈影響全局不可用Region單點，可自愈局部不可用，單點分鐘級恢復(fù)，多點恢復(fù)時間可達小時級別

內(nèi)核或運行環(huán)境Bug造成HBase自愈不可控

case1 某金融公司自建HBase因ECS重啟導(dǎo)致WAL數(shù)據(jù)破壞，HBase Failover無法進行，集群不可用無法自愈 case2 某視頻公司自建HBase集群Meta數(shù)據(jù)陷入不一致無法恢復(fù)，造成分區(qū)無法上線，部分表不可用無法自愈 case3 某媒體公司IO壓力較大經(jīng)常觸發(fā)空間泄漏Bug，導(dǎo)致空間不足集群宕機無法自愈 以上是真實的案例，Bug是不可避免的，未知Bug處理考驗內(nèi)核團隊的技術(shù)實力，需要具備外科手術(shù)的能力，但其處理時間是不可預(yù)期的。

云HBase主備高可用方案

故障恢復(fù)時間可預(yù)知的高可用系統(tǒng)，故障發(fā)生時可以在分鐘級別恢復(fù)讀寫能力。實現(xiàn)方案選擇經(jīng)典的主備模式，也支持主主模式。備集群部署在同城的不同機房內(nèi)，在資源層面完全隔離，軟件可部署不同的版本，最大程度保持兩個集群的獨立性。從經(jīng)驗數(shù)據(jù)出發(fā)，單機房故障恢復(fù)時間的上限為1個小時，在這1個小時內(nèi)另一個機房也發(fā)生故障的概率非常低，有兩種情況除外：第一種是城市級災(zāi)難，這個需要異地容災(zāi)方案；第二種是故障源于業(yè)務(wù)流量增長，系統(tǒng)過載，此時的解決方案是限流或者擴容。這兩種情況不在本文設(shè)計考慮之內(nèi)。系統(tǒng)提供一鍵切換能力，不需要客戶端重啟，每一個客戶端在收到切換信號時會自動完成連接的切換，客戶端的切換是并發(fā)進行的，所有客戶端可以在10秒內(nèi)完成切換。

高可用方案可以獨立提供給自建使用，支持自建和云HBase混合主備。如果你已經(jīng)擁有一個HBase集群，可以方便的彈出一個冗余備集群，備集群的建表和數(shù)據(jù)復(fù)制都是自動完成。當故障發(fā)生時，可以在控制臺切換流量到備庫，待主集群恢復(fù)后再把流量切回。云HBase高可用服務(wù)是一個獨立的服務(wù)，可以看做是基于HBase之上的一個中間件，支持混合云是我們的設(shè)計原則，云上同VPC下的自建HBase、EMR HBase、云HBase可以方便的進行主備混合使用，對于IDC自建HBase或者它云上的HBase則需要用戶自行解決網(wǎng)絡(luò)聯(lián)通。

簡單易用，HBase客戶端從普通模式轉(zhuǎn)化為高可用模式不需要修改代碼。云HBase會提供一個插件集成到HBase客戶端，并且為高可用提供一個新的Endpoint。這個Endpoint就是簡單的 ip+port，用來替換單集群模式下的Zookeeper地址。用戶可以選擇核心表進行高可用建設(shè)，非核心表依然保持單集群來降低成本。對于高可用的表，可以通過高可用客戶端進行創(chuàng)建、修改和刪除，控制臺會保證主備集群元數(shù)據(jù)的一致性。目前我們支持0.96、0.98、1.x、2.x、云HBase增強版等多個版本。

0.961.x2.x云增強版0.96YESNONOYES1.xNOYESYESYES2.xNOYESYESYES云增強版YESYESYESYES

版本主備兼容性列表

控制臺提供一鍵切換不需要重啟客戶端，提供AliHBaseConnector作為原生HBase客戶端的一個插件，插件內(nèi)部會封裝主備切換邏輯。客戶端啟動時會從BDS獲取主備地址信息同時建立一個高可用的命令通道，控制臺發(fā)出的切換命令通過該通道到達客戶端，客戶端自動的斷開舊鏈接，打開備庫鏈接并重試請求。

綜上所述，云HBase主備高可用架構(gòu)如下圖：

• 數(shù)據(jù)同步

云HBase并沒有采用開源的Replication方案，主要的原因包括： HBase Replication抗熱點能力差，每臺機器只能處理自己的日志 HBase Replication Failover的設(shè)計存在缺陷，導(dǎo)致一旦RS宕機就會出現(xiàn)長時間同步延遲 HBase Replication與內(nèi)核爭搶資源，無法獨立擴容 HBase Replication的管理依賴表屬性配置，配置項很多，在混合云模式下很難維護

BDS Replication是一個獨立的數(shù)據(jù)復(fù)制服務(wù)，提供延遲百毫秒級別的雙向數(shù)據(jù)同步能力。BDS Replication可以獨立的擴容縮容，它不需要磁盤，可以更好的管理成本。

• 主備一致性

云HBase主備采用的是異步復(fù)制，提供基于版本的最終一致性。寫入主庫的一行數(shù)據(jù)在同步到備庫時，會保持和主庫一致的版本號。云HBase高可用目前僅支持最終一致性切換，在切換時主備可能存在秒級的不一致。對于風(fēng)控、推薦、畫像類的應(yīng)用，最終一致性是滿足需求的。如果您使用了CheckAndPut、CheckAndDelete這樣的接口則會出現(xiàn)一致性問題，此種情況請聯(lián)系云HBase提供技術(shù)咨詢。

• 配置服務(wù)

配置服務(wù)有兩個作用，存儲主備集群的地址信息和通知切換命令。高可用客戶端在啟動時會訪問該服務(wù)加載主備集群地址信息。通過控制臺執(zhí)行的切換命令也會由配置服務(wù)通知所有的客戶端。配置服務(wù)本身采用了冗余來保障存儲和消息的高可用。

• 監(jiān)控

高可用服務(wù)可以實時顯示主備集群的狀態(tài)。主、備角色在初始配置時確定不能更改，但狀態(tài)"active/standby"是可變化的，處于"active"狀態(tài)的集群是目前客戶端訪問的集群。提供主備集群雙向同步鏈路的實時延遲展示，同時提供客戶端鏈接數(shù)量監(jiān)控，使得用戶可以準確的判斷切換進度。

云HBase高可用使用方式

如果您已經(jīng)使用了云HBase并且希望增加一個備庫，只需如下步驟 1 購買一個BDS集群用于管理主備 2 購買一個空的云HBase集群作為備庫 3 輸入主備兩個集群的實例ID創(chuàng)建高可用訪問地址 4 開始您的高可用之旅

如果您使用的是ECS自建集群或者EMR HBase，希望增加一個備庫，只需如下步驟

1 購買一個BDS集群用于管理主備 2 購買一個空的云HBase集群作為備庫 3 配置域名映射和安全組（會提供相關(guān)的服務(wù)一鍵解決） 4 輸入主備兩個集群的地址信息創(chuàng)建高可用訪問地址 5 開始您的高可用之旅

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。