存儲雙活的基本架構(gòu)及原理

企業(yè)容災(zāi)架構(gòu)中，通過存儲實現(xiàn)雙活復(fù)制的架構(gòu)相對比較常見。一般從應(yīng)用訪問到底層存儲的縱向維度會分為網(wǎng)絡(luò)層、應(yīng)用層、數(shù)據(jù)庫層、存儲網(wǎng)關(guān)層以及存儲陣列等四層關(guān)鍵層。談及存儲雙活架構(gòu)的容災(zāi)切換場景，重點關(guān)注存儲網(wǎng)關(guān)層以及存儲陣列層的分析。以存儲網(wǎng)關(guān)模式的雙活架構(gòu)為例，如圖1所示，通常存儲雙活架構(gòu)由兩個相距較近的數(shù)據(jù)中心（百公里以內(nèi)）的存儲網(wǎng)關(guān)層、存儲層、仲裁中心以及相互之間的以太網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)組成。

?

?

圖1 存儲雙活典型架構(gòu)圖

如圖1所示，H1&H2表示主機節(jié)點，從主機節(jié)點到存儲網(wǎng)關(guān)的訪問路徑，我們不做詳細(xì)分析。

SG1&SG2表示存儲網(wǎng)關(guān)，雙中心的存儲網(wǎng)關(guān)通過存儲網(wǎng)絡(luò)組成一組存儲網(wǎng)關(guān)集群，提供AA服務(wù)。

SA1&SA2表示底層存儲磁盤陣列，通過存儲網(wǎng)絡(luò)分別與SG1和SG2相連接。

Q表示SG1和SG2組成集群的仲裁中心，分別以以太網(wǎng)絡(luò)與兩個存儲網(wǎng)關(guān)相連接。

存儲雙活架構(gòu)正常讀寫原理分析如下：

首先，兩個數(shù)據(jù)中心的主機節(jié)點將讀寫請求通過存儲網(wǎng)絡(luò)發(fā)送到存儲網(wǎng)關(guān)層，兩邊的主機H1&H2看到的存儲空間是一個經(jīng)過了鏡像組合的邏輯磁盤D，具體執(zhí)行物理讀寫的時候可以通過SG1執(zhí)行，也可以通過SG2執(zhí)行（具體要看存儲雙活A(yù)A策略的粒度，以存儲卷為單位還是以每次IO的BLOCK為單位）。

然后，存儲網(wǎng)關(guān)SG1或者SG2在接收到上層應(yīng)用發(fā)來的寫請求之后，直接在其本地將IO鏡像為兩個同時進(jìn)行的事務(wù)分配到SA1&SA2上，這樣主機層發(fā)送到邏輯磁盤D上的單次IO在存儲網(wǎng)關(guān)層就被復(fù)制為兩個完全相同的IO，從而實現(xiàn)了數(shù)據(jù)的副本保護機制。

最后，待SA1&SA2兩個存儲陣列的緩存寫完成之后，將ACK結(jié)果反饋給SG1或者SG2，當(dāng)兩邊的ACK結(jié)果都順利完成之后，最終宣告應(yīng)用層的數(shù)據(jù)寫完成。

存儲雙活架構(gòu)下的容災(zāi)切換場景

表 1 存儲雙活容災(zāi)故障切換場景分析

?

?

故障仲裁機制

基于第一部分的架構(gòu)圖，如果C1、C2、L2-1-2、L2-2-2出現(xiàn)同時的故障疊加，那會出現(xiàn)什么樣的情況？在這種情況下，存儲雙活架構(gòu)的健壯性安全性如何考慮？事實上，故障的疊加問題一般屬于二次故障，在容災(zāi)架構(gòu)設(shè)計當(dāng)中是不需要做考慮的。一般情況下我們只考慮一次故障，因為二次或者多次故障的場景已經(jīng)超過了容災(zāi)的正常RTO&RPO技術(shù)標(biāo)準(zhǔn)約束。但是在以上問題當(dāng)中所考慮的故障點比較特殊，根據(jù)常規(guī)判斷來講，如果我們雙中心之間的連接完全走的是唯一路由的場景下，這幾個點出現(xiàn)同時故障的可能性非常高。因此它也是我們在考慮雙活過程當(dāng)中非常重要的故障切換場景。

當(dāng)C1出現(xiàn)故障的時候，如果是數(shù)據(jù)庫雙活集群（例如Oracle RAC），那么兩個節(jié)點在網(wǎng)絡(luò)上失去的仲裁資源是同等的，接下來需要判斷的是雙活所持存儲仲裁資源的狀況。但是問題來了，這個時候C2、L2-1-2、L2-2-2同時發(fā)生故障，存儲層也處于需要仲裁的狀態(tài)，而存儲的仲裁需要根據(jù)Q的判斷來完成。也就是說當(dāng)仲裁中心仲裁之后，存儲的狀態(tài)才會到達(dá)正常穩(wěn)定的狀態(tài)，磁盤資源情況才會明確。當(dāng)磁盤資源情況明確之后，上層數(shù)據(jù)庫集群的磁盤仲裁資源才可以作為判斷依據(jù)，然后數(shù)據(jù)庫集群才會有仲裁的可能性，最終整個容災(zāi)系統(tǒng)才有可能到正常穩(wěn)定狀態(tài)。

因此，在這種架構(gòu)模式下，數(shù)據(jù)庫集群和存儲集群的疊加必然會帶來以上所描述的仲裁復(fù)雜性的問題。理論上存儲雙活的仲裁和數(shù)據(jù)庫的仲裁都是有時間參數(shù)可以控制他們的觸發(fā)時間和仲裁時間，只要保證時間順序按照上述邏輯有序可循就可以了，但是實際容災(zāi)場景下的仲裁是否可以如理論所描述的順利？是否會有更復(fù)雜的場景導(dǎo)致理論上的偏差？這些都是未知的。

簡言之，如果希望存儲雙活架構(gòu)的健壯性和安全性更有保障，就不建議在上層應(yīng)用方面做更復(fù)雜的架構(gòu)進(jìn)行疊加使用。

社區(qū)專家主張

趙海主編：基于前面的共識，某金融機構(gòu)架構(gòu)師李威、江西農(nóng)信運維技術(shù)經(jīng)理鄧毓、某股份制銀行系統(tǒng)架構(gòu)師老谷分別主張本議題下的相關(guān)關(guān)鍵點，幾位專家的主張在寧夏銀行技術(shù)經(jīng)理陳明福及我的復(fù)議下，各位專家的主張最終形成一定的共識供同行參考。

李威 某金融機構(gòu)架構(gòu)師：

不談業(yè)務(wù)的雙活很大程度上就是耍流氓！雙活數(shù)據(jù)中心架構(gòu)的另一重點設(shè)計是在更高維度的雙活數(shù)據(jù)中心存儲（數(shù)據(jù)核心層）與雙活應(yīng)用（業(yè)務(wù)核心層）的聯(lián)動，只有縱向完成閉環(huán)切換才能保障業(yè)務(wù)的連續(xù)性。

說到基于存儲的雙活數(shù)據(jù)中心架構(gòu)時，人們很可能在下意識里第一個想到便是“存儲”，是某一款存儲產(chǎn)品，亦或是某款存儲雙活架構(gòu)的方案。在如今信息化浪潮下，筆者認(rèn)為對此處“存儲”的理解應(yīng)該更加精準(zhǔn)一些，可以總結(jié)為一個基本點和兩個方向：一個基本點，指的是基于通用型存儲產(chǎn)品實現(xiàn)；兩個方向，分別是同步復(fù)制和異步復(fù)制兩種雙活方式。

?

?

圖2 Active-Active雙活模式數(shù)據(jù)寫入

集中式存儲產(chǎn)品構(gòu)建的雙活數(shù)據(jù)中心，會根據(jù)企業(yè)對雙活數(shù)據(jù)中心的建設(shè)目標(biāo)及雙活要求制定方案。若以高性能高可靠為目標(biāo)，存儲多以Active-Active（如圖2）同步復(fù)制模式配置雙活，通過見證仲裁服務(wù)，對IO進(jìn)行拆分，同步寫入多端存儲，高權(quán)重單向讀取，確保底層存儲數(shù)據(jù)強一致的同時業(yè)務(wù)效率也能達(dá)到高性能水準(zhǔn)。在Active-Active模式下，既要保證IO效率又要保障多端數(shù)據(jù)的一致性，因此必須有一種處理機制來保駕護航——IO鎖機制，這是同步復(fù)制的核心也是雙活安全的前提?？v觀主流存儲產(chǎn)品同步復(fù)制IO鎖核心機制實現(xiàn)，我們根據(jù)何時返回IO ACK信標(biāo)大致可以劃分為兩個方向：1. 將源端IO數(shù)據(jù)完全同步到遠(yuǎn)端后向上層應(yīng)用返回IO結(jié)果。2. 源端存儲加鎖后便向上層應(yīng)用返回IO結(jié)果。兩種鎖機制各有利弊，前者需要更高質(zhì)量的通信鏈路去保證IO效率，后者需要控制器及仲裁服務(wù)更加精準(zhǔn)穩(wěn)定，稍后我們會有詳細(xì)的分析和介紹。

?

?

圖3 Active-Passive雙活模式數(shù)據(jù)寫入

另一種構(gòu)建雙活數(shù)據(jù)中心的方式，則是通過存儲異步復(fù)制實現(xiàn)。本地業(yè)務(wù)讀寫請求由本端存儲響應(yīng)，通過特定時間間隔從源端存儲到遠(yuǎn)端存儲復(fù)制，一定程度上保障多端存儲的一致性和高可靠性。相對于上文的Active-Active存儲雙活，異步復(fù)制多以Active-Passive（如圖3）模式進(jìn)行，在實際雙活數(shù)據(jù)中心實踐中，生產(chǎn)服務(wù)端存儲承擔(dān)Active角色，絕大多數(shù)業(yè)務(wù)請求讀寫均在生產(chǎn)端，遠(yuǎn)端存儲承擔(dān)Passive角色，僅實現(xiàn)少量業(yè)務(wù)查詢或統(tǒng)計類業(yè)務(wù)，只有在生產(chǎn)端存儲宕機、切換到遠(yuǎn)端存儲的情況下才進(jìn)行在線業(yè)務(wù)的生產(chǎn)支撐。同時，異步復(fù)制的實現(xiàn)基礎(chǔ)相對較低，僅需滿足完全復(fù)制增量數(shù)據(jù)的鏈路帶寬即可，建設(shè)成本低廉。

基于存儲產(chǎn)品構(gòu)建的雙活數(shù)據(jù)中心，始終會面臨鏈路質(zhì)量、數(shù)據(jù)一致性與可靠性兩大類問題的考驗。企業(yè)通常采用光纖鏈路進(jìn)行數(shù)據(jù)同步，由于兩個數(shù)據(jù)中心之間天然存在物理距離，隨著距離的增長鏈路的延遲也會增大，理論上每增加100KM，會增加1ms的RTT（往返延遲時間），鏈路的建設(shè)成本也呈指數(shù)級增長。而在主流高端存儲雙活實踐中，兩地距離鏈路延遲必須小于3ms，極大地限制雙活數(shù)據(jù)中心的物理選址。同時對于TB級別的業(yè)務(wù)，鏈路帶寬要求通常在8GB及以上，保障業(yè)務(wù)波峰期雙端存儲雙活的高可靠性。如何平衡鏈路質(zhì)量與持續(xù)建設(shè)成本是雙活數(shù)據(jù)中心建設(shè)中一個持久話題。

其次，存儲數(shù)據(jù)一致性與可靠性保障也是一大難關(guān)。對于同步復(fù)制而言，鎖機制是一大關(guān)鍵，因為有鎖機制的存在，多端存儲才能保持?jǐn)?shù)據(jù)的一致性，若鎖機制被破壞，雙活的意義也蕩然無存。在鎖機制的實現(xiàn)上，“如何保障數(shù)據(jù)的時序一致性”的難題首當(dāng)其沖。在AB雙活數(shù)據(jù)中心， A端應(yīng)用向A端存儲卷寫入數(shù)據(jù)，當(dāng)這份更新數(shù)據(jù)還未完全同步到B端存儲卷之前，B端某應(yīng)用如果發(fā)起針對同一個目標(biāo)地址的讀寫操作，這時B端存儲卷就不能響應(yīng)此次IO，B端存儲卷該目標(biāo)地址的數(shù)據(jù)仍是舊數(shù)據(jù)，與A端該目標(biāo)地址存在數(shù)據(jù)差異。在存儲鎖機制的驅(qū)動下，A端應(yīng)用向A端存儲卷寫入數(shù)據(jù)前應(yīng)鎖住B端對應(yīng)的目標(biāo)地址空間后再執(zhí)行數(shù)據(jù)寫入，若B端加鎖不成功，A端IO則懸掛直至B端加鎖成功。B端存儲被鎖期間均不能響應(yīng)該目標(biāo)地址的讀寫IO，必須等待A端的IO數(shù)據(jù)同步到B端且更新完成才能響應(yīng)IO請求。

鎖機制不僅復(fù)雜，在保障時序一致性的前提下還要克服第二個現(xiàn)實難題，即“如何克服鏈路延遲導(dǎo)致的IO性能降低”。在上面的示例中，AB雙活數(shù)據(jù)中心因為距離存在鏈路延遲，那A端存儲應(yīng)該何時返回IO結(jié)果給A端應(yīng)用呢？是B端加鎖成功后還是B端成功更新A端該目標(biāo)地址的全部新數(shù)據(jù)后？如果是前者，B端加鎖成功A端應(yīng)用即可獲得IO結(jié)果，B端存儲后續(xù)還存在同步更新的操作，應(yīng)用層IO效率雖然得以提升，但加大了丟失數(shù)據(jù)的風(fēng)險，一旦B端還未完全同步更新數(shù)據(jù)時出現(xiàn)鏈路中斷或者A端存儲宕機，B端承接業(yè)務(wù)時整體數(shù)據(jù)呈不一致的狀態(tài)，對業(yè)務(wù)的傷害不言而喻。如果是后者，即傳統(tǒng)的同步復(fù)制方式，因為需要等到B端存儲完全同步更新數(shù)據(jù)，所以整體IO效率受鏈路傳輸質(zhì)量影響而降低，但鮮少出現(xiàn)AB端數(shù)據(jù)不一致的情況。存儲的高效性能和數(shù)據(jù)的強一致性保障，魚和熊掌不可兼得。

克服時序一致性問題，對于異步復(fù)制而言則輕松許多。主流存儲廠商通常采取周期性復(fù)制、連續(xù)性復(fù)制兩種手段實現(xiàn)。周期性復(fù)制相對主流，也是較為便捷的一種方式，在雙端存儲完成初始化同步后，每間隔一段時間源端存儲進(jìn)行一次快照，對比并記錄相近的兩份快照間的差異數(shù)據(jù)，并將差異數(shù)據(jù)拆分成多個IO流片段，同步至遠(yuǎn)端存儲應(yīng)用更新。若IO流傳輸過程中或遠(yuǎn)端存儲更新數(shù)據(jù)時出現(xiàn)失敗，則回滾至上一次快照狀態(tài)，等待下一次同步周期再進(jìn)行數(shù)據(jù)更新。若鏈路質(zhì)量不佳持續(xù)出現(xiàn)多次失敗，源端存儲和遠(yuǎn)端存儲的數(shù)據(jù)差異將越來越大，雙活RPO顯著降低。而連續(xù)復(fù)制則是不斷地向遠(yuǎn)端進(jìn)行數(shù)據(jù)復(fù)制，主流存儲廠商大部分采用基于日志序列的連續(xù)復(fù)制。源端存儲會開辟一塊獨立的日志空間，在進(jìn)行IO時寫入一份記錄到日志空間中，按照順序?qū)⑺蠭O操作記錄下來形成日志流，然后不斷同步日志流至遠(yuǎn)端應(yīng)用更新。連續(xù)復(fù)制的弊端也顯而易見，倘若存儲同步鏈路中斷或者負(fù)載壓力持續(xù)走高，日志空間可能會被迅速填滿，必須借助其他手段緩解壓力，若故障長時間持續(xù)下去，連續(xù)復(fù)制的效果會大打折扣甚至中斷。

至此，我們可以對基于存儲的雙活數(shù)據(jù)中心架構(gòu)進(jìn)行一個總結(jié)：在雙活數(shù)據(jù)中心架構(gòu)里，存儲同步鏈路質(zhì)量很大程度上影響雙活的穩(wěn)定性與可靠性。對于高性能高可靠的雙活要求，存儲同步復(fù)制實現(xiàn)是不錯的選擇，若項目預(yù)算有限或者雙活要求不高，則可以選擇存儲異步復(fù)制的方式。

我們討論了基于存儲的雙活數(shù)據(jù)中心架構(gòu)的存儲架構(gòu)形態(tài)、雙活機制、問題與挑戰(zhàn)，但討論依舊淺薄，僅局限于存儲產(chǎn)品層面。存儲數(shù)據(jù)的RPO與RTO，和業(yè)務(wù)系統(tǒng)的RPO與RTO是一個概念嗎？NO！不談業(yè)務(wù)的雙活很大程度上就是耍流氓。在企業(yè)雙活數(shù)據(jù)中心架構(gòu)中，存儲端同步復(fù)制的RPO一定等于0嗎？現(xiàn)實往往與理想相悖，在同步復(fù)制的場景下通常會出現(xiàn)兩種可能性：業(yè)務(wù)系統(tǒng)能夠啟動起來，RPO≈0；業(yè)務(wù)系統(tǒng)啟不起來，RPO=RTO=∞，可能永遠(yuǎn)都啟不起來。這就引申出了一個更有意思的話題，雙活數(shù)據(jù)中心架構(gòu)下應(yīng)用層雙活容災(zāi)如何聯(lián)動數(shù)據(jù)中心存儲，利用存儲的生態(tài)、發(fā)揮存儲雙活的優(yōu)勢去提升雙活的RPO、RTO等級呢？不妨讓我們等到應(yīng)用雙活架構(gòu)再來一探究竟。

鄧毓 江西農(nóng)信運維技術(shù)經(jīng)理：

構(gòu)建既健壯又安全的存儲雙活解決方案，需同時具有靜態(tài)優(yōu)先級模式和仲裁服務(wù)器模式兩種故障仲裁機制，這樣才能覆蓋所有災(zāi)難場景，才是完整的雙活仲裁解決方案。

存儲雙活解決方案必須要具備足夠充分的高可用特性和合理的容災(zāi)保護與仲裁機制，以應(yīng)對各種各樣復(fù)雜的的災(zāi)難故障場景，以極短的故障恢復(fù)時間和幾乎為零的故障恢復(fù)目標(biāo)，解決可能遇到的故障災(zāi)難。存儲雙活模式下，通常而言具有以下兩種故障仲裁機制：

1. 靜態(tài)優(yōu)先級模式：主要應(yīng)用在無第三方仲裁服務(wù)器的場景，在發(fā)生鏈路中斷腦裂現(xiàn)象時，強制使優(yōu)先的存儲節(jié)點繼續(xù)提供服務(wù)。

2. 仲裁服務(wù)器模式：應(yīng)用在有第三方仲裁服務(wù)器的場景，將仲裁服務(wù)器部署于第三方站點，在這種模式下，可同時設(shè)置靜態(tài)優(yōu)先模式，實現(xiàn)雙仲裁保護能力。

靜態(tài)優(yōu)先級模式：

如圖4所示為靜態(tài)優(yōu)先模式仲裁示意圖，列舉了三個故障場景和對應(yīng)的仲裁處理結(jié)果：

?

?

圖4 靜態(tài)優(yōu)先模式仲裁示意圖

1）當(dāng)兩個站點間鏈路出現(xiàn)故障時，靜態(tài)優(yōu)先模式設(shè)置H1站點為靜態(tài)優(yōu)先站點，此時H1站點將繼續(xù)對外提供讀寫服務(wù)，H2站點將停止讀寫服務(wù)，在主機端I/O訪問策略設(shè)置為優(yōu)選陣列模式時，H1站點的主機將繼續(xù)本地讀寫H1站點存儲，H2站點主機既無法讀寫H2站點存儲也無法通過切換跨站點鏈路訪問H1站點存儲；

2）當(dāng)非靜態(tài)優(yōu)先的站點H2存儲出現(xiàn)故障時，H1站點存儲同樣繼續(xù)提供讀寫服務(wù)，但H2站點主機可通過配置的多路徑I/O策略，通過跨站點鏈路繼續(xù)讀寫H1站點存儲；

3）當(dāng)靜態(tài)優(yōu)先的站點H1存儲出現(xiàn)故障時，H1和H2站點均不再對外提供讀寫服務(wù)，兩個站點主機的讀寫將完全中斷，此時，只能通過人工的方式，將H2站點的存儲激活，繼續(xù)提供讀寫服務(wù)。

仲裁服務(wù)器模式（單故障場景）：

如圖5所示，QS為仲裁服務(wù)器，S1為靜態(tài)優(yōu)先仲裁方。有以下幾種故障場景：

?

?

圖5 單故障場景處理示意圖

1）當(dāng)仲裁服務(wù)器本身出現(xiàn)故障時，S1和S2存儲能夠持續(xù)對外提供讀寫服務(wù)，主機業(yè)務(wù)無任何影響，此時由于缺少了仲裁服務(wù)器，將自動進(jìn)入靜態(tài)優(yōu)先模式；

2）當(dāng)S1或S2存儲出現(xiàn)故障時，仲裁服務(wù)器能夠及時探測到故障存儲，停止故障存儲的讀寫，全部讀寫均由存活存儲提供，在主機端I/O訪問策略設(shè)置為優(yōu)選陣列模式時，存活存儲所在站點的主機可以繼續(xù)本地讀寫存活存儲，而遠(yuǎn)端主機則將自動切換至跨站點I/O路徑繼續(xù)讀寫存活存儲；

3）當(dāng)S1和S2存儲間的鏈路出現(xiàn)故障時，等同于單站點存儲故障場景，均需要仲裁服務(wù)器進(jìn)行仲裁，判定某個站點存儲失效，全部讀寫服務(wù)由一個存儲提供，只有存活的存儲所在站點的主機能夠讀寫存活存儲，而遠(yuǎn)端站點主機由于鏈路故障，無法通過跨站點I/O路徑繼續(xù)讀寫存活存儲。在該場景下，存活的存儲將通過劃分的額外空間來記錄鏈路故障期間，存儲間的數(shù)據(jù)差異，待鏈路恢復(fù)后，通過差異數(shù)據(jù)增量同步配置和數(shù)據(jù)；

4）當(dāng)S1或S2存儲與仲裁服務(wù)器間的鏈路中斷時，雙活存儲間鏈路正常，不做任何仲裁判斷，兩端主機正常讀寫雙活存儲。

仲裁服務(wù)器模式（雙故障場景）：

如圖6所示，QS為仲裁服務(wù)器，S1為靜態(tài)優(yōu)先仲裁方。有以下幾種故障場景：

?

?

圖6 雙故障場景處理示意圖

1）當(dāng)S1存儲與仲裁服務(wù)器，S2存儲與仲裁服務(wù)器間的鏈路同時或者先后中斷時，由于S1和S2間的鏈路完全正常，主機正常讀寫雙活存儲，并且由于缺失了仲裁服務(wù)器響應(yīng)，雙活存儲將自動進(jìn)入靜態(tài)優(yōu)先模式；

2）當(dāng)S1和S2存儲，其中單個存儲與仲裁服務(wù)器間的鏈路同時或者先后中斷時，此時仲裁服務(wù)器將介入仲裁，判定與仲裁服務(wù)器通信正常的存儲存活，并對外提供讀寫服務(wù)，且只有存活存儲所在站點的主機才能繼續(xù)訪問存活存儲；

3）當(dāng)單個存儲出現(xiàn)故障，另一個存儲仲裁勝利后，存活存儲與仲裁服務(wù)器間的鏈路再出現(xiàn)故障時，由于已經(jīng)仲裁完成，選舉了獲勝存儲，只要不是該存活存儲故障，其他仲裁服務(wù)器故障和鏈路故障都不再影響獲勝站點主機的讀寫訪問；

4）當(dāng)仲裁服務(wù)器出現(xiàn)故障后，單個存儲也隨后出現(xiàn)故障。該場景下，仲裁服務(wù)器故障將使得仲裁模式進(jìn)入靜態(tài)優(yōu)先模式，由S1存儲繼續(xù)提供服務(wù)，當(dāng)故障的存儲為非靜態(tài)優(yōu)先存儲時，即S2存儲故障，此時S1存儲可繼續(xù)對外讀寫，S1和S2站點的主機均可通過多路徑訪問S1存儲。當(dāng)故障的存儲為靜態(tài)優(yōu)先存儲時，即S1存儲故障，此時無法繼續(xù)仲裁，所有存儲讀寫訪問中斷；

5）當(dāng)仲裁服務(wù)器出現(xiàn)故障，存儲間的鏈路也也隨后中斷，此時由于仲裁服務(wù)器故障將進(jìn)入靜態(tài)優(yōu)先模式，存儲間鏈路中斷不會影響優(yōu)先站點存儲繼續(xù)提供讀寫服務(wù)，但只有優(yōu)先站點的主機才能讀寫該存活存儲。

老谷 某股份制銀行系統(tǒng)架構(gòu)師：

構(gòu)建基于存儲的AA雙活架構(gòu)，本人主張免網(wǎng)關(guān)的解決方案，提倡縱向上越精簡越有效，切換減少一秒，雙活成功一倍！

存儲層雙活技術(shù)路線的對比選擇：

基于遠(yuǎn)程卷管理雙活技術(shù)架構(gòu)

典型的技術(shù)為AIX LVM、IBM GPFS、OracleASM。

?

?

?

以IBM GPFS為例（如圖7、圖8），原理如下：

GPFS SAN網(wǎng)絡(luò)模式架構(gòu)的跨站點雙活方案通過應(yīng)用負(fù)載均衡地把服務(wù)請求分發(fā)至SiteA和SiteB兩個站點，兩個站點的所有節(jié)點均提供應(yīng)用服務(wù)，SiteA節(jié)點的應(yīng)用在本地對GPFS文件系統(tǒng)讀寫，SiteB節(jié)點的應(yīng)用跨站點對GPFS文件系統(tǒng)讀寫。另外，SiteA節(jié)點既作為GPFS Servers，同時又擔(dān)任Application Node，而SiteB節(jié)點既可按照容災(zāi)方案的第一種方式作為GPFS客戶端，又可按照容災(zāi)方案的第二種方式作為GPFS的服務(wù)端。簡單總結(jié)這種方式來說，兩個站點的節(jié)點GPFS I/O讀寫路徑和性能存在些許差異。

將SiteA的NSD Server與Application Node分置于不同節(jié)點，SiteA和SiteB節(jié)點全部作為GPFS客戶端，兩個站點的節(jié)點GPFS I/O讀寫路徑和性能一致。

上述兩種雙活方案均是建立在容災(zāi)方案的基礎(chǔ)之上，SiteA和SiteB的所有節(jié)點均加入一個GPFS集群中，利用存儲到存儲的同步復(fù)制功能，SiteA的TiebreakerDisk仲裁，需要自動探測與自動切換腳本。

通過操作系統(tǒng)內(nèi)的 GPFS 文件系統(tǒng)實現(xiàn)，最大程度不改變傳統(tǒng)的物理拓?fù)?，增加整體方案的安全性、可用性；

在操作系統(tǒng)層次，通過 GPFS 文件系統(tǒng)的failure group 功能模塊將生產(chǎn)、災(zāi)備兩個中心的兩臺存儲虛擬為一臺存儲使用。

通過軟件雙活方案，雙活實現(xiàn)需要依靠主機實現(xiàn)，會造成服務(wù)器額外性能開銷，對于操作系統(tǒng)，應(yīng)用程序版本敏感，版本升級操作復(fù)雜，性能調(diào)優(yōu)復(fù)雜，需對集群中所有計算和存儲節(jié)點性能調(diào)優(yōu)。

基于存儲網(wǎng)關(guān)

以EMC VPLEX為例（如圖9），原理如下：

?

?

圖9 EMC VPLEX 雙活架構(gòu)

EMC Vplex存儲雙活方案是基于Vplex網(wǎng)關(guān)產(chǎn)品實現(xiàn)，能夠?qū)MC和其他廠商存儲異構(gòu)整合，虛擬化為統(tǒng)一的存儲資源池，實現(xiàn)異構(gòu)存儲雙活。Vplex雙活方案由兩個站點的兩套Vplex集群系統(tǒng)組成，每個站點的Vplex集群都有自己專屬的本地存儲陣列，通過創(chuàng)建分布式鏡像卷為跨集群的鏡像卷，提供Vplex Access Anywhere功能，兩個站點的Vplex集群各有一個卷，兩個卷的ID一樣。

主機與Vplex集群間訪問、Vplex集群與后端存儲數(shù)據(jù)傳輸、Vplex集群間通信網(wǎng)絡(luò)全部隔離，為保證最高級別的高可用性，每個Vplex Director前端I/O模塊、主機和SAN光纖交換機之間多通過冗余的物理連接，實現(xiàn)多條路徑交叉訪問。當(dāng)主機與本地Vplex集群連接中斷時，為保證主機能夠跨站點訪問另一端Vplex集群，主機需要和其他站點的Vplex集群建立連接，可通過PowerPath多路軟件來配置ACTIVE/PASSIVE路徑來保證主機優(yōu)先訪問本地的Vplex集群。后端存儲陣列通過SAN交換機或者直接連接Vplex引擎的后端IO模塊，不需要配置到其他Vplex集群的跨站點連接路徑；根據(jù)需要選用Witness作仲裁，Witness需部署于兩個Vplex集群不同的故障域中（第三方站點）。

增加網(wǎng)關(guān)設(shè)備，成本提高，主機與存儲的交互通過網(wǎng)關(guān)進(jìn)行轉(zhuǎn)發(fā)。增加了IO鏈路長度和復(fù)雜度，引入了額外的延時。

Vplex作為網(wǎng)關(guān)設(shè)備，帶讀緩存，可以把經(jīng)常訪問的數(shù)據(jù)從存儲的cache里讀到vplex的cache里，這樣能降低讀響應(yīng)時間，提升讀的性能。

網(wǎng)關(guān)設(shè)備的能力約束存儲設(shè)備自身性能潛力發(fā)揮，同時增加硬件故障風(fēng)險。

通過網(wǎng)關(guān)方案橫向擴展能力強，可實現(xiàn)異構(gòu)存儲的統(tǒng)一管理。

基于存儲卷鏡像

以華為存儲為例（如圖10），原理如下：

?

?

圖10 華為雙活存儲架構(gòu)

采用存儲磁盤設(shè)備的卷鏡像技術(shù)實現(xiàn)兩站點間的數(shù)據(jù)實時同步。兩臺存儲設(shè)備上的LUN被虛擬化為一個虛擬的卷，主機寫操作通過卷虛擬化鏡像技術(shù)同時寫入這兩個存儲設(shè)備，保持?jǐn)?shù)據(jù)實時一致。其中任何一個存儲設(shè)備故障，虛擬卷仍能提供正常的IO讀寫能力，主機業(yè)務(wù)不受影響。待存儲設(shè)備恢復(fù)正常后，存儲虛擬化設(shè)備將增量數(shù)據(jù)后臺同步到修復(fù)的存儲設(shè)備，整個過程對主機“透明”，不會影響主機業(yè)務(wù)。

HyperMetro雙活架構(gòu)無需額外部署虛擬化網(wǎng)關(guān)設(shè)備，直接使用兩套存儲陣列組成集群系統(tǒng)。通過UltraPath主機多路徑軟件，將兩臺存儲陣列上的雙活成員LUN聚合為一個雙活LUN，以多路徑vdisk方式對應(yīng)用程序提供I/O讀寫能力。應(yīng)用程序訪問vdisk時，Ultrapath根據(jù)選路模式，選擇最佳的訪問路徑，將I/O請求下發(fā)到存儲陣列。

不同存儲雙活路線的優(yōu)劣勢對比如表2。

表2 存儲層雙活技術(shù)路線對比分析

?

?

結(jié)論：AA存儲雙活，免網(wǎng)關(guān)設(shè)計，省掉網(wǎng)關(guān)引入的延時；可通過雙寫優(yōu)化，站點間交互次數(shù)只有傳統(tǒng)的一半，傳輸時延時縮短一倍；通過數(shù)據(jù)零拷貝，減少數(shù)據(jù)初始同步時間，降低同步鏈路帶寬占用，最終保障雙活流量的順暢，提高業(yè)務(wù)連續(xù)性目標(biāo)。