浪潮SSD采用浪潮自主開發(fā)的固件架構和硬件設計，具備高性能、高耐用性、高可靠的特點，支持高速穩(wěn)定的讀寫IOPS和帶寬，極低的抖動延時，可應用于系統(tǒng)層、性能層、存儲層，面向數據庫、云服務、分布式存儲、大數據等場景；Curve 是云原生計算基金會 (CNCF) Sandbox 項目之一，由網易主導開源，是一款高性能、易運維、云原生的分布式存儲系統(tǒng)，由塊存儲 CurveBS 和文件系統(tǒng) CurveFS 兩部分組成( GitHub：https://github.com/opencurve/curve）。浪潮聯手網易，基于 Curve 塊存儲v1.2.4版本，將Curve 部署在 NVMe磁盤上，對比 Ceph 在同樣環(huán)境下的性能，讓大家對 Curve 在 NVMe 環(huán)境下的性能有直觀的了解。 ?

1.?測試環(huán)境配置

????本次測試采用浪潮服務器 SA5112M6，磁盤采用三個節(jié)點每個節(jié)點八塊浪潮 INSPUR-NS8610G1U320 NVMe進行測試，此次采用的NVMe SSD具有極高的性能，產品4K隨機寫IOPS可達320K， 本次在加載業(yè)務的條件下實測單盤性能 4k 隨機寫 IOPS 為240k，512k 順序寫極限帶寬 3440MiB/s。

版本和軟件配置信息：

2.測試工具及腳本

測試工具采用 FIO (官方倉庫 axboe/fio①)，測試腳本參考如下:

Curve塊存儲

Ceph

?

其中，Curve 端的測試采用Curve cbd engine，我們 fork 了axboe/fio 并對接 Curve client sdk 即 curve cbd engine，該倉庫在 opencurve/fio②。

此外，Curve 塊存儲支持條帶化卷，因此我們還測試了 Curve 使用條帶情況下的性能，其中的條帶卷參數和條帶化卷創(chuàng)建命令如下:

curvecreate?--filename?/test0?--length?1024?--user?test?--stripeUnit?65536?--stripeCount?64

另外，對于單卷和多卷讀的測試，在進行讀之前，需要對卷進行一遍預寫，將卷寫滿，否則測試數據將因為 client 直接返回 0 而導致性能不準，這一操作 Curve參考腳本如下：

sudo ./fio_--ioengine=cbd --cbd=/test0 --size=1024G --bs=1M --direct=1 --group_reporting--time_based --rw=write --iodepth=512 --numjobs=1 -name=fu

3.測試結果

單卷測試

單卷 4k 隨機寫測試：

對比 Curve 與 Ceph的單卷小 IO隨機寫性能來看，Curve 的性能遠優(yōu)于于Ceph 的性能（QD256，達到約319%）；

從 QD1 的時延來看 Curve 的單路時延僅 Ceph 的50%。

單卷 512k 隨機寫測試：

Curve 在單卷大 IO 順序寫的場景下，具有和 Ceph 相當的性能；

特別地，當 Curve 采用條帶化卷之后，可以顯著的改善Curve大IO順序寫場景下的性能。

單卷?4k?隨機讀測試：

Curve相比于ceph在單卷小IO隨機讀的場景下，具有明顯優(yōu)于ceph的性能（QD256時，達到266%）。

單卷 512k 隨機讀測試：

在單卷大IO順序讀的場景下，Curve與cpeh性能相當，同樣時延條帶化之后，Curve的大IO順序讀場景下的帶寬有明顯改善。

多卷測試

多卷 4k 隨機寫測試：

多卷 4k 隨機讀測試：

從多卷小IO的隨機讀寫測試來看：

小 IO 隨機寫 Ceph 比 Curve 先到達CPU 性能瓶頸，因此 Curve 更能發(fā)揮后端的性能，總體性能方面，IOPS 也比 Ceph 好約165%；

小 IO 隨機讀 Ceph 也比 Curve 先到達網卡的瓶頸，在對 Ceph 繼續(xù)增加壓力（jobs加到5）之后，兩者后端性能相當，總的來說，Curve 的性能應當也是好于 Ceph。

多卷 512k 隨機寫測試：

多卷 512k 順序讀測試：

從多卷大IO的順序讀寫來看，Curve 和Ceph 的性能基本相當。

4.后記

????上述測試中，無論是 Curve 還是 Ceph 均不能完全發(fā)揮 浪潮NVMe SSD的性能。目前 Ceph 已經支持使用 spdk 訪問 NVMe SSD，性能也有較大提升。網易Curve 支持spdk 的版本正在開發(fā)中，待相關版本發(fā)布后，再與 Ceph 的 spdk 版本對比，敬請期待?！　?/p>