在HPC計算和存儲業(yè)務中,針對文件系統(tǒng)的IO請求中,一半以上是元數據訪問。元數據訪問特點:
I/O大小較?。ㄔ獢祿笮⊥ǔV挥袔装貰yte),使得元數據服務器CPU的負載重
許多元數據操作包含多次子操作,例如打開文件需要進行多次的路徑解析,使得元數據操作會觸發(fā)多次網絡I/O
當前,主流并行文件系統(tǒng)大多采用分布式解決方案中,Lustre、CephFS采用子樹劃分+目錄條帶化;BeeGFS根據名稱的Hash值分布到多節(jié)點;GlusterFS采用無中心架構;IndexFS的元數據以KV存儲,通過GIGA+算法分布到多節(jié)點。
現有文件系統(tǒng)元數據管理的潛在缺陷:1)POSIX的語義限制了元數據性能提升,2)數據結構不利于并發(fā)處理,3)元數據性能提升面臨的機遇,如IO設備跨越式發(fā)展(NVMe SSD充裕的IOPS和帶寬,多通道并發(fā)能力)。
針對文件系統(tǒng)元數據一直是文件系統(tǒng)的瓶頸問題,單點元數據性能仍然存在很大的提升空間,如沒有充分發(fā)揮IO效能,沒有充分發(fā)揮計算效能等,本文提出改進數據結構,降低IO之間的依賴,發(fā)揮并行IO能力(降低目錄路徑解析延遲,降低大目錄訪問延遲,降低數據塊訪問延遲)改進算法,發(fā)揮計算部件的并行計算能力等措施。





















針對文件系統(tǒng)元數據一直是文件系統(tǒng)的瓶頸問題,單點元數據性能仍然存在很大的提升空間,如沒有充分發(fā)揮IO效能,沒有充分發(fā)揮計算效能等,本文提出改進數據結構,降低IO之間的依賴,發(fā)揮并行IO能力(降低目錄路徑解析延遲,降低大目錄訪問延遲,降低數據塊訪問延遲)改進算法,發(fā)揮計算部件的并行計算能力等措施。
-
存儲
+關注
關注
13文章
4878瀏覽量
90251 -
數據管理
+關注
關注
1文章
343瀏覽量
20624 -
文件系統(tǒng)
+關注
關注
0文章
305瀏覽量
21033
原文標題:HPC并行文件:元數據如何縱向可擴展?
文章出處:【微信號:AI_Architect,微信公眾號:智能計算芯世界】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
進一步了解iMatrix平臺核心功能之系統(tǒng)元數據管理
數據管理功能詳解
【學習打卡】OpenHarmony的分布式數據管理介紹
采用信任管理的分布式文件系統(tǒng)TrustFs
文件系統(tǒng)管理操作
XfS文件系統(tǒng),XfS文件系統(tǒng)是什么意思
Ceph文件系統(tǒng)的數據緩存?zhèn)浞?/a>
文件系統(tǒng)是什么?淺談EXT文件系統(tǒng)歷史
基于分布式文件系統(tǒng)元數據操作優(yōu)化
Linux 內核/sys 文件系統(tǒng)介紹
需要了解文件系統(tǒng)管理
現有文件系統(tǒng)元數據管理的潛在缺陷
評論