主流的3種分布式存儲文件系統(tǒng) 存儲架構(gòu)分兩種，一種是傳統(tǒng)存儲陣列架構(gòu)，另一種就是本文將要重點介紹的分布式存儲架構(gòu)。進入大數(shù)據(jù)時代，隨著數(shù)據(jù)量的飛速增加，企業(yè)對于數(shù)據(jù)存儲的可擴展性不斷提出要求，而具有擴展性強、價格低廉特點的分布式存儲系統(tǒng)則漸漸成為眾多企業(yè)的選擇?？梢哉f，得益于大數(shù)據(jù)的繁盛發(fā)展，分布式存儲架構(gòu)在近幾年中得到了前所未有的關(guān)注。 當(dāng)前市場上，比較主流的3種分布式存儲文件系統(tǒng)，分別有AFS、GFS、Lustre。它們基本都有一個共通點——全局名字空間、緩存一致性、安全性、可用性和可擴展性。

二、3種分布式存儲文件系統(tǒng)的各自特點

1.AFS 由卡內(nèi)基美隆大學(xué)最初設(shè)計開發(fā)的AFS，目前已經(jīng)相當(dāng)成熟，用于研究和部分大型網(wǎng)絡(luò)中。AFS是AndrewFileSystem的簡稱，它的主要組建包括Cells、AFSclients、基本存儲單元Volumes、AFSservers和Volumereplication。 擁有良好可擴展性的AFS，能夠為客戶端帶來性能的提升和可用性的提高。AFS將文件系統(tǒng)的可擴展性放在了設(shè)計和實踐的首要位置，因此AFS擁有很好的擴展性，能夠輕松支持?jǐn)?shù)百個節(jié)點，甚至數(shù)千個節(jié)點的分布式環(huán)境。它實現(xiàn)的是模塊化的，所以并不要求在每臺服務(wù)器上運行所有服務(wù)器進程。 但值得一提的是，AFS的缺點在于管理員界面友好性不足，需要更多的專業(yè)知識來支持。

2.GFS 被稱為谷歌文件系統(tǒng)的GFS（GoogleFileSystem），是用以實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的主要技術(shù)和文件系統(tǒng)。它的性能、可擴展性、可靠性和可用性都受到了肯定。它主要運行在大量運行Linux系統(tǒng)的普通機器上，能大大降低它的硬件成本。 文件的大小，一直是文件系統(tǒng)要考慮的問題。對于任何一種文件系統(tǒng)，成千上萬的幾KB的系統(tǒng)很容易壓死內(nèi)存。所以，對于大型的文件，管理要高效，對于小型的文件，也需要支持，但是并沒有進行優(yōu)化。在GFS中，chunkserver的大小被固定為64MB，這樣的塊規(guī)模比一般的文件系統(tǒng)的塊規(guī)模要大得多，可以減少元數(shù)據(jù)metadata的開銷，減少Master的交互。但是，太大的塊規(guī)模也會產(chǎn)生內(nèi)部碎片，或者同一個chunk中存在多個小文件可能會產(chǎn)生訪問熱點。

3.QKFile qkf是qkfile項目的燃料，qkfile項目是一個全球性的公共分布式文件系統(tǒng)，可以給網(wǎng)盤、云存儲、短視頻、圖片、cdn等領(lǐng)域提供可靠的文件存儲分發(fā)服務(wù)，現(xiàn)在文件存儲行業(yè)的市場規(guī)模是千億美元級別，qkfile項目就是瞄準(zhǔn)這個市場而推出的。未來所有的app、網(wǎng)站都可以使用qkfile項目提供的分布式文件系統(tǒng)，存儲、分發(fā)數(shù)據(jù)，大家聊天發(fā)的圖片，朋友圈發(fā)的視頻，都可以使用qkfile。