為了解決大數(shù)據(jù)、AI 等數(shù)據(jù)密集型應用在云原生計算存儲分離場景下，存在的數(shù)據(jù)訪問延時高、聯(lián)合分析難、多維管理雜等痛點問題，南京大學 PASALab、阿里巴巴、Alluxio 在 2020 年?9 月份聯(lián)合發(fā)起了開源項目 Fluid 。

Fluid 是一款開源的云原生基礎架構(gòu)項目。在計算和存儲分離的大背景驅(qū)動下，F(xiàn)luid 的目標是為 AI 與大數(shù)據(jù)云原生應用提供一層高效便捷的數(shù)據(jù)抽象，將數(shù)據(jù)從存儲抽象出來，以便達到：

• 通過數(shù)據(jù)親和性調(diào)度和分布式緩存引擎加速，實現(xiàn)數(shù)據(jù)和計算之間的融合，從而加速計算對數(shù)據(jù)的訪問；

• 將數(shù)據(jù)獨立于存儲進行管理，并且通過Kubernetes的命名空間進行資源隔離，實現(xiàn)數(shù)據(jù)的安全隔離；

• 將來自不同存儲的數(shù)據(jù)聯(lián)合起來進行運算，從而有機會打破不同存儲的差異性帶來的數(shù)據(jù)孤島效應。

通過 Kubernetes 服務提供的數(shù)據(jù)層抽象，可以讓數(shù)據(jù)像流體一樣在諸如 HDFS、OSS、Ceph 等存儲源和 Kubernetes 上層云原生應用計算之間靈活高效地移動、復制、驅(qū)逐、轉(zhuǎn)換和管理。而具體數(shù)據(jù)操作對用戶透明，用戶不必再擔心訪問遠端數(shù)據(jù)的效率、管理數(shù)據(jù)源的便捷性，以及如何幫助 Kuberntes 做出運維調(diào)度決策等問題。用戶只需以最自然的 Kubernetes 原生數(shù)據(jù)卷方式直接訪問抽象出來的數(shù)據(jù)，剩余任務和底層細節(jié)全部交給 Fluid 處理。

Fluid 項目當前主要關注數(shù)據(jù)集編排和應用編排這兩個重要場景。數(shù)據(jù)集編排可以將指定數(shù)據(jù)集的數(shù)據(jù)緩存到指定特性的 Kubernetes 節(jié)點；而應用編排將指定該應用調(diào)度到可以或已經(jīng)存儲了指定數(shù)據(jù)集的節(jié)點上。這兩者還可以組合形成協(xié)同編排場景，即協(xié)同考慮數(shù)據(jù)集和應用需求進行節(jié)點資源調(diào)度。