用于模擬各類場景的高性能計算（HPC）類工作負載，總會產(chǎn)生大量有待篩選的數(shù)據(jù)。事實上，這也正是HPC與AI的最大區(qū)別：前者輸入數(shù)據(jù)少，輸出數(shù)據(jù)多；后者則需要輸入大量信息，通過訓練轉化為神經(jīng)網(wǎng)絡中的少量參數(shù)和權重。

但在HPC模擬所生成的數(shù)萬億個粒子當中，真正值得研究人員關注的可能只是幾百或幾千個粒子的實際行為。

洛斯阿拉莫斯國家實驗室副部門負責人加里·格里德(Gary Grider)在采訪中表示，“這就像是大海撈針，實際要尋找的只是總體數(shù)據(jù)中的小小一部分。”這個問題在體量較小的數(shù)據(jù)集上相對好些，但阿拉莫斯實驗室卻向來以超大規(guī)模研究著稱。“我們可能會運行一個內(nèi)存占用量高達PB級別的實驗，而它往往每隔幾分鐘就輸出一次PB級數(shù)據(jù)”，且整個過程會持續(xù)半年之久。

為了篩選這些數(shù)據(jù)，科學家們使用一套分析工具來查明到底哪些信息真正具有價值。過去幾年來，阿拉莫斯實驗室一直在想辦法讓分析負載跟數(shù)據(jù)盡可能接近，甚至考慮把計算轉移到閃存或硬盤控制器上。從某種意義上說，阿拉莫斯實驗室及其合作伙伴想要構建一套大型磁盤控制器集群，利用上面的空閑時鐘周期來處理分析功能。

阿拉莫斯實驗室的研究人員已經(jīng)取得了一定進展。通過與SK海力士合作，他們實現(xiàn)了將規(guī)約功能引入控制器的概念驗證，借此獲得了幾個數(shù)量級的性能改進。

格里德表示，“我們已經(jīng)證明，通過對規(guī)約這類簡單分析的全速執(zhí)行，磁盤驅動器自身就能從磁盤內(nèi)提取數(shù)據(jù)，從而徹底消除了傳輸帶寬產(chǎn)生的成本?！?/p>

跟能源部下轄的其他HPC實驗室一樣，阿拉莫斯實驗室同樣采用分層存儲架構，目前已經(jīng)開始在更大的磁盤池上做類似的探索。為了更進一步，阿拉莫斯實驗室與希捷簽訂了合作研發(fā)協(xié)議。

“事實證明，希捷方面也在嘗試將部分負載轉移到存儲設備上。他們已經(jīng)擁有原型方案，處理器就部署在磁盤驅動器旁邊?！?/p>

彈性問題

但大家都知道，機械硬盤與閃存不同。閃存內(nèi)部不存在移動部件，而且在使用壽命之內(nèi)具有相對更可預測的故障率。相比之下，硬盤驅動器內(nèi)部存在機械結構，隨時都有可能發(fā)生故障。這就要求對硬盤做一定程度的彈性化改造——換言之，引入擦除碼或RAID。

“但這也會增加分析流程的復雜度。要進行分析，我們必須了解數(shù)據(jù)是什么。但磁盤驅動器往往做不到它一點，它只會把所有信息都看作數(shù)據(jù)塊?！?/p>

因此加里德的團隊必須從零開始構建一套專用于存儲加速分析的文件系統(tǒng)，否則一切都只是空談。

“我們不希望這事只有阿拉莫斯實驗室自己參與，畢竟我們后續(xù)得定期采購、還需要廠商提供售后支持?！?/p>

于是，阿拉莫斯實驗室選擇對現(xiàn)有文件系統(tǒng)做“魔改”，選擇的則是Sun Microsystems早年間打造的Zettabyte文件系統(tǒng)。這是一套專門管理大型彈性磁盤驅動器池的系統(tǒng)，如今被人們親切稱為Spinning Rust。ZFS還能配合Gluster實現(xiàn)多節(jié)點擴展，Gluster則是Red Hat當初收購來的集群文件系統(tǒng)。至于分析任務，工程師們將努力調(diào)整文件系統(tǒng)，讓它能與Apache的分析堆棧配合運作。

“我們希望努力打造出任何人都能使用的標準工具。”

雖然阿拉莫斯實驗室及其合作伙伴有望構建起一套能夠直驅分析處理的文件系統(tǒng)，但其初期部署難度絕不是一般用戶所能承受的。

因此，格里德希望進一步完善文件系統(tǒng)和分析工具，吸引標準機構和軟件開發(fā)者為其添加更多功能，最終打造出一款面向主流受眾的新方案。

任重而道遠

格里德也承認，這方面還有很多工作要做?！耙_到消費級應用的程度，可謂是任重而道遠。我們接下來要做的是將其轉化成某種對象模型，而不再是文件中的一個個塊?！?/p>

目前，阿拉莫斯實驗室的初步目標是將少量分析功能轉移至磁盤控制器。

“我們還沒有將完整的分析工作負載轉移到磁盤驅動器上，目前做的主要是規(guī)約還有一部分合并。但總體來看，規(guī)約已經(jīng)可以在設備層次上實現(xiàn)，之后還有合并和排序這類通常在閃存或內(nèi)存中實現(xiàn)的操作?！?/p>

目前最大的障礙并不是算力，而是磁盤所內(nèi)置的有限內(nèi)存。格里德坦言，“現(xiàn)在磁盤的內(nèi)置內(nèi)存太小，不足以做排序，只能完成選擇操作。所以接下來的問題是，我們要怎樣增加磁盤的內(nèi)置內(nèi)存容量來提升操作復雜度?！?/p>

審核編輯 ：李倩