Kioxia Corporation今日宣布，憑借其開源的KIOXIA AiSAQ?近似最近鄰搜索(ANNS)技術(shù)，成功演示在單臺(tái)服務(wù)器上實(shí)現(xiàn)48億向量的高維向量搜索擴(kuò)展。此外，Kioxia還展示了通過NVIDIA cuVS利用GPU加速，顯著縮短索引構(gòu)建時(shí)間的成果。這兩項(xiàng)成果標(biāo)志著檢索增強(qiáng)生成(RAG)搜索解決方案取得了重大進(jìn)展。目前公司正持續(xù)開發(fā)，以支持超過48億向量的更大規(guī)模部署。

大規(guī)模向量數(shù)據(jù)庫的索引構(gòu)建時(shí)間是行業(yè)的核心痛點(diǎn)。Kioxia與NVIDIA合作，演示了其在1024維高維向量的KIOXIA AiSAQ索引構(gòu)建時(shí)間上最多20倍的改進(jìn)，以及端到端構(gòu)建時(shí)間上最多7.8倍的改進(jìn)。這20倍的改進(jìn)意味著，構(gòu)建索引的時(shí)間從使用CPU的28.4天縮短至使用4塊NVIDIAHopperGPU的1.4天，端到端測試時(shí)間從31天縮短至4天。

如今，AI應(yīng)用可依賴存儲(chǔ)在固態(tài)硬盤上的更大規(guī)模向量化信息（可達(dá)數(shù)百億向量及以上），而僅靠DRAM即便在十億級(jí)規(guī)模下也已不再適用。Kioxia借助KIOXIA AiSAQ技術(shù)，實(shí)現(xiàn)了十億級(jí)搜索的高可擴(kuò)展存儲(chǔ)架構(gòu)，在Milvus向量數(shù)據(jù)庫環(huán)境中，使用單臺(tái)查詢服務(wù)器即可滿足RAG應(yīng)用的延遲要求。其索引構(gòu)建依托GPU加速，讓大規(guī)模部署變得切實(shí)可行。

NVIDIA存儲(chǔ)技術(shù)副總裁Jason Hardy表示：“向量數(shù)據(jù)庫是那些需要在海量非結(jié)構(gòu)化數(shù)據(jù)集中實(shí)時(shí)理解意圖、上下文和相似度的應(yīng)用的核心支撐。通過借助NVIDIA cuVS庫實(shí)現(xiàn)GPU加速索引，Kioxia支持高維向量數(shù)據(jù)庫實(shí)現(xiàn)擴(kuò)展，并以前所未有的效率構(gòu)建索引?！?/p>

KIOXIA AiSAQ開源軟件技術(shù)于去年首次發(fā)布，通過支持直接從固態(tài)硬盤進(jìn)行向量搜索并降低DRAM用量，解決了RAG技術(shù)的可擴(kuò)展性挑戰(zhàn)。KIOXIA AiSAQ技術(shù)具備高可擴(kuò)展性，非常適合多租戶環(huán)境和大規(guī)模單體索引部署。該技術(shù)采用創(chuàng)新的全局索引(Global Index)算法，結(jié)合混合聚類和圖搜索，在超大規(guī)模下實(shí)現(xiàn)高效向量搜索。KIOXIA AiSAQ軟件提供靈活的調(diào)優(yōu)選項(xiàng)，可在性能與大規(guī)模向量可擴(kuò)展性之間取得平衡，讓大規(guī)模部署更易實(shí)現(xiàn)和擴(kuò)展。

Kioxia Corporation常務(wù)執(zhí)行董事、固態(tài)硬盤事業(yè)部副總裁Masashi Yokotsuka表示：“將向量數(shù)據(jù)庫擴(kuò)展至十億級(jí)規(guī)模，需要重新思考內(nèi)存和計(jì)算方案。通過將基于KIOXIA AiSAQ固態(tài)硬盤的向量搜索與NVIDIA用于索引構(gòu)建的GPU加速相結(jié)合，我們實(shí)現(xiàn)了大規(guī)模部署下切實(shí)可行的索引構(gòu)建。作為行業(yè)創(chuàng)新者，我們將繼續(xù)利用閃存技術(shù)突破AI的邊界?！?/p>

Kioxia始終致力于推進(jìn)由存儲(chǔ)驅(qū)動(dòng)的AI解決方案，以支持大規(guī)模智能數(shù)據(jù)處理，并持續(xù)推動(dòng)KIOXIA AiSAQ向萬億向量級(jí)部署邁進(jìn)。

審核編輯 黃宇