-

KIOXIA單伺服器實現48億高維度向量搜尋資料庫,藉助GPU實現索引建構時間加快7.8倍

憑藉NVIDIA cuVS庫和KIOXIA AiSAQ技術,以極低DRAM用量完成1024維度向量索引

東京--(BUSINESS WIRE)--(美國商業資訊)-- Kioxia Corporation今日宣布,憑藉其開放原始碼的KIOXIA AiSAQ™近似最近鄰搜尋(ANNS)技術,成功示範在單台伺服器上實現48億向量的高維度向量搜尋擴充。此外,Kioxia還展示了透過NVIDIA cuVS利用GPU加速,顯著縮短索引建構時間的成果。這兩項成果代表檢索強化生成(RAG)搜尋解決方案取得了重大進展。目前公司正持續開發,以支援超過48億向量的更大規模部署。

大規模向量資料庫的索引建構時間是產業的核心痛點。Kioxia與NVIDIA合作,示範其在1024維度高維度向量的KIOXIA AiSAQ索引建構時間上最多20倍的改進,以及端對端建構時間上最多7.8倍的改進。這20倍的改進表示,建構索引的時間從使用CPU的28.4天縮短至使用4塊NVIDIA Hopper GPU的1.4天,端對端測試時間從31天縮短至4天。1

如今,AI應用程式可依賴儲存在固態硬碟上的更大規模向量化資訊(可達數百億向量及以上),而僅靠DRAM即便在十億級規模下也已不再適用。Kioxia藉助KIOXIA AiSAQ技術,實現了十億級搜尋的高可擴充儲存架構,在Milvus向量資料庫環境中,使用單台查詢伺服器即可滿足RAG應用程式的延遲要求。其索引建構憑藉GPU加速,讓大規模部署變得切實可行。

NVIDIA儲存技術副總裁Jason Hardy表示:「向量資料庫是那些需要在海量非結構化資料集中即時理解意圖、上下文和相似度的應用程式的核心支撐。透過藉助NVIDIA cuVS庫實現GPU加速索引,Kioxia支援高維度向量資料庫實現擴充,並以前所未見的效率建構索引。」

KIOXIA AiSAQ開放原始碼軟體技術於去年首次發表,透過支援直接從固態硬碟進行向量搜尋並降低DRAM用量,解決了RAG技術的可擴充性挑戰。KIOXIA AiSAQ技術具備高可擴充性,非常適合多租戶環境和大規模單體索引部署。該技術採用創新的全域索引(Global Index)演算法,結合混合式分群和圖搜尋,在超大規模下實現高效向量搜尋。KIOXIA AiSAQ軟體提供靈活的調校選項,可在效能與大規模向量可擴充性之間取得平衡,讓大規模部署更易實現和擴充。

Kioxia Corporation常務執行董事、固態硬碟事業部副總裁Masashi Yokotsuka表示:「將向量資料庫擴充至十億級規模,需要重新思考記憶體和運算方案。透過將以KIOXIA AiSAQ固態硬碟為基礎的向量搜尋與NVIDIA用於索引建構的GPU加速相結合,我們實現了大規模部署下切實可行的索引建構。身為業界創新企業,我們將繼續利用快閃記憶體技術突破AI的邊界。」

Kioxia始終致力於推進由儲存驅動的AI解決方案,以支援大規模智慧資料處理,並持續推動KIOXIA AiSAQ向兆向量級部署邁進。

KIOXIA AiSAQ開放原始碼軟體下載連結:https://github.com/kioxia-jp/aisaq-diskann

註:

1. 本次基準測試共處理了19.66 TB向量資料。效能或基準測試結果可能因主機裝置、讀寫條件、資料大小及其他因素而有所不同。

KIOXIA AiSAQ是KIOXIA的商標。

公司名稱、產品名稱和服務名稱可能第三方公司的商標。

關於 Kioxia

Kioxia是全球記憶體解決方案領域的領軍企業,致力於快閃記憶體和固態硬碟(SSD)的開發、生產和銷售。其前身是Toshiba Memory,於2017年4月從1987年發明了NAND快閃記憶體的公司Toshiba Corporation脫售而出。Kioxia致力於透過提供產品、服務和系統來為客戶創造選擇,並為社會創造以儲存技術為基礎的價值,從而提升世界的「記憶」。Kioxia創新的3D快閃記憶體技術BiCS FLASH™正在塑造儲存技術在高密度應用領域(包括高階智慧型手機、PC、汽車系統、資料中心和生成式AI系統)的未來。

本文件中的資訊(包括產品價格和規格、服務內容和聯絡方式)在公告發表之日是正確的,但如有更改,恕不另行通知。

免責聲明:本公告之原文版本乃官方授權版本。譯文僅供方便瞭解之用,煩請參照原文,原文版本乃唯一具法律效力之版本。

Contacts

媒體查詢:
Kioxia Corporation
推廣管理部
Satoshi Shindo
電話:+81-3-6478-2404

Kioxia Corporation



Contacts

媒體查詢:
Kioxia Corporation
推廣管理部
Satoshi Shindo
電話:+81-3-6478-2404

More News From Kioxia Corporation

Kioxia推出針對PC OEM的全新主流KIOXIA BG8系列固態硬碟

東京--(BUSINESS WIRE)--(美國商業資訊)-- Kioxia Corporation今日宣布推出KIOXIA BG8系列固態硬碟(SSD),這是其針對PC OEM客戶的用戶端固態硬碟產品線的最新力作。KIOXIA BG8系列將PCIe® 5.0的速度引進主流市場,兼具下一代技術能力、高效運行與廣泛的設計靈活性,適用於輕薄筆電、商用和消費級筆電以及桌上型電腦系統。 KIOXIA BG8系列採用Kioxia的BiCS FLASH™第八代TLC架構3D快閃記憶體打造,在效能和能效上均實現升級。相較上一代產品(1),KIOXIA BG8系列的連續讀取效能最高提升47%,連續寫入效能提升67%,隨機讀取效能提升44%,隨機寫入效能提升30%。 KIOXIA BG8系列的連續讀取速度最高可達10,300 MB/s,連續寫入速度最高可達10,000 MB/s,隨機讀取和寫入效能分別最高可達140萬和130萬IOPS,可在各類用戶端應用場景下提供靈敏流暢的系統運行表現。 無DRAM的KIOXIA BG8系列支援主機記憶體緩衝(HMB)功能,利用主機系統記憶體協助實現效能、功耗和成本的平...

Kioxia推出針對PC OEM廠商的高性價比QLC架構KIOXIA EG7系列固態硬碟

東京--(BUSINESS WIRE)--(美國商業資訊)-- Kioxia Corporation今日宣布推出KIOXIA EG7系列固態硬碟(SSD),這是首款採用Kioxia的BiCS FLASH™第八代每單元4位元四階式單元(QLC)技術的用戶端解決方案。採用QLC架構的KIOXIA EG7系列可提供媲美TLC架構解決方案的效能(1),從而為高性價比輕薄本以及商用和消費級筆記型電腦和桌上型電腦帶來更低的整體擁有成本(TCO)。 KIOXIA EG7系列固態硬碟將KIOXIA BiCS FLASH™第八代QLC 3D快閃記憶體的效能和能效優勢帶給PC OEM廠商的常見運算工作負載。新品可實現最高1000 KIOPS的隨機讀寫效能、最高7000 MB/s的連續讀取速度和最高6200 MB/s的連續寫入速度。 KIOXIA EG7系列支援NVMe™ 2.0d規範,為PC OEM廠商在系統設計和裝置管理方面提供更大的靈活性。該系列提供M.2 Type 2230、Type 2242和Type 2280三種外形尺寸,可在多種系統組態與空間限制下實現更廣泛的相容性。 身為Kioxia高性價比...

Kioxia宣布推出針對AI GPU啟動式工作負載進行最佳化的全新固態硬碟型號

東京--(BUSINESS WIRE)--(美國商業資訊)-- Kioxia Corporation今日宣布開發出超高IOPS固態硬碟,這是一款可讓GPU直接存取高速快閃記憶體、充當AI系統中高頻寬記憶體(HBM)擴充的新型固態硬碟。全新的超高IOPS固態硬碟KIOXIA GP系列專為滿足AI和高效能運算與日俱增的效能需求而打造,提供更大的GPU可存取記憶體容量,以加快AI工作負載的資料存取速度。KIOXIA GP系列的評估樣品將於2026年底向指定客戶提供。 NVIDIA Storage-Next計畫旨在因應未來從運算密集型向資料密集型工作負載的改變,以及對GPU可存取記憶體空間不斷擴大的需求,目前該空間受限於HBM容量。擴充GPU的可用記憶體空間可支援存取更大的資料集,並透過將更多資料部署在更靠近運算資源的位置來提升GPU利用率。 NVIDIA Storage-Next計畫呼籲固態硬碟廠商設計針對GPU啟動式AI工作負載進行最佳化的硬碟。該計畫透過讓GPU存取以快閃記憶體為基礎的記憶體,有效擴充了HBM容量。Kioxia以KIOXIA GP系列固態硬碟支援NVIDIA的此項計畫,該...
Back to Newsroom