-

KIOXIA單伺服器實現48億高維度向量搜尋資料庫,藉助GPU實現索引建構時間加快7.8倍

憑藉NVIDIA cuVS庫和KIOXIA AiSAQ技術,以極低DRAM用量完成1024維度向量索引

東京--(BUSINESS WIRE)--(美國商業資訊)-- Kioxia Corporation今日宣布,憑藉其開放原始碼的KIOXIA AiSAQ™近似最近鄰搜尋(ANNS)技術,成功示範在單台伺服器上實現48億向量的高維度向量搜尋擴充。此外,Kioxia還展示了透過NVIDIA cuVS利用GPU加速,顯著縮短索引建構時間的成果。這兩項成果代表檢索強化生成(RAG)搜尋解決方案取得了重大進展。目前公司正持續開發,以支援超過48億向量的更大規模部署。

大規模向量資料庫的索引建構時間是產業的核心痛點。Kioxia與NVIDIA合作,示範其在1024維度高維度向量的KIOXIA AiSAQ索引建構時間上最多20倍的改進,以及端對端建構時間上最多7.8倍的改進。這20倍的改進表示,建構索引的時間從使用CPU的28.4天縮短至使用4塊NVIDIA Hopper GPU的1.4天,端對端測試時間從31天縮短至4天。1

如今,AI應用程式可依賴儲存在固態硬碟上的更大規模向量化資訊(可達數百億向量及以上),而僅靠DRAM即便在十億級規模下也已不再適用。Kioxia藉助KIOXIA AiSAQ技術,實現了十億級搜尋的高可擴充儲存架構,在Milvus向量資料庫環境中,使用單台查詢伺服器即可滿足RAG應用程式的延遲要求。其索引建構憑藉GPU加速,讓大規模部署變得切實可行。

NVIDIA儲存技術副總裁Jason Hardy表示:「向量資料庫是那些需要在海量非結構化資料集中即時理解意圖、上下文和相似度的應用程式的核心支撐。透過藉助NVIDIA cuVS庫實現GPU加速索引,Kioxia支援高維度向量資料庫實現擴充,並以前所未見的效率建構索引。」

KIOXIA AiSAQ開放原始碼軟體技術於去年首次發表,透過支援直接從固態硬碟進行向量搜尋並降低DRAM用量,解決了RAG技術的可擴充性挑戰。KIOXIA AiSAQ技術具備高可擴充性,非常適合多租戶環境和大規模單體索引部署。該技術採用創新的全域索引(Global Index)演算法,結合混合式分群和圖搜尋,在超大規模下實現高效向量搜尋。KIOXIA AiSAQ軟體提供靈活的調校選項,可在效能與大規模向量可擴充性之間取得平衡,讓大規模部署更易實現和擴充。

Kioxia Corporation常務執行董事、固態硬碟事業部副總裁Masashi Yokotsuka表示:「將向量資料庫擴充至十億級規模,需要重新思考記憶體和運算方案。透過將以KIOXIA AiSAQ固態硬碟為基礎的向量搜尋與NVIDIA用於索引建構的GPU加速相結合,我們實現了大規模部署下切實可行的索引建構。身為業界創新企業,我們將繼續利用快閃記憶體技術突破AI的邊界。」

Kioxia始終致力於推進由儲存驅動的AI解決方案,以支援大規模智慧資料處理,並持續推動KIOXIA AiSAQ向兆向量級部署邁進。

KIOXIA AiSAQ開放原始碼軟體下載連結:https://github.com/kioxia-jp/aisaq-diskann

註:

1. 本次基準測試共處理了19.66 TB向量資料。效能或基準測試結果可能因主機裝置、讀寫條件、資料大小及其他因素而有所不同。

KIOXIA AiSAQ是KIOXIA的商標。

公司名稱、產品名稱和服務名稱可能第三方公司的商標。

關於 Kioxia

Kioxia是全球記憶體解決方案領域的領軍企業,致力於快閃記憶體和固態硬碟(SSD)的開發、生產和銷售。其前身是Toshiba Memory,於2017年4月從1987年發明了NAND快閃記憶體的公司Toshiba Corporation脫售而出。Kioxia致力於透過提供產品、服務和系統來為客戶創造選擇,並為社會創造以儲存技術為基礎的價值,從而提升世界的「記憶」。Kioxia創新的3D快閃記憶體技術BiCS FLASH™正在塑造儲存技術在高密度應用領域(包括高階智慧型手機、PC、汽車系統、資料中心和生成式AI系統)的未來。

本文件中的資訊(包括產品價格和規格、服務內容和聯絡方式)在公告發表之日是正確的,但如有更改,恕不另行通知。

免責聲明:本公告之原文版本乃官方授權版本。譯文僅供方便瞭解之用,煩請參照原文,原文版本乃唯一具法律效力之版本。

Contacts

媒體查詢:
Kioxia Corporation
推廣管理部
Satoshi Shindo
電話:+81-3-6478-2404

Kioxia Corporation



Contacts

媒體查詢:
Kioxia Corporation
推廣管理部
Satoshi Shindo
電話:+81-3-6478-2404

More News From Kioxia Corporation

Kioxia宣布推出針對AI GPU啟動式工作負載進行最佳化的全新固態硬碟型號

東京--(BUSINESS WIRE)--(美國商業資訊)-- Kioxia Corporation今日宣布開發出超高IOPS固態硬碟,這是一款可讓GPU直接存取高速快閃記憶體、充當AI系統中高頻寬記憶體(HBM)擴充的新型固態硬碟。全新的超高IOPS固態硬碟KIOXIA GP系列專為滿足AI和高效能運算與日俱增的效能需求而打造,提供更大的GPU可存取記憶體容量,以加快AI工作負載的資料存取速度。KIOXIA GP系列的評估樣品將於2026年底向指定客戶提供。 NVIDIA Storage-Next計畫旨在因應未來從運算密集型向資料密集型工作負載的改變,以及對GPU可存取記憶體空間不斷擴大的需求,目前該空間受限於HBM容量。擴充GPU的可用記憶體空間可支援存取更大的資料集,並透過將更多資料部署在更靠近運算資源的位置來提升GPU利用率。 NVIDIA Storage-Next計畫呼籲固態硬碟廠商設計針對GPU啟動式AI工作負載進行最佳化的硬碟。該計畫透過讓GPU存取以快閃記憶體為基礎的記憶體,有效擴充了HBM容量。Kioxia以KIOXIA GP系列固態硬碟支援NVIDIA的此項計畫,該...

Kioxia開始提供針對下一代行動應用的UFS 5.0內建式快閃記憶體裝置樣品

東京--(BUSINESS WIRE)--(美國商業資訊)-- 全球記憶體解決方案領域的領軍企業Kioxia Corporation今日宣布,已開始出貨與下一代UFS標準UFS 5.0相容的內建式快閃記憶體評估樣品(1),該標準目前正由JEDEC制定。(2) UFS 5.0是JEDEC正在開發的內建式快閃記憶體新基準,旨在滿足配備裝置端AI功能的高階智慧型手機等下一代行動裝置的效能需求。它在實體層採用MIPI M-PHY 6.0版本,在協議層採用UniPro 3.0版本。M-PHY 6.0版本引進全新HS-GEAR6模式,理論上單通道介面速度最高可達46.6 Gbps;雙通道設定下,UFS 5.0可實現約10.8 GB/s的有效讀寫效能。 此次評估樣品搭載了自研的全新UFS 5.0控制器和Kioxia第八代BiCS FLASH™,提供512 GB和1 TB兩種容量。產品採用全新設計的封裝,尺寸僅為7.5 x 13公釐,有助於節省主機板空間和提升設計靈活性。 樣品將提供給正在開發與UFS 5.0相容的主機系統的客戶,用於效能評估和相互操作性測試。 Kioxia將持續在UFS產品中引進全新...

Kioxia推出QLC UFS 4.1內建式快閃記憶體裝置,賦能高容量行動儲存

東京--(BUSINESS WIRE)--(美國商業資訊)-- 全球儲存解決方案領導者Kioxia Corporation今日宣布,已開始提供採用每單元4位元四階式單元(QLC)技術的全新通用快閃記憶體儲存1 (UFS) 4.1版本內建式記憶裝置樣品。該新品專為讀密集型應用和高容量儲存需求設計,搭載Kioxia第八代BiCS FLASHTM 3D快閃記憶體技術。 QLC UFS相較傳統TLC UFS具備更高的位元密度,適用於對儲存容量有更高要求的行動應用場景。控制器技術與錯誤更正技術的進步讓QLC技術在實現這一優勢的同時,仍能保持具有競爭力的效能表現。 憑藉這些技術突破,Kioxia新品的效能實現了大幅提升2。相較上一代產品(UFS 4.0 / BiCS FLASH™6 QLC UFS),Kioxia QLC UFS的連續寫入速度提升25%,隨機讀取速度提升90%,隨機寫入速度提升95%3。寫入放大因數(WAF)也最多提升3.5倍(禁用WriteBooster功能時)。 Kioxia QLC UFS不僅適用於智慧型手機和平板電腦,還支援對容量和效能有更高需求的新興產品品類,包括個人電腦...
Back to Newsroom