キオクシア：単一サーバー上で48億個の高次元ベクトル検索データベースを実現し、GPU活用によりインデックス構築時間を7.8倍高速化

NVIDIA cuVSライブラリーとKIOXIA AiSAQ技術を組み合わせ、DRAM使用を抑え1024次元のベクトルをインデックス化

東京--(BUSINESS WIRE)--（ビジネスワイヤ） -- キオクシア株式会社（以下、キオクシア）は、オープンソースとして公開しているSSDを活用した生成AI用ベクトル探索ソフトウェア「KIOXIA AiSAQ™（キオクシア　アイザック）」近似最近傍検索（ANNS）技術を使用して、一つのサーバーで48億個のベクトルの高次元ベクトル検索を実現しました。この実証実験では、NVIDIA cuVSを通じてGPUアクセラレーションを活用することで、インデックス構築時間の大幅な短縮も実証しました。この二つの成果は、検索拡張生成（RAG）ソリューションにおける重要な進展であり、48億ベクトルを超える大規模展開のサポートに向けて、キオクシアはさらなる開発を進めています。

大規模ベクトルデータベースにおけるインデックス構築時間は、AI業界にとって重要な課題となっています。キオクシアはNVIDIAとのコラボレーションにより、1024次元の高次元ベクトルにおけるKIOXIA AiSAQを使ったインデックス構築時間を最大20倍、エンドツーエンド構築時間を最大7.8倍高速化することに成功しました。この20倍の改善によってインデックス構築するために必要な時間が、28.4日（CPU使用時）から、1.4日（NVIDIA Hopper GPU 4基使用時）に短縮され、エンドツーエンドテストにおいても31日から4日に短縮されました*¹。

ベクトルデータベースは10億個規模のベクトルをDRAMだけで運用することは現実的ではなく、数百億個に迫るベクトルデータをSSD上で運用することが期待されています。キオクシアは、KIOXIA AiSAQ技術を活用してMilvusデータベース環境において、1台のクエリサーバーで数10億規模の検索を実現し、RAGアプリケーションにおけるレイテンシー要件を満たすことができました。さらに、GPUアクセラレーションによりインデックス構築時間を短縮し、大規模データベース運用を現実的なものとしました。

「ベクトルデータベースは、膨大な非構造化データセット全体で意図、文脈、類似性をリアルタイムで理解する必要があるアプリケーションの基盤となります。NVIDIA cuVSライブラリーを活用したGPUアクセラレーションにより、キオクシアは、これまでにない効率でインデックスを構築し、高次元ベクトルデータベースの大規模化をサポートしています。」と、NVIDIAのストレージテクノロジー担当バイスプレジデント、ジェイソン・ハーディ氏はコメントしています。

キオクシアが昨年公開したオープンソースソフトウェア「KIOXIA AiSAQ」は、SSDから直接ベクトル検索を可能にし、DRAM使用量を抑えることで生成AIにおけるRAGのスケーラビリティーの課題に取り組んでいます。KIOXIA AiSAQ技術は、高い拡張性を提供しマルチテナント環境や大規模モノリシックインデックス導入の両方に適しています。この技術は、ハイブリッドクラスタリングとグラフ検索を組み合わせた革新的なグローバルインデックスアルゴリズムを活用し、超大規模環境においても効率的なベクトル検索を提供します。性能とベクトル数のスケーラビリティーのバランスを柔軟に調整できるKIOXIA AiSAQソフトウェアは、大規模導入をより容易にし、拡張性を高めます。

「ベクトルデータベースを数十億規模に拡張するには、メモリ技術とデータ処理技術の両方を見直す必要があります。KIOXIA AiSAQのSSDベースのベクトル検索と、インデックス構築のためのNVIDIA GPUアクセラレーションを組み合わせることで、大規模展開における実用的なインデックス構築を実現します。今後も業界のイノベーターとして、フラッシュメモリを活用し、AIの可能性を押し広げていきます。」とキオクシア株式会社の常務執行役員SSD事業部長、横塚賢志は述べています。
キオクシアは、インテリジェントデータ処理をサポートするストレージ主導のAIソリューションの推進に引き続き注力し、1兆ベクトル規模のデータベース展開に向けてKIOXIA AiSAQの開発を継続していきます。

「KIOXIA AiSAQ™」の公開先：
https://github.com/kioxia-jp/aisaq-diskann

1. 本ベンチマークでは、合計19.66 TBのベクトルデータが処理されました。性能やベンチマーク結果は、ホストデバイス、読み書き条件、データサイズ、その他の要因によって異なる場合があります。

*KIOXIA AiSAQは、キオクシアの商標です。
*記載されている社名・製品名・サービス名などは、それぞれ各社が商標として使用している場合があります。

* 本資料に掲載されている情報（製品の仕様、サービスの内容およびお問い合わせ先など）は、発表日現在の情報です。予告なしに変更されることがありますので、あらかじめご了承ください。