-

KIOXIA单服务器实现48亿高维向量搜索数据库,借助GPU实现索引构建时间加速7.8倍

依托NVIDIA cuVS库和KIOXIA AiSAQ技术,以极低DRAM用量完成1024维向量索引

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布,凭借其开源的KIOXIA AiSAQ™近似最近邻搜索(ANNS)技术,成功演示在单台服务器上实现48亿向量的高维向量搜索扩展。此外,Kioxia还展示了通过NVIDIA cuVS利用GPU加速,显著缩短索引构建时间的成果。这两项成果标志着检索增强生成(RAG)搜索解决方案取得了重大进展。目前公司正持续开发,以支持超过48亿向量的更大规模部署。

大规模向量数据库的索引构建时间是行业的核心痛点。Kioxia与NVIDIA合作,演示了其在1024维高维向量的KIOXIA AiSAQ索引构建时间上最多20倍的改进,以及端到端构建时间上最多7.8倍的改进。这20倍的改进意味着,构建索引的时间从使用CPU的28.4天缩短至使用4块NVIDIA Hopper GPU的1.4天,端到端测试时间从31天缩短至4天。1

如今,AI应用可依赖存储在固态硬盘上的更大规模向量化信息(可达数百亿向量及以上),而仅靠DRAM即便在十亿级规模下也已不再适用。Kioxia借助KIOXIA AiSAQ技术,实现了十亿级搜索的高可扩展存储架构,在Milvus向量数据库环境中,使用单台查询服务器即可满足RAG应用的延迟要求。其索引构建依托GPU加速,让大规模部署变得切实可行。

NVIDIA存储技术副总裁Jason Hardy表示:“向量数据库是那些需要在海量非结构化数据集中实时理解意图、上下文和相似度的应用的核心支撑。通过借助NVIDIA cuVS库实现GPU加速索引,Kioxia支持高维向量数据库实现扩展,并以前所未有的效率构建索引。”

KIOXIA AiSAQ开源软件技术于去年首次发布,通过支持直接从固态硬盘进行向量搜索并降低DRAM用量,解决了RAG技术的可扩展性挑战。KIOXIA AiSAQ技术具备高可扩展性,非常适合多租户环境和大规模单体索引部署。该技术采用创新的全局索引(Global Index)算法,结合混合聚类和图搜索,在超大规模下实现高效向量搜索。KIOXIA AiSAQ软件提供灵活的调优选项,可在性能与大规模向量可扩展性之间取得平衡,让大规模部署更易实现和扩展。

Kioxia Corporation常务执行董事、固态硬盘事业部副总裁Masashi Yokotsuka表示:“将向量数据库扩展至十亿级规模,需要重新思考内存和计算方案。通过将基于KIOXIA AiSAQ固态硬盘的向量搜索与NVIDIA用于索引构建的GPU加速相结合,我们实现了大规模部署下切实可行的索引构建。作为行业创新者,我们将继续利用闪存技术突破AI的边界。”

Kioxia始终致力于推进由存储驱动的AI解决方案,以支持大规模智能数据处理,并持续推动KIOXIA AiSAQ向万亿向量级部署迈进。

KIOXIA AiSAQ开源软件下载链接:https://github.com/kioxia-jp/aisaq-diskann

注:

1. 本次基准测试共处理了19.66 TB向量数据。性能或基准测试结果可能因主机设备、读写条件、数据大小及其他因素而有所不同。

KIOXIA AiSAQ是KIOXIA的商标。

公司名称、产品名称和服务名称可能第三方公司的商标。

关于Kioxia

Kioxia是全球存储解决方案领域的领军企业,致力于闪存和固态硬盘(SSD)的开发、生产和销售。其前身Toshiba Memory于2017年4月从1987年发明NAND闪存的公司Toshiba Corporation分拆而出。Kioxia致力于通过提供产品、服务和系统来为客户创造选择,并为社会创造基于存储技术的价值,从而提升世界的“记忆”。Kioxia创新的3D闪存技术BiCS FLASH™正在塑造存储技术在高密度应用领域(包括高级智能手机、PC、汽车系统、数据中心和生成式AI系统)的未来。

本文档中的信息(包括产品价格和规格、服务内容和联系信息)在公告发布之日是正确的,但如有更改,恕不另行通知。

免责声明:本公告之原文版本乃官方授权版本。译文仅供方便了解之用,烦请参照原文,原文版本乃唯一具法律效力之版本。

Contacts

媒体垂询:
Kioxia Corporation
推广管理部
Satoshi Shindo
电话:+81-3-6478-2404

Kioxia Corporation



Contacts

媒体垂询:
Kioxia Corporation
推广管理部
Satoshi Shindo
电话:+81-3-6478-2404

More News From Kioxia Corporation

Kioxia与Sandisk将在日本投资超过310亿美元,巩固存储行业领先地位

东京和加州米尔皮塔斯--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Holdings Corporation (TOKYO: 285A)旗下子公司Kioxia Corporation与Sandisk Corporation (NASDAQ: SNDK)今日宣布,拟在日本进行重大投资,总额超过310亿美元(约合5万亿日元),具体实施以政府支持为前提。持续至2032年的投资将继续巩固Kioxia与Sandisk的合作伙伴关系——这是跨行业领域最成功的合资企业之一。该合作推动了NAND闪存领域数十年的技术创新,并于过去25年间在日本累计投资超过500亿美元(约合9万亿日元)。Kioxia与Sandisk将继续提供领先技术,以满足AI和数据驱动世界日益增长的需求。 此次投资将顺应市场趋势,支持四日市工厂和北上工厂的持续基础设施建设,以及相关基础设施与技术升级。Kioxia与Sandisk均承诺推动有意义的多年期比特量增长,并确保稳定供应,以应对市场对其创新闪存技术的强劲需求。基于上述承诺,此次宣布的投资旨在助力合资企业取得长期成功,提升其规模化、稳定交付前沿闪存创新成...

Kioxia将在北上工厂新建Fab3以扩大3D闪存产能

东京--(BUSINESS WIRE)--(美国商业资讯)-- 全球领先的存储解决方案提供商Kioxia Corporation今日宣布,已启动位于日本岩手县北上工厂的全新先进制造设施Fab3的场地准备及其他相关建设工作,以扩大其先进三维闪存BiCS FLASH™的产能。Fab3将建于Fab2南侧地块,预计将于2029财年开始运营。 在智能体AI、物理AI和设备端AI的驱动下,闪存市场预计将在中长期内持续显著增长。通过建设Fab3,Kioxia旨在扩大生产并确保尖端闪存产品的稳定供应,从而满足不断增长的市场需求。 Fab3的建设进度和设备投资等详细计划将根据市场趋势确定。Fab3的投资计划取决于政府的支持。 秉承“提升世界的‘记忆’”的使命,Kioxia将继续致力于把握不断增长的需求、进行战略性资本投资,并追求稳健和可持续的增长。 免责声明:本公告之原文版本乃官方授权版本。译文仅供方便了解之用,烦请参照原文,原文版本乃唯一具法律效力之版本。...

KIOXIA GP系列超高IOPS SSD荣获2026年FMS:未来内存与存储展“最佳展品”大奖

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布,其KIOXIA GP系列PCIe® NVMe™ SSD已荣获FMS:未来内存与存储展“专业存储”类别的“最佳展品”大奖。“最佳展品”奖旨在表彰卓越的产品与解决方案,嘉奖那些正在塑造内存与存储行业未来的企业与技术。 KIOXIA GP1 PCIe 6.0 SSD是GP系列的一员,专为AI基础设施打造,也是业界首款*1专为GPU直接访问优化的超高IOPS PCIe® SSD。它搭载了KIOXIA XL-FLASH™第二代低延迟闪存,在512字节数据访问下可提供高达1000万随机读取IOPS*2,让闪存能够作为高性能内存扩展层,帮助提升AI工作负载的GPU利用率。 未来内存与存储展大会总监George Mullins表示:“随着AI基础设施不断演进,存储正成为下一代系统架构的关键推动因素。KIOXIA GP系列体现了KIOXIA在闪存和AI存储技术上的持续创新。通过以前瞻性的存储架构满足新兴的AI基础设施需求,KIOXIA GP系列荣获今年FMS‘专业存储’类别的‘最佳展品’奖可谓实...
Back to Newsroom