KIOXIA单服务器实现48亿高维向量搜索数据库,借助GPU实现索引构建时间加速7.8倍
KIOXIA单服务器实现48亿高维向量搜索数据库,借助GPU实现索引构建时间加速7.8倍
依托NVIDIA cuVS库和KIOXIA AiSAQ技术,以极低DRAM用量完成1024维向量索引
东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布,凭借其开源的KIOXIA AiSAQ™近似最近邻搜索(ANNS)技术,成功演示在单台服务器上实现48亿向量的高维向量搜索扩展。此外,Kioxia还展示了通过NVIDIA cuVS利用GPU加速,显著缩短索引构建时间的成果。这两项成果标志着检索增强生成(RAG)搜索解决方案取得了重大进展。目前公司正持续开发,以支持超过48亿向量的更大规模部署。
大规模向量数据库的索引构建时间是行业的核心痛点。Kioxia与NVIDIA合作,演示了其在1024维高维向量的KIOXIA AiSAQ索引构建时间上最多20倍的改进,以及端到端构建时间上最多7.8倍的改进。这20倍的改进意味着,构建索引的时间从使用CPU的28.4天缩短至使用4块NVIDIA Hopper GPU的1.4天,端到端测试时间从31天缩短至4天。1
如今,AI应用可依赖存储在固态硬盘上的更大规模向量化信息(可达数百亿向量及以上),而仅靠DRAM即便在十亿级规模下也已不再适用。Kioxia借助KIOXIA AiSAQ技术,实现了十亿级搜索的高可扩展存储架构,在Milvus向量数据库环境中,使用单台查询服务器即可满足RAG应用的延迟要求。其索引构建依托GPU加速,让大规模部署变得切实可行。
NVIDIA存储技术副总裁Jason Hardy表示:“向量数据库是那些需要在海量非结构化数据集中实时理解意图、上下文和相似度的应用的核心支撑。通过借助NVIDIA cuVS库实现GPU加速索引,Kioxia支持高维向量数据库实现扩展,并以前所未有的效率构建索引。”
KIOXIA AiSAQ开源软件技术于去年首次发布,通过支持直接从固态硬盘进行向量搜索并降低DRAM用量,解决了RAG技术的可扩展性挑战。KIOXIA AiSAQ技术具备高可扩展性,非常适合多租户环境和大规模单体索引部署。该技术采用创新的全局索引(Global Index)算法,结合混合聚类和图搜索,在超大规模下实现高效向量搜索。KIOXIA AiSAQ软件提供灵活的调优选项,可在性能与大规模向量可扩展性之间取得平衡,让大规模部署更易实现和扩展。
Kioxia Corporation常务执行董事、固态硬盘事业部副总裁Masashi Yokotsuka表示:“将向量数据库扩展至十亿级规模,需要重新思考内存和计算方案。通过将基于KIOXIA AiSAQ固态硬盘的向量搜索与NVIDIA用于索引构建的GPU加速相结合,我们实现了大规模部署下切实可行的索引构建。作为行业创新者,我们将继续利用闪存技术突破AI的边界。”
Kioxia始终致力于推进由存储驱动的AI解决方案,以支持大规模智能数据处理,并持续推动KIOXIA AiSAQ向万亿向量级部署迈进。
KIOXIA AiSAQ开源软件下载链接:https://github.com/kioxia-jp/aisaq-diskann。
注:
|
1. 本次基准测试共处理了19.66 TB向量数据。性能或基准测试结果可能因主机设备、读写条件、数据大小及其他因素而有所不同。
|
KIOXIA AiSAQ是KIOXIA的商标。
|
公司名称、产品名称和服务名称可能第三方公司的商标。
|
关于Kioxia
Kioxia是全球存储解决方案领域的领军企业,致力于闪存和固态硬盘(SSD)的开发、生产和销售。其前身Toshiba Memory于2017年4月从1987年发明NAND闪存的公司Toshiba Corporation分拆而出。Kioxia致力于通过提供产品、服务和系统来为客户创造选择,并为社会创造基于存储技术的价值,从而提升世界的“记忆”。Kioxia创新的3D闪存技术BiCS FLASH™正在塑造存储技术在高密度应用领域(包括高级智能手机、PC、汽车系统、数据中心和生成式AI系统)的未来。
本文档中的信息(包括产品价格和规格、服务内容和联系信息)在公告发布之日是正确的,但如有更改,恕不另行通知。
免责声明:本公告之原文版本乃官方授权版本。译文仅供方便了解之用,烦请参照原文,原文版本乃唯一具法律效力之版本。
Contacts
媒体垂询:
Kioxia Corporation
推广管理部
Satoshi Shindo
电话:+81-3-6478-2404
