-

KIOXIA单服务器实现48亿高维向量搜索数据库,借助GPU实现索引构建时间加速7.8倍

依托NVIDIA cuVS库和KIOXIA AiSAQ技术,以极低DRAM用量完成1024维向量索引

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布,凭借其开源的KIOXIA AiSAQ™近似最近邻搜索(ANNS)技术,成功演示在单台服务器上实现48亿向量的高维向量搜索扩展。此外,Kioxia还展示了通过NVIDIA cuVS利用GPU加速,显著缩短索引构建时间的成果。这两项成果标志着检索增强生成(RAG)搜索解决方案取得了重大进展。目前公司正持续开发,以支持超过48亿向量的更大规模部署。

大规模向量数据库的索引构建时间是行业的核心痛点。Kioxia与NVIDIA合作,演示了其在1024维高维向量的KIOXIA AiSAQ索引构建时间上最多20倍的改进,以及端到端构建时间上最多7.8倍的改进。这20倍的改进意味着,构建索引的时间从使用CPU的28.4天缩短至使用4块NVIDIA Hopper GPU的1.4天,端到端测试时间从31天缩短至4天。1

如今,AI应用可依赖存储在固态硬盘上的更大规模向量化信息(可达数百亿向量及以上),而仅靠DRAM即便在十亿级规模下也已不再适用。Kioxia借助KIOXIA AiSAQ技术,实现了十亿级搜索的高可扩展存储架构,在Milvus向量数据库环境中,使用单台查询服务器即可满足RAG应用的延迟要求。其索引构建依托GPU加速,让大规模部署变得切实可行。

NVIDIA存储技术副总裁Jason Hardy表示:“向量数据库是那些需要在海量非结构化数据集中实时理解意图、上下文和相似度的应用的核心支撑。通过借助NVIDIA cuVS库实现GPU加速索引,Kioxia支持高维向量数据库实现扩展,并以前所未有的效率构建索引。”

KIOXIA AiSAQ开源软件技术于去年首次发布,通过支持直接从固态硬盘进行向量搜索并降低DRAM用量,解决了RAG技术的可扩展性挑战。KIOXIA AiSAQ技术具备高可扩展性,非常适合多租户环境和大规模单体索引部署。该技术采用创新的全局索引(Global Index)算法,结合混合聚类和图搜索,在超大规模下实现高效向量搜索。KIOXIA AiSAQ软件提供灵活的调优选项,可在性能与大规模向量可扩展性之间取得平衡,让大规模部署更易实现和扩展。

Kioxia Corporation常务执行董事、固态硬盘事业部副总裁Masashi Yokotsuka表示:“将向量数据库扩展至十亿级规模,需要重新思考内存和计算方案。通过将基于KIOXIA AiSAQ固态硬盘的向量搜索与NVIDIA用于索引构建的GPU加速相结合,我们实现了大规模部署下切实可行的索引构建。作为行业创新者,我们将继续利用闪存技术突破AI的边界。”

Kioxia始终致力于推进由存储驱动的AI解决方案,以支持大规模智能数据处理,并持续推动KIOXIA AiSAQ向万亿向量级部署迈进。

KIOXIA AiSAQ开源软件下载链接:https://github.com/kioxia-jp/aisaq-diskann

注:

1. 本次基准测试共处理了19.66 TB向量数据。性能或基准测试结果可能因主机设备、读写条件、数据大小及其他因素而有所不同。

KIOXIA AiSAQ是KIOXIA的商标。

公司名称、产品名称和服务名称可能第三方公司的商标。

关于Kioxia

Kioxia是全球存储解决方案领域的领军企业,致力于闪存和固态硬盘(SSD)的开发、生产和销售。其前身Toshiba Memory于2017年4月从1987年发明NAND闪存的公司Toshiba Corporation分拆而出。Kioxia致力于通过提供产品、服务和系统来为客户创造选择,并为社会创造基于存储技术的价值,从而提升世界的“记忆”。Kioxia创新的3D闪存技术BiCS FLASH™正在塑造存储技术在高密度应用领域(包括高级智能手机、PC、汽车系统、数据中心和生成式AI系统)的未来。

本文档中的信息(包括产品价格和规格、服务内容和联系信息)在公告发布之日是正确的,但如有更改,恕不另行通知。

免责声明:本公告之原文版本乃官方授权版本。译文仅供方便了解之用,烦请参照原文,原文版本乃唯一具法律效力之版本。

Contacts

媒体垂询:
Kioxia Corporation
推广管理部
Satoshi Shindo
电话:+81-3-6478-2404

Kioxia Corporation



Contacts

媒体垂询:
Kioxia Corporation
推广管理部
Satoshi Shindo
电话:+81-3-6478-2404

More News From Kioxia Corporation

Kioxia与Dell Technologies率先推出搭载9.8 PB闪存存储的高密度服务器

东京--(BUSINESS WIRE)--(美国商业资讯)-- 全球存储解决方案领导者Kioxia Corporation今日宣布在高密度存储基础设施领域取得突破性成果,携手Dell Technologies推出一款2U服务器配置,闪存存储容量可拓展至前所未有(1)的9.8 PB。通过将Dell PowerEdge™ R7725xd服务器与AMD EPYC™处理器和40块E3.L形态规格的KIOXIA LC9系列245.76太字节(TB) NVMe™固态硬盘相结合,两家公司正在打造全新存储优化平台,旨在满足AI、大规模数据湖和数据密集型企业工作负载的需求。 长期以来,Dell Technologies和Kioxia一直携手致力于为数据驱动型应用打造可扩展基础设施。这一最新里程碑凸显了双方共同致力于推动高密度架构发展,以提升性能、降低能耗并最大程度地提高数据中心效率。 Dell Technologies计算与网络高级副总裁Arun Narayanan表示:“随着AI工作负载的需求不断提升,配套基础设施也必须同步迭代升级。Dell PowerEdge R7725xd搭配KIOXIA的大容量...

Kioxia推出面向PC OEM厂商的高性能KIOXIA XG10系列固态硬盘

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日发布了KIOXIA XG10系列固态硬盘(SSD),这是其面向PC OEM厂商的最新高性能客户端存储解决方案。全新KIOXIA XG10系列定位高端性能市场,采用PCIe® 5.0技术,显著提升了数据密集型客户端应用的读写速度和响应能力。 作为KIOXIA XG8系列的升级版,KIOXIA XG10系列采用PCIe® 5.0接口,使连续和随机读写性能均实现提升。与上一代产品相比(1),新款硬盘的顺序读取速度提升高达2倍,顺序写入速度提升超过2倍,随机读取速度提升约122%,随机写入速度提升约158%,可支持更快的数据访问和更流畅的系统响应。 KIOXIA XG10系列专为满足高性能客户端系统环境的需求而设计,包括专业应用、私有AI训练和推理、内容创作和编辑工作流程以及沉浸式游戏体验。凭借高达14,000 MB/s的顺序读取速度和高达12,000 MB/s的顺序写入速度,以及高达2000 KIOPS的随机读取性能和高达1600 KIOPS的随机写入性能,KIOXIA XG10系列能够满...

Kioxia推出面向PC OEM的全新主流KIOXIA BG8系列固态硬盘

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布推出KIOXIA BG8系列固态硬盘(SSD),这是其面向PC OEM客户的客户端固态硬盘产品线的最新力作。KIOXIA BG8系列将PCIe® 5.0的高速性能引入主流市场,兼具新一代技术能力、高效运行与广泛的设计灵活性,适用于轻薄本、商用和消费级笔记本电脑以及台式机系统。 KIOXIA BG8系列采用Kioxia的BiCS FLASH™第八代TLC架构3D闪存打造,在性能和能效上均实现升级。与上一代产品相比(1),KIOXIA BG8系列的连续读取性能最高提升47%,连续写入性能提升67%,随机读取性能提升44%,随机写入性能提升30%。 KIOXIA BG8系列的连续读取速度最高可达10,300 MB/s,连续写入速度最高可达10,000 MB/s,随机读取和写入性能分别最高可达140万和130万IOPS,可在各类客户端应用场景下提供灵敏流畅的系统运行表现。 无DRAM的KIOXIA BG8系列支持主机内存缓冲(HMB)功能,利用主机系统内存帮助实现性能、功耗和成本的平衡。...
Back to Newsroom