-

KIOXIA单服务器实现48亿高维向量搜索数据库,借助GPU实现索引构建时间加速7.8倍

依托NVIDIA cuVS库和KIOXIA AiSAQ技术,以极低DRAM用量完成1024维向量索引

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布,凭借其开源的KIOXIA AiSAQ™近似最近邻搜索(ANNS)技术,成功演示在单台服务器上实现48亿向量的高维向量搜索扩展。此外,Kioxia还展示了通过NVIDIA cuVS利用GPU加速,显著缩短索引构建时间的成果。这两项成果标志着检索增强生成(RAG)搜索解决方案取得了重大进展。目前公司正持续开发,以支持超过48亿向量的更大规模部署。

大规模向量数据库的索引构建时间是行业的核心痛点。Kioxia与NVIDIA合作,演示了其在1024维高维向量的KIOXIA AiSAQ索引构建时间上最多20倍的改进,以及端到端构建时间上最多7.8倍的改进。这20倍的改进意味着,构建索引的时间从使用CPU的28.4天缩短至使用4块NVIDIA Hopper GPU的1.4天,端到端测试时间从31天缩短至4天。1

如今,AI应用可依赖存储在固态硬盘上的更大规模向量化信息(可达数百亿向量及以上),而仅靠DRAM即便在十亿级规模下也已不再适用。Kioxia借助KIOXIA AiSAQ技术,实现了十亿级搜索的高可扩展存储架构,在Milvus向量数据库环境中,使用单台查询服务器即可满足RAG应用的延迟要求。其索引构建依托GPU加速,让大规模部署变得切实可行。

NVIDIA存储技术副总裁Jason Hardy表示:“向量数据库是那些需要在海量非结构化数据集中实时理解意图、上下文和相似度的应用的核心支撑。通过借助NVIDIA cuVS库实现GPU加速索引,Kioxia支持高维向量数据库实现扩展,并以前所未有的效率构建索引。”

KIOXIA AiSAQ开源软件技术于去年首次发布,通过支持直接从固态硬盘进行向量搜索并降低DRAM用量,解决了RAG技术的可扩展性挑战。KIOXIA AiSAQ技术具备高可扩展性,非常适合多租户环境和大规模单体索引部署。该技术采用创新的全局索引(Global Index)算法,结合混合聚类和图搜索,在超大规模下实现高效向量搜索。KIOXIA AiSAQ软件提供灵活的调优选项,可在性能与大规模向量可扩展性之间取得平衡,让大规模部署更易实现和扩展。

Kioxia Corporation常务执行董事、固态硬盘事业部副总裁Masashi Yokotsuka表示:“将向量数据库扩展至十亿级规模,需要重新思考内存和计算方案。通过将基于KIOXIA AiSAQ固态硬盘的向量搜索与NVIDIA用于索引构建的GPU加速相结合,我们实现了大规模部署下切实可行的索引构建。作为行业创新者,我们将继续利用闪存技术突破AI的边界。”

Kioxia始终致力于推进由存储驱动的AI解决方案,以支持大规模智能数据处理,并持续推动KIOXIA AiSAQ向万亿向量级部署迈进。

KIOXIA AiSAQ开源软件下载链接:https://github.com/kioxia-jp/aisaq-diskann

注:

1. 本次基准测试共处理了19.66 TB向量数据。性能或基准测试结果可能因主机设备、读写条件、数据大小及其他因素而有所不同。

KIOXIA AiSAQ是KIOXIA的商标。

公司名称、产品名称和服务名称可能第三方公司的商标。

关于Kioxia

Kioxia是全球存储解决方案领域的领军企业,致力于闪存和固态硬盘(SSD)的开发、生产和销售。其前身Toshiba Memory于2017年4月从1987年发明NAND闪存的公司Toshiba Corporation分拆而出。Kioxia致力于通过提供产品、服务和系统来为客户创造选择,并为社会创造基于存储技术的价值,从而提升世界的“记忆”。Kioxia创新的3D闪存技术BiCS FLASH™正在塑造存储技术在高密度应用领域(包括高级智能手机、PC、汽车系统、数据中心和生成式AI系统)的未来。

本文档中的信息(包括产品价格和规格、服务内容和联系信息)在公告发布之日是正确的,但如有更改,恕不另行通知。

免责声明:本公告之原文版本乃官方授权版本。译文仅供方便了解之用,烦请参照原文,原文版本乃唯一具法律效力之版本。

Contacts

媒体垂询:
Kioxia Corporation
推广管理部
Satoshi Shindo
电话:+81-3-6478-2404

Kioxia Corporation



Contacts

媒体垂询:
Kioxia Corporation
推广管理部
Satoshi Shindo
电话:+81-3-6478-2404

More News From Kioxia Corporation

Kioxia宣布推出针对AI GPU发起式工作负载进行优化的全新固态硬盘型号

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布开发出超高IOPS固态硬盘,这是一款可让GPU直接访问高速闪存、作为AI系统中高带宽内存(HBM)扩展的新型固态硬盘。全新的超高IOPS固态硬盘KIOXIA GP系列专为满足AI和高性能计算日益增长的性能需求而打造,提供更大的GPU可访问内存容量,以加快AI工作负载的数据访问速度。KIOXIA GP系列的评估样品将于2026年底面向指定客户提供。 NVIDIA Storage-Next计划旨在应对未来从计算密集型向数据密集型工作负载的转变,以及对GPU可访问内存空间不断扩大的需求,目前该空间受限于HBM容量。扩展GPU的可用内存空间可支持访问更大的数据集,并通过将更多数据部署在更靠近计算资源的位置来提升GPU利用率。 NVIDIA Storage-Next计划呼吁固态硬盘厂商设计针对GPU发起式AI工作负载进行优化的硬盘。该计划通过让GPU访问基于闪存的内存,有效扩展了HBM容量。Kioxia以KIOXIA GP系列固态硬盘支持NVIDIA的此项计划,该系列产品采用低延迟、高性能...

Kioxia开始提供面向下一代移动应用的UFS 5.0嵌入式闪存设备样品

东京--(BUSINESS WIRE)--(美国商业资讯)-- 全球存储解决方案领域的领军企业Kioxia Corporation今日宣布,已开始出货兼容下一代UFS标准UFS 5.0的嵌入式闪存评估样品(1),该标准目前正由JEDEC制定。(2) UFS 5.0是JEDEC正在开发的嵌入式闪存新标准,旨在满足配备设备端AI功能的高端智能手机等下一代移动设备的性能需求。它在物理层采用MIPI M-PHY 6.0版本,在协议层采用UniPro 3.0版本。M-PHY 6.0版本引入全新HS-GEAR6模式,理论上单通道接口速度最高可达46.6 Gbps;双通道配置下,UFS 5.0可实现约10.8 GB/s的有效读写性能。 此次评估样品搭载了自研的全新UFS 5.0控制器和Kioxia第八代BiCS FLASH™,提供512 GB和1 TB两种容量。产品采用全新设计的封装,尺寸仅为7.5 x 13毫米,有助于节省主板空间和提升设计灵活性。 样品将提供给正在开发兼容UFS 5.0的主机系统的客户,用于性能评估和互操作性测试。 Kioxia将持续在UFS产品中引入全新闪存技术,以满足移动市场...

Kioxia推出适用于大容量移动存储的QLC UFS 4.1嵌入式闪存器件

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation(铠侠)是全球领先的内存解决方案提供商,今天宣布该公司采用每单元4位的四层单元(QLC)技术的新款通用闪存1(UFS)版本4.1嵌入式内存器件开始送样。新款器件专为读取密集型应用和大容量存储需求而设计,采用Kioxia的第8 代BiCS FLASHTM 3D闪存技术。 QLC UFS相比传统TLC UFS具有更高的位密度,非常适合需要大存储容量的移动应用。得益于控制器技术和纠错技术的进步,让QLC技术能够在实现这一目标的同时,保持有竞争力的性能。 在这些技术进步的基础上,Kioxia的新款器件实现了显著的性能提升2。与上一代(UFS 4.0 / BiCS FLASH™6 QLC UFS)相比,Kioxia的QLC UFS将顺序写入速度提升了25%,将随机读取速度提升了90%,并将随机写入速度提升了95%3。写放大系数(WAF)也提升了最高3.5倍(在禁用WriteBooster的情况下)。 Kioxia QLC UFS不仅非常适合智能手机和平板电脑,此外同样支持需要更高容量和性能的新型产...
Back to Newsroom