-

旨在降低生成式人工智能系统DRAM需求的KIOXIA AiSAQ™技术以开源软件形式发布

软件技术通过使用固态硬盘提高了RAG工作流程中矢量数据库的扩展性和准确性

东京--(BUSINESS WIRE)--(美国商业资讯)-- 世界领先的内存解决方案提供商Kioxia Corporation今天宣布开源发布其新的全存储ANNS乘积量化 (AiSAQ)技术(1)。KIOXIA AiSAQ™软件采用针对固态硬盘优化的新型“近似最近邻”搜索(ANNS)算法,可为检索增强生成(RAG)提供可扩展的性能,并且无需将索引数据放在DRAM中,而是直接在固态硬盘上进行搜索。

生成式人工智能系统需要大量的计算、内存和存储资源。虽然人工智能系统有可能推动各行各业实现变革性突破,但其部署往往需要高昂的成本。RAG是人工智能的一个关键阶段,它利用公司或应用的特定数据完善大型语言模型(LLM)。

RAG的核心组件是一个向量数据库,它能将特定数据累积并转换成数据库中的特征向量。RAG还采用了ANNS算法,该算法可根据累积向量和目标向量之间的相似性,识别出能改进模型的向量。为使RAG有效,它必须快速检索与查询最相关的信息。ANNS算法以往是部署在DRAM中,以实现这些搜索所需的高速性能。

KIOXIA AiSAQ技术可为十亿规模的数据集提供可扩展的高效ANNS解决方案,内存使用量可忽略不计,并具有快速索引切换功能。

KIOXIA AiSAQ技术的主要优势:

  • 允许大型数据库在不依赖有限DRAM资源的情况下运行,从而提高RAG系统的性能。
  • 无需将索引数据加载到DRAM中,从而可立即启动矢量数据库。这支持在同一服务器上的用户特定数据库或应用特定数据库之间进行无缝切换,从而高效交付RAG服务。
  • 通过将索引存储在可在多台服务器之间共享的分解式存储中,对云系统进行了优化。这种方法可针对特定用户或应用程序动态调整矢量数据库搜索性能,并有助于在物理服务器之间快速迁移搜索实例。

Kioxia将其创新KIOXIA AiSAQ技术作为开源软件提供给社区,以此表明该公司对推动人工智能发展的承诺。


(1) 请点击链接查看KIOXIA AiSAQ的开源版本。
https://github.com/kioxiaamerica/aisaq-diskann

*公司名称、产品名称和服务名称可能是第三方公司的商标。

关于Kioxia
Kioxia是全球领先的存储器解决方案供应商,致力于开发、生产和销售闪存和固态硬盘(SSD)。2017年4月,其前身Toshiba Memory从1987年发明NAND闪存的Toshiba Corporation中分拆出来。Kioxia致力于用“记忆”改善世界,提供产品、服务和系统,为客户创造选择,为社会创造基于记忆的价值。Kioxia的创新3D闪存技术BiCS FLASH™ 正在塑造高密度应用的存储未来,包括先进的智能手机、个人电脑、汽车系统、数据中心和生成式人工智能系统。

*本文档中的信息,包括产品价格和规格、服务内容和联系信息,在公告日期是正确的,但如有变更恕不另行通知。

免责声明:本公告之原文版本乃官方授权版本。译文仅供方便了解之用,烦请参照原文,原文版本乃唯一具法律效力之版本。

Contacts

媒体垂询:
Kioxia Corporation
销售战略规划部
Satoshi Shindo / Koji Takahata
电话:+81-3-6478-2404

客户咨询:
Kioxia Group
全球销售办事处
https://www.kioxia.com/en-jp/business/buy/global-sales.html

Kioxia Corporation



Contacts

媒体垂询:
Kioxia Corporation
销售战略规划部
Satoshi Shindo / Koji Takahata
电话:+81-3-6478-2404

客户咨询:
Kioxia Group
全球销售办事处
https://www.kioxia.com/en-jp/business/buy/global-sales.html

More News From Kioxia Corporation

KIOXIA固态硬盘实现与Microchip Adaptec® SmartRAID 4300系列RAID存储加速器的兼容性

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布,其2.5英寸KIOXIA CM7系列企业级PCIe®5.0 NVMe™ 2.0固态硬盘、KIOXIA CD8P系列数据中心PCIe 5.0 NVMe 2.0固态硬盘,以及KIOXIA CD8系列数据中心PCIe 4.0 NVMe 1.4固态硬盘已成功完成与Microchip Technology Inc.的Adaptec® SmartRAID 4300系列RAID存储加速卡的兼容性及互操作性测试。 Adaptec SmartRAID 4300加速器最多可支持32个NVMe固态硬盘,并且每个硬盘都通过其专用通道直接连接到CPU。这一设计消除了传统单一x16主机接口常见的PCIe瓶颈,使得每个固态硬盘都能以峰值性能运行。这一创新架构提供了卓越的吞吐量和IOPS,使其成为数据密集型企业应用的理想解决方案。下一代数据中心基础设施的成功,依赖于整个生态系统的协作与互操作性,以确保现有与未来技术能够实现无缝集成。 Microchip名称和Adaptec是Microchip Technolo...

KIOXIA AiSAQ™技术已集成至Milvus向量数据库

东京--(BUSINESS WIRE)--(美国商业资讯)-- Kioxia Corporation今日宣布,其近似最近邻搜索(ANNS)软件技术KIOXIA AiSAQ™已从Milvus 2.6.4版本起正式集成到这款开源向量数据库中。通过此次集成,Milvus用户可充分利用KIOXIA AiSAQ™经SSD优化的向量搜索能力,为开发者和企业提供一条实用且经济高效的AI应用扩展路径,无需面对大规模向量搜索通常伴随的DRAM内存扩容难题。 AI行业正从构建大规模基础模型,转向部署可扩展、高性价比的推理解决方案以应对现实世界挑战。检索增强生成(RAG)是这一转型的核心,而KIOXIA AiSAQ™技术的研发初衷,就是帮助社区利用基于SSD的向量架构。其融入Milvus生态系统后,不仅降低了开源社区的采用门槛,还能支持开发者打造更快、更高效的AI应用。 KIOXIA AiSAQ™于今年早些时候首次发布,是一款开源软件技术,通过将所有与RAG相关的数据库元素存储在SSD上,大幅提升向量可扩展性*1。随着DRAM可扩展性成为海量推理和RAG工作负载的关键瓶颈,KIOXIA AiSAQ™技术实现...

Kioxia研发核心技术,助力高密度低功耗3D DRAM的实际应用

东京--(BUSINESS WIRE)--(美国商业资讯)-- 全球存储解决方案领域的领军企业Kioxia Corporation今日宣布,已研发出具备高堆叠性的氧化物半导体沟道晶体管技术,该技术将推动高密度、低功耗3D DRAM的实际应用。这项技术已于12月10日在美国旧金山举行的IEEE国际电子器件大会(IEDM)上亮相,有望降低AI服务器和物联网组件等众多应用场景的功耗。 在AI时代,市场对于具备更大容量、更低功耗、可处理海量数据的DRAM的需求持续攀升。传统DRAM技术在存储单元尺寸微缩方面已逼近物理极限,业界因此开始研究存储单元的3D堆叠技术,以此拓展存储容量。传统DRAM采用单晶硅作为堆叠存储单元中晶体管的沟道材料,这种方式会推高制造成本,同时存储单元的刷新功耗还会随存储容量的增加而成正比上升。 在去年的IEDM上,我们宣布研发出氧化物半导体沟道晶体管DRAM (OCTRAM)技术,该技术使用由氧化物半导体材料制成的垂直晶体管。在今年的大会展示中,我们推出了可实现OCTRAM 3D堆叠的高堆叠性氧化物半导体沟道晶体管技术,并完成了8层晶体管堆叠结构的功能验证。 这项新技术将...
Back to Newsroom