详情

今天共享的是：高妙：⾯向⽣成式AI的向量数据库：架构，性能与将来趋势

阐扬臆想：36页

本文主要先容了面向生成式AI的向量数据库，包括其布景、Milvus举座架构打算、性能缺欠 - 索引以及面向AI的合手续进化等方面。

向量数据库布景

- 向量数据：由深度学习模子将非结构化数据飘摇而来的高维向量。

- 向量检索：找到离查询向量最近的K条向量，距离臆想取决于模子界说的Metric。

- 向量数据库：专为存储和查询高维向量数据优化的系统，在AI 1.0期间已普通愚弄，如今在RAG中行为存储记挂体增强LLM服从关系性。

Milvus举座架构

- 云原生疏散式架构，含Proxy、Query、Data、Index等组件，具有普遍进攻性、精深扩张性、生动数据措置和增量更新能力。

- 及时性与性能衡量，通过growing和sealed segment及异步compaction等优化查询。

- 守旧批量写入和全局索引，Zilliz Cloud提供向量数据库即工作，有多种版块适配不同需乞降部署环境。

性能缺欠 - 索引

主流索引各有特色，Knowhere引擎集成多种算法，包括FLAT、IVF、Product quantization、HNSW、DISKANN、GPU cagra等，遴荐需详尽接洽cost、accuracy和performance，Zilliz Cloud生意版索引引擎cardinal有更多优化。

面向AI合手续进化

- Sparse vector：索求缺欠词信息，在特定数据上上风明显。

- Hybrid search：守旧多向量多模态存储和检索，可从更多维度调回和rerank。

- Grouping search：通过doc维度团聚搜索，满足用户更复杂需求。

- 愈加易用：Milvus后续将提供调用第三方模子转向量能力，便于用户径直使用非结构化数据。

以下为阐扬节选本色