1.mivus 2 Դ??
2.从零开始构建向量数据库：Milvus 的源码编译安装（一）
3.CreateCollection API执行流程_milvus源码解析

mivus 2 Դ??

       在笔记本电脑上，实现本地知识库和大模型检索增强生成（RAG）的问题，通过引入AnythingLLM，可以轻松解决。

       AnythingLLM是用于本地部署基于RAG的大模型应用的开源框架，它采用MIT许可证，美优图源码不调用外部接口，不发送本地数据，确保用户数据的安全。

       它支持在MacOS、Windows和Linux等操作系统上直接下载并安装，初次启动需要几分钟初始化时间。所有上传的文档、向量和数据库都保存在特定的文件夹中，方便查看。

       在选择大模型时，AnythingLLM预设了多个模型选项，如LLama2 7B、Mistral 7B、Gemma 2B等，同时也可以直接调用OpenAI、fm APP 源码Gemini、Mistral等大模型API服务。如果已安装Ollama，只需输入API接口URL和已下载的模型即可。

       嵌入模型方面，AnythingLLM内置了all-Mini-L6-v2模型，无需配置，性能稳定。同时支持OpenAI、LocalAi、Ollama等提供的嵌入模型，如nomic-embed-text，性能优越。使用Ollama时，可选择nomic-embed-text。

       向量数据库则默认使用LanceDB，它是一款无服务器向量数据库，支持向量搜索、全文搜索和SQL查询，同时兼容Chroma、pe加载源码Milvus、Pinecone等其他数据库选项。

       创建知识库时，AnythingLLM提供上传文档和抓取网页信息的功能。上传Word文档或创建工作区，系统会自动提取信息并保存至向量数据库。我创建了一个名为“David”的工作区，上传了关于AI新范式的三篇文章，系统抓取数据后统一存储。

       通过构建知识库，大模型可以针对特定问题提供答案，并引用上传的文档。尽管答案有时不够精确，未来可以进一步优化文本召回和重排等功能。

       对于界面定制，AnythingLLM提供了基本选项，如自定义品牌Logo和欢迎语。对于更复杂的定制需求，需要通过修改源代码实现。

       部署方式灵活，同城社交源码AnythingLLM支持Docker本地化部署，也适用于企业级应用，支持在私有云或物理服务器上部署。

       多用户模式方面，AnythingLLM提供了管理员、管理角色和普通用户的权限管理，确保不同角色的用户在特定范围内操作，适用于企业级应用。

从零开始构建向量数据库：Milvus 的源码编译安装（一）

       在知乎上新开了关于“向量数据库”内容的专栏[1]，本文将详细介绍如何在x和ARM架构的Linux系统上编译安装开源项目Milvus，这个项目由Linux Foundation AI & Data基金会支持，常与Weaviate和Elasticsearch相提并论[2][3]。

       由于Milvus主要在GitHub进行开发，中文网络中关于编译安装的教程很少，且大多是过时的1.x版本资料，而Milvus的版本迭代迅速，目前主要提供Docker容器安装，本地开发者或追求透明度的开发者可能会觉得不够友好。本文将从头开始，逐步引导你进行编译安装。springboot源码安装

       前置准备

       在开始前，需要确保操作系统、开发环境和必要的依赖已经准备妥当。Linux作为主力生产环境，本文将重点介绍在Ubuntu上编译。macOS和Windows上的步骤类似，但这里主要针对Linux。

       操作系统

       推荐使用Ubuntu，无论是服务器、容器基础镜像，还是个人笔记本。具体配置和安装细节可以参考我在其他文章中介绍的《笔记本上搭建Linux学习环境》[6]。

       开发环境

       Milvus主要使用Golang编写，同时包含C++代码。确保Golang和C++环境可用，参考《搭建Golang开发环境》[8]，并注意Milvus官方推荐的版本。

       源码获取

       获取Milvus源码有两种方式：Git Clone或下载压缩包，其中Git Clone可能需要借助国内镜像加速。具体步骤包括设置代码仓库的上游，确保代码同步。

       编译基础依赖

       项目依赖OpenBLAS加速向量计算，详细安装步骤在《走进向量计算：OpenBLAS编译》[]中有详述。

       准备构建依赖：cmake

       确保cmake版本至少为3.，Ubuntu .需手动安装，而Ubuntu .可直接使用apt。不同版本可能有差异，注意官方文档推荐的版本。

       额外依赖：clang-format和clang-tidy

       项目代码中需要clang-format和clang-tidy，Ubuntu .和.的安装方式各有不同，务必安装正确版本以保持和官方构建一致。

       编译 Milvus

       切换到 Milvus 代码目录，执行make命令编译。整个过程可能耗时，但完成后将在./bin/目录下找到可执行文件。

       总结

       本文详细介绍了在Ubuntu .和.环境中编译安装Milvus的步骤，包括操作系统、开发环境和依赖的安装。后续文章将深入探讨容器镜像构建优化以及在MacOS上的安装指南。

       期待你的反馈，如果觉得有用，请点赞和分享。如有任何问题或需要更新，请关注后续内容更新，感谢支持！

CreateCollection API执行流程_milvus源码解析

       在分析milvus源码中的CreateCollection API执行流程时，我们需要详细拆解从客户端请求到数据最终存储在etcd的过程。在milvus版本v2.3.2中，CreateCollection API的执行流程大致分为以下几个关键步骤：

       首先，客户端SDK接收用户创建集合（collection）的请求，并将此请求封装为createCollectionTask，随后将其放入ddQueue队列。

       随后，此任务在proxy内依次执行PreExecute、Execute和PostExecute三个方法。PreExecute阶段进行参数校验等预处理工作，Execute阶段则是真正执行逻辑，而PostExecute阶段完成执行后的清理工作，通常不做任何操作并返回nil。

       在Execute方法中，proxy调用rootCoord的CreateCollection接口，此接口进一步封装请求为rootcoord里的createCollectionTask。

       接下来，rootCoord的CreateCollection接口执行CreateCollectionTask的Prepare、Execute和NotifyDone方法。核心操作在Execute阶段，其中涉及到多个步骤，包括expireCacheStep、addCollectionMetaStep、watchChannelsStep、changeCollectionStateStep等。在这些步骤中，重点是addCollectionMetaStep，负责etcd元数据的操作。

       在addCollectionMetaStep的Execute方法中，s.core.meta.AddCollection方法被调用。此方法在etcd中创建了多个与集合相关的key-value对，这些key值按照特定规则构建，反映了集合、分区和字段之间的关系。

       具体而言，集合信息通过key `root-coord/database/collection-info/1/` 存储在etcd中，value为protobuf序列化的etcdpb.CollectionInfo，这表示集合由ID、DbId、schema等组成，schema中不记录字段、分区ID或名称等信息。etcd以二进制形式存储这些数据。

       分区信息通过类似 `root-coord/partitions//` 的路径存储，value为etcdpb.PartitionInfo，同样采用protobuf序列化后存储在etcd中。此信息包括partitionID、partitionName、collectionId等。

       字段信息通过 `root-coord/fields//` 的路径存储，value为schemapb.FieldSchema，包含字段ID、名称、描述、数据类型等信息。

       在执行完毕后，将所有key-value对批量写入etcd，最终完成集合的创建。

       总结而言，CreateCollection API的执行流程涉及多个组件协作，从客户端请求开始，经过proxy和rootCoord的处理，最终在etcd中存储集合、分区和字段的元数据，实现了集合的创建。整个流程中，etcd作为关键的数据存储层，提供了持久化和高可用性保障。