【实战】 向量数据库选型参考

       在实施大型模型的过程中，特别是螺旋源码在应用RAG增强检索生成时，向量数据库的选择至关重要。本文通过实验对比了四个常见的向量数据库：Chroma、Faiss、Weaviate和Pinecore。未来计划在时间和精力允许的情况下，追加Milvus和Qdrant的实验。

       实验中选用的模型要求较小，以减少空间占用，便于本地调试。从Huggingface上选择了名为all-MiniLM-L6-v2的模型，其维度为。

       HuggingFace上的模型all-MiniLM-L6-v2无法直接下载。可以通过以下两种方式之一下载模型：从摩搭(ModelScope)平台下载，或从HF-Mirror下载。

       Chroma向量数据库采用SQLite作为基础，通过乘积量化技术和k-means聚类优化查询和压缩数据，以节约空间和提高查询效率。实验中，使用Python语言将文本块以Embedding向量的形式存入Chroma数据库，并基于查询文本进行相似度搜索，找到top K个相似结果。

       通过实验发现，ssr 流控源码SentenceTransformer的Model基于BertModel，分词器使用BertTokenizer。检索器(Retriever)通过invoke()方法进行相关性搜索，默认使用欧拉距离计算相似度。

       FAISS是Facebook AI Research的开源数据库。实验场景与Chroma相同，源码也类似。结果显示符合预期，Langchain框架的检索器Retriever对向量数据库的相似度检索默认使用欧拉距离。

       Pinecone是云向量数据库，通过apiKey接入。实验中，通过两种方式使用Pinecone向量库：通过Database->Indexes提前创建向量库，或直接在源代码中创建向量库。

       Weaviate的文档相对完善，主要用于AI应用开发平台Dify。实验中，注意Weaviate版本需高于v1.，否则无法使用grpc服务。实验场景与之前类似，通过Weaviate的GraphQL实现相关度查询。

       调研并深度使用了四种常见的向量数据库：Chroma、Faiss、Pinecone、Weaviate，并对它们进行了多维度对比。

推荐系统大会(RecSys) 亮点

       RecSys是app源码 搭建教程聚焦于推荐系统的学术会议，因推荐系统应用广泛，吸引了大量工业界朋友参与。RecSys原计划在巴西举办，因疫情改为线上。线上会议虽有不便，但为远在北京的我提供了便利。此次会议效果超出预期，以下分享从工程师角度发现的亮点。

       组织方式方面，组织方用心确保会议顺利进行，相关人员连续小时工作，会议组织亮点明显。

       此次会议，既有工业界的亮点，又有学术界的亮点。

       工业方向的亮点包括经过AB测试验证的方法和工程实现简单、能解决实际问题的方法。

       学术方向的亮点则包括新颖、前景广泛的方法，以及公开源代码或数据的方法。

       具体亮点包括：

       个人化意外推荐系统（PURS）：由NYU Stern School of Business博士生Pan Li与阿里巴巴合作提出，旨在解决推荐系统中的过滤泡沫问题，提供源代码。该方法优势包括：

       基于行为的亚马逊视频流行度排名：由Amazon Video的Applied Scientists Lakshmi Ramachandran介绍，旨在解决流行度排名中的冷启动问题，即新内容无法通过传统流行度排名获得良好曝光。作者利用内容文本信息、网页源码右对齐历史流行度和用户交互数据预测当前流行度，最终以预测的流行度进行排序。年龄特征对新内容给予较高分数。下图展示了年龄特征的影响。

       基于查询的物品到物品推荐：ESTY.COM电商网站的Senior Applied Scientist Moumita Bhattacharya介绍，旨在根据用户的搜索点击内容生成物品嵌入，利用Faiss返回与当前物品最相似的物品列表作为候选集，再用lightGBM进行排序。亮点是利用上下文进行个性化推荐，例如在万圣节期间推荐与红色帽子相关联的物品。

       基于反事实学习的推荐系统：华为诺亚方舟实验室的Principal Researcher Zhenhua Dong介绍一系列研究成果，提出Uniform Unbiased Data，通过在1%流量中随机展示内容，收集用户反馈，利用这些数据进行一系列研究和实验，包括利用1%流量产生的无偏数据提高指标表现，显著提升了推荐系统的性能。

       利用小规模标注数据优化物品到物品推荐：微软研究院研究员Tobias Schnabel提出利用小规模标注数据改进物品到物品推荐方法，并公开数据和源代码，证明了这种方法的有效性，为工业界提供了优化推荐系统的新思路。

       大型开放数据集用于Bandit算法：由本科生Yuta Saito展示的RL&Bandits方向工作，提供了两组通过Uniform Rank和Bernoliour Rank产生的服饰购物行为数据，用于评估不同Offline Policy Evaluation方法的效果，同时也可用于新政策的开发。该工作提供了高质量的开源代码，包含详细注释，北京赛车源码平台为学术界和工业界提供了宝贵的资源。

       总结而言，线上RecSys体验效果良好，参与者准备充分，希望未来能看到更多具有创新性的亮点工作。这次会议证明了推荐系统研究的多样性与实用性，也为工业界和学术界提供了交流与合作的平台。

向量数据库faiss在哪买

       向量数据库Faiss并非一个可以直接购买的产品，而是一个开源项目。它由Facebook AI Research开发并维护，供广大开发者免费使用。因此，无法直接购买Faiss数据库，但可以通过开源渠道获取并自由使用。

       Faiss是一个专门用于高效相似性搜索和聚类的库，能够处理大规模、高维的向量数据。它在推荐系统、图像检索、文本搜索等多个领域都有广泛的应用。由于其出色的性能和灵活性，Faiss已经成为了最受欢迎的向量数据库之一。

       要获取并使用Faiss，开发者可以访问其官方GitHub仓库，从中下载源代码并编译安装。此外，Faiss也提供了预编译的二进制包，方便开发者快速安装和使用。安装完成后，开发者便可以根据自己的需求，使用Faiss提供的API来创建向量索引、进行相似性搜索等操作。

       总的来说，虽然无法直接购买Faiss数据库，但开发者可以通过开源渠道轻松获取并使用它。Faiss的强大功能和灵活性能够满足各种向量数据处理需求，是开发者在处理大规模、高维向量数据时的一个有力工具。

笔记︱几款多模态向量检索引擎：Faiss 、milvus、Proxima、vearch、Jina等

       向量化搜索，利用人工智能算法将物理世界中的非结构化数据（如语音、、视频、文本等）抽象为多维向量，以便进行高效检索。这些向量在数学空间中代表实体及其关系，通过将非结构化数据转换为向量（Embedding）并检索生成的向量，可以找到相应的实体，广泛应用于人脸识别、推荐系统、搜索、语音处理、自然语言处理和文件搜索等领域。随着AI技术的广泛应用和数据规模的增长，向量检索成为AI技术链路中不可或缺的部分，补充并强化了传统搜索技术，并具备多模态搜索能力。

       向量检索技术在不同场景下发挥着关键作用，覆盖了包括人脸识别、基因比对、智能客服等常见领域，以及图像视频检索、智能问答机器人、音频数据处理等新兴应用。以深度学习模型为基础，向量检索技术能够支持文本、图像、语音、视频、源代码等各类内容的高性能搜索与分析。

       Milvus是一款高性能的开源特征向量相似度搜索引擎，提供方便、实用、扩展性好、稳定高效的向量数据处理能力，支持GPU加速，实现对海量数据的近实时搜索，同时也支持标量数据的过滤功能。支持集群分片，适用于大规模数据存储和搜索服务。

       Faiss库由Facebook开发，专为稠密向量匹配设计，支持C++和Python调用，具备多种向量检索方式，包括内积和欧氏距离等。它支持精确检索和模糊搜索，广泛应用于人脸比对、指纹比对、基因比对等场景。

       京东开源的vearch是一个分布式向量搜索系统，能够存储和计算海量特征向量，用于图像、语音、文本等机器学习领域。vearch基于Facebook AI研究机构的Faiss实现，提供了灵活易用的RESTful API，支持管理和查询表结构及数据。

       阿里达摩院的Proxima和蚂蚁金服的ZSearch也提供了高性能向量检索能力，Proxima集成在阿里巴巴和蚂蚁集团的多个业务中，如淘宝搜索、推荐、人脸支付、视频搜索等。ZSearch则在ElasticSearch基础上构建，为用户提供了通用搜索平台。

       这些向量检索引擎通过不同算法和技术优化，满足了不同场景下的需求，如标签+向量的联合检索、语音/图像/视频检索、文本检索等，为AI领域提供高效、准确的搜索能力。通过深度学习和向量计算，它们能够实现全内容搜索，包括文本、、语音、视频等多模态数据，显著提升了信息检索的效率和准确性。

faiss向量数据库在哪买

       Faiss（Facebook AI Similarity Search）向量数据库并非一个可以直接购买的商品，而是一个由Facebook开源的库，用于大规模向量数据的高效相似度搜索。它提供了多种索引和检索方法，支持各种相似度度量方式，如欧几里得距离、余弦相似性等，并可用于加速各种基于向量的检索任务，如图像搜索、语音搜索和视频搜索等。

       由于Faiss是开源的，因此用户无需购买即可获取其源代码，并根据自己的需求进行编译和部署。用户可以从Faiss的GitHub仓库（或其他开源托管平台）下载其源代码，并按照官方文档进行安装和配置。

       需要注意的是，虽然Faiss本身是免费的，但在实际部署和使用过程中，可能需要考虑硬件资源、数据存储和计算能力等方面的成本。此外，对于商业用途，用户还需要遵守Faiss的开源协议和相关法律法规。

       综上所述，Faiss向量数据库并非一个可以购买的商品，而是需要用户自行下载、编译和部署的开源库。用户可以根据自己的需求和实际情况来选择合适的部署方案，并充分利用其高效的相似度搜索能力来优化自己的应用程序。