# 嵌入模型

vdr-2b-multi-v1 是一款由 Hugging Face 推出的多语言嵌入模型，专为视觉文档检索设计。该模型能够将文档页面截图编码为密集的单向量表示，无需 OCR 或数据提取流程即可搜索和查询多语言视觉丰富的文档。基于 MrLight/dse-qwen2-2b-mrl-v1 开发，使用自建的多语言查询 - 图像对数据集进行训练，是 mcdse-2b-v1 的升级版，性能更强大。模型支持意大利语、西班牙语、英语、法语和德语，拥有 50 万高质量样本的开源多语言合成训练数据集，具有低 VRAM 和快速推理的特点，在跨语言检索方面表现出色。

Voyage-3-large 是 Voyage AI 推出的最新多语言通用嵌入模型。该模型在法律、金融、代码等八个领域的100个数据集中排名第一，超越了 OpenAI-v3-large 和 Cohere-v3-English。它通过 Matryoshka 学习和量化感知训练，支持更小维度和 int8 及二进制量化，大幅降低向量数据库成本，同时对检索质量影响极小。该模型还支持 32K 令牌上下文长度，远超 OpenAI（8K）和 Cohere（512）。

OpenAI Embedding Models是一系列新型嵌入模型，包括两个全新的嵌入模型和更新的GPT-4 Turbo预览模型、GPT-3.5 Turbo模型以及文本内容审核模型。默认情况下，发送到OpenAI API的数据不会用于训练或改进OpenAI模型。新的嵌入模型具有更低的定价，包括更小、高效的text-embedding-3-small模型和更大、更强大的text-embedding-3-large模型。嵌入是表示自然语言或代码等内容中概念的一系列数字。嵌入使得机器学习模型和其他算法更容易理解内容之间的关系，并执行聚类或检索等任务。它们为ChatGPT和Assistants API中的知识检索以及许多检索增强生成（RAG）开发工具提供支持。text-embedding-3-small是新的高效嵌入模型，相比其前身text-embedding-ada-002模型，性能更强，MIRACL的平均分数从31.4%提升至44.0%，而在英语任务（MTEB）的平均分数从61.0%提升至62.3%。text-embedding-3-small的定价也比之前的text-embedding-ada-002模型降低了5倍，从每千个标记的价格$0.0001降至$0.00002。text-embedding-3-large是新一代更大的嵌入模型，能够创建高达3072维的嵌入。性能更强，MIRACL的平均分数从31.4%提升至54.9%，而在MTEB的平均分数从61.0%提升至64.6%。text-embedding-3-large的定价为$0.00013/千个标记。此外，我们还支持缩短嵌入的原生功能，使得开发者可以在性能和成本之间进行权衡。

Glance是一个用于突出代码中重要部分的工具。它将代码分成重叠的窗口，并使用预训练的代码嵌入模型嵌入代码。然后，它通过计算嵌入之间的余弦相似度创建一个加权无向图，并运行PageRank算法计算每个代码窗口的“重要性”分数。Glance可以帮助开发人员迅速了解代码的关键部分。

TURBINE是一款自动化数据管道工具，可为您的AI应用提供支持。它使用全面管理的向量数据库和持续数据管道，为您的LLM应用程序添加长期记忆和丰富的上下文。TURBINE可以与您现有的数据库无缝集成，支持PostgreSQL、MongoDB和MySQL数据库。它使用最先进的数据工程流水线，实时同步数据库更改，支持语义搜索，支持Pinecone和Milvus等向量数据库，支持多种嵌入模型，可通过Python和TypeScript SDKs轻松启动，可根据您的用例进行调整和优化，易于与LangChain AI bot集成，具有极快的速度和可扩展性。