# 嵌入模型

vdr-2b-multi-v1 是一款由 Hugging Face 推出的多語言嵌入模型，專為視覺文檔檢索設計。該模型能夠將文檔頁面截圖編碼為密集的單向量表示，無需 OCR 或數據提取流程即可搜索和查詢多語言視覺豐富的文檔。基於 MrLight/dse-qwen2-2b-mrl-v1 開發，使用自建的多語言查詢 - 圖像對數據集進行訓練，是 mcdse-2b-v1 的升級版，性能更強大。模型支持意大利語、西班牙語、英語、法語和德語，擁有 50 萬高質量樣本的開源多語言合成訓練數據集，具有低 VRAM 和快速推理的特點，在跨語言檢索方面表現出色。

Voyage-3-large 是 Voyage AI 推出的最新多語言通用嵌入模型。該模型在法律、金融、代碼等八個領域的100個數據集中排名第一，超越了 OpenAI-v3-large 和 Cohere-v3-English。它通過 Matryoshka 學習和量化感知訓練，支持更小維度和 int8 及二進制量化，大幅降低向量數據庫成本，同時對檢索質量影響極小。該模型還支持 32K 令牌上下文長度，遠超 OpenAI（8K）和 Cohere（512）。

OpenAI Embedding Models是一系列新型嵌入模型，包括兩個全新的嵌入模型和更新的GPT-4 Turbo預覽模型、GPT-3.5 Turbo模型以及文本內容審核模型。默認情況下，發送到OpenAI API的數據不會用於訓練或改進OpenAI模型。新的嵌入模型具有更低的定價，包括更小、高效的text-embedding-3-small模型和更大、更強大的text-embedding-3-large模型。嵌入是表示自然語言或代碼等內容中概念的一系列數字。嵌入使得機器學習模型和其他算法更容易理解內容之間的關係，並執行聚類或檢索等任務。它們為ChatGPT和Assistants API中的知識檢索以及許多檢索增強生成（RAG）開發工具提供支持。text-embedding-3-small是新的高效嵌入模型，相比其前身text-embedding-ada-002模型，性能更強，MIRACL的平均分數從31.4%提升至44.0%，而在英語任務（MTEB）的平均分數從61.0%提升至62.3%。text-embedding-3-small的定價也比之前的text-embedding-ada-002模型降低了5倍，從每千個標記的價格$0.0001降至$0.00002。text-embedding-3-large是新一代更大的嵌入模型，能夠創建高達3072維的嵌入。性能更強，MIRACL的平均分數從31.4%提升至54.9%，而在MTEB的平均分數從61.0%提升至64.6%。text-embedding-3-large的定價為$0.00013/千個標記。此外，我們還支持縮短嵌入的原生功能，使得開發者可以在性能和成本之間進行權衡。

Glance是一個用於突出代碼中重要部分的工具。它將代碼分成重疊的窗口，並使用預訓練的代碼嵌入模型嵌入代碼。然後，它通過計算嵌入之間的餘弦相似度創建一個加權無向圖，並運行PageRank算法計算每個代碼窗口的“重要性”分數。Glance可以幫助開發人員迅速瞭解代碼的關鍵部分。

TURBINE是一款自動化數據管道工具，可為您的AI應用提供支持。它使用全面管理的向量數據庫和持續數據管道，為您的LLM應用程序添加長期記憶和豐富的上下文。TURBINE可以與您現有的數據庫無縫集成，支持PostgreSQL、MongoDB和MySQL數據庫。它使用最先進的數據工程流水線，即時同步數據庫更改，支持語義搜索，支持Pinecone和Milvus等向量數據庫，支持多種嵌入模型，可通過Python和TypeScript SDKs輕鬆啟動，可根據您的用例進行調整和優化，易於與LangChain AI bot集成，具有極快的速度和可擴展性。