# 埋め込みモデル

vdr-2b-multi-v1は、Hugging Faceが提供する多言語対応の埋め込みモデルで、ビジュアルドキュメント検索用に設計されています。このモデルは、OCRやデータ抽出プロセスなしで、ドキュメントページのスクリーンショットを密集した単一ベクトル表現にエンコードし、多言語でビジュアルに豊富なドキュメントの検索と照会を可能にします。MrLight/dse-qwen2-2b-mrl-v1をベースに開発され、独自構築の多言語クエリ-画像ペアデータセットを用いてトレーニングされています。mcdse-2b-v1の後継モデルであり、性能が向上しています。イタリア語、スペイン語、英語、フランス語、ドイツ語に対応し、50万件の高品質サンプルを含むオープンソースの多言語合成トレーニングデータセットを使用しています。VRAM消費量が少なく、推論速度が速く、クロスリンガル検索において優れた性能を発揮します。

Voyage-3-largeは、Voyage AIが開発した最新の多言語汎用埋め込みモデルです。法律、金融、コードなど8つの分野、100個のデータセットにおいてトップの座を獲得し、OpenAI-v3-largeやCohere-v3-Englishを凌駕しています。Matryoshka学習と量子化感知トレーニングによって、より低次元の埋め込みとint8およびバイナリ量子化に対応し、ベクトルデータベースのコストを大幅に削減しながら、検索品質への影響を最小限に抑えています。また、32Kトークンのコンテキスト長に対応しており、OpenAI（8K）、Cohere（512）を大きく上回ります。

Marqoは、埋め込みモデルのトレーニングとデプロイに特化したプラットフォームです。モデルのトレーニングから推論、ストレージまで、エンドツーエンドのソリューションを提供します。150種類以上の埋め込みモデルに対応し、迅速なプロトタイピング、反復的な開発、シームレスなデプロイを実現します。CLIPなどのマルチモーダルモデルをサポートし、画像やその他のデータタイプから意味情報を抽出し、テキストと画像のシームレスな検索を可能にし、テキストと画像をベクトルとして組み合わせることもできます。また、100種類以上の言語に対応する最先端の多言語モデルを提供し、手動による言語設定を行うことなく新たな地域への展開が可能です。さらに、Marqoのスケーラビリティにより、ノートパソコン上のDockerイメージで実行することも、クラウド上の数十個のGPU推論ノードに拡張して低遅延の検索サービスを提供することもできます。

OpenAI埋め込みモデルは、2つの新しい埋め込みモデルと、GPT-4 Turboプレビューモデル、GPT-3.5 Turboモデル、テキストコンテンツモデレーションモデルのアップデートを含む、一連の新型埋め込みモデルです。デフォルトでは、OpenAI APIに送信されたデータは、OpenAIモデルのトレーニングや改善には使用されません。新しい埋め込みモデルは、より小型で効率的なtext-embedding-3-smallモデルと、より大規模で強力なtext-embedding-3-largeモデルを含み、価格が引き下げられています。埋め込みとは、自然言語やコードなどのコンテンツ内の概念を表す数値の集合です。埋め込みにより、機械学習モデルやその他のアルゴリズムは、コンテンツ間の関係をより容易に理解し、クラスタリングや検索などのタスクを実行できるようになります。これらは、ChatGPTやAssistants APIにおける知識検索、そして多くの検索拡張生成（RAG）開発ツールを支えています。text-embedding-3-smallは、新しい効率的な埋め込みモデルであり、先行モデルであるtext-embedding-ada-002モデルと比較して性能が向上しています。MIRACLの平均スコアは31.4％から44.0％に、英語タスク（MTEB）の平均スコアは61.0％から62.3％に上昇しました。text-embedding-3-smallの価格は、以前のtext-embedding-ada-002モデルと比べて5分の1に削減され、1,000トークンあたりの価格が$0.0001から$0.00002になりました。text-embedding-3-largeは、最大3072次元の埋め込みを作成できる、新世代の大規模埋め込みモデルです。性能は向上し、MIRACLの平均スコアは31.4％から54.9％に、MTEBの平均スコアは61.0％から64.6％に上昇しました。text-embedding-3-largeの価格は$0.00013/1,000トークンです。さらに、開発者がパフォーマンスとコストのバランスを取れるように、埋め込みの短縮機能をネイティブにサポートしています。

Glanceは、コード内の重要な部分を強調表示するためのツールです。コードを重なり合うウィンドウに分割し、事前学習済みのコード埋め込みモデルを使用してコードを埋め込みます。次に、埋め込み間の余弦類似度を計算して重み付き無向グラフを作成し、PageRankアルゴリズムを実行して各コードウィンドウの「重要度」スコアを計算します。Glanceを使用することで、開発者はコードの重要な部分を迅速に把握できます。

TURBINEは、AIアプリケーションをサポートする自動化データパイプラインツールです。包括的に管理されたベクトルデータベースと継続的なデータパイプラインを使用して、LLMアプリケーションに長期的な記憶と豊富なコンテキストを追加します。TURBINEは、PostgreSQL、MongoDB、MySQLデータベースなど、既存のデータベースとシームレスに統合できます。最先端のデータエンジニアリングパイプラインを使用し、データベースの変更をリアルタイムで同期し、セマンティック検索をサポートし、PineconeやMilvusなどのベクトルデータベースに対応し、複数の埋め込みモデルをサポートしています。PythonとTypeScriptのSDKで簡単に開始でき、ユースケースに合わせて調整?最適化が可能で、LangChain AI botとの統合も容易です。非常に高速で拡張性にも優れています。