# テキスト埋め込み

Gemini Embeddingは、Googleがリリースした実験的なテキスト埋め込みモデルであり、Gemini APIを通じてサービスを提供しています。このモデルは、多言語テキスト埋め込みベンチマークテスト（MTEB）で卓越した性能を示し、以前の最先端モデルを凌駕しています。テキストを高次元の数値ベクトルに変換し、意味とコンテキスト情報を捉え、検索、分類、類似度検出などのシナリオで広く使用されています。Gemini Embeddingは100以上の言語をサポートし、8Kの入力トークン長と3Kの出力次元を備え、ネストされた表現学習（MRL）技術も導入されており、ストレージのニーズに合わせて次元を柔軟に調整できます。このモデルは現在実験段階にあり、将来は安定版がリリースされる予定です。

Trieve Vector Inferenceは、テキスト埋め込みサービスの高遅延と高制限率の問題を解決することを目的とした、ローカルベクトル推論ソリューションです。ユーザーは独自のクラウドで専用の埋め込みサーバーをホストし、より高速なテキスト埋め込み推論を実現できます。この製品は、高性能なローカル推論サービスを提供することで、企業が外部サービスへの依存を減らし、データ処理速度と効率を向上させるのに役立ちます。

Jina ColBERT v2は、ColBERTアーキテクチャに基づいて構築された高度な遅延相互作用検索モデルです。89言語に対応し、優れた検索パフォーマンス、ユーザーが制御可能な出力次元、最大8192トークンのテキスト処理能力を提供します。情報検索分野に革命的な意味を持ち、遅延相互作用スコアによってクロスエンコーダにおける結合クエリ?ドキュメントアテンションを近似しつつ、従来の密ベクトル検索モデルに近い推論効率を維持しています。

Snowflake Arctic Embedは、検索ユースケース向けに設計された、Apache 2.0ライセンスに基づくオープンソースのテキスト埋め込みモデルシリーズです。これらのモデルは、Massive Text Embedding Benchmark (MTEB)検索ベンチマークテストにおいて、優れた検索性能を示しており、独自のデータセットと大規模言語モデル（LLM）を組み合わせた検索拡張生成（RAG）や意味検索サービスにおいて、組織に新たなメリットをもたらします。これらのモデルは、超小型（xs）から大型（l）まで、異なるコンテキストウィンドウとパラメータ数を備えており、企業のレイテンシ、コスト、検索性能のニーズに対応します。

E5-mistral-7b-instructは、32層、埋め込み次元数4096のテキスト埋め込みモデルです。クエリとドキュメントをエンコードし、意味ベクトル表現を生成するために使用できます。このモデルは、自然言語タスク記述によってテキスト埋め込みプロセスをガイドし、様々なタスクに合わせてカスタマイズ可能です。MS-MARCO passage rankingデータセットでトレーニングされており、情報検索、質問応答などの自然言語処理タスクに使用できます。

Jina Embeddings V2 Baseは、最大8192トークンのシーケンス長に対応した英語テキスト埋め込みモデルです。JinaBertをベースとしたBertアーキテクチャを採用し、より長いシーケンス長を可能にするALiBiによる対称的な双方向変種を使用しています。C4データセットで事前学習された後、Jina AIが保有する4億個を超える文のペアとネガティブサンプルの集合を用いてさらに学習されています。長文書処理の様々なユースケース、例えば長文書検索、意味的テキスト類似度計算、テキストの再ランキング、レコメンド、RAG、LLMベースの生成検索などに適しています。パラメーター数は1億3700万個で、単一GPUでの推論が推奨されます。