# 画像キャプション生成

SmolVLM-500Mは、Hugging Faceが開発したSmolVLMシリーズに属する軽量なマルチモーダルモデルです。Idefics3アーキテクチャに基づいており、効率的な画像とテキスト処理タスクに焦点を当てています。任意の順序で画像とテキストの入力を受け入れ、テキスト出力を生成し、画像キャプション生成、ビジュアルクエスチョン解答などのタスクに適しています。軽量なアーキテクチャにより、リソースの限られたデバイスでも実行でき、同時に強力なマルチモーダルタスクのパフォーマンスを維持できます。このモデルはApache 2.0ライセンスを採用しており、オープンソースで柔軟な使用シナリオをサポートしています。

PaliGemma 2は、Googleによって開発された視覚言語モデルであり、Gemma 2モデルの能力を受け継いでいます。画像とテキストの入力を処理し、テキスト出力を生成できます。画像キャプション生成、視覚的質問応答など、様々な視覚言語タスクにおいて優れた性能を発揮します。主な利点としては、強力な多言語サポート、効率的なトレーニングアーキテクチャ、幅広い適用性などが挙げられます。ソーシャルメディアコンテンツ生成やスマートカスタマーサービスなど、視覚とテキストデータを処理する必要がある様々なアプリケーションシナリオに適しています。

InternVL2_5-26B-MPOは、多様なモダリティに対応する大規模言語モデル（MLLM）です。InternVL2.5をベースに、混合選好最適化（Mixed Preference Optimization, MPO）を用いてモデル性能をさらに向上させています。画像やテキストを含む多様なモダリティのデータを処理でき、画像キャプション生成、ビジュアルクエスチョン?アンサーリングなど幅広い用途に適用可能です。画像の内容と密接に関連したテキストの理解と生成が可能である点が重要であり、多様なモダリティに対応する人工知能の境界を押し広げています。製品の背景情報には、多様なモダリティに対応するタスクにおける卓越した性能と、OpenCompass Leaderboardにおける評価結果が含まれます。本モデルは、研究者や開発者が多様なモダリティに対応する人工知能の可能性を探求し、実現するための強力なツールを提供します。

InternVL2_5-1B-MPOは、InternVL2.5と混合選好最適化（MPO）に基づいて構築されたマルチモーダル大規模言語モデル（MLLM）であり、優れた総合的な性能を示します。このモデルは、増分事前学習済みのInternViTと、InternLM 2.5やQwen 2.5を含む様々な事前学習済み大規模言語モデル（LLM）を、ランダムに初期化されたMLPプロジェクターを使用して統合しています。InternVL2_5-MPOは、InternVL 2.5とその前身と同様の「ViT-MLP-LLM」パラダイムをモデルアーキテクチャに保持しており、複数画像と動画データのサポートを導入しています。このモデルはマルチモーダルタスクにおいて優れた性能を発揮し、画像キャプション生成、Visual Question Answeringなど、様々な視覚言語タスクを処理できます。

Florence-2-largeは、マイクロソフトが開発した高度なビジョン基礎モデルです。プロンプトベースのアプローチを採用し、幅広いビジョンおよびビジョン?言語タスクに対応します。このモデルは、シンプルなテキストプロンプトを解釈して、画像キャプション生成、物体検出、セグメンテーションなどのタスクを実行できます。5億4千万枚の画像に54億個の注釈が付いたFLD-5Bデータセットを活用し、マルチタスク学習に長けています。シーケンスツーシーケンスアーキテクチャにより、ゼロショットおよびファインチューニング設定の両方で優れたパフォーマンスを発揮し、競争力のあるビジョン基礎モデルであることが証明されています。

HuggingFaceM4/idefics-80b-instructは、画像とテキストの両方をインプットとして受け入れ、関連するテキストを出力するオープンソースのマルチモーダルモデルです。視覚的質問応答や画像キャプション生成などのタスクで優れたパフォーマンスを発揮し、汎用的なインテリジェントアシスタントモデルとして機能します。Hugging Faceチームによって開発され、オープンデータセットを用いてトレーニングされており、無料で利用できます。

LLaVA-3bは、Dolphin 2.6 Phiをファインチューニングしたモデルです。SigLIP 400Mのビジョнтаワーを用いて、LLaVA方式でファインチューニングされています。複数の画像ラベル、ビジョンエンコーダの最終層出力などを特徴としています。このモデルはPhi-2をベースとしており、マイクロソフトリサーチライセンスの制約を受け、商用利用は禁止されています。ML Collectiveによる計算リソースクレジットへの感謝を述べます。

SEEDは大規模に事前学習されたモデルであり、テキストとビジュアルデータのインターリーブデータを用いた事前学習とファインチューニングによって、幅広いマルチモーダルな理解と生成タスクにおいて優れた性能を発揮します。SEEDは、AIアシスタントのように、複数ラウンドのコンテキストを持つマルチモーダルな生成など、組み合わせ的な新興能力も備えています。また、テキストを画像に変換できるSEED Tokenizer v1とSEED Tokenizer v2も含まれています。