# 多様なモダリティ学習

LongLLaVAは、混合アーキテクチャにより1000枚の画像に効率的に拡張可能な多様なモダリティに対応する大規模言語モデルです。画像処理と理解能力の向上を目指しており、革新的なアーキテクチャ設計により、大規模画像データ上での効果的な学習と推論を実現します。画像認識、分類、分析などの分野で重要な役割を果たします。

EAGLEは、視覚中心の高解像度多様なモダリティに対応する大規模言語モデル（LLM）シリーズです。混合視覚エンコーダと様々な入力解像度を用いることで、多様なモダリティに対応するLLMの知覚能力を強化します。チャンネル接続ベースの「CLIP+X」融合を含み、様々なアーキテクチャ（ViT/ConvNets）と知識（検出/セグメンテーション/OCR/SSL）を持つ視覚エキスパートに適しています。EAGLEモデルファミリーは1,000種類以上の入力解像度に対応し、多様なモダリティに対応するLLMベンチマークテストで優れた成績を収めており、特に光学文字認識や文書理解など、解像度に依存するタスクにおいて顕著です。

Stable Diffusion 3は、レイアウトやプロンプトの遵守において、DALL-E 3やMidjourney v6などのトップシステムに匹敵するか、それ以上のパフォーマンスを発揮する、高度なテキストから画像生成システムです。このシステムは、新しい多様なモダリティ拡散トランスフォーマー(MMDiT)アーキテクチャを採用しており、異なる重みセットを使用して画像と言語表現を改善することで、テキスト理解能力とスペルチェック能力を高めています。Stable Diffusion 3 APIは現在、Stability AI開発者プラットフォームで利用可能であり、Fireworks AIとのパートナーシップにより、迅速で信頼性の高いAPIサービスを提供しています。また、近い将来、Stability AI会員資格を通じて、モデルの重みを自己ホスティングできるようにする予定です。

MATHVERSEプロジェクトは、多様な大規模言語モデルが視覚数学問題を処理し理解する能力、特に問題中の図表情報をどのように解析し理解するかを評価することを目的としています。