# 視覚モデル

FastVLM は、視覚言語モデル向けに設計された効果的な視覚符号化モデルです。イノベーティブな FastViTHD ミックスドビジュアル符号化エンジンを使用することで、高解像度画像の符号化時間と出力されるトークンの数を削減し、モデルのスループットと精度を向上させました。FastVLM の主な位置付けは、開発者が強力な視覚言語処理機能を得られるように支援し、特に迅速なレスポンスが必要なモバイルデバイス上で優れたパフォーマンスを発揮します。

Document Inliningは、Fireworks AIが提供する複合AIシステムです。あらゆる大規模言語モデル（LLM）を視覚モデルに変換し、画像やPDFドキュメントを処理できます。この技術は、自動化されたワークフローを構築することで、あらゆるデジタル資産のフォーマットをLLMと互換性のあるフォーマットに変換し、論理的推論を実現します。Document Inliningは、画像とPDFを解析し、それらを直接ユーザーが選択したLLMに入力することで、より高い品質、柔軟な入力、そして非常に簡単な使用方法を提供します。従来のLLMが非テキストデータ処理において抱えていた制約を解消し、専門化されたコンポーネントによるタスク分解を通じて、テキストモデルの推論品質を向上させ、開発者の使用体験を簡素化します。

ReKepは、ロボット操作のための時空間関係キーポイント制約推論システムです。ロボットと環境を関連付ける制約としてロボット操作タスクを表すことで、期待されるロボットの動作を符号化します。ReKepは大規模視覚モデルと視覚言語モデルを活用し、特定のタスクの訓練や環境モデルを必要とせずに、キーポイントに基づいた制約を生成します。これらの制約は、多段階、屋外、両手、反応性の動作を実現するために最適化できます。ReKepの主な利点としては、汎用性、手動によるラベル付けが不要であること、そして既存のソルバーによってリアルタイムで最適化され、ロボットの動作を生成できることが挙げられます。

MAIA（Multimodal Automated Interpretability Agent）は、マサチューセッツ工科大学コンピュータ科学人工知能研究所（CSAIL）が開発した、AIモデルの解釈性を向上させるための自動化システムです。視覚言語モデルを基盤とし、一連の実験ツールを組み合わせることで、様々なニューラルネットワークの解釈タスクを自動的に実行します。MAIAは仮説の生成、実験計画の立案、反復的な分析による理解の深化を行い、AIモデルの内部動作メカニズムに関するより深い洞察を提供します。

LongVAは、2000フレームを超える動画または20万個を超える視覚トークンを処理できる長文脈変換モデルです。Video-MMEにおける7Bモデルの評価において、最先端の性能を達成しています。CUDA 11.8とA100-SXM-80Gを用いてテストされており、Hugging Faceプラットフォームから迅速に起動して使用できます。

llama3vは、Llama3 8Bとsiglip-so400mに基づく最先端（State of the Art）の視覚モデルです。Hugging Faceでモデルウェイトが公開されており、高速なローカル推論をサポートするオープンソースのVLLM（視覚言語多様体学習モデル）です。推論コードも公開されています。本モデルは画像認識とテキスト生成を組み合わせ、投影層を追加することで画像特徴をLLaMA埋め込み空間にマッピングし、画像理解能力を向上させています。

LaVi-Bridgeは、テキストから画像への拡散モデル用に設計された橋渡しモデルです。様々な事前学習済み言語モデルと視覚生成モデルを接続できます。LoRAとアダプターを活用することで、柔軟でプラグアンドプレイ方式を実現し、元の言語モデルと視覚モデルの重みを変更する必要はありません。様々な言語モデルと視覚生成モデルに対応しており、異なる構造にも対応可能です。このフレームワークにおいて、より高度なモジュール（より高度な言語モデルや視覚生成モデルなど）を統合することで、テキストとの整合性や画像品質などの能力を大幅に向上できることを実証しました。本モデルは広範囲な評価を経て、その有効性が確認されています。

VMambaは、畳み込みニューラルネットワーク（CNN）とビジョンTransformer（ViT）の長所を組み合わせた視覚状態空間モデルです。線形計算量でありながらグローバルな認識能力を維持しており、方向依存性の問題を解決するためのCross-Scanモジュール（CSM）を導入しています。様々な視覚認識タスクにおいて優れた性能を発揮し、特に高解像度画像において既存の基準モデルと比較して顕著な優位性を示します。

本論文では、自己回帰目標を用いて事前学習された一連の視覚モデルであるAIMを紹介します。これらのモデルは、そのテキスト対応物である大規模言語モデル（LLM）に触発されており、同様のスケーラビリティ特性を示します。具体的には、(1) モデル容量とデータ量の増加に伴い、視覚特徴の性能が向上すること、(2) 目標関数の価値が下流タスクにおけるモデルの性能と相関していることの2つの重要な発見を強調します。70億パラメータのAIMを20億枚の画像で事前学習することで、ImageNet-1kにおいて、主幹を凍結した状態で84.0%の精度を達成しました。興味深いことに、この規模においても性能飽和の兆候は見られず、AIMは大規模視覚モデルの訓練における新たな最先端技術を表す可能性を示唆しています。AIMの事前学習はLLMの事前学習と同様に、大規模訓練を安定させるための画像固有の戦略を必要としません。