# マルチモーダルモデル

Awesome GPT-4o Imagesは、OpenAIの最新のマルチモーダルモデルGPT-4oによって生成された画像とプロンプトの集合です。本製品は、GPT-4oのテキストと画像の理解能力を十分に示しており、様々なアートスタイルの生成をサポートしています。デザイナー、アーティスト、そしてAIアートに興味のあるすべての方に適しています。このプロジェクトは無料で公開されており、創作意欲を高め、AIアートの発展を促進することを目的としています。

StarVectorは、画像とテキスト指示を、高品質でスケーラブルなベクターグラフィック（SVG）コードに変換することを目的とした、高度な生成モデルです。主な利点として、複雑なSVG要素を処理し、様々なグラフィックスタイルと複雑さにおいて優れた性能を発揮することが挙げられます。オープンソースリソースとして、StarVectorはグラフィックデザインの革新と効率化を促進し、デザイン、イラスト、技術文書など、様々なアプリケーションシナリオに適しています。

TableGPT-agentは、TableGPT2を基盤とした事前構築済みエージェントモデルであり、表データの質疑応答タスク用に設計されています。Langgraphライブラリに基づいて開発されており、ユーザーフレンドリーなインターフェースを提供し、表データに関する複雑な問題を効率的に処理できます。TableGPT2は大規模なマルチモーダルモデルであり、表データと自然言語処理を組み合わせることで、データ分析と知識抽出に強力な技術サポートを提供します。このモデルは、データ分析、ビジネスインテリジェンス、学術研究など、表データを迅速かつ正確に処理する必要があるシナリオに適しています。

Mobile-Agent-Eは、大規模マルチモーダルモデル（LMM）に基づいたモバイルアシスタントであり、ユーザーが複雑な複数ステップのタスクを効率的に完了することを支援するために設計されています。階層型マルチエージェントフレームワークを通じて自己進化を実現し、過去のタスクから学習して改善します。主な利点は、強力な推論能力と複雑なタスク処理能力であり、特に長期間にわたる複数アプリ間のインタラクションを伴うタスクにおいて優れた性能を発揮します。ビジネスパーソン、研究者など、複雑なモバイルタスクを効率的に完了する必要があるユーザーに適しています。現在、研究段階にあり、具体的な価格は未定です。

FlagEvalは、大規模言語モデルとマルチモーダルモデルの評価に特化したモデル評価プラットフォームです。公正かつ透明性の高い環境を提供し、様々なモデルを同一基準で比較することで、研究者や開発者がモデルの性能を理解し、人工知能技術の発展を促進します。本プラットフォームは、対話型モデル、ビジョン言語モデルなど、多様なモデルタイプに対応し、オープンソースモデルとクローズドソースモデルの両方の評価をサポートしています。また、K12教科試験や金融クオンツ取引評価などの専門的な評価も提供しています。

Apolloは、動画理解に特化した先進的な大規模マルチモーダルモデル群です。動画-LMMsの設計空間を体系的に探求することで、性能を左右する主要因を明らかにし、モデル性能の最適化に関する実践的な知見を提供します。Apolloは「スケーリングの一貫性（Scaling Consistency）」を発見することにより、小規模モデルとデータセットにおける設計上の意思決定を、より大規模なモデルへ確実に転移させることを可能にし、計算コストの大幅な削減を実現しました。Apolloの主な利点としては、効率的な設計上の意思決定、最適化されたトレーニング計画とデータ混合、そして効率的な評価のための新たなベンチマークであるApolloBenchがあります。

OmniAudio-2.6Bは、26億パラメーターのマルチモーダルモデルであり、テキストと音声の入力をシームレスに処理できます。Gemma-2B、Whisper turbo、およびカスタム投影モジュールを組み合わせることで、従来のASRとLLMモデルを直列に接続する方法とは異なり、これらの機能を効率的なアーキテクチャに統合し、最小限の遅延とリソース消費を実現しています。これにより、スマートフォン、ノートパソコン、ロボットなどのエッジデバイスで安全かつ迅速に音声テキストを直接処理できます。

ultravox-v0_4_1-mistral-nemoは、事前学習済みのMistral-Nemo-Instruct-2407とwhisper-large-v3-turboを基盤としたマルチモーダル音声大規模言語モデル（LLM）です。このモデルは、テキストシステムプロンプトと音声ユーザーメッセージなど、音声とテキストの両方の入力を同時に処理できます。Ultravoxは、特別な<|audio|>擬似トークンを使用して入力オーディオを埋め込みに変換し、テキスト出力を生成します。今後のバージョンでは、意味的および音響的なオーディオトークンの生成をサポートするトークン語彙の拡張を計画しており、これにより、ボイスコーダーに入力して音声出力を生成できるようになります。このモデルはFixie.aiによって開発され、MITライセンスで提供されています。

fixie-ai/ultravox-v0_4_1-llama-3_1-8bは、事前学習済みLlama3.1-8B-Instructとwhisper-large-v3-turboを基盤とした大型言語モデルであり、音声とテキストの入力を処理してテキスト出力を生成できます。このモデルは、特別な<|audio|>擬似トークンを使用して、入力音声の埋め込みを生成し、テキスト出力を生成します。将来のバージョンでは、意味的および音響的なオーディオトークン生成をサポートするためにトークンボキャブラリを拡張する予定であり、それによりボコーダーを用いた音声出力も可能になります。このモデルは翻訳評価において優れた性能を示し、バイアス調整は行われていません。音声エージェント、音声翻訳、音声分析などのシナリオに適しています。

TableGPT2は、表データに特化して事前トレーニングとファインチューニングされた大規模マルチモーダルモデルです。実用における表データの統合不足の問題を解決するために開発されました。593,800以上の表データと236万件の高品質クエリ?表?出力タプルを用いて、前例のない規模で事前トレーニングとファインチューニングが行われています。TableGPT2の重要な革新の一つは、パターンレベルとセルレベルの情報を捉えるように設計された新規の表エンコーダーです。これにより、曖昧なクエリ、列名の欠損、不規則な表の処理能力が向上しています。23個のベンチマーク指標において、7Bモデルで平均35.20%、72Bモデルで49.32%の性能向上を実現し、同時に強力な汎用言語処理能力とコーディング能力を維持しています。

LVBenchは、数時間の長尺動画の理解能力において、マルチモーダル大規模言語モデルの能力向上を目的とした、長尺動画理解のための専用ベンチマークです。これは、長期的な意思決定、詳細な映画評論や議論、現場のスポーツ実況解説など、現実世界の様々な応用において極めて重要です。

MiniGPT4-Videoは、時系列の視覚データとテキストデータを処理できる、動画理解のために設計されたマルチモーダル大規模言語モデルです。動画のタイトルや宣伝文句を作成でき、動画に関する質問応答にも対応しています。MiniGPT-v2をベースに、視覚主幹EVA-CLIPを組み合わせ、大規模な動画テキスト事前学習と動画質疑応答ファインチューニングを含む複数段階のトレーニングを経て開発されました。MSVD、MSRVTT、TGIF、TVQAベンチマークにおいて顕著な性能向上を実現しています。価格は未定です。

バブルダックAIは、独自開発のマルチモーダル大規模言語モデルに基づいて開発されたAIインタラクションプラットフォームです。擬人化されたキャラクター、ツール、コンテンツ、ゲーム、エンターテインメントなど、多様な分野にわたる膨大な数のAIエージェントを提供しています。プラットフォームは、非常に長いコンテキストメモリ機能とリアルタイムのインターネット検索機能を備えており、ユーザーの意図を深く理解し、即時的で正確かつパーソナライズされた回答と選択肢を提供します。ユーザーは、個々のニーズや好みに合わせたパーソナライズされたAIエージェントをカスタマイズすることもできます。

WebVoyagerは、革新的な大規模マルチモーダルモデル（LMM）を搭載したウェブエージェントです。現実世界のウェブサイトと対話することで、ユーザーの指示をエンドツーエンドで実行します。本研究では、オープンなウェブエージェントタスクの自動評価における課題解決のため、新たな評価プロトコルを提案しました。GPT-4Vの強力なマルチモーダル理解能力を活用し、15の広く利用されているウェブサイトから収集した現実世界のタスクを用いて、エージェントを評価しました。その結果、WebVoyagerは55.7％のタスク成功率を達成し、GPT-4（全ツール使用）やWebVoyager（テキストのみ）を明確に上回る性能を示し、実用における優れた能力を強調しました。また、提案した自動評価と人間の判断との間で85.3％の一致率を確認し、現実世界の環境におけるウェブエージェントの更なる発展への道を拓きました。

Adept Fuyu-Heavyは、デジタルエージェント向けに設計された新型のマルチモーダルモデルです。マルチモーダル推論、特にUI理解において優れた性能を発揮し、従来のマルチモーダルベンチマークテストでも良好な結果を示しています。さらに、Fuyuアーキテクチャを拡張し、任意のサイズ/形状の画像処理や既存のトランスフォーマー最適化の効率的な再利用など、関連するすべての利点を享受できることを示しています。一部の容量を画像モデリングに割り当てる必要があるものの、同等の計算能力を持つモデルと同等以上の性能を実現しています。

Multimodal-Maestroは、大規模マルチモーダルモデルに対する制御性を高め、ユーザーが求める出力を得るためのツールです。より効果的なプロンプト戦略により、これまで不可能だと考えられていた、あるいは認識されていなかったタスクを実行できるようになります。仕組みを知りたいですか？弊社のHugging Face Spaceで試してみてください！ 本プロジェクトは開発中であり、APIは変更される可能性があります。