# 自己回帰

MobileLLM-125MはMetaによって開発された、自己回帰言語モデルです。最適化されたTransformerアーキテクチャを利用しており、リソースの限られたデバイス向けアプリケーション用に設計されています。このモデルは、SwiGLU活性化関数、薄い深層アーキテクチャ、埋め込み共有、グループ化クエリアテンションなど、複数の重要な技術を統合しています。MobileLLM-125M/350Mは、ゼロショット常識推論タスクにおいて、前世代の125M/350M SoTAモデルと比較して、それぞれ2.7％と4.3％の精度向上を実現しました。このモデルの設計理念は、より大規模なモデルにも効果的に拡張でき、MobileLLM-600M/1B/1.5BもSoTAの結果を達成しています。

MarDiniはMeta AI Researchが開発した動画拡散モデルです。マスク自己回帰（MAR）の利点を統一的な拡散モデル（DM）フレームワークに統合しています。このモデルは、任意の数のマスクフレームを任意のフレーム位置で利用して動画生成が可能であり、動画補間、画像から動画への生成、動画拡張など、様々な動画生成タスクに対応します。MarDiniは効率的な設計となっており、計算資源の大部分を低解像度計画モデルに割り当てることで、大規模での空間?時間的注意機構の実現を可能にしています。動画補間において新たな基準を打ち立て、数回の推論ステップで、より高価な高度な画像から動画へのモデルに匹敵する動画を効率的に生成します。

Janusは革新的な自己回帰フレームワークです。視覚エンコーディングを異なるパスに分割し、単一の統一されたトランスフォーマーアーキテクチャで処理することで、従来手法の限界を克服します。この解耦合は、視覚エンコーダーの理解と生成における役割の衝突を軽減するだけでなく、フレームワークの柔軟性を向上させます。Janusは従来の統一モデルを凌駕し、特定タスクモデルと同等以上の性能を達成しています。その簡潔さ、高い柔軟性、有効性から、次世代の統一マルチモーダルモデルの有力候補と言えます。