# トランスフォーマーアーキテクチャ

Aya Expanseは、高度な多言語能力を備えたオープンウェイトの研究モデルです。高性能な事前学習モデルとCohere For AIによる1年間の研究成果（データアービトラージ、多言語的嗜好トレーニング、安全調整、モデルマージングを含む）を組み合わせることに重点を置いています。このモデルは、アラビア語、中国語（簡体字と繁体字）、チェコ語、オランダ語、英語、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、インドネシア語、イタリア語、日本語、韓国語、ペルシャ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、トルコ語、ウクライナ語、ベトナム語など、23言語に対応した強力な多言語大規模言語モデルです。

Janusは、視覚エンコーディングを分離することで、多様なモダリティの理解と生成を統合した革新的な自己回帰フレームワークです。この分離により、視覚エンコーダーの理解と生成における役割の競合が緩和され、フレームワークの柔軟性が向上します。Janusは従来の統合モデルを凌駕し、特定タスクのモデルと同等以上の性能を達成します。その簡潔さ、高い柔軟性、有効性から、次世代の統合型多様なモダリティモデルの有力候補と言えます。

Janusは革新的な自己回帰フレームワークです。視覚エンコーディングを異なるパスに分割し、単一の統一されたトランスフォーマーアーキテクチャで処理することで、従来手法の限界を克服します。この解耦合は、視覚エンコーダーの理解と生成における役割の衝突を軽減するだけでなく、フレームワークの柔軟性を向上させます。Janusは従来の統一モデルを凌駕し、特定タスクモデルと同等以上の性能を達成しています。その簡潔さ、高い柔軟性、有効性から、次世代の統一マルチモーダルモデルの有力候補と言えます。

Segment Anything Model 2 (SAM 2)は、Meta社のAI研究部門FAIRによって発表されたビジョンセグメンテーションモデルです。シンプルなトランスフォーマーアーキテクチャとストリーミングメモリ設計により、リアルタイムの動画処理を実現しています。ユーザーインタラクションを通じてモデル循環データエンジンを構築し、これまでにない規模の動画セグメンテーションデータセットSA-Vを収集しました。SAM 2はSA-Vでトレーニングされており、幅広いタスクとビジョン領域において高い性能を発揮します。

ODIN（Omni-Dimensional INstance segmentation）は、トランスフォーマーアーキテクチャを用いて、2D RGB画像と3D点群のセグメンテーションとラベリングを行うモデルです。2Dビューと3Dビュー間で情報を交互に融合させることで、2Dと3Dの特徴操作を区別します。ODINは、ScanNet200、Matterport3D、AI2THOR 3Dインスタンスセグメンテーションベンチマークにおいて最先端の性能を達成し、ScanNet、S3DIS、COCOにおいても競争力のある性能を示しています。知覚された3D点群の代わりに3Dメッシュからサンプリングされた点群を使用した場合、従来の手法をすべて上回ります。具体化エージェントアーキテクチャにおける3D知覚エンジンとして活用することで、TEACh対話行動ベンチマークにおいて新たな最先端レベルを達成しました。コードとチェックポイントはプロジェクトウェブサイトでご確認いただけます。