# 条件付き生成

カーネギーメロン大学が提案した、動画における非可視物体セグメンテーションとコンテンツ補完を行うモデルです。条件付き生成タスクの手法を用い、動画生成モデルの基礎知識を活用して、動画内の可視物体シーケンスを処理し、可視部分と非可視部分を含む物体のマスクとRGBコンテンツを生成します。本技術の主な利点としては、高度な遮蔽状況にも対応可能で、変形物体に対しても効果的な処理が可能な点が挙げられます。さらに、複数のデータセットにおいて既存の最先端手法を上回る性能を示しており、特に物体が遮蔽されている領域の非可視セグメンテーションにおいては、最大13％の性能向上を実現しています。

IPAdapter-Instructは、Unity Technologiesが開発した画像生成モデルです。トランスフォーマーモデルに追加のテキスト埋め込み条件を加えることで、単一のモデルで様々な画像生成タスクを効率的に実行できます。主な利点として、『Instruct』プロンプトにより、スタイル変換やオブジェクト抽出など、異なる条件解釈を同一ワークフロー内で柔軟に切り替えられる点が挙げられます。これは、特定タスク向けモデルと比較して、最小限の品質低下で実現されます。

4Mは、多様なビジョンタスクに対応し、多モーダル条件付き生成も可能な、多モーダル?マルチタスクモデルのトレーニングフレームワークです。実験分析を通じて、ビジョンタスクにおける汎用性と拡張性を示しており、ビジョン分野やその他の分野における多モーダル学習の更なる探求の基盤を築きます。

Show-1は、効率的なテキストから動画への生成モデルです。ピクセルレベルと潜在変数レベルの拡散モデルを組み合わせることで、テキストと高度に関連した動画を生成し、かつ低い計算資源で高品質な動画生成を実現します。まず、ピクセルレベルのモデルを用いて低解像度の動画を生成し、その後、潜在変数モデルを用いて高解像度へとアップサンプリングすることで、両モデルの長所を活かしています。純粋な潜在変数モデルと比較して、Show-1は生成される動画のテキストとの関連性がより正確で、純粋なピクセルモデルと比較して計算コストも低くなっています。

MusicLMは、テキストの説明に基づいて高忠実度の音楽を生成できるモデルです。24kHzのオーディオを生成し、音楽スタイルはテキストの説明と一致し、メロディーに基づいた条件付き生成にも対応しています。MusicCapsデータセットを使用することで、オーディオ品質とテキストの説明との整合性において、従来のシステムを上回っています。MusicLMは、音楽片段の生成や絵画の説明に基づいた音楽生成など、様々な場面に応用できます。