# 拡散トランスフォーマー

TransPixarは、透明度チャンネルを含むRGBA動画を生成できる高度なテキスト動画生成モデルです。拡散トランスフォーマー（DiT）アーキテクチャとLoRAベースのファインチューニング手法を組み合わせることで、RGBとアルファチャンネルの高い整合性を実現しています。TransPixarは、視覚効果（VFX）やインタラクティブコンテンツ制作において重要な役割を果たし、エンターテインメント、広告、教育など様々な業界に多様なコンテンツ生成ソリューションを提供します。主な利点としては、効率的なモデル拡張性、強力な生成能力、限られたトレーニングデータに対する最適化処理能力が挙げられます。

DiTCtrlは、多モーダル拡散トランスフォーマー（MM-DiT）アーキテクチャに基づく動画生成モデルです。追加の訓練なしで、複数の連続したプロンプトを持つ一貫性のあるシーン動画を生成することに重点を置いています。MM-DiTの注意機構を分析することにより、異なるプロンプト間での正確な意味的制御と注意の共有を実現し、滑らかな遷移と一貫したオブジェクトの動きを持つ動画を生成します。DiTCtrlの主な利点としては、訓練不要、複数プロンプト動画生成タスクに対応可能、そして映画のような遷移効果を示せることが挙げられます。さらに、DiTCtrlは、複数プロンプト動画生成のパフォーマンスを評価するために、新しいベンチマークMPVBenchを提供します。

MelodyFlowは、テキスト制御による高忠実度の音楽生成と編集を行うモデルです。連続潜在表現シーケンスを使用することで、離散表現による情報損失の問題を回避しています。拡散トランスフォーマーアーキテクチャに基づき、フローマッチング目標を用いた学習により、多様な高品質ステレオサンプルを生成?編集でき、テキストによる簡潔な指示が可能です。MelodyFlowは、ゼロショットテストにおけるテキストガイド編集のための新たな正規化潜在反転手法も提案しており、様々な音楽編集プロンプトにおいて優れた性能を示します。客観的?主観的指標による評価を通して、標準的なテキスト?ツー?ミュージックベンチマークにおいて、評価ベースラインと同等の品質と効率性、そして音楽編集においては従来最先端技術を凌駕する性能であることを実証しています。

コンテキストLoRAは、拡散トランスフォーマー(DiT)のための微調整技術です。テキストだけでなく画像を組み合わせることで、タスク非依存性を維持しながら特定タスクへの微調整を実現します。この技術の主な利点は、元のDiTモデルを変更することなく、トレーニングデータのみを変更するだけで、小規模なデータセットで効率的な微調整が可能になることです。コンテキストLoRAは、複数の画像を統合的に記述し、タスク固有のLoRA微調整を適用することで、プロンプトの要求に沿った高忠実度の画像セットを生成します。この技術は、タスク非依存性を犠牲にすることなく、特定のタスクに対して高品質な画像を生成する強力なツールを提供するため、画像生成分野において重要な意味を持ちます。

Toraは、拡散トランスフォーマー（DiT）に基づく動画生成モデルです。テキスト、視覚、軌跡条件を統合することで、動画コンテンツのダイナミクスを正確に制御できます。ToraはDiTの拡張性を最大限に活用し、様々な持続時間、アスペクト比、解像度で高品質な動画コンテンツを生成できます。運動の忠実度と物理的な世界の運動シミュレーションにおいて優れた性能を発揮し、動画コンテンツ制作に新たな可能性をもたらします。

PIXART-Σは、4K解像度の画像を直接生成する拡散トランスフォーマーモデルです。前身であるPixArt-αと比較して、より高い画像忠実度とテキストプロンプトとの優れた整合性を提供します。PIXART-Σの重要な特徴には、効率的なトレーニングプロセスが含まれます。これは、より高品質なデータを使用することで、「弱い」ベースラインモデルから「より強力な」モデルへと進化させる「弱から強へのトレーニング」と呼ばれるプロセスです。PIXART-Σの改良には、より高品質なトレーニングデータの使用と効率的なトークン圧縮が含まれます。