# テキストガイド

VideoPainterは、深層学習に基づいたビデオ修復と編集ツールです。プリトレーニング済みの拡散変換器モデルと、軽量の背景コンテキストエンコーダー、IDリサンプリング技術を組み合わせることで、高品質なビデオ修復と編集を実現します。この技術の重要性は、従来のビデオ修復方法の長さと複雑さに関する制限を突破し、ビデオ制作者に効率的で柔軟なツールを提供することにあります。本製品は現在研究段階にあり、価格は未定です。主にビデオ編集分野の専門ユーザーや研究者を対象としています。

MelodyFlowは、テキスト制御による高忠実度の音楽生成と編集を行うモデルです。連続潜在表現シーケンスを使用することで、離散表現による情報損失の問題を回避しています。拡散トランスフォーマーアーキテクチャに基づき、フローマッチング目標を用いた学習により、多様な高品質ステレオサンプルを生成?編集でき、テキストによる簡潔な指示が可能です。MelodyFlowは、ゼロショットテストにおけるテキストガイド編集のための新たな正規化潜在反転手法も提案しており、様々な音楽編集プロンプトにおいて優れた性能を示します。客観的?主観的指標による評価を通して、標準的なテキスト?ツー?ミュージックベンチマークにおいて、評価ベースラインと同等の品質と効率性、そして音楽編集においては従来最先端技術を凌駕する性能であることを実証しています。

Diffreeは、テキストガイドに基づいた画像修復モデルです。テキスト記述によって画像に新しいオブジェクトを追加することができ、同時に背景の一貫性、空間的適合性、オブジェクトの関連性と品質を維持します。OABenchデータセットでトレーニングされ、安定拡散モデルと追加のマスク予測モジュールを使用することで、新しいオブジェクトの位置を独自に予測し、テキストによる指示のみでオブジェクトを追加できます。

ClotheDreamerは、3Dガウシアンに基づくテキストガイド付き衣料品生成モデルです。テキストの説明から、高忠実度で着用可能な3D衣料品アセットを生成できます。独自の方法であるDisentangled Clothe Gaussian Splatting（DCGS）を採用し、衣料品と人体をそれぞれ最適化できます。この技術は、双方向Score Distillation Sampling（SDS）を用いて衣料品と人体のレンダリング品質を向上させ、カスタム衣料品テンプレートの入力にも対応しています。ClotheDreamerで生成された3D衣料品は、バーチャル試着に簡単に適用でき、物理的に正確なアニメーションにも対応しています。

ビデオのリレンダーは、画像モデルをビデオ領域に応用するための、新規のテキストガイド付きゼロショットビデオツービデオ変換フレームワークです。このフレームワークは、キーフレーム変換と完全ビデオ変換の2つの部分から構成されています。第一部は、適応拡散モデルを用いてキーフレームを生成し、形状、テクスチャ、色の整合性を確保するために階層的なフレーム間制約を適用します。第二部は、時間認識パッチマッチングとフレームミックスによって、キーフレームを他のフレームに伝播します。本フレームワークは、低コストでグローバルスタイルとローカルテクスチャの時間整合性を実現します（再トレーニングや最適化は不要です）。この適応性は既存の画像拡散技術と互換性があり、LoRAによる特定テーマのカスタマイズや、ControlNetによる追加の空間ガイドの導入など、それらを活用することができます。数多くの実験により、提案されたフレームワークが高品質かつ時間整合性の高いビデオレンダリングにおける有効性が実証されました。