# 潜在拡散モデル

DiffRhythmは、潜在拡散技術を利用して、高速かつ高品質な全曲生成を実現する革新的な音楽生成モデルです。この技術は従来の音楽生成方法の限界を突破し、複雑な多段階アーキテクチャや煩雑なデータ準備を必要とせず、歌詞とスタイルプロンプトだけで短時間で最長4分45秒の完全な曲を生成できます。非自己回帰構造により高速な推論速度が保証され、音楽創作の効率と拡張性が大幅に向上します。本モデルは、西北工業大学オーディオ、音声、言語処理グループ（ASLP@NPU）と香港中文大学（深圳）ビッグデータ研究所が共同で開発し、音楽創作にシンプルで効率的かつ創造的なソリューションを提供することを目指しています。

StructLDMは、2D画像から3D人体生成を学習する構造化潜在拡散モデルです。多様な視点で一貫性のある人体を生成し、組み合わせ生成や局所的な服装編集など、様々なレベルの制御可能な生成と編集をサポートします。服装の種類やマスク条件を必要とせず、服装に依存しない生成と編集を実現しています。このモデルは、南洋理工大学S-LabのTao Hu、Fangzhou Hong、Ziwei Liuによって提案され、ECCV 2024で論文発表されました。

SHMTは、潜在拡散モデルを用いた自己教師あり階層的メイクアップ転移技術です。明示的なアノテーションを必要とせずに、ある顔のメイクアップを別の顔に自然に転移することができます。複雑な顔の特徴や表情の変化にも対応し、高品質な転移効果を提供できることが主な利点です。NeurIPS 2024で採択され、画像処理分野における革新性と実用性を示しました。

LatentSyncは、バイトダンスによって開発された音声条件付き潜在拡散モデルに基づくリップシンクフレームワークです。Stable Diffusionの強力な能力を直接活用し、中間モーション表現を一切必要とせずに、複雑な音声?動画の関連付けをモデル化できます。提案された時間表現アライメント（TREPA）技術により、生成された動画フレームの時間的一貫性を効果的に向上させながら、リップシンクの精度を維持します。この技術は、動画制作、バーチャルYouTuber、アニメーション制作などの分野で重要な応用価値を持ち、制作効率の大幅な向上、人件費の削減、よりリアルで自然な視聴体験をもたらします。LatentSyncのオープンソース特性により、学術研究や産業実践で広く利用され、関連技術の発展と革新を促進します。

VISION XLは、潜在拡散モデルを利用して高解像度ビデオの逆問題を解決するフレームワークです。擬似バッチ整合サンプリング戦略とバッチ整合反転手法により、ビデオ処理の効率と時間を最適化し、様々な解像度と高解像度復元をサポートします。主な利点としては、多様な解像度と高解像度復元への対応、メモリとサンプリング時間の効率性、オープンソースの潜在拡散モデルSDXLの使用が挙げられます。SDXLを統合することで、複雑なフレーム平均や、ぼけ除去、超解像、修復などの様々な空間劣化の組み合わせを含む、様々な時空間逆問題において最先端のビデオ復元を実現しています。

LayerDiffusionは、大規模事前学習済み潜在拡散モデルによる透明画像の生成を可能にする手法です。この手法では、単一の透明画像または複数の透明レイヤーを生成できます。潜在空間へのアルファチャンネルの透明度エンコーディングを行う「潜在透明度」を学習します。追加された透明度を潜在オフセットとして調整することで、事前学習済みモデルの元の潜在分布を最小限に変更し、大規模拡散モデルの生産就労品質を維持します。潜在空間の調整による微調整により、任意の潜在拡散モデルを透明画像ジェネレーターに変換できます。100万枚の人工協調で収集された透明画像レイヤーペアを用いてモデルを学習しました。潜在透明度は、様々なオープンソース画像ジェネレーターに適用したり、様々な条件制御システムに適合させることができ、前景/背景条件レイヤー生成、結合レイヤー生成、レイヤーコンテンツ構造制御などの用途を実現します。ユーザー調査によると、ほとんどの場合（97%）、ユーザーは、生成後に切り抜くといった従来の一時的な解決策ではなく、当システムで生成された透明コンテンツを好んでいます。また、生成された透明画像の品質は、Adobe Stockなどの商用透明アセットと匹敵すると評価されています。

Stable Video Diffusion (SVD) 1.1 画像から動画生成は、静止画を条件フレームとして用いて、対応する動画を生成する拡散モデルです。このモデルは潜在拡散モデルであり、画像から短い動画クリップを生成するように訓練されています。1024x576ピクセルの解像度で、25フレームの動画を生成するように訓練されており、その訓練は同サイズのコンテキストフレームに基づいており、SVD Image-to-Video [25 frames] から微調整されています。微調整時には、出力の一貫性を向上させるため、6FPSとモーションバケットID 127の条件を固定し、ハイパーパラメータの調整は行いませんでした。

Stable Signatureは、潜在拡散モデル（LDM）を用いて画像に透かしを埋め込む手法です。高い安定性と堅牢性を持ち、様々な攻撃に対しても透かしの読み取り可能性を維持します。Stable Signatureは、事前学習済みモデルとコード実装を提供しており、ユーザーはこれを使用して透かしの埋め込みと抽出を行うことができます。