

Open Sora Plan V1.1.0
紹介 :
Open-Sora-Planは、北京大学元組チームによって開発されたテキストから動画を生成するモデルです。2024年4月にv1.0.0版が初公開され、シンプルで効率的な設計と優れた性能により、テキストから動画を生成する分野で広く認められています。v1.1.0版では、動画生成の品質と時間の長さにおいて大幅な改善が施され、圧縮された視覚表現の最適化、生成品質の向上、より長い動画の生成能力を実現しています。このモデルは最適化されたCausalVideoVAEアーキテクチャを採用し、より高い性能と推論効率を実現しています。さらに、v1.0.0版の極めてシンプルな設計とデータ効率性を維持しており、Sora基礎モデルと同等の性能を示しており、そのバージョンアップはSoraが示す拡張則と一致していることを示唆しています。
ターゲットユーザー :
Open-Sora-Planのターゲットユーザーは、主に動画生成分野の研究者と開発者です。学術研究、コンテンツ制作、商業利用を問わず、高品質な動画コンテンツの生成が必要な個人やチームに適しています。このモデルのオープンソース性は、コミュニティメンバーが自由にモデルにアクセスして改良することを可能にし、技術の発展とイノベーションを促進します。
使用シナリオ
研究者はOpen-Sora-Planを使用して、説明的なテキストから動画を生成し、学術的なプレゼンテーションに使用しています。
コンテンツクリエイターは、このモデルを使用して魅力的な動画コンテンツを作成し、ソーシャルメディアプラットフォームで使用しています。
企業はOpen-Sora-Planを使用して製品のプロモーション動画を生成し、市場への影響力を高めています。
製品特徴
最適化されたCausalVideoVAEアーキテクチャによる、性能と推論効率の向上。
高品質な視覚データと字幕を使用することで、モデルの世界理解を強化。
極めてシンプルな設計とデータ効率性を維持し、Sora基礎モデルと同等の性能を実現。
コード、データ、モデルを含むオープンソースとして公開し、コミュニティの発展を促進。
GAN損失を導入することで、高周波数情報の保持とグリッドアーチファクトの低減を実現。
CausalVideoVAE向けに特別設計された時間ロールバックタイル畳み込み法を採用。
使用チュートリアル
Open-Sora-PlanのGitHubページにアクセスして、プロジェクトの詳細を確認してください。
ドキュメントを読んで、コード、データ、モデルへのアクセス権を取得してください。
ドキュメントの手順に従って、開発環境を設定し、必要な依存関係をインストールしてください。
トレーニングスクリプトをダウンロードして実行し、モデルを使用して動画の生成を開始してください。
提供されているサンプルスクリプトを使用して、パーソナライズされた動画生成実験を行ってください。
コミュニティディスカッションに参加し、コードへの貢献や改善提案を行うことで、プロジェクトの発展に貢献してください。
おすすめAI製品

Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M

Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M