

Dualgs
紹介 :
Robust Dual Gaussian Splatting (DualGS) は、関節ガウスと皮膚ガウスを最適化することで複雑な人体パフォーマンスを捉え、堅牢な追跡と高忠実度レンダリングを実現する、新しいガウスベースのボリュメトリックビデオ表現手法です。SIGGRAPH Asia 2024で発表され、ローエンドモバイルデバイスやVRヘッドセットでのリアルタイムレンダリングを可能にし、ユーザーフレンドリーでインタラクティブな体験を提供します。DualGSは混合圧縮戦略により、最大120倍の圧縮率を実現し、ボリュメトリックビデオのストレージと転送をより効率的にします。
ターゲットユーザー :
没入型体験を提供し、リアルタイムレンダリングをサポートするボリュメトリックビデオ表現技術を必要とする3Dグラフィックデザイナー、VR/AR開発者、ビデオ制作関係者を対象としています。DualGS技術は、その高圧縮率とリアルタイムレンダリング能力により、リソースの制約のあるデバイスで高品質な視覚効果を実現する必要があるシナリオに特に適しています。
使用シナリオ
VRヘッドセットでコンサートのパフォーマーをリアルタイムレンダリングする
モバイルデバイスで高忠実度のアスリートモーションキャプチャビデオを表示する
映画制作におけるVFXプレビューに使用し、リアルな人体動作を提供する
製品特徴
ローエンドモバイルデバイスやVRヘッドセットでのリアルタイムレンダリングを実現
二重ガウス表現手法を採用し、複雑な人体パフォーマンスを捉える
混合圧縮戦略により最大120倍の圧縮率を実現
関節ガウスと皮膚ガウスを最適化することで堅牢な追跡を実現
粗密戦略を用いて全体的な動き予測と精密な最適化を行う
多視点入力に対応し、困難な人体パフォーマンスのキャプチャをサポート
使用チュートリアル
詳細についてはDualGS公式サイトをご覧ください。
DualGS技術をサポートする必要なソフトウェアまたはプラグインをダウンロードしてインストールします。
ボリュメトリックビデオコンテンツをインポートまたは作成し、DualGS技術を使用してレンダリングします。
さまざまなデバイスやパフォーマンス要件に合わせてレンダリング設定を調整します。
DualGSの圧縮機能を利用して、ビデオコンテンツのストレージと転送を最適化します。
VRヘッドセットまたはモバイルデバイスで没入型のボリュメトリックビデオコンテンツを体験します。
おすすめAI製品

Sora
Soraは、大規模データで学習されたテキスト制御型ビデオ生成拡散モデルです。1分間の高解像度ビデオ生成が可能で、幅広い視覚データの種類と解像度に対応します。ビデオと画像の圧縮潜在空間で学習することで、時空間的位置パッチに分解し、スケーラブルなビデオ生成を実現しています。また、三次元の一貫性やインタラクションなど、物理世界とデジタル世界の挙動をある程度シミュレートできる能力を示しており、高性能シミュレータの開発に向けて、ビデオ生成モデルの大規模化が有望であることを示唆しています。
AI動画生成
17.0M

Animate Anyone
Animate Anyoneは、駆動信号から静止画像を基にキャラクタビデオを生成することを目指しています。拡散モデルの力を活用し、キャラクタアニメーション用に特化した新しいフレームワークを提案します。参照画像における複雑な外観特徴の一貫性を維持するため、空間的注意機構を用いて詳細な特徴を統合するReferenceNetを設計しました。制御可能性と連続性を確保するため、キャラクタの動作をガイドする効率的なポーズガイド機構を導入し、ビデオフレーム間の滑らかなクロスフェードを実現する効果的な時間モデリング手法を採用しています。トレーニングデータの拡張により、任意のキャラクタのアニメーション作成が可能になり、他の画像からビデオへの変換手法と比較して、キャラクタアニメーションにおいて優れた結果を得ています。さらに、ファッションビデオと人間のダンス合成のベンチマークにおいて最先端の結果を達成しました。
AI動画生成
11.4M