# 3Dアニメーション

GaussianSpeechは、音声信号から高忠実度のアニメーションシーケンスを合成し、リアルで個性的な3Dアバターを作成できる革新的な手法です。音声信号と3Dガウス描画技術を組み合わせることで、皮膚のしわや細かい表情筋の動きなど、人間の頭部の表情や細かい動作を捉えます。GaussianSpeechの主な利点としては、リアルタイムレンダリング速度、自然な視覚的ダイナミクス、そして多様な表情やスタイルの表現が挙げられます。この技術の背景には、大規模な多視点音声?視覚シーケンスデータセットの作成と、音声条件付き変換モデルの開発があり、これらのモデルは音声入力から直接唇や表情の特徴を抽出できます。

Vmotionizeは、動画、音楽、テキスト、画像などのコンテンツを驚くような3Dアニメーションに変換できる、最先端のAIアニメーションおよび3Dアニメーションソフトウェアです。このプラットフォームは、高度なAIアニメーションとモーションキャプチャツールにより、高品質な3Dコンテンツとダイナミックグラフィックスをより簡単に作成できます。Vmotionizeは、革新的な方法でインディペンデントクリエイターとグローバルブランドに新たなプラットフォームを提供し、人工知能と人間の想像力を共有して、創造性を発揮し、ストーリーを共有し、仮想世界を構築することを可能にします。

DrawingSpinUpは、一枚の絵から3Dアニメーションを生成する革新的なシステムです。視点依存の輪郭線を除去し再レンダリングする技術と、骨格ベースの細部変形アルゴリズムにより、アマチュアの絵画における外観と幾何学的形状の問題を解決します。これにより、キャラクターの絵の視覚効果が向上するだけでなく、絵に動的な生命力が与えられ、自由に回転、ジャンプ、さらにはストリートダンスを踊らせることも可能になります。

Animate3Dは、任意の静止3Dモデルにアニメーションを生成するための革新的なフレームワークです。その中核となる概念は2つの主要な部分から構成されます。1) 静止3Dオブジェクトの多視点レンダリングに基づき、大規模な多視点ビデオデータセット（MV-Video）を用いてトレーニングされた、新しい多視点ビデオ拡散モデル（MV-VDM）を提案します。2) MV-VDMに基づき、再構成と4Dスコア蒸留サンプリング（4D-SDS）を組み合わせたフレームワークを導入し、多視点ビデオ拡散事前情報を利用して3Dオブジェクトのアニメーションを生成します。Animate3Dは、新しい時空間注意機構モジュールを設計することで空間的および時間的一貫性を強化し、多視点レンダリングによって静止3Dモデルのアイデンティティを維持します。さらに、Animate3Dは、3Dモデルにアニメーションを生成するための効率的な2段階のプロセスを提案します。まず、生成された多視点ビデオから直接モーションを再構成し、次に導入された4D-SDSを用いて外観とモーションを洗練します。

SC-GSは、動的なシーンの動きと外観を、それぞれ疎な制御点と密なガウス関数で表現する新しい表現技術です。少量の制御点を使用してコンパクトな6自由度変換基底を学習し、これらの基底を補間ウェイトを用いて局所的に補間することで、3Dガウス関数の運動場を得ます。変形MLPを用いて各制御点の経時的な6自由度変換を予測することで、学習の複雑さを低減し、学習能力を高め、時間的に一貫性のある動きを実現します。同時に、3Dガウス関数、制御点の正規化空間位置、および変形MLPを統合的に学習することで、3Dシーンの外観、幾何形状、および動きの再構成を行います。学習過程では、制御点の位置と数は、異なる領域の運動の複雑さに適応するように自動的に調整され、可能な限り剛性のある損失関数を用いて、運動の空間的連続性と局所的剛性を強制します。運動表現の明示的な疎性と外観の分離により、本手法はユーザーによる運動編集を可能にしつつ、高忠実度の外観を維持します。数多くの実験から、本手法は新ビュー合成と高速レンダリングにおいて既存の手法を凌駕し、外観を維持した新しい運動編集アプリケーションをサポートすることが示されています。

Capturyは、複数の俳優による全身動作、指の動き、表情を同時に正確かつ確実に追跡できる、高度なマーカーレスモーションキャプチャソリューションを提供します。当社のソリューションは、モーションキャプチャの効率を向上させながら、時間とコストを削減することを目的としています。Capturyは、3Dゲーム開発、VFX/映画/広告、バーチャルリアリティ、リアルタイムバーチャル/位置情報ベースのエンターテイメント、ゲーム内プレイヤー追跡、生命科学などの分野で活用できます。主な製品には、リアルタイム処理のCapturyLive、CapturyInGame、CapturyFace、およびポストプロセスのCapturyStudio、CapturyDomeなどがあります。

カートホイールは、革新的なテキスト入力による3Dアニメーション作成ツールです。テキストプロンプトを入力するだけで、動画、ゲーム、映画、広告、ソーシャルメディア、VRプロジェクトなどに適した3Dアニメーションキャラクターを生成できます。その柔軟性と使いやすさにより、様々なアクションを簡単に作成でき、あらゆる3Dソフトウェアへの書き出しにも対応しています。現在ベータ版のため、ご利用には順番待ちが必要です。

Move APIは、人体動作を含むビデオを3Dアニメーションアセットに変換します。ビデオファイルをUSDZ、USDC、FBX形式に変換し、プレビュービデオを提供します。生産ワークフローソフトウェアへの統合、アプリケーションのアクションキャプチャ機能の強化、または全く新しい体験の創造に最適です。

本製品は拡散モデルのフレームワークに基づき、一枚の画像から与えられた目標となる3Dモーションシーケンスの人物アニメーションを生成します。主な構成要素には、人体や衣服の非可視部分に関する事前知識の学習と、適切な衣服とテクスチャを用いた新しい体のポーズのレンダリングが含まれます。テクスチャマップ空間でモデルを訓練することにより、ポーズや視点に対して不変性を高め、効率性を向上させています。さらに、3D人体ポーズによって制御される拡散ベースのレンダリングパイプラインを開発し、リアルな人物レンダリング画像を生成します。本手法は、3Dポーズ目標に合致した画像シーケンスを生成し、視覚的には入力画像と類似しています。同時に、3D制御により、人物をレンダリングするための様々な合成カメラ軌跡の生成が可能です。実験により、本手法は従来の方法と比較して、継続的な動きや複雑なポーズの画像シーケンスを生成できることが実証されました。