# NeRF

SyncAnimationは、リアルで高精細な会話アバターと上半身モーションをリアルタイムで生成する革新的なオーディオ駆動型技術です。音声と姿勢?表情の同期技術を組み合わせることで、従来の方法が抱えていたリアルタイム性とディテール表現における不足点を解消しました。この技術は、バーチャルYouTuber、オンライン教育、遠隔会議など、高品質なリアルタイムアニメーション生成を必要とするアプリケーションシナリオを主にターゲットとしており、重要な応用価値を有しています。現時点では、価格と具体的な市場ポジショニングは明確にされていません。

MimicTalkは、ニューラル放射場（NeRF）に基づくパーソナライズされた3D話す顔生成技術です。数分以内に、特定人物の静的な外観と動的な話し方を模倣することができます。この技術の主な利点としては、高効率、高品質なビデオ生成、および目標人物の話し方の正確な模倣が挙げられます。MimicTalkは、汎用的な3D顔生成モデルを基盤とし、静的-動的混合適応プロセスを通じて、パーソナライズされた静的な外観と顔の動きを学習します。同時に、目標人物の話し方に合わせた顔の動きを生成するコンテキストスタイル化された音声からモーション（ICS-A2M）モデルを提案しています。MimicTalkの技術的背景は、深層学習とコンピュータビジョン分野の最新の発展、特に顔合成とアニメーション生成に基づいています。現在、この技術は研究開発コミュニティに無料で提供されています。

書生?天際Landmarkは、NeRF技術に基づく実景3D大規模モデルです。100平方キロメートル、4K高解像度でのトレーニングを実現し、リアルタイムレンダリングと自由編集機能を備えています。この技術は、都市レベルの3Dモデリングとレンダリングにおいて新たな高みを示し、非常に高いトレーニングとレンダリング効率を誇ります。都市計画、建築設計、仮想現実などの分野に強力なツールを提供します。

IllumiNeRFは、未知の照明条件下で撮影された物体の画像のシーケンスを使用して3D表現を復元し、ターゲット照明下で新しい視点からレンダリングする3D再照明技術です。この技術は、通常、微分可能なモンテカルロレンダリングによる最適化を含む、逆レンダリングベースの従来の方法を回避します。これらの従来の方法は、脆弱で計算コストが高いことがよくあります。IllumiNeRFは、まず画像拡散モデルを使用して各入力画像を再照明し、次にこれらの再照明された画像を使用してニューラルラディアンスフィールド（NeRF）を再構築することで、よりシンプルなアプローチを採用し、ターゲット照明下で新しいビューをレンダリングします。この方法は、複数の再照明ベンチマークテストにおいて、驚くべき競争力のある性能と最先端の結果を達成しています。

Nerfstudioは、オープンソースのニューラル放射状場（NeRF）開発フレームワークです。シンプルで使いやすいAPIを提供し、モジュール型のNeRF構築とトレーニングをサポートしています。Nerfstudioは、ユーザーがNeRF技術をより簡単に理解し、探求できるよう支援し、チュートリアル、ドキュメント、その他の学習リソースを提供しています。新たなNeRFモデルやデータセットへの貢献を歓迎します。Nerfstudioの主な機能には、モデルトレーニング、データ処理、可視化などが含まれます。

SIGNeRFは、高速かつ高精度なNeRFシーンの編集とシーン統合オブジェクト生成のための新しい手法です。本手法は、画像編集時に3D整合性を維持するために、新たな生成更新戦略を採用しており、反復最適化を必要としません。SIGNeRFはControlNetの深層条件付き画像拡散モデルの利点を活用し、シンプルな手順で既存のNeRFシーンを単一の前方伝播で編集します。既存のNeRFシーンに新しいオブジェクトを生成したり、既存のオブジェクトを編集したりすることで、シーンを精密に制御できます。

DL3DV-10Kは、1万本を超える高品質ビデオを含む大規模な実写データセットです。各ビデオには、シーンのキーポイントと複雑さが手動でアノテーションされており、カメラポーズ、NeRF推定深度、点群、3Dメッシュなども提供されています。本データセットは、汎用NeRF研究、シーンの一貫性トラッキング、ビジョン言語モデルなど、コンピュータビジョン研究に利用できます。

ZeroNVSは、単一の実画像からゼロショットで360度全景合成を行うツールです。3D SDS蒸留コード、評価コード、および訓練済みモデルを提供します。ユーザーはこれを使用して独自のNeRFモデルの蒸留と評価を行い、様々なデータセットで実験できます。ZeroNVSは高品質な合成効果を備え、カスタム画像データにも対応しています。仮想現実、拡張現実、パノラマ動画制作などの分野で活用できます。

Instruct-NeRF2NeRFは、NeRFシーンを指示に基づいて編集するためのエディタです。画像条件付き拡散モデル（InstructPix2Pix）を用いて入力画像を段階的に編集し、同時に基盤となるシーンを最適化することで、編集指示に沿った最適化された3Dシーンを作成します。本手法は、大規模な現実世界のシーンの編集にも対応し、従来手法と比較してよりリアルで、目的意識の高い編集を実現できることを示しました。