# NeRF

SyncAnimation 是一種創新的音頻驅動技術，能夠即時生成高度逼真的說話頭像和上半身動作。它通過結合音頻與姿態、表情的同步技術，解決了傳統方法在即時性和細節表現上的不足。該技術主要面向需要高質量即時動畫生成的應用場景，如虛擬主播、在線教育、遠程會議等，具有重要的應用價值。目前尚未明確其價格和具體市場定位。

MimicTalk是一種基於神經輻射場（NeRF）的個性化三維說話面部生成技術，它能夠在幾分鐘內模仿特定身份的靜態外觀和動態說話風格。這項技術的主要優點包括高效率、高質量的視頻生成以及對目標人物說話風格的精確模仿。MimicTalk通過一個通用的3D面部生成模型作為基礎，並通過靜態-動態混合適應流程來學習個性化的靜態外觀和麵部動態，同時提出了一種上下文風格化的音頻到運動（ICS-A2M）模型，以生成與目標人物說話風格相匹配的面部運動。MimicTalk的技術背景是基於深度學習和計算機視覺領域的最新進展，特別是在人臉合成和動畫生成方面。目前，該技術是免費提供給研究和開發社區的。

書生·天際LandMark是一個基於NeRF技術的實景三維大模型，它實現了100平方公里的4K高清訓練，具備即時渲染和自由編輯的能力。這項技術代表了城市級三維建模和渲染的新高度，具有極高的訓練和渲染效率，為城市規劃、建築設計和虛擬現實等領域提供了強大的工具。

IllumiNeRF是一種3D重光照技術，它通過使用一系列在未知光照條件下拍攝的物體圖像，恢復3D表示，以便在目標照明下從新視角渲染。該技術避免了基於逆向渲染的傳統方法，這些方法通常涉及通過可微分的蒙特卡洛渲染進行優化，這不僅脆弱而且計算成本高昂。IllumiNeRF採用更簡單的方法，首先使用圖像擴散模型對每個輸入圖像進行重光照，然後使用這些重光照圖像重建Neural Radiance Field (NeRF)，從而在目標照明下渲染新視圖。這種方法在多個重光照基準測試中取得了出人意料的競爭性能和最先進的結果。

Nerfstudio是一個開源的神經輻射場（NeRF）開發框架，它提供了簡單易用的API，支持模塊化的NeRF構建和訓練。Nerfstudio幫助用戶更輕鬆地理解和探索NeRF技術，並提供了教程、文檔和更多學習資源。歡迎用戶貢獻新的NeRF模型和數據集。Nerfstudio的主要功能包括模型訓練、數據處理、可視化等。

SIGNeRF是一種用於快速和可控的NeRF場景編輯以及場景集成對象生成的新方法。它引入了一種新的生成更新策略，確保在編輯圖像時保持3D一致性，而無需進行迭代優化。SIGNeRF利用了ControlNet的深度條件圖像擴散模型的優勢，通過幾個簡單的步驟在單個前向傳遞中編輯現有的NeRF場景。它可以生成新的對象到現有的NeRF場景中，也可以編輯已存在的對象，從而實現對場景的精確控制。

DL3DV-10K是一個包含超過10000個高質量視頻的大規模實景數據集,每個視頻都經過人工標註場景關鍵點和複雜程度,並提供相機姿態、NeRF估計深度、點雲和3D網格等。該數據集可用於通用NeRF研究、場景一致性跟蹤、視覺語言模型等計算機視覺研究。

ZeroNVS 是一款用於從單張真實圖像進行零樣本 360 度全景合成的工具。它提供了 3D SDS 蒸餾代碼、評估代碼和訓練好的模型。用戶可以使用該工具進行自己的 NeRF 模型蒸餾和評估，並且可以在各種不同的數據集上進行實驗。ZeroNVS 具有高質量的合成效果，並且支持自定義的圖像數據。該工具主要用於虛擬現實、增強現實和全景視頻製作等領域。

Instruct-NeRF2NeRF是一款用於編輯NeRF場景的指令式編輯器。它使用圖像條件擴散模型（InstructPix2Pix）逐步編輯輸入圖像，同時優化底層場景，從而得到一個優化的3D場景，該場景符合編輯指令。我們證明了我們的方法能夠編輯大規模的現實世界場景，並且能夠比之前的工作實現更真實、更有針對性的編輯。