# 3D生成

GaussianCity是一個專注於高效生成無邊界3D城市的框架，基於3D高斯繪製技術。該技術通過緊湊的3D場景表示和空間感知的高斯屬性解碼器，解決了傳統方法在生成大規模城市場景時面臨的內存和計算瓶頸。其主要優點是能夠在單次前向傳遞中快速生成大規模3D城市，顯著優於現有技術。該產品由南洋理工大學S-Lab團隊開發，相關論文發表於CVPR 2025，代碼和模型已開源，適用於需要高效生成3D城市環境的研究人員和開發者。

TRELLIS是一個基於統一結構化潛在表示和修正流變換器的原生3D生成模型，能夠實現多樣化和高質量的3D資產創建。該模型通過整合稀疏的3D網格和從強大的視覺基礎模型提取的密集多視圖視覺特徵，全面捕獲結構（幾何）和紋理（外觀）信息，同時在解碼過程中保持靈活性。TRELLIS模型能夠處理高達20億參數，並在包含50萬個多樣化對象的大型3D資產數據集上進行訓練。該模型在文本或圖像條件下生成高質量結果，顯著超越現有方法，包括規模相似的最近方法。TRELLIS還展示了靈活的輸出格式選擇和局部3D編輯能力，這些是以前模型所沒有提供的。代碼、模型和數據將被髮布。

這是一個能夠從單張圖片生成3D世界的AI系統，它允許用戶進入任何圖片並進行3D探索。這項技術改善了控制和一致性，將改變我們製作電影、遊戲、模擬器以及其他數字表現形式的方式。它代表了空間智能的第一步，通過在瀏覽器中即時渲染生成的世界，用戶可以體驗不同的相機效果、3D效果，並深入探索經典畫作。

GenXD是一個專注於3D和4D場景生成的框架，它利用日常生活中常見的相機和物體運動來聯合研究一般的3D和4D生成。由於社區缺乏大規模的4D數據，GenXD首先提出了一個數據策劃流程，從視頻中獲取相機姿態和物體運動強度。基於此流程，GenXD引入了一個大規模的現實世界4D場景數據集：CamVid-30K。通過利用所有3D和4D數據，GenXD框架能夠生成任何3D或4D場景。它提出了多視圖-時間模塊，這些模塊分離相機和物體運動，無縫地從3D和4D數據中學習。此外，GenXD還採用了掩碼潛在條件，以支持多種條件視圖。GenXD能夠生成遵循相機軌跡的視頻以及可以提升到3D表示的一致3D視圖。它在各種現實世界和合成數據集上進行了廣泛的評估，展示了GenXD在3D和4D生成方面與以前方法相比的有效性和多功能性。

Hunyuan3D-1是騰訊推出的一個統一框架，用於文本到3D和圖像到3D的生成。該框架採用兩階段方法，第一階段使用多視圖擴散模型快速生成多視圖RGB圖像，第二階段通過前饋重建模型快速重建3D資產。Hunyuan3D-1.0在速度和質量之間取得了令人印象深刻的平衡，顯著減少了生成時間，同時保持了生成資產的質量和多樣性。

騰訊混元3D是一個開源的3D生成模型，旨在解決現有3D生成模型在生成速度和泛化能力上的不足。該模型採用兩階段生成方法，第一階段使用多視角擴散模型快速生成多視角圖像，第二階段通過前饋重建模型快速重建3D資產。混元3D-1.0模型能夠幫助3D創作者和藝術家自動化生產3D資產，支持快速單圖生3D，10秒內完成端到端生成，包括mesh和texture提取。

DreamMesh4D是一個結合了網格表示與稀疏控制變形技術的新型框架，能夠從單目視頻中生成高質量的4D對象。該技術通過結合隱式神經輻射場（NeRF）或顯式的高斯繪製作為底層表示，解決了傳統方法在空間-時間一致性和表面紋理質量方面的挑戰。DreamMesh4D利用現代3D動畫流程的靈感，將高斯繪製綁定到三角網格表面，實現了紋理和網格頂點的可微優化。該框架開始於由單圖像3D生成方法提供的粗糙網格，通過均勻採樣稀疏點來構建變形圖，以提高計算效率並提供額外的約束。通過兩階段學習，結合參考視圖光度損失、得分蒸餾損失以及其他正則化損失，實現了靜態表面高斯和網格頂點以及動態變形網絡的學習。DreamMesh4D在渲染質量和空間-時間一致性方面優於以往的視頻到4D生成方法，並且其基於網格的表示與現代幾何流程兼容，展示了其在3D遊戲和電影行業的潛力。

3DTopia-XL 是一個基於擴散變換器（DiT）構建的高質量3D資產生成技術，使用一種新穎的3D表示方法 PrimX。該技術能夠將3D形狀、紋理和材質編碼到一個緊湊的N x D張量中，每個標記是一個體積原語，錨定在形狀表面上，用體素化載荷編碼符號距離場（SDF）、RGB和材質。這一過程僅需5秒即可從文本/圖像輸入生成3D PBR資產，適用於圖形管道。

Phidias是一個創新的生成模型，它利用擴散技術進行參考增強的3D生成。該模型通過圖像、文本或3D條件生成高質素的3D資產，並且能夠在幾秒鐘內完成。它通過整合三個關鍵組件：動態調節條件強度的Meta-ControlNet、動態參考路由以及自參考增強，顯著提高了生成質量、泛化能力和可控性。Phidias為使用文本、圖像和3D條件進行3D生成提供了統一框架，並具有多種應用場景。

VFusion3D是一種基於預訓練的視頻擴散模型構建的可擴展3D生成模型。它解決了3D數據獲取困難和數量有限的問題，通過微調視頻擴散模型生成大規模合成多視角數據集，訓練出能夠從單張圖像快速生成3D資產的前饋3D生成模型。該模型在用戶研究中表現出色，用戶超過90%的時間更傾向於選擇VFusion3D生成的結果。

Ouroboros3D是一個統一的3D生成框架，它將基於擴散的多視圖圖像生成和3D重建集成到一個遞歸擴散過程中。該框架通過自條件機制聯合訓練這兩個模塊，使它們能夠相互適應，以實現魯棒的推理。在多視圖去噪過程中，多視圖擴散模型使用由重建模塊在前一時間步渲染的3D感知圖作為附加條件。遞歸擴散框架與3D感知反饋相結合，提高了整個過程的幾何一致性。實驗表明，Ouroboros3D框架在性能上優於將這兩個階段分開訓練的方法，以及在推理階段將它們結合起來的現有方法。

Interactive3D是一個先進的3D生成模型，它通過交互式設計為用戶提供了精確的控制能力。該模型採用兩階段級聯結構，利用不同的3D表示方法，允許用戶在生成過程的任何中間步驟進行修改和引導。它的重要性在於能夠實現用戶對3D模型生成過程的精細控制，從而創造出滿足特定需求的高質量3D模型。

GRM是一種大規模的重建模型,能夠在0.1秒內從稀疏視圖圖像中恢復3D資產,並且在8秒內實現生成。它是一種前饋的基於Transformer的模型,能夠高效地融合多視圖信息將輸入像素轉換為像素對齊的高斯分佈,這些高斯分佈可以反投影成為表示場景的密集3D高斯分佈集合。我們的Transformer架構和使用3D高斯分佈的方式解鎖了一種可擴展、高效的重建框架。大量實驗結果證明了我們的方法在重建質量和效率方面優於其他替代方案。我們還展示了GRM在生成任務(如文本到3D和圖像到3D)中的潛力,通過與現有的多視圖擴散模型相結合。

Stable Video 3D是Stability AI推出的新模型，它在3D技術領域取得了顯著進步，與之前發佈的Stable Zero123相比，提供了大幅改進的質量和多視角支持。該模型能夠在沒有相機條件的情況下，基於單張圖片輸入生成軌道視頻，並且能夠沿著指定的相機路徑創建3D視頻。

LGM是一個用於從文本提示或單視圖圖像生成高分辨率3D模型的新框架。它的關鍵見解是:(1) 3D表示:我們提出了多視圖高斯特徵作為一個高效 yet 強大的表示,然後可以將其融合在一起進行不同iable 渲染。(2) 3D主幹:我們呈現了一個不對稱U-Net作為一個高通量的主幹操作多視圖圖像,這可以通過利用多視圖擴散模型從文本或單視圖圖像輸入中產生。大量的實驗表明了我們方法的高保真度和效率。值得注意的是,我們在將訓練分辨率提高到512的同時保持生成3D對象的快速速度,從而實現了高分辨率的3D內容生成。

HexaGen3D是一種用於從文本提示生成高質量3D資產的創新方法。它利用大型預訓練的2D擴散模型，通過微調預訓練的文本到圖像模型來聯合預測6個正交投影和相應的潛在三面體，然後解碼這些潛在值以生成紋理網格。HexaGen3D不需要每個樣本的優化，可在7秒內從文本提示中推斷出高質量且多樣化的對象，相較於現有方法，提供了更好的質量與延遲權衡。此外，HexaGen3D對於新對象或組合具有很強的泛化能力。

GPTEval3D是一個開源的3D生成模型評價工具,基於GPT-4V實現了對文本到3D生成模型的自動評測。它可以計算生成模型的ELO分數,並與現有模型進行對比排名。該工具簡單易用,支持用戶自定義評測數據集,可以充分發揮GPT-4V的評測效果,是研究3D生成任務的有力工具。

Flythroughs是一款基於AI和3D生成技術的應用程序，可以幫助用戶輕鬆地創建專業的3D Flythroughs。它採用了世界上最先進的3D生成NeRF技術，可以從視頻中生成逼真的3D體驗，無需任何培訓或特殊設備。Flythroughs還集成了全新的3D相機路徑AI，可以一鍵生成逼真的3D體驗。Flythroughs適用於房地產、建築、旅遊、娛樂等領域，可以幫助用戶展示空間的流動性和獨特之處。