

L4GM
簡介 :
L4GM是一個4D大型重建模型,能夠從單視圖視頻輸入中快速生成動畫對象。它採用了一種新穎的數據集,包含多視圖視頻,這些視頻展示了Objaverse中渲染的動畫對象。該數據集包含44K種不同的對象和110K個動畫,從48個視角渲染,生成了12M個視頻,總共包含300M幀。L4GM基於預訓練的3D大型重建模型LGM構建,該模型能夠從多視圖圖像輸入中輸出3D高斯橢球。L4GM輸出每幀的3D高斯Splatting表示,然後將其上採樣到更高的幀率以實現時間平滑。此外,L4GM還添加了時間自注意力層,以幫助學習時間上的一致性,並使用每個時間步的多視圖渲染損失來訓練模型。
需求人群 :
L4GM模型適合需要快速生成高質量動畫3D對象的專業人士和研究人員,如在電影製作、遊戲開發和虛擬現實等領域。它能夠顯著提高動畫製作效率,降低成本,併為創作者提供更大的創作自由度。
使用場景
電影製作中快速生成動畫角色
遊戲開發中創建動態環境和角色
虛擬現實中構建交互式3D場景
產品特色
從視頻生成4D對象
支持長視頻和高幀率視頻的重建
通過4D插值模型提高幀率
使用U-Net架構和自注意力機制
支持自動重建和時間一致性
利用多視圖渲染損失進行模型訓練
使用教程
1. 準備一段單視圖視頻輸入
2. 使用L4GM模型進行4D重建
3. 觀察模型輸出的3D高斯Splatting表示
4. 利用插值模型提高視頻幀率
5. 通過自注意力機制確保時間上的一致性
6. 利用多視圖渲染損失優化模型訓練
7. 將生成的動畫對象應用於所需的場景或項目中
精選AI產品推薦

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M
中文精選

Liblibai
LiblibAI是一箇中國領先的AI創作平臺,提供強大的AI創作能力,幫助創作者實現創意。平臺提供海量免費AI創作模型,用戶可以搜索使用模型進行圖像、文字、音頻等創作。平臺還支持用戶訓練自己的AI模型。平臺定位於廣大創作者用戶,致力於創造條件普惠,服務創意產業,讓每個人都享有創作的樂趣。
AI模型
8.0M