

Structldm
簡介 :
StructLDM是一個結構化潛在擴散模型,用於從2D圖像學習3D人體生成。它能夠生成多樣化的視角一致的人體,並支持不同級別的可控生成和編輯,如組合生成和局部服裝編輯等。該模型在無需服裝類型或掩碼條件的情況下,實現了服裝無關的生成和編輯。項目由南洋理工大學S-Lab的Tao Hu、Fangzhou Hong和Ziwei Liu提出,相關論文發表於ECCV 2024。
需求人群 :
目標受眾包括研究人員、開發者和3D內容創作者,他們可以利用StructLDM模型進行3D人體生成和編輯,以用於學術研究、遊戲開發、虛擬現實等領域。
使用場景
研究人員利用StructLDM進行人體姿態和表情的生成研究
遊戲開發者使用該模型創建虛擬角色
虛擬現實應用中的人體模型生成和交互
產品特色
從2D圖像學習3D人體生成
生成多樣化的視角一致的人體
支持組合生成,可混合不同部分
支持局部服裝編輯和3D虛擬試穿
無需服裝類型或掩碼條件的生成和編輯
提供預訓練模型和樣本數據下載
支持自定義數據集的訓練和測試
使用教程
1. 安裝所需的依賴庫和環境,推薦使用anaconda管理Python環境
2. 下載預訓練模型、樣本數據和必要資產,放置在指定目錄
3. 註冊並下載SMPL模型,放置在smpl_data文件夾中
4. 運行生成腳本,如bash scripts/renderpeople.sh gpu_ids,生成結果將在DATA_DIR/result/test_output中找到
5. 參考sample_data準備自己的數據集,並修改配置文件中的相應路徑
6. 使用訓練腳本進行模型訓練,訓練後的模型將存儲在DATA_DIR/result/trained_model/modelname/diffusion_xx.pt中
7. 運行推理腳本進行模型測試,樣本將存儲在DATA_DIR/result/trained_model/modelname/samples中
精選AI產品推薦

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M
中文精選

Liblibai
LiblibAI是一箇中國領先的AI創作平臺,提供強大的AI創作能力,幫助創作者實現創意。平臺提供海量免費AI創作模型,用戶可以搜索使用模型進行圖像、文字、音頻等創作。平臺還支持用戶訓練自己的AI模型。平臺定位於廣大創作者用戶,致力於創造條件普惠,服務創意產業,讓每個人都享有創作的樂趣。
AI模型
8.0M