

Genmoai
簡介 :
genmoai/models 是一個開源的視頻生成模型,代表了視頻生成技術的最新進展。該模型名為 Mochi 1,是一個基於 Asymmetric Diffusion Transformer (AsymmDiT) 架構的10億參數擴散模型,從零開始訓練,是迄今為止公開發布的最大的視頻生成模型。它具有高保真運動和強提示遵循性,顯著縮小了封閉和開放視頻生成系統之間的差距。該模型在 Apache 2.0 許可下發布,用戶可以在 Genmo 的 playground 上免費試用此模型。
需求人群 :
目標受眾為視頻製作者、遊戲開發者、動畫師以及任何對視頻生成技術感興趣的研究人員和開發者。這款模型因其開源特性,特別適合那些希望在視頻生成領域進行創新和實驗的用戶。
使用場景
視頻製作者可以使用此模型生成具有特定動作和背景的定製視頻內容。
遊戲開發者可以利用模型在遊戲內生成動態視頻背景或劇情動畫。
研究人員可以在此基礎上進一步開發,探索視頻生成技術的更多可能性。
產品特色
使用 Asymmetric Diffusion Transformer (AsymmDiT) 架構,具有10億參數的擴散模型。
通過 AsymmVAE 模型實現視頻的高效壓縮,壓縮比達到128倍。
支持從命令行直接生成視頻或通過 Gradio 用戶界面操作。
模型對用戶提示的處理僅使用單個 T5-XXL 語言模型進行編碼。
模型需要至少4個 H100 GPU 才能運行,社區正在努力降低這一要求。
在研究預覽階段,生成的視頻分辨率為480p,可能在極端運動情況下出現輕微形變。
模型優化為照片般真實風格,不適合動畫內容的生成。
使用教程
1. 使用 Git 克隆 genmoai/models 倉庫到本地。
2. 安裝並設置好虛擬環境。
3. 安裝必要的依賴項。
4. 下載模型權重到本地目錄。
5. 使用提供的命令行工具或 Gradio UI 啟動視頻生成過程。
6. 根據需要調整生成參數,如提示、種子值等。
7. 運行生成命令,模型將根據輸入的提示生成視頻。
8. 檢查生成的視頻是否滿足要求,必要時進行微調。
精選AI產品推薦
國外精選

Pika
Pika是一個視頻製作平臺,用戶可以上傳自己的創意想法,Pika會自動生成相關的視頻。主要功能有:支持多種創意想法轉視頻,視頻效果專業,操作簡單易用。平臺採用免費試用模式,定位面向創意者和視頻愛好者。
視頻生成
18.7M

Haiper
Haiper AI 是構建下一代內容創作的最佳感知基礎模型的使命。它提供以下主要功能:文本轉視頻,圖片動畫,視頻重繪,導演視角。Haiper AI 可以將文字內容和靜態圖片無縫轉化為動態視頻,只需拖放圖像即可使其栩栩如生。使用 Haiper AI 的重繪工具,您可以輕鬆修改視頻的顏色、紋理和元素,以提升視覺內容的品質。通過高級控制工具,您可以像導演一樣調整鏡頭角度、燈光效果、角色姿勢和物體運動。Haiper AI 適用於各種場景,如內容創作、設計、營銷等。定價請參考官方網站。
視頻生成
10.5M