

Ruyi
簡介 :
Ruyi是圖森未來發布的圖生視頻大模型,專為在消費級顯卡上運行而設計,並提供詳盡的部署說明和ComfyUI工作流,以便用戶能夠快速上手。Ruyi憑藉在幀間一致性、動作流暢性方面的卓越表現,以及和諧自然的色彩呈現和構圖,將為視覺敘事提供全新的可能性。同時,該模型還針對動漫和遊戲場景進行深度學習,將成為ACG愛好者理想的創意夥伴。
需求人群 :
目標受眾為AIGC愛好者和社區成員,特別是動漫和遊戲內容的開發者。Ruyi能夠降低動漫和遊戲內容的開發週期和開發成本,提供快速上手的解決方案,適合需要快速生成視頻內容的創意工作者。
使用場景
1. 使用Ruyi生成動漫角色的動態視頻,用於社交媒體宣傳。
2. 利用Ruyi創建遊戲內角色的預告片,提高遊戲的吸引力。
3. 通過Ruyi生成教育視頻中的動態圖表,使教學內容更加生動。
產品特色
- 多分辨率、多時長生成:支持最小384*384,最大1024*1024分辨率,最長120幀/5秒的視頻生成。
- 首幀、首尾幀控制生成:支持最多5個起始幀、最多5個結束幀基礎上的視頻生成。
- 運動幅度控制:提供4檔運動幅度控制,方便用戶對整體畫面的變化程度進行控制。
- 鏡頭控制:提供上、下、左、右、靜止共5種鏡頭控制。
- 模型架構:基於DiT架構,由Casual VAE模塊和Diffusion Transformer構成,總參數量約為7.1B。
- 訓練數據和方式:分為4個階段,使用約200M視頻片段進行訓練。
- 輸入格式和生成長度/模式:需要用戶提供一張圖片作為輸入,並可以選擇輸出時長、輸出分辨率等選項。
使用教程
1. 訪問Ruyi的Hugging Face頁面,下載Ruyi-Mini-7B版本。
2. 閱讀並理解提供的部署說明和ComfyUI工作流。
3. 準備一張圖片作為輸入,確定所需的輸出時長、分辨率等參數。
4. 根據Ruyi的使用指南,設置首幀和首尾幀,以及運動幅度和鏡頭控制。
5. 運行Ruyi模型,生成視頻內容。
6. 檢查生成的視頻內容,根據需要進行調整和優化。
7. 將生成的視頻用於所需的場景,如社交媒體、遊戲預告等。
精選AI產品推薦
國外精選

Pika
Pika是一個視頻製作平臺,用戶可以上傳自己的創意想法,Pika會自動生成相關的視頻。主要功能有:支持多種創意想法轉視頻,視頻效果專業,操作簡單易用。平臺採用免費試用模式,定位面向創意者和視頻愛好者。
視頻生成
18.7M

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M