

On Device Sora
簡介 :
On-device Sora 是一個開源項目,旨在通過線性比例跳躍(LPL)、時間維度標記合併(TDTM)和動態加載併發推理(CI-DL)等技術,實現在移動設備(如 iPhone 15 Pro)上高效的視頻生成。該項目基於 Open-Sora 模型開發,能夠根據文本輸入生成高質量視頻。其主要優點包括高效性、低功耗和對移動設備的優化。該技術適用於需要在移動設備上快速生成視頻內容的場景,如短視頻創作、廣告製作等。項目目前開源,用戶可以免費使用。
需求人群 :
該產品適合需要在移動設備上快速生成視頻內容的創作者、廣告商和內容開發者。它能夠幫助用戶在不依賴雲端計算的情況下,高效地生成高質量視頻,特別適合需要在移動場景下快速創作的用戶。
使用場景
創作者可以使用該模型在移動設備上快速生成短視頻內容。
廣告商可以在移動設備上根據廣告文案生成視頻廣告。
內容開發者可以利用該模型為移動應用生成動態視頻素材。
產品特色
支持文本到視頻的生成,可根據輸入文本生成高質量視頻。
優化移動設備性能,適用於 iPhone 15 Pro 等設備。
採用線性比例跳躍(LPL)技術,提高生成效率。
支持時間維度標記合併(TDTM),降低計算資源消耗。
提供動態加載併發推理(CI-DL),提升運行速度。
使用教程
1. 克隆項目倉庫到本地。
2. 安裝必要的依賴包(如 Python 3.10 和相關庫)。
3. 將模型轉換為 MLPackage 格式(支持 T5、STDiT 和 VAE)。
4. 在 Xcode 中打開項目並配置 Apple 開發者賬號。
5. 在 iPhone 15 Pro 或更高版本設備上運行應用。
精選AI產品推薦
國外精選

Pika
Pika是一個視頻製作平臺,用戶可以上傳自己的創意想法,Pika會自動生成相關的視頻。主要功能有:支持多種創意想法轉視頻,視頻效果專業,操作簡單易用。平臺採用免費試用模式,定位面向創意者和視頻愛好者。
視頻生成
18.7M

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M