
使用場景
使用SEED-Story生成基於特定歷史事件的多模態故事。
結合用戶上傳的圖片,生成個性化的兒童故事書。
為電影或遊戲創作提供初始的故事概念和視覺設計。
產品特色
生成多模態長篇故事:結合文本和圖片生成連貫的故事。
基於用戶輸入的圖片和文本:作為故事的起點。
支持最多25個多模態序列的故事生成:儘管訓練時最多使用10個序列。
圖像風格和角色一致性:確保生成的圖片在風格和角色上與故事文本一致。
大規模數據集StoryStream:為訓練和基準測試多模態故事生成而設計。
模型權重和訓練代碼的發佈:提供預訓練的Tokenizer、De-Tokenizer和基礎模型SEED-X。
支持指令調整:通過指令調整進一步優化模型性能。
使用教程
1. 克隆SEED-Story倉庫到本地環境。
2. 安裝依賴包,根據requirements.txt配置Python環境。
3. 下載並準備StoryStream數據集,用於訓練和測試。
4. 使用提供的腳本進行數據集的分塊處理,以提高訓練效率。
5. 下載並保存預訓練的模型權重到指定文件夾。
6. 運行inference腳本進行多模態故事生成。
7. 利用可視化腳本展示生成的故事和多模態注意力。
8. 通過GPT4 API進行生成結果的評估。
精選AI產品推薦
中文精選

剪映dreamina
剪映Dreamina是抖音旗下的AIGC工具,用戶可以根據文本內容生成由AI生成的創意圖,支持修整圖片大小比例和模板類型。未來會用於抖音的圖文或短視頻的內容創作,豐富抖音在AI創造方面的內容庫。
AI圖像生成
9.1M

Outfit Anyone
Outfit Anyone 是一款超高質量虛擬試穿產品,使用戶能夠在不真實試穿衣物的情況下嘗試不同的時尚款式。通過採用兩個流的條件擴散模型,Outfit Anyone 能夠靈活處理衣物變形,生成更逼真的效果。它具備可擴展性,可以調整姿勢和身體形狀等因素,適用於動漫角色到真實人物的圖像。Outfit Anyone 在各種場景下的表現突出了其實用性和準備好投入實際應用的程度。
AI圖像生成
5.7M