SEED-Story
S
SEED Story
簡介 :
SEED-Story是一個基於大型語言模型(MLLM)的多模態長篇故事生成模型,能夠根據用戶提供的圖片和文本生成豐富、連貫的敘事文本和風格一致的圖片。它代表了人工智能在創意寫作和視覺藝術領域的前沿技術,具有生成高質量、多模態故事內容的能力,為創意產業提供了新的可能性。
需求人群 :
SEED-Story的目標受眾主要是人工智能研究人員、數據科學家、創意產業專業人士以及對人工智能創作感興趣的開發者。該模型能夠幫助他們探索和實現創意寫作和視覺藝術的新形式,提供一種全新的內容生成方式。
總訪問量: 474.6M
佔比最多地區: US(19.34%)
本站瀏覽量 : 67.3K
使用場景
使用SEED-Story生成基於特定歷史事件的多模態故事。
結合用戶上傳的圖片,生成個性化的兒童故事書。
為電影或遊戲創作提供初始的故事概念和視覺設計。
產品特色
生成多模態長篇故事:結合文本和圖片生成連貫的故事。
基於用戶輸入的圖片和文本:作為故事的起點。
支持最多25個多模態序列的故事生成:儘管訓練時最多使用10個序列。
圖像風格和角色一致性:確保生成的圖片在風格和角色上與故事文本一致。
大規模數據集StoryStream:為訓練和基準測試多模態故事生成而設計。
模型權重和訓練代碼的發佈:提供預訓練的Tokenizer、De-Tokenizer和基礎模型SEED-X。
支持指令調整:通過指令調整進一步優化模型性能。
使用教程
1. 克隆SEED-Story倉庫到本地環境。
2. 安裝依賴包,根據requirements.txt配置Python環境。
3. 下載並準備StoryStream數據集,用於訓練和測試。
4. 使用提供的腳本進行數據集的分塊處理,以提高訓練效率。
5. 下載並保存預訓練的模型權重到指定文件夾。
6. 運行inference腳本進行多模態故事生成。
7. 利用可視化腳本展示生成的故事和多模態注意力。
8. 通過GPT4 API進行生成結果的評估。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase