

SEED Story
紹介 :
SEED-Storyは、大規模言語モデル(MLLM)に基づく多モーダル長編ストーリー生成モデルです。ユーザーが提供した画像とテキストに基づき、豊かで一貫性のある叙述テキストと、スタイルが統一された画像を生成できます。これは、クリエイティブライティングとビジュアルアート分野におけるAIの最先端技術であり、高品質な多モーダルストーリーコンテンツを生成する能力を備え、クリエイティブ産業に新たな可能性を提供します。
ターゲットユーザー :
SEED-Storyのターゲットユーザーは、主に人工知能研究者、データサイエンティスト、クリエイティブ産業のプロフェッショナル、そして人工知能による創作に関心のある開発者です。このモデルは、彼らがクリエイティブライティングとビジュアルアートの新しい形式を探求し、実現するのに役立ち、全く新しいコンテンツ生成方法を提供します。
使用シナリオ
特定の歴史的出来事を基にした多モーダルストーリーをSEED-Storyで生成します。
ユーザーがアップロードした画像を組み合わせて、パーソナライズされた子供向け絵本を生成します。
映画やゲームの創作に、初期のストーリーコンセプトとビジュアルデザインを提供します。
製品特徴
多モーダル長編ストーリーの生成:テキストと画像を組み合わせて、一貫性のあるストーリーを生成します。
ユーザー入力の画像とテキストに基づく:ストーリーの出発点となります。
最大25個の多モーダルシーケンスのストーリー生成に対応:トレーニングでは最大10個のシーケンスを使用していました。
画像スタイルとキャラクターの一貫性:生成される画像が、ストーリーテキストのスタイルとキャラクターと一致するようにします。
大規模データセットStoryStream:多モーダルストーリー生成のトレーニングとベンチマークテスト用に設計されています。
モデルの重みとトレーニングコードの公開:事前学習済みのTokenizer、De-Tokenizer、および基本モデルSEED-Xを提供します。
指示調整への対応:指示調整により、モデルのパフォーマンスをさらに最適化できます。
使用チュートリアル
1. SEED-Storyリポジトリをローカル環境にクローンします。
2. 依存パッケージをインストールし、requirements.txtに従ってPython環境を設定します。
3. StoryStreamデータセットをダウンロードして準備し、トレーニングとテストに使用します。
4. 提供されたスクリプトを使用してデータセットをチャンク処理し、トレーニング効率を向上させます。
5. 事前学習済みのモデルの重みをダウンロードして、指定されたフォルダに保存します。
6. inferenceスクリプトを実行して、多モーダルストーリーを生成します。
7. 可視化スクリプトを使用して、生成されたストーリーと多モーダルアテンションを表示します。
8. GPT4 APIを使用して、生成結果を評価します。
おすすめAI製品
中国語精選

剪映dreamina
剪映DreaminaはTikTok(抖音)が提供するAIGCツールです。テキストを入力すると、AIが自動的にクリエイティブな画像を生成します。画像サイズやアスペクト比、テンプレートの種類も調整可能です。将来的には、TikTokの画像投稿やショート動画のコンテンツ制作にも活用され、TikTokのAIによるコンテンツ制作の充実を図ります。
AI画像生成
9.0M

Outfit Anyone
Outfit Anyoneは、衣類を実際に試着することなく様々なファッションスタイルを試せる、超高品質のバーチャル試着製品です。2つの流れを持つ条件付き拡散モデルを採用することで、衣類の変形を柔軟に処理し、よりリアルな効果を生み出します。拡張性が高く、ポーズや体型などの要素を調整でき、アニメキャラクターから実写の人物まで幅広い画像に対応可能です。様々なシーンでの優れたパフォーマンスは、その実用性と実用化への準備が整っていることを示しています。
AI画像生成
5.2M