GameGen-X是專為生成和交互控制開放世界遊戲視頻而設計的擴散變換模型。該模型通過模擬遊戲引擎的多種特性，如創新角色、動態環境、複雜動作和多樣事件，實現了高質量、開放領域的視頻生成。此外，它還提供了交互控制能力，能夠根據當前視頻片段預測和改變未來內容，從而實現遊戲玩法模擬。為了實現這一願景，我們首先從零開始收集並構建了一個開放世界視頻遊戲數據集（OGameData），這是第一個也是最大的開放世界遊戲視頻生成和控制數據集，包含超過150款遊戲的100多萬個多樣化遊戲視頻片段，這些片段都配有GPT-4o的信息性字幕。GameGen-X經歷了兩階段的訓練過程，包括基礎模型預訓練和指令調優。首先，模型通過文本到視頻生成和視頻續集進行預訓練，賦予了其長序列、高質量開放領域遊戲視頻生成的能力。進一步，為了實現交互控制能力，我們設計了InstructNet來整合與遊戲相關的多模態控制信號專家。這使得模型能夠根據用戶輸入調整潛在表示，首次在視頻生成中統一角色交互和場景內容控制。在指令調優期間，只有InstructNet被更新，而預訓練的基礎模型被凍結，使得交互控制能力的整合不會損失生成視頻內容的多樣性和質量。GameGen-X代表了使用生成模型進行開放世界視頻遊戲設計的一次重大飛躍。它展示了生成模型作為傳統渲染技術的輔助工具的潛力，有效地將創造性生成與交互能力結合起來。