# 開放世界

GameGen-X是專為生成和交互控制開放世界遊戲視頻而設計的擴散變換模型。該模型通過模擬遊戲引擎的多種特性，如創新角色、動態環境、複雜動作和多樣事件，實現了高質量、開放領域的視頻生成。此外，它還提供了交互控制能力，能夠根據當前視頻片段預測和改變未來內容，從而實現遊戲玩法模擬。為了實現這一願景，我們首先從零開始收集並構建了一個開放世界視頻遊戲數據集（OGameData），這是第一個也是最大的開放世界遊戲視頻生成和控制數據集，包含超過150款遊戲的100多萬個多樣化遊戲視頻片段，這些片段都配有GPT-4o的信息性字幕。GameGen-X經歷了兩階段的訓練過程，包括基礎模型預訓練和指令調優。首先，模型通過文本到視頻生成和視頻續集進行預訓練，賦予了其長序列、高質量開放領域遊戲視頻生成的能力。進一步，為了實現交互控制能力，我們設計了InstructNet來整合與遊戲相關的多模態控制信號專家。這使得模型能夠根據用戶輸入調整潛在表示，首次在視頻生成中統一角色交互和場景內容控制。在指令調優期間，只有InstructNet被更新，而預訓練的基礎模型被凍結，使得交互控制能力的整合不會損失生成視頻內容的多樣性和質量。GameGen-X代表了使用生成模型進行開放世界視頻遊戲設計的一次重大飛躍。它展示了生成模型作為傳統渲染技術的輔助工具的潛力，有效地將創造性生成與交互能力結合起來。

GameGen-O 是首個為生成開放世界視頻遊戲而定製的擴散變換模型。該模型通過模擬遊戲引擎的多種特性，如創新角色、動態環境、複雜動作和多樣化事件，實現了高質量、開放領域的生成。此外，它還提供了交互式可控性，允許遊戲玩法模擬。GameGen-O 的開發涉及從零開始的全面數據收集和處理工作，包括構建首個開放世界視頻遊戲數據集（OGameData），通過專有的數據管道進行高效的排序、評分、過濾和解耦標題。這個強大且廣泛的 OGameData 構成了模型訓練過程的基礎。

Grounding DINO 1.5是由IDEA Research開發，旨在推進開放世界目標檢測技術邊界的高級模型系列。該系列包含兩個模型：Grounding DINO 1.5 Pro和Grounding DINO 1.5 Edge，分別針對廣泛的應用場景和邊緣計算場景進行了優化。

LARP是一個語言智能代理框架,用於開放世界遊戲中的角色扮演。它包含認知架構、環境交互和角色塑造模塊,可以創造獨特背景和個性的遊戲角色,增強用戶與智能體的交互體驗。LARP通過精煉交互和連貫的長期記憶,幫助語言模型適應開放世界的複雜性,實現靈活的問題解決。