# 多視角

EgoLife是一個面向長期、多模態、多視角日常生活的AI助手項目。該項目通過記錄六名志願者一週的共享生活體驗，生成了約50小時的視頻數據，涵蓋日常活動、社交互動等場景。其多模態數據（包括視頻、視線、IMU數據）和多視角攝像頭系統為AI研究提供了豐富的上下文信息。此外，該項目提出了EgoRAG框架，用於解決長期上下文理解任務，推動了AI在複雜環境中的應用能力。

SynCamMaster是一種先進的視頻生成技術，它能夠從多樣化的視角同步生成多攝像機視頻。這項技術通過預訓練的文本到視頻模型，增強了視頻內容在不同視角下的動態一致性，對於虛擬拍攝等應用場景具有重要意義。該技術的主要優點包括能夠處理開放世界視頻的任意視角生成，整合6自由度攝像機姿態，並設計了一種漸進式訓練方案，利用多攝像機圖像和單目視頻作為補充，顯著提升了模型性能。

AI小說家是一個利用人工智能大模型驅動的小說創作平臺，支持創作者輕鬆完成萬字長篇小說和短篇故事。它提供了嚮導式寫作、多人物多視角的創作方式，並通過AI工具輔助創作，提升創作效率和質量。

Era3D是一個開源的高分辨率多視角擴散模型，它通過高效的行注意力機制來生成高質量的圖像。該模型能夠生成多視角的顏色和法線圖像，支持自定義參數以獲得最佳結果。Era3D在圖像生成領域具有重要性，因為它提供了一種新的方法來生成逼真的三維圖像。

Sketch2NeRF 是一種多視角草圖引導的文本到 3D 生成框架。它通過預訓練的 2D 擴散模型（如 Stable Diffusion 和 ControlNet）來優化由神經輻射場（NeRF）表示的 3D 場景。該方法還提出了一種新穎的同步生成和重建方法，以有效優化 NeRF。通過收集的兩種多視角草圖數據集進行實驗評估，證明了我們的方法能夠在高保真度的文本提示下合成具有精細草圖控制的一致的 3D 內容。廣泛的結果表明，我們的方法在草圖相似性和文本對齊方面實現了最先進的性能。

Ego-Exo4D 是一個多模態多視角視頻數據集和基準挑戰，以捕捉技能人類活動的自我中心和外部中心視頻為中心。它支持日常生活活動的多模態機器感知研究。該數據集由 839 位佩戴攝像頭的志願者在全球 13 個城市收集，捕捉了 1422 小時的技能人類活動視頻。該數據集提供了專家評論、參與者提供的教程樣式的敘述和一句話的原子動作描述等三種自然語言數據集，配對視頻使用。Ego-Exo4D 還捕獲了多視角和多種感知模態，包括多個視角、七個麥克風陣列、兩個 IMUs、一個氣壓計和一個磁強計。數據集記錄時嚴格遵守隱私和倫理政策，參與者的正式同意。欲瞭解更多信息，請訪問官方網站。

Zero123++是一個單圖生成多視角一致性擴散基礎模型。它可以從單個輸入圖像生成多視角圖像，具有穩定的擴散VAE。您可以使用它來生成具有灰色背景的不透明圖像。您還可以使用它來運行深度ControlNet。模型和源代碼均可在官方網站上獲得。