# 文本驅動

DreamWaltz-G是一個創新的框架，用於從文本驅動生成3D頭像和表達性的全身動畫。它的核心是骨架引導的評分蒸餾和混合3D高斯頭像表示。該框架通過整合3D人類模板的骨架控制到2D擴散模型中，提高了視角和人體姿勢的一致性，從而生成高質量的頭像，解決了多重面孔、額外肢體和模糊等問題。此外，混合3D高斯頭像表示通過結合神經隱式場和參數化3D網格，實現了即時渲染、穩定的SDS優化和富有表現力的動畫。DreamWaltz-G在生成和動畫3D頭像方面非常有效，無論是視覺質量還是動畫表現力都超越了現有方法。此外，該框架還支持多種應用，包括人類視頻重演和多主題場景組合。

Mermaid Whiteboard是一個基於文本的製圖工具，由獲獎的開源項目Mermaid JS背後的團隊開發。它允許用戶通過文本創建各種圖表，包括流程圖、序列圖、甘特圖等。Mermaid Chart通過簡化文檔流程、提高工作流程和團隊間的溝通效率，為系統設計和新團隊成員的培訓帶來了革命性的變化。

TurboEdit是一種基於Adobe Research開發的技術，旨在解決精確圖像反轉和解耦圖像編輯的挑戰。它通過迭代反轉技術和基於文本提示的條件控制，實現了在幾步內對圖像進行精準編輯的能力。這項技術不僅快速，而且性能超越了現有的多步擴散模型編輯技術。

HoloDreamer是一個文本驅動的3D場景生成框架，能夠生成沉浸式且視角一致的全封閉3D場景。它由兩個基本模塊組成：風格化等矩形全景生成和增強兩階段全景重建。該框架首先生成高清晰度的全景圖作為完整3D場景的整體初始化，然後利用3D高斯散射（3D-GS）技術快速重建3D場景，從而實現視角一致和完全封閉的3D場景生成。HoloDreamer的主要優點包括高視覺一致性、和諧性以及重建質量和渲染的魯棒性。

MoMask 是一個用於基於文本驅動的 3D 人體運動生成的模型。它採用了分層量化方案，以高保真度的細節將人體運動表示為多層離散運動令牌。MoMask 通過兩個不同的雙向 Transformer 網絡進行生成，以從文本輸入預測運動令牌。該模型在文本到運動生成任務上優於現有方法，並可以無縫應用於相關任務，如文本引導的時間修復。

Story-to-Motion是一個全新的任務，它接受一個故事（頂部綠色區域）並生成與文本描述相符的動作和軌跡。該系統利用現代大型語言模型作為文本驅動的運動調度器，從長文本中提取一系列（文本、位置）對。它還開發了一個文本驅動的運動檢索方案，結合了經典運動匹配和運動語義以及軌跡約束。此外，它設計了一個漸進式掩蔽變換器，以解決過渡動作中常見的問題，如不自然的姿勢和滑步。該系統在軌跡跟隨、時間動作組合和動作混合等三個不同子任務的評估中表現優異，勝過以往的動作合成方法。