# 無需訓練

Story-Adapter是一個無需訓練的迭代框架，專為長篇故事可視化設計。它通過迭代範式和全局參考交叉注意力模塊，優化圖像生成過程，保持故事中語義的連貫性，同時減少計算成本。該技術的重要性在於它能夠在長篇故事中生成高質量、細節豐富的圖像，解決了傳統文本到圖像模型在長故事可視化中的挑戰，如語義一致性和計算可行性。

DiTCtrl是一種基於多模態擴散變換器（MM-DiT）架構的視頻生成模型，它專注於無需額外訓練即可生成具有多個連續提示的連貫場景視頻。該模型通過分析MM-DiT的注意力機制，實現了在不同提示間精確的語義控制和注意力共享，從而生成具有平滑過渡和一致對象運動的視頻。DiTCtrl的主要優點包括無需訓練、能夠處理多提示視頻生成任務，並能展示電影風格的過渡效果。此外，DiTCtrl還提供了一個新基準MPVBench，專門用於評估多提示視頻生成的性能。

Enhance-A-Video 是一個致力於提高視頻生成質量的項目，它通過調整視頻模型中的時序注意力參數來增強視頻幀間的一致性和視覺質量。該項目由新加坡國立大學、上海人工智能實驗室和德克薩斯大學奧斯汀分校的研究人員共同開發。Enhance-A-Video 的主要優點在於它能夠以零成本提升現有視頻模型的性能，無需重新訓練。它通過引入溫度參數來控制幀間相關性，增強視頻的時序注意力輸出，從而提升視頻質量。

FasterCache是一種創新的無需訓練的策略，旨在加速視頻擴散模型的推理過程，並生成高質量的視頻內容。這一技術的重要性在於它能夠顯著提高視頻生成的效率，同時保持或提升內容的質量，這對於需要快速生成視頻內容的行業來說是非常有價值的。FasterCache由來自香港大學、南洋理工大學和上海人工智能實驗室的研究人員共同開發，項目頁面提供了更多的視覺結果和詳細信息。產品目前免費提供，主要面向視頻內容生成、AI研究和開發等領域。

MagicFace是一種無需訓練即可實現個性化人像合成的技術，它能夠根據給定的多個概念生成高保真度的人像圖像。這項技術通過精確地將參考概念特徵在像素級別集成到生成區域中，實現了多概念的個性化定製。MagicFace引入了粗到細的生成流程，包括語義佈局構建和概念特徵注入兩個階段，通過Reference-aware Self-Attention (RSA)和Region-grouped Blend Attention (RBA)機制實現。該技術不僅在人像合成和多概念人像定製方面表現出色，還可用於紋理轉移，增強其多功能性和實用性。

AsyncDiff 是一種用於並行化擴散模型的異步去噪加速方案，它通過將噪聲預測模型分割成多個組件並分配到不同的設備上，實現了模型的並行處理。這種方法顯著減少了推理延遲，同時對生成質量的影響很小。AsyncDiff 支持多種擴散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。

SketchDeco是一個創新的在線工具，它能夠將黑白草圖、遮罩和色彩調色板轉化為逼真的彩色圖像，無需用戶定義文本提示。這項技術結合了ControlNet和分階段生成的方法，使用Stable Diffusion v1.5和BLIP-2文本提示，提供了忠實的圖像生成和用戶導向的色彩化。它不僅快速、無需訓練，而且與消費級Nvidia RTX 4090 Super GPU兼容，為創意專業人士和愛好者提供了寶貴的資源。

RB-Modulation是谷歌發佈的一種基於隨機最優控制的新型訓練免費個性化擴散模型解決方案。它通過終端成本編碼所需屬性，實現風格和內容的精確提取與控制，無需額外訓練，即可生成與參考圖像風格一致且遵循給定文本提示的圖像。該技術在無需訓練的情況下，通過新穎的注意力特徵聚合(AFA)模塊，保持對參考圖像的高保真度，並遵循給定的提示，具有重要的研究和應用價值。

FIFO-Diffusion是一種基於預訓練擴散模型的新穎推理技術，用於文本條件視頻生成。它能夠無需訓練生成無限長的視頻，通過迭代執行對角去噪，同時處理隊列中一系列連續幀的逐漸增加的噪聲水平；該方法在頭部出隊一個完全去噪的幀，同時在尾部入隊一個新的隨機噪聲幀。此外，引入了潛在分割來減少訓練推理差距，並通過前瞻去噪來利用前向引用的好處。

FouriScale從頻域分析的角度探討從預先訓練的擴散模型生成高分辨率圖像，通過創新的、無需訓練的方法，通過將預先訓練的擴散模型中的原始卷積層替換為結合膨脹技術和低通操作的方法，通過填充然後裁剪策略進一步增強，實現了靈活處理各種寬高比文本到圖像生成。使用FouriScale作為指導，該方法成功平衡了生成圖像的結構完整性和保真度，實現了任意尺寸、高分辨率和高質量生成的驚人能力。通過其簡單性和兼容性，該方法可以為未來對超高分辨率圖像合成的探索提供有價值的見解。

AnyV2V是一個創新的視頻到視頻編輯框架，允許用戶使用任何現成的圖像編輯工具編輯視頻的第一幀，然後使用現有的圖像到視頻生成模型進行圖像到視頻的重建。這種方法使得各種編輯任務變得簡單，包括基於提示的編輯、樣式轉換、主題驅動的編輯和身份操縱。

SegMoE 是一個強大的框架，能夠在幾分鐘內將穩定擴散模型動態組合成專家混合體，無需訓練。該框架支持即時創建更大的模型，提供更多知識、更好的粘附性和更好的圖像質量。它受到 mergekit 的 mixtral 分支的啟發，但專為 Stable Diffusion 模型設計。安裝簡單，使用方便，適用於圖像生成和合成任務。