# 圖像合成

DynamicControl是一個用於提升文本到圖像擴散模型控制力的框架。它通過動態組合多樣的控制信號，支持自適應選擇不同數量和類型的條件，以更可靠和詳細地合成圖像。該框架首先使用雙循環控制器，利用預訓練的條件生成模型和判別模型，為所有輸入條件生成初始真實分數排序。然後，通過多模態大型語言模型（MLLM）構建高效條件評估器，優化條件排序。DynamicControl聯合優化MLLM和擴散模型，利用MLLM的推理能力促進多條件文本到圖像任務，最終排序的條件輸入到並行多控制適配器，學習動態視覺條件的特徵圖並整合它們以調節ControlNet，增強對生成圖像的控制。

Synthesys是一個AI內容生成平臺，提供AI視頻、AI語音和AI圖像生成服務。它通過使用先進的人工智能技術，幫助用戶以更低的成本和更簡單的操作生成專業級別的內容。Synthesys的產品背景基於當前市場對於高質量、低成本內容生成的需求，其主要優點包括支持多種語言的超真實語音合成、無需專業設備即可生成高清視頻、以及用戶友好的界面設計。平臺的定價策略包括免費試用和不同級別的付費服務，定位於滿足不同規模企業的內容生成需求。

Sana是一個由NVIDIA開發的文本到圖像生成框架，能夠高效生成高達4096×4096分辨率的圖像。Sana以其快速的速度和強大的文本圖像對齊能力，使得在筆記本電腦GPU上也能部署。它是一個基於線性擴散變換器(text-to-image generative model)的模型，擁有1648M參數，專門用於生成1024px基礎的多尺度高寬圖像。Sana模型的主要優點包括高分辨率圖像生成、快速的合成速度以及強大的文本圖像對齊能力。Sana模型的背景信息顯示，它是基於開源代碼開發的，可以在GitHub上找到源代碼，同時它也遵循特定的許可證（CC BY-NC-SA 4.0 License）。

Sana是一個由NVIDIA開發的文本到圖像的框架，能夠高效生成高達4096×4096分辨率的圖像。該模型以驚人的速度合成高分辨率、高質量的圖像，並保持強大的文本-圖像對齊能力，可部署在筆記本電腦GPU上。Sana模型基於線性擴散變換器，使用預訓練的文本編碼器和空間壓縮的潛在特徵編碼器，支持Emoji、中文和英文以及混合提示。

Sana-1.6B是一個高效的高分辨率圖像合成模型，它基於線性擴散變換器技術，能夠生成高質量的圖像。該模型由NVIDIA實驗室開發，使用DC-AE技術，具有32倍的潛在空間，能夠在多個GPU上運行，提供強大的圖像生成能力。Sana-1.6B以其高效的圖像合成能力和高質量的輸出結果而聞名，是圖像合成領域的重要技術。

Sana是一個文本到圖像的框架，能夠高效生成高達4096×4096分辨率的圖像。它以極快的速度合成高分辨率、高質量的圖像，並保持強大的文本-圖像對齊，可以部署在筆記本電腦GPU上。Sana的核心設計包括深度壓縮自編碼器、線性擴散變換器（DiT）、僅解碼器的小型語言模型作為文本編碼器，以及高效的訓練和採樣策略。Sana-0.6B與現代大型擴散模型相比，體積小20倍，測量吞吐量快100倍以上。此外，Sana-0.6B可以部署在16GB筆記本電腦GPU上，生成1024×1024分辨率圖像的時間少於1秒。Sana使得低成本的內容創作成為可能。

OneDiffusion是一個多功能、大規模的擴散模型，它能夠無縫支持雙向圖像合成和理解，覆蓋多種任務。該模型預計將在12月初發布代碼和檢查點。OneDiffusion的重要性在於其能夠處理圖像合成和理解任務，這在人工智能領域是一個重要的進步，尤其是在圖像生成和識別方面。產品背景信息顯示，這是一個由多位研究人員共同開發的項目，其研究成果已在arXiv上發表。

Any Image Anywhere 是一個基於人工智能的圖像處理工具，它允許用戶通過簡單的提示將輸入圖像放置到不同的上下文中，例如將能量飲料的商標放置在產品照片上。這項技術的重要性在於其能夠快速創建逼真的圖像合成，對於設計師、營銷人員和內容創作者來說，這是一個強大的工具，可以節省大量的時間和資源。產品背景信息顯示，它是由fab1an開發的，並且每天有20次的免費使用限制。

MagicFace是一種無需訓練即可實現個性化人像合成的技術，它能夠根據給定的多個概念生成高保真度的人像圖像。這項技術通過精確地將參考概念特徵在像素級別集成到生成區域中，實現了多概念的個性化定製。MagicFace引入了粗到細的生成流程，包括語義佈局構建和概念特徵注入兩個階段，通過Reference-aware Self-Attention (RSA)和Region-grouped Blend Attention (RBA)機制實現。該技術不僅在人像合成和多概念人像定製方面表現出色，還可用於紋理轉移，增強其多功能性和實用性。

DiPIR是多倫多AI實驗室與NVIDIA Research共同研發的一種基於物理的方法，它通過從單張圖片中恢復場景照明，使得虛擬物體能夠逼真地插入到室內外場景中。該技術不僅能夠優化材質和色調映射，還能自動調整以適應不同的環境，提高圖像的真實感。

UltraPixel是一種先進的超高清圖像合成技術，旨在推動圖像分辨率達到新的高度。這項技術由香港科技大學（廣州）、華為諾亞方舟實驗室、馬克斯·普朗克信息學研究所等機構共同研發。它在圖像合成、文本到圖像的轉換、個性化定製等方面具有顯著優勢，能夠生成高達4096x4096分辨率的圖像，滿足專業圖像處理和視覺藝術的需求。

Jector是一個AI創作工具，專注於為產品攝影提供高質量的背景生成服務。它通過簡化AI設置，提供獨立的生成環境插槽，以及基於節點的圖像生成歷史記錄，使得用戶能夠輕鬆創建和合成產品圖像。Jector的主要優點包括無需複雜設置即可開始使用，提供簡單但高度靈活的生成選項，自動產品合成，以及額外的清除和放大功能。此外，它還提供無限保存和下載功能，讓用戶可以輕鬆地為產品生成自己的心情歷史。

TryOnDiffusion是一種創新的圖像合成技術，它通過兩個UNets（Parallel-UNet）的結合，實現了在單一網絡中同時保持服裝細節和適應顯著的身體姿勢及形狀變化。這項技術在保持服裝細節的同時，能夠適應不同的身體姿勢和形狀，解決了以往方法在細節保持和姿勢適應上的不足，達到了業界領先的性能。

HiDiffusion是一個預訓練擴散模型，通過僅添加一行代碼即可提高擴散模型的分辨率和速度。該模型通過Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技術，動態調整特徵圖大小以解決對象複製問題，並優化窗口注意力以減少計算量。HiDiffusion能夠將圖像生成分辨率擴展到4096×4096，同時保持1.5-6倍於以往方法的推理速度。

Hyper-SD是一個創新的圖像合成框架，它通過軌跡分割一致性模型和低步數推理的優勢，實現了高效的圖像合成。該框架結合了ODE軌跡保留和重構的優勢，同時通過人類反饋學習進一步提升了性能，並通過分數蒸餾技術增強了低步數生成能力。Hyper-SD在1到8步推理步驟中實現了SOTA性能，特別適合需要快速且高質量圖像生成的應用場景。

MagicClothing是一種基於潛在擴散模型（LDM）的新型網絡架構，專門用於服裝驅動的圖像合成任務。它能夠根據文本提示生成穿著特定服裝的定製化角色圖像，同時確保服裝細節的保留和對文本提示的忠實呈現。該系統通過服裝特徵提取器和自注意力融合技術，實現了高度的圖像可控性，並且可以與ControlNet和IP-Adapter等其他技術結合使用，以提升角色的多樣性和可控性。此外，還開發了匹配點LPIPS（MP-LPIPS）評估指標，用於評價生成圖像與原始服裝的一致性。

MDT通過引入掩碼潛在模型方案來顯式增強擴散概率模型（DPMs）在圖像中對象部分之間關係學習的能力。MDT在訓練期間在潛在空間中操作，掩蔽某些標記，然後設計一個不對稱的擴散變換器來從未掩蔽的標記中預測掩蔽的標記，同時保持擴散生成過程。MDTv2進一步通過更有效的宏網絡結構和訓練策略提高了MDT的性能。

TCD是一種用於文本到圖像合成的一致性蒸餾技術，它通過軌跡一致性函數（TCF）和策略性隨機採樣（SSS）來減少合成過程中的錯誤。TCD在低NFE（噪聲自由能量）時顯著提高圖像質量，並在高NFE時保持比教師模型更詳細的結果。TCD不需要額外的判別器或LPIPS監督，即可在低NFE和高NFE時均保持優越的生成質量。

Controlling Text-to-Image Diffusion研究瞭如何有效引導或控制強大的文本到圖像生成模型進行各種下游任務。提出了正交微調(OFT)方法,可以保持模型的生成能力。OFT可以保持神經元之間的超球面能量不變,防止模型坍塌。作者考慮了兩種重要的微調任務:主體驅動生成和可控生成。結果表明,OFT方法在生成質量和收斂速度上優於現有方法。

InstantID是一種基於強大擴散模型的解決方案，能夠在各種風格下使用單張面部圖像進行圖像個性化處理，同時確保高保真度。我們設計了一個新穎的IdentityNet，通過施加強大的語義和弱空間條件，將面部和地標圖像與文本提示集成，引導圖像生成。InstantID在實際應用中表現出色，並且能夠與流行的預訓練文本到圖像擴散模型（如SD1.5和SDXL）無縫集成，作為一個可適配的插件。我們的代碼和預訓練檢查點將在此URL上提供。

Score Distillation Sampling（SDS）是一種新近但已經廣泛流行的方法，依賴於圖像擴散模型來控制使用文本提示的優化問題。該論文對SDS損失函數進行了深入分析，確定了其制定中的固有問題，並提出了一個出人意料但有效的修復方法。具體而言，我們將損失分解為不同因素，並分離出產生噪聲梯度的組件。在原始制定中，使用高文本指導來賬戶噪聲，導致了不良副作用。相反，我們訓練了一個淺層網絡，模擬圖像擴散模型的時間步相關去噪不足，以有效地將其分解出來。我們通過多個定性和定量實驗（包括基於優化的圖像合成和編輯、零樣本圖像轉換網絡訓練、以及文本到3D合成）展示了我們新穎損失制定的多功能性和有效性。

ReconFusion是一種3D重建方法，利用擴散先驗在只有少量照片的情況下重建真實世界場景。它結合Neural Radiance Fields（NeRFs）和擴散先驗，能夠在新的攝像機位置超出輸入圖像集合的情況下，合成逼真的幾何和紋理。該方法通過在少量視圖和多視圖數據集上訓練擴散先驗，能夠在不受約束的區域合成逼真的幾何和紋理，同時保留觀察區域的外觀。ReconFusion在各種真實世界數據集上進行了廣泛評估，包括前向和360度場景，展示出明顯的性能改進。

SDXL Turbo是一款基於Adversarial Diffusion Distillation（ADD）技術的文本生成圖像模型，能夠快速生成高質量的圖像。它是SDXL 1.0的改進版本，只需一次網絡評估即可合成高質量逼真的圖像。

GAIA旨在從語音和單個肖像圖像合成自然的對話視頻。我們引入了GAIA（Avatar的生成AI），它消除了對話頭像生成中的領域先驗。GAIA分為兩個階段：1）將每幀分解為運動和外觀表示；2）在語音和參考肖像圖像的條件下生成運動序列。我們收集了大規模高質量的對話頭像數據集，並在不同規模上對模型進行了訓練。實驗結果驗證了GAIA的優越性、可擴展性和靈活性。方法包括變分自動編碼器（VAE）和擴散模型。擴散模型被優化為在語音序列和視頻片段中的隨機幀的條件下生成運動序列。GAIA可用於不同的應用，如可控對話頭像生成和文本指導的頭像生成。

luosiallen/latent-consistency-model 是一個用於合成高分辨率圖像的模型。它使用少量的推理步驟來生成具有良好一致性的圖像。該模型支持自定義的輸入提示和參數調整，可生成逼真的藝術品、人像等圖像。

Deep floyd是一個開源的文本到圖像模型，具有高度的寫實性和語言理解能力。它由一個凍結的文本編碼器和三個級聯的像素擴散模塊組成：一個基礎模型用於根據文本提示生成 64x64 像素的圖像，以及兩個超分辨率模型，分別用於生成分辨率逐漸增加的圖像：256x256 像素和 1024x1024 像素。模型的所有階段都利用基於 T5 transformer 的凍結文本編碼器來提取文本嵌入，然後將其輸入到一個增強了交叉注意力和注意力池化的 UNet 架構中。這個高效的模型在性能上超過了當前的最先進模型，在 COCO 數據集上實現了零樣本 FID 得分為 6.66。我們的工作強調了級聯擴散模型的第一階段中更大的 UNet 架構的潛力，並展示了文本到圖像合成的一個有前途的未來。

Gen-2是一款多模態人工智能系統，可以根據文字、圖片或視頻剪輯生成新穎的視頻。它可以通過將圖像或文字提示的構圖和風格應用於源視頻的結構（Video to Video），或者僅使用文字（Text to Video）來實現。就像拍攝了全新的內容，而實際上並沒有拍攝任何東西。Gen-2提供了多種模式，可以將任何圖像、視頻剪輯或文字提示轉化為引人注目的影片作品。