# 自監督學習

SHMT是一種自監督的層次化化妝遷移技術，通過潛在擴散模型實現。該技術能夠在不需要顯式標註的情況下，將一種面部妝容自然地遷移到另一種面部上。其主要優點在於能夠處理複雜的面部特徵和表情變化，提供高質量的遷移效果。該技術在NeurIPS 2024上被接受，展示了其在圖像處理領域的創新性和實用性。

1.58-bit FLUX是一種先進的文本到圖像生成模型，通過使用1.58位權重（即{-1, 0, +1}中的值）來量化FLUX.1-dev模型，同時保持生成1024x1024圖像的可比性能。該方法無需訪問圖像數據，完全依賴於FLUX.1-dev模型的自監督。此外，開發了一種定製的內核，優化了1.58位操作，實現了模型存儲減少7.7倍，推理內存減少5.1倍，並改善了推理延遲。在GenEval和T2I Compbench基準測試中的廣泛評估表明，1.58-bit FLUX在保持生成質量的同時顯著提高了計算效率。

Sparsh是一系列通過自監督算法（如MAE、DINO和JEPA）訓練的通用觸覺表示。它能夠為DIGIT、Gelsight'17和Gelsight Mini生成有用的表示，並在TacBench提出的下游任務中大幅度超越端到端模型，同時能夠為新下游任務的數據高效訓練提供支持。Sparsh項目包含PyTorch實現、預訓練模型和與Sparsh一起發佈的數據集。

Video-Foley是一個創新的視頻到聲音生成系統，它通過使用均方根(RMS)作為時間事件條件，結合語義音色提示（音頻或文本），實現高控制性和同步性的視頻聲音合成。該系統採用無需標註的自監督學習框架，包括Video2RMS和RMS2Sound兩個階段，結合了RMS離散化和RMS-ControlNet等新穎概念，與預訓練的文本到音頻模型相結合。Video-Foley在聲音時間、強度、音色和細節的音視頻對齊和控制性方面達到了最先進的性能。

HOI-Swap是一個基於擴散模型的視頻編輯框架，專注於處理視頻編輯中手與物體交互的複雜性。該模型通過自監督訓練，能夠在單幀中實現物體交換，並學習根據物體屬性變化調整手的交互模式，如手的抓握方式。第二階段將單幀編輯擴展到整個視頻序列，通過運動對齊和視頻生成，實現高質量的視頻編輯。

MimicBrush是一種創新的圖像編輯模型，它允許用戶通過指定源圖像中的編輯區域和提供一張野外參考圖像來實現零樣本圖像編輯。該模型能夠自動捕捉兩者之間的語義對應關係，並一次性完成編輯。MimicBrush的開發基於擴散先驗，通過自監督學習捕捉不同圖像間的語義關係，實驗證明其在多種測試案例下的有效性及優越性。

DenseAV是一種新穎的雙編碼器定位架構，通過觀看視頻學習高分辨率、語義有意義的視聽對齊特徵。它能夠無需明確定位監督即可發現單詞的“意義”和聲音的“位置”，並且自動發現並區分這兩種關聯類型。DenseAV的定位能力來自於一種新的多頭特徵聚合操作符，它直接比較密集的圖像和音頻表示進行對比學習。此外，DenseAV在語義分割任務上顯著超越了先前的藝術水平，並且在使用參數少於一半的情況下，在跨模態檢索上超越了ImageBind。

AniTalker是一個創新的框架，它能夠從單一的肖像生成逼真的對話面部動畫。它通過兩個自監督學習策略增強了動作表現力，同時通過度量學習開發了一個身份編碼器，有效減少了對標記數據的需求。AniTalker不僅能夠創建詳細且逼真的面部動作，還強調了其在現實世界應用中製作動態頭像的潛力。

AV-HuBERT是一個自監督表示學習框架，專門用於音視覺語音處理。它在LRS3音視覺語音基準測試中實現了最先進的唇讀、自動語音識別（ASR）和音視覺語音識別結果。該框架通過掩蔽多模態聚類預測來學習音視覺語音表示，並且提供了魯棒的自監督音視覺語音識別。

Miqu 1-70b是一個開源大規模語言模型,採用了新穎的自我監督學習方法,可以處理各種自然語言任務。該模型參數量達170億,支持多種prompt格式,可fine-tuning生成高質量的文本。其強大的理解和生成能力,使其可廣泛應用於聊天機器人、文本摘要、問答系統等領域。

這篇論文系統評估了大型語言模型（LLMs）生成和識別逐漸複雜的視覺概念的能力，並展示瞭如何使用文本模型訓練初步的視覺表示學習系統。雖然語言模型不能直接處理像素級的視覺信息，但使用代碼表示圖像進行研究。LLM 生成的圖像雖然不像自然圖像，但在圖像生成和糾正方面的結果表明，準確建模字符串可以教會語言模型許多關於視覺世界的方面。此外，利用文本模型生成的圖像進行自監督視覺表示學習的實驗，突出了只使用 LLMs 就能訓練能夠對自然圖像進行語義評估的視覺模型的潛力。