# 自监督学习

SHMT是一种自监督的层次化化妆迁移技术，通过潜在扩散模型实现。该技术能够在不需要显式标注的情况下，将一种面部妆容自然地迁移到另一种面部上。其主要优点在于能够处理复杂的面部特征和表情变化，提供高质量的迁移效果。该技术在NeurIPS 2024上被接受，展示了其在图像处理领域的创新性和实用性。

1.58-bit FLUX是一种先进的文本到图像生成模型，通过使用1.58位权重（即{-1, 0, +1}中的值）来量化FLUX.1-dev模型，同时保持生成1024x1024图像的可比性能。该方法无需访问图像数据，完全依赖于FLUX.1-dev模型的自监督。此外，开发了一种定制的内核，优化了1.58位操作，实现了模型存储减少7.7倍，推理内存减少5.1倍，并改善了推理延迟。在GenEval和T2I Compbench基准测试中的广泛评估表明，1.58-bit FLUX在保持生成质量的同时显著提高了计算效率。

Sparsh是一系列通过自监督算法（如MAE、DINO和JEPA）训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示，并在TacBench提出的下游任务中大幅度超越端到端模型，同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。

Video-Foley是一个创新的视频到声音生成系统，它通过使用均方根(RMS)作为时间事件条件，结合语义音色提示（音频或文本），实现高控制性和同步性的视频声音合成。该系统采用无需标注的自监督学习框架，包括Video2RMS和RMS2Sound两个阶段，结合了RMS离散化和RMS-ControlNet等新颖概念，与预训练的文本到音频模型相结合。Video-Foley在声音时间、强度、音色和细节的音视频对齐和控制性方面达到了最先进的性能。

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

MimicBrush是一种创新的图像编辑模型，它允许用户通过指定源图像中的编辑区域和提供一张野外参考图像来实现零样本图像编辑。该模型能够自动捕捉两者之间的语义对应关系，并一次性完成编辑。MimicBrush的开发基于扩散先验，通过自监督学习捕捉不同图像间的语义关系，实验证明其在多种测试案例下的有效性及优越性。

DenseAV是一种新颖的双编码器定位架构，通过观看视频学习高分辨率、语义有意义的视听对齐特征。它能够无需明确定位监督即可发现单词的“意义”和声音的“位置”，并且自动发现并区分这两种关联类型。DenseAV的定位能力来自于一种新的多头特征聚合操作符，它直接比较密集的图像和音频表示进行对比学习。此外，DenseAV在语义分割任务上显著超越了先前的艺术水平，并且在使用参数少于一半的情况下，在跨模态检索上超越了ImageBind。

AniTalker是一个创新的框架，它能够从单一的肖像生成逼真的对话面部动画。它通过两个自监督学习策略增强了动作表现力，同时通过度量学习开发了一个身份编码器，有效减少了对标记数据的需求。AniTalker不仅能够创建详细且逼真的面部动作，还强调了其在现实世界应用中制作动态头像的潜力。

AV-HuBERT是一个自监督表示学习框架，专门用于音视觉语音处理。它在LRS3音视觉语音基准测试中实现了最先进的唇读、自动语音识别（ASR）和音视觉语音识别结果。该框架通过掩蔽多模态聚类预测来学习音视觉语音表示，并且提供了鲁棒的自监督音视觉语音识别。

Miqu 1-70b是一个开源大规模语言模型,采用了新颖的自我监督学习方法,可以处理各种自然语言任务。该模型参数量达170亿,支持多种prompt格式,可fine-tuning生成高质量的文本。其强大的理解和生成能力,使其可广泛应用于聊天机器人、文本摘要、问答系统等领域。

这篇论文系统评估了大型语言模型（LLMs）生成和识别逐渐复杂的视觉概念的能力，并展示了如何使用文本模型训练初步的视觉表示学习系统。虽然语言模型不能直接处理像素级的视觉信息，但使用代码表示图像进行研究。LLM 生成的图像虽然不像自然图像，但在图像生成和纠正方面的结果表明，准确建模字符串可以教会语言模型许多关于视觉世界的方面。此外，利用文本模型生成的图像进行自监督视觉表示学习的实验，突出了只使用 LLMs 就能训练能够对自然图像进行语义评估的视觉模型的潜力。