# 唇部同步

LatentSync 是由字节跳动开发的一款基于音频条件的潜在扩散模型的唇部同步框架。它能够直接利用 Stable Diffusion 的强大能力，无需任何中间运动表示，即可建模复杂的音视频关联。该框架通过提出的时间表示对齐（TREPA）技术，有效提升了生成视频帧的时间一致性，同时保持了唇部同步的准确性。该技术在视频制作、虚拟主播、动画制作等领域具有重要应用价值，能够显著提高制作效率，降低人工成本，为用户带来更加逼真、自然的视听体验。LatentSync 的开源特性也使其能够被广泛应用于学术研究和工业实践，推动相关技术的发展和创新。

EmoTalk3D是一个专注于3D虚拟人头合成的研究项目，它通过收集多视角视频、情感注释和每帧3D几何数据来解决传统3D人头合成中存在的视角一致性和情感表达不足的问题。该项目提出了一种新颖的方法，通过训练EmoTalk3D数据集，实现了情感可控的3D人头合成，具有增强的唇部同步和渲染质量。EmoTalk3D模型能够生成具有广泛视角和高渲染质量的3D动画，同时捕捉到动态面部细节，如皱纹和微妙表情。