

Understanding Video Transformers
简介 :
这篇论文研究了视频Transformer表示的概念解释问题。具体而言,我们试图解释基于高级时空概念的视频Transformer的决策过程,这些概念是自动发现的。以往关于基于概念的可解释性的研究仅集中在图像级任务上。相比之下,视频模型处理了额外的时间维度,增加了复杂性,并在识别随时间变化的动态概念方面提出了挑战。在这项工作中,我们通过引入第一个视频Transformer概念发现(VTCD)算法系统地解决了这些挑战。为此,我们提出了一种有效的无监督视频Transformer表示单元(概念)识别方法,并对它们在模型输出中的重要性进行排名。所得的概念具有很高的可解释性,揭示了非结构化视频模型中的时空推理机制和以对象为中心的表示。通过在多样的监督和自监督表示上联合进行这种分析,我们发现其中一些机制在视频Transformer中是普遍的。最后,我们证明VTCD可以用于改善精细任务的模型性能。
需求人群 :
用于解释视频Transformer的决策过程,并改善模型性能
使用场景
解释视频Transformer决策过程
改善视频模型的性能
发现视频Transformer中的普遍机制
产品特色
无监督视频Transformer概念发现
排名视频Transformer概念的重要性
揭示视频Transformer中的时空推理机制和对象表示
精选AI产品推荐

Motionshop
Motionshop是一个 AI 角色动画的网站,它能够根据上传的视频自动检测视频中的人物,并替换成 3D 卡通角色模型,生成有趣的 AI 视频。该产品提供简单易用的界面和强大的 AI 算法,让用户能够轻松将自己的视频内容转化为生动有趣的动画作品。
AI视频编辑
6.4M

Video Subtitle Remover (VSR)
Video-subtitle-remover (VSR) 是一款基于AI技术,将视频中的硬字幕去除的软件。主要功能包括无损分辨率去除视频中的硬字幕,通过AI算法模型对去除字幕的区域进行填充,支持自定义字幕位置去除,以及批量去除图片水印文本。优势在于无需第三方API,本地实现,操作简便,效果显著。
AI视频编辑
839.0K