

Understanding Video Transformers
簡介 :
這篇論文研究了視頻Transformer表示的概念解釋問題。具體而言,我們試圖解釋基於高級時空概念的視頻Transformer的決策過程,這些概念是自動發現的。以往關於基於概念的可解釋性的研究僅集中在圖像級任務上。相比之下,視頻模型處理了額外的時間維度,增加了複雜性,並在識別隨時間變化的動態概念方面提出了挑戰。在這項工作中,我們通過引入第一個視頻Transformer概念發現(VTCD)算法系統地解決了這些挑戰。為此,我們提出了一種有效的無監督視頻Transformer表示單元(概念)識別方法,並對它們在模型輸出中的重要性進行排名。所得的概念具有很高的可解釋性,揭示了非結構化視頻模型中的時空推理機制和以對象為中心的表示。通過在多樣的監督和自監督表示上聯合進行這種分析,我們發現其中一些機制在視頻Transformer中是普遍的。最後,我們證明VTCD可以用於改善精細任務的模型性能。
需求人群 :
用於解釋視頻Transformer的決策過程,並改善模型性能
使用場景
解釋視頻Transformer決策過程
改善視頻模型的性能
發現視頻Transformer中的普遍機制
產品特色
無監督視頻Transformer概念發現
排名視頻Transformer概念的重要性
揭示視頻Transformer中的時空推理機制和對象表示
精選AI產品推薦

Motionshop
Motionshop是一個 AI 角色動畫的網站,它能夠根據上傳的視頻自動檢測視頻中的人物,並替換成 3D 卡通角色模型,生成有趣的 AI 視頻。該產品提供簡單易用的界面和強大的 AI 算法,讓用戶能夠輕鬆將自己的視頻內容轉化為生動有趣的動畫作品。
AI視頻編輯
6.4M

Video Subtitle Remover (VSR)
Video-subtitle-remover (VSR) 是一款基於AI技術,將視頻中的硬字幕去除的軟件。主要功能包括無損分辨率去除視頻中的硬字幕,通過AI算法模型對去除字幕的區域進行填充,支持自定義字幕位置去除,以及批量去除圖片水印文本。優勢在於無需第三方API,本地實現,操作簡便,效果顯著。
AI視頻編輯
836.8K