Goldfish 是一種為理解任意長度視頻而設計的方法論。它通過高效的檢索機制，首先收集與指令相關的前k個視頻片段，然後提供所需的響應。這種設計使得Goldfish能夠有效處理任意長的視頻序列，適用於電影或電視劇等場景。為了促進檢索過程，開發了MiniGPT4-Video，該模型為視頻片段生成詳細的描述。Goldfish在長視頻基準測試中取得了41.78%的準確率，超過了之前的方法14.94%。此外，MiniGPT4-Video在短視頻理解中也表現出色，分別在MSVD、MSRVTT、TGIF和TVQA短視頻基準測試中超過了現有最佳方法3.23%、2.03%、16.5%和23.59%。這些結果表明，Goldfish模型在長視頻和短視頻理解方面都有顯著改進。