# 評估指標

RAG-FiT是一個強大的工具，旨在通過檢索增強生成（RAG）技術提升大型語言模型（LLMs）的能力。它通過創建專門的RAG增強數據集，幫助模型更好地利用外部信息。該庫支持從數據準備到模型訓練、推理和評估的全流程操作。其主要優點包括模塊化設計、可定製化工作流以及對多種RAG配置的支持。RAG-FiT基於開源許可，適合研究人員和開發者進行快速原型開發和實驗。

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一種新的評估指標VQAScore,能夠更好地評估複雜的文本到視覺生成效果,並引入了GenAI-Bench基準測試集。VQAScore基於CLIP-FlanT5模型,能夠在文本到圖像/視頻/3D生成評估中取得最佳性能,是一種強大的替代CLIPScore的方案。GenAI-Bench則提供了包含豐富組合語義的實際場景測試文本,可用於全面評估生成模型的性能。

MMStar是一個旨在評估大型視覺語言模型多模態能力的基準測試集。它包含1500個精心挑選的視覺語言樣本,涵蓋6個核心能力和18個細分維度。每個樣本都經過了人工審查,確保具有視覺依賴性,最小化數據洩露,並需要高級多模態能力來解決。除了傳統的準確性指標外,MMStar還提出了兩個新的指標來衡量數據洩露和多模態訓練的實際性能增益。研究人員可以使用MMStar評估視覺語言模型在多個任務上的多模態能力,並藉助新的指標發現模型中存在的潛在問題。

該論文提出了對圖像生成模型進行評估的新指，提出了 Frechet Inception Distance (FID) 指標存在的問題，並提出了一種新的評估指標 CMMD。通過大量實驗證明，FID 指標對文本到圖像模型的評估可能不可靠，而 CMMD 指標可以更可靠地評估圖像質量。