# 評価指標

RAG-FiTは、検索拡張生成（RAG）技術によって大規模言語モデル（LLM）の能力を向上させるための強力なツールです。専用のRAG強化データセットを作成することで、モデルが外部情報をより効果的に活用できるようになります。このライブラリは、データ準備からモデルのトレーニング、推論、評価までの全プロセスをサポートします。主な利点としては、モジュール化された設計、カスタマイズ可能なワークフロー、そして様々なRAG構成への対応が挙げられます。RAG-FiTはオープンソースライセンスに基づいており、研究者や開発者が迅速なプロトタイプ開発や実験を行うのに適しています。

Evaluating Text-to-Visual Generation with Image-to-Text Generationは、複雑なテキストからビジュアルへの生成効果をより適切に評価できる新しい評価指標VQAScoreを提案し、GenAI-Benchベンチマークテストセットを導入しました。VQAScoreはCLIP-FlanT5モデルに基づいており、テキストから画像?動画?3Dへの生成評価において最良の性能を達成し、CLIPScoreに代わる強力なソリューションです。GenAI-Benchは、多様な意味の組み合わせを含む現実的なシナリオのテストテキストを提供し、生成モデルの性能を包括的に評価するために使用できます。

MMStarは、大規模視覚言語モデルのマルチモーダル能力を評価することを目的としたベンチマークセットです。厳選された1500個の視覚言語サンプルを含み、6つのコア能力と18の細分化された次元を網羅しています。各サンプルは、人間のレビューを経て、視覚的依存性を確保し、データ漏洩を最小限に抑え、高度なマルチモーダル能力を必要とする問題に焦点を当てています。従来の精度指標に加えて、MMStarはデータ漏洩とマルチモーダル訓練による実際のパフォーマンス向上を測定するための2つの新しい指標を提案しています。研究者はMMStarを使用して、複数のタスクにおける視覚言語モデルのマルチモーダル能力を評価し、新しい指標を活用してモデルに潜む潜在的な問題を発見することができます。

本論文は、画像生成モデルを評価するための新たな指標を提案しています。Frechet Inception Distance（FID）指標の課題を指摘し、新たな評価指標としてCMMDを提案しています。数多くの実験を通して、FID指標はテキストから画像へのモデル評価において信頼性に欠ける可能性がある一方、CMMD指標は画像品質をより信頼できる方法で評価できることを示しています。