ImagenHubは、あらゆる条件付き画像生成モデルの推論と評価を標準化するワンストップライブラリです。本プロジェクトでは、まず7つの重要なタスクを定義し、高品質な評価データセットを作成しました。次に、公平な比較を保証するための統一的な推論パイプラインを構築しました。第三に、意味的一貫性と知覚品質という2つの人的評価指標を設計し、生成された画像を評価するための包括的なガイドラインを作成しました。提案された指標に基づいてモデルの出力を評価するために、専門家の評価者を訓練しました。この人的評価では、76%のモデルにおいて高い評価者間の一致性が達成されました。約30個のモデルを包括的に評価した結果、3つの重要な発見が得られました。(1)テキスト誘導型画像生成と主題誘導型画像生成を除き、既存モデルのパフォーマンスは一般的に不十分であり、74%のモデルの総合スコアが0.5を下回りました。(2)発表済みの論文の記述を検証したところ、83%の記述が正しいことが分かりました。(3)主題誘導型画像生成を除き、既存の自動評価指標のスピアマンの順位相関係数は0.2を超えるものがありませんでした。今後は、新たに公開されるモデルの評価を継続し、ランキングを更新することで、条件付き画像生成分野の進歩を追跡していきます。