ImagenHub是一個一站式庫,用於標準化所有條件圖像生成模型的推理和評估。該項目首先定義了七個突出的任務並創建了高質量的評估數據集。其次,我們構建了一個統一的推理管道來確保公平比較。第三,我們設計了兩個人工評估指標,即語義一致性和感知質量,並制定了全面的指南來評估生成的圖像。我們訓練專家評審員根據提出的指標來評估模型輸出。該人工評估在76%的模型上實現了高的評估者間一致性。我們全面地評估了約30個模型,並觀察到三個關鍵發現:(1)現有模型的性能普遍不令人滿意,除了文本引導的圖像生成和主題驅動的圖像生成外,74%的模型整體得分低於0.5。(2)我們檢查了已發表論文中的聲明,發現83%的聲明是正確的。(3)除了主題驅動的圖像生成外,現有的自動評估指標都沒有高於0.2的斯皮爾曼相關係數。未來,我們將繼續努力評估新發布的模型,並更新排行榜以跟蹤條件圖像生成領域的進展。