# 評估工具

SFR-Judge 是 Salesforce AI Research 推出的一系列評估模型，旨在通過人工智能技術加速大型語言模型（LLMs）的評估和微調過程。這些模型能夠執行多種評估任務，包括成對比較、單項評分和二元分類，同時提供解釋，避免黑箱問題。SFR-Judge 在多個基準測試中表現優異，證明了其在評估模型輸出和指導微調方面的有效性。

1X 世界模型是一種機器學習程序，能夠模擬世界如何響應機器人的行為。它基於視頻生成和自動駕駛汽車世界模型的技術進步，為機器人提供了一個虛擬模擬器，能夠預測未來的場景並評估機器人策略。這個模型不僅能夠處理複雜的對象交互，如剛體、掉落物體的影響、部分可觀察性、可變形物體和鉸接物體，還能夠在不斷變化的環境中進行評估，這對於機器人技術的發展至關重要。

Weavel是一個AI提示工程師，它通過追蹤、數據集管理、批量測試和評估等功能，幫助用戶優化大型語言模型（LLM）的應用。Weavel與Weavel SDK結合使用，能夠自動記錄並添加LLM生成的數據到您的數據集中，實現無縫集成和針對特定用例的持續改進。此外，Weavel能夠自動生成評估代碼，並使用LLM作為複雜任務的公正裁判，簡化評估流程，確保準確、細緻的性能指標。

RAGElo是一個工具集，使用Elo評分系統幫助選擇最佳的基於檢索增強生成（RAG）的大型語言模型（LLM）代理。隨著生成性LLM在生產中的原型設計和整合變得更加容易，評估仍然是解決方案中最具有挑戰性的部分。RAGElo通過比較不同RAG管道和提示對多個問題的答案，計算不同設置的排名，提供了一個良好的概覽，瞭解哪些設置有效，哪些無效。

TC-Bench是一個專門用於評估視頻生成模型的時間組合性的工具。它通過精心設計的文本提示、相應的真實視頻以及強大的評估指標來衡量視頻生成模型在不同時間點上新概念的出現及其關係轉換的能力。TC-Bench不僅適用於文本條件模型，也適用於圖像條件模型，能夠進行生成性幀插值。該工具的開發旨在推動視頻生成技術的發展，提高生成視頻的質量和一致性。

Prometheus-Eval 是一個用於評估大型語言模型（LLM）在生成任務中表現的開源工具集。它提供了一個簡單的接口，使用 Prometheus 模型來評估指令和響應對。Prometheus 2 模型支持直接評估（絕對評分）和成對排名（相對評分），能夠模擬人類判斷和專有的基於語言模型的評估，解決了公平性、可控性和可負擔性的問題。

該工具旨在通過對最新專有和開源MLLMs進行定性研究，從文本、代碼、圖像和視頻四個模態的角度，評估其泛化能力、可信度和因果推理能力，以提高MLLMs的透明度。我們相信這些屬性是定義MLLMs可靠性的幾個代表性因素，支持各種下游應用。具體而言，我們評估了閉源的GPT-4和Gemini以及6個開源LLMs和MLLMs。總體上，我們評估了230個手動設計的案例，定性結果總結為12個分數（即4個模態乘以3個屬性）。總共，我們揭示了14個實證發現，有助於瞭解專有和開源MLLMs的能力和侷限性，以更可靠地支持多模態下游應用。

Unitxt是一款創新的庫，專為生成式語言模型量身定製，用於定製文本數據準備和評估。Unitxt與HuggingFace和LM-eval-harness等常用庫進行原生集成，並將處理流程拆分為模塊化組件，實現了易定製和共享。這些組件包括模型特定格式、任務提示等全面的數據集處理定義。Unitxt-Catalog集中了這些組件，促進了現代文本數據工作流中的協作和探索。除了是一款工具，Unitxt還是一個社區驅動的平臺，賦予用戶協作構建、分享和推進他們的數據流水線的能力。

Openlayer是一個評估工具，適用於您的開發和生產流程，幫助您自信地發佈高質量的模型。它提供強大的測試、評估和可觀察性，無需猜測您的提示是否足夠好。支持LLMs、文本分類、表格分類、表格迴歸等功能。通過即時通知讓您在AI模型失敗時獲得通知，讓您自信地發佈。