Turtle Benchmark是一款基於'Turtle Soup'遊戲的新型、無法作弊的基準測試，專注於評估大型語言模型（LLMs）的邏輯推理和上下文理解能力。它通過消除對背景知識的需求，提供了客觀和無偏見的測試結果，具有可量化的結果，並且通過使用真實用戶生成的問題，使得模型無法被'遊戲化'。

The Prompt Report 是一份系統性調研報告，專注於生成式人工智能（GenAI）的提示技術。它通過結合人類和機器的努力，從多個數據庫中處理了4797條記錄，提取出1565篇相關論文。報告提供了58種基於文本的技術，並補充了多模態和多語言技術的廣泛集合。其目標是提供一個易於理解和實施的提示技術目錄，並回顧了作為提示擴展的代理，包括評估輸出和設計有助於安全性和安全性的提示的方法。此外，報告還應用提示技術在兩個案例研究中進行了實踐。

Open LLM Leaderboard是一個由Hugging Face提供的空間，旨在展示和比較各種大型語言模型的性能。它為開發者、研究人員和企業提供了一個平臺，可以查看不同模型在特定任務上的表現，從而幫助用戶選擇最適合自己需求的模型。

MMStar是一個旨在評估大型視覺語言模型多模態能力的基準測試集。它包含1500個精心挑選的視覺語言樣本,涵蓋6個核心能力和18個細分維度。每個樣本都經過了人工審查,確保具有視覺依賴性,最小化數據洩露,並需要高級多模態能力來解決。除了傳統的準確性指標外,MMStar還提出了兩個新的指標來衡量數據洩露和多模態訓練的實際性能增益。研究人員可以使用MMStar評估視覺語言模型在多個任務上的多模態能力,並藉助新的指標發現模型中存在的潛在問題。

該工具旨在通過對最新專有和開源MLLMs進行定性研究，從文本、代碼、圖像和視頻四個模態的角度，評估其泛化能力、可信度和因果推理能力，以提高MLLMs的透明度。我們相信這些屬性是定義MLLMs可靠性的幾個代表性因素，支持各種下游應用。具體而言，我們評估了閉源的GPT-4和Gemini以及6個開源LLMs和MLLMs。總體上，我們評估了230個手動設計的案例，定性結果總結為12個分數（即4個模態乘以3個屬性）。總共，我們揭示了14個實證發現，有助於瞭解專有和開源MLLMs的能力和侷限性，以更可靠地支持多模態下游應用。

GPTEval3D是一個開源的3D生成模型評價工具,基於GPT-4V實現了對文本到3D生成模型的自動評測。它可以計算生成模型的ELO分數,並與現有模型進行對比排名。該工具簡單易用,支持用戶自定義評測數據集,可以充分發揮GPT-4V的評測效果,是研究3D生成任務的有力工具。

Deepmark AI 是一款用於評估大型語言模型（LLM）的基準工具，可在自己的數據上對各種任務特定指標進行評估。它與 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等領先的生成式 AI API 進行預集成。

DeepEval提供了不同方面的度量來評估LLM對問題的回答,以確保答案是相關的、一致的、無偏見的、非有毒的。這些可以很好地與CI/CD管道集成在一起,允許機器學習工程師快速評估並檢查他們改進LLM應用程序時,LLM應用程序的性能是否良好。DeepEval提供了一種Python友好的離線評估方法,確保您的管道準備好投入生產。它就像是“針對您的管道的Pytest”,使生產和評估管道的過程與通過所有測試一樣簡單直接。

MLE-bench是由OpenAI推出的一個基準測試，旨在衡量AI代理在機器學習工程方面的表現。該基準測試彙集了75個來自Kaggle的機器學習工程相關競賽，形成了一套多樣化的挑戰性任務，測試了訓練模型、準備數據集和運行實驗等現實世界中的機器學習工程技能。通過Kaggle公開的排行榜數據，為每項競賽建立了人類基準。使用開源代理框架評估了多個前沿語言模型在該基準上的表現，發現表現最佳的設置——OpenAI的o1-preview配合AIDE框架——在16.9%的競賽中至少達到了Kaggle銅牌的水平。此外，還研究了AI代理的各種資源擴展形式以及預訓練汙染的影響。MLE-bench的基準代碼已經開源，以促進未來對AI代理機器學習工程能力的理解。

SWE-bench Verified是OpenAI發佈的一個經過人工驗證的SWE-bench子集，旨在更可靠地評估AI模型解決現實世界軟件問題的能力。它通過提供代碼庫和問題描述，挑戰AI生成解決所描述問題的補丁。這個工具的開發是為了提高模型自主完成軟件工程任務的能力評估的準確性，是OpenAI準備框架中中等風險級別的關鍵組成部分。

Turtle Benchmark是一款基於'Turtle Soup'遊戲的新型、無法作弊的基準測試，專注於評估大型語言模型（LLMs）的邏輯推理和上下文理解能力。它通過消除對背景知識的需求，提供了客觀和無偏見的測試結果，具有可量化的結果，並且通過使用真實用戶生成的問題，使得模型無法被'遊戲化'。

The Prompt Report 是一份系統性調研報告，專注於生成式人工智能（GenAI）的提示技術。它通過結合人類和機器的努力，從多個數據庫中處理了4797條記錄，提取出1565篇相關論文。報告提供了58種基於文本的技術，並補充了多模態和多語言技術的廣泛集合。其目標是提供一個易於理解和實施的提示技術目錄，並回顧了作為提示擴展的代理，包括評估輸出和設計有助於安全性和安全性的提示的方法。此外，報告還應用提示技術在兩個案例研究中進行了實踐。

Open LLM Leaderboard是一個由Hugging Face提供的空間，旨在展示和比較各種大型語言模型的性能。它為開發者、研究人員和企業提供了一個平臺，可以查看不同模型在特定任務上的表現，從而幫助用戶選擇最適合自己需求的模型。

OpenCompass 2.0是一個專注於大型語言模型性能評估的平臺。它使用多個閉源數據集進行多維度評估，為模型提供整體平均分和專業技能分數。該平臺通過即時更新排行榜，幫助開發者和研究人員瞭解不同模型在語言、知識、推理、數學和編程等方面的性能表現。

MMStar是一個旨在評估大型視覺語言模型多模態能力的基準測試集。它包含1500個精心挑選的視覺語言樣本,涵蓋6個核心能力和18個細分維度。每個樣本都經過了人工審查,確保具有視覺依賴性,最小化數據洩露,並需要高級多模態能力來解決。除了傳統的準確性指標外,MMStar還提出了兩個新的指標來衡量數據洩露和多模態訓練的實際性能增益。研究人員可以使用MMStar評估視覺語言模型在多個任務上的多模態能力,並藉助新的指標發現模型中存在的潛在問題。

該工具旨在通過對最新專有和開源MLLMs進行定性研究，從文本、代碼、圖像和視頻四個模態的角度，評估其泛化能力、可信度和因果推理能力，以提高MLLMs的透明度。我們相信這些屬性是定義MLLMs可靠性的幾個代表性因素，支持各種下游應用。具體而言，我們評估了閉源的GPT-4和Gemini以及6個開源LLMs和MLLMs。總體上，我們評估了230個手動設計的案例，定性結果總結為12個分數（即4個模態乘以3個屬性）。總共，我們揭示了14個實證發現，有助於瞭解專有和開源MLLMs的能力和侷限性，以更可靠地支持多模態下游應用。