タートルベンチマークは、『タートルスープ』ゲームをベースにした、不正行為が不可能な新しいベンチマークです。大規模言語モデル（LLM）の論理的推論能力とコンテキスト理解能力の評価に重点を置いています。背景知識を必要としないことで客観的で公平なテスト結果を提供し、定量化可能な結果を持ち、リアルユーザーが作成した問題を使用することでモデルの「ゲーム化」を防ぎます。

プロンプトレポートは、生成AI（GenAI）のプロンプト技術に特化した体系的な調査レポートです。人材と機械の協調によって、複数のデータベースから4797件の記録を処理し、関連論文1565件を抽出し作成されました。本レポートでは、テキストベースの技術58種類を紹介するとともに、マルチモーダルおよび多言語技術の広範な集合体を補足しています。本レポートの目的は、理解しやすく実装しやすいプロンプト技術のカタログを提供すること、そしてプロンプト拡張としてのエージェント、出力評価、安全性とセキュリティを促進するプロンプト設計手法のレビューです。さらに、2つのケーススタディにおいてプロンプト技術を実践的に適用しています。

Open LLM Leaderboardは、Hugging Faceが提供する、様々な大規模言語モデルの性能を提示し比較するためのプラットフォームです。開発者、研究者、企業は、このプラットフォームを通じて、特定のタスクにおける様々なモデルの性能を確認し、自身のニーズに最適なモデルを選択することができます。

MMStarは、大規模視覚言語モデルのマルチモーダル能力を評価することを目的としたベンチマークセットです。厳選された1500個の視覚言語サンプルを含み、6つのコア能力と18の細分化された次元を網羅しています。各サンプルは、人間のレビューを経て、視覚的依存性を確保し、データ漏洩を最小限に抑え、高度なマルチモーダル能力を必要とする問題に焦点を当てています。従来の精度指標に加えて、MMStarはデータ漏洩とマルチモーダル訓練による実際のパフォーマンス向上を測定するための2つの新しい指標を提案しています。研究者はMMStarを使用して、複数のタスクにおける視覚言語モデルのマルチモーダル能力を評価し、新しい指標を活用してモデルに潜む潜在的な問題を発見することができます。

本ツールは、最新の独自開発およびオープンソースのMLLMを定性的研究することにより、テキスト、コード、画像、動画の4つのモダリティから、その汎化能力、信頼性、因果推論能力を評価し、MLLMの透明性を高めることを目的としています。これらの属性は、様々な下流アプリケーションを支えるMLLMの信頼性を定義する上で重要な要素であると考えています。具体的には、クローズドソースのGPT-4とGemini、ならびに6つのオープンソースLLMおよびMLLMを評価しました。全体として、230個の手動設計された事例を評価し、定性的な結果は12個のスコア（モダリティ4つ×属性3つ）に要約されています。合計で14の経験的知見を明らかにし、独自開発とオープンソースのMLLMの能力と限界を理解し、より信頼性の高い多様なモダリティの下流アプリケーションをサポートすることに役立てます。

GPTEval3Dは、GPT-4Vを基盤としたオープンソースの3D生成モデル評価ツールです。テキストから3Dモデルを生成するモデルを自動的に評価し、ELOスコアを算出、既存モデルとの比較ランキングを提供します。シンプルで使いやすい設計となっており、ユーザーによるカスタム評価データセットもサポート。GPT-4Vの評価能力を最大限に活かし、3D生成タスク研究における強力なツールとなります。

Deepmark AIは、大規模言語モデル（LLM）の評価に使用されるベンチマークツールです。独自のデータ上で、様々なタスク固有の指標を評価できます。GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21などの主要な生成AI APIと事前に統合されています。

DeepEvalは、LLMが問題に対する回答を評価するための多角的な指標を提供し、回答が関連性があり、一貫性があり、偏りや有害な表現を含まないことを保証します。CI/CDパイプラインとの統合も容易で、機械学習エンジニアはLLMアプリケーションの改善に伴うパフォーマンスの向上を迅速に評価?検証できます。DeepEvalはPythonに優しいオフライン評価方法を提供し、パイプラインの運用準備を確実にします。それはまさに「パイプラインのためのPytest」と言えるもので、テストの通過と同じくらいシンプルで直接的な方法で、生産と評価パイプラインのプロセスを実現します。

MLE-benchは、OpenAIが開発したベンチマークで、AIエージェントの機械学習エンジニアリング能力を測定することを目的としています。Kaggleの75件の機械学習エンジニアリング関連コンペティションから多様な課題を集め、モデルのトレーニング、データセットの準備、実験の実行など、現実世界の機械学習エンジニアリングスキルをテストする包括的なテストスイートを提供します。各コンペティションには、Kaggleの公開ランキングデータに基づいてヒューマンベースラインが設定されています。オープンソースのエージェントフレームワークを使用して、複数の最先端言語モデルのこのベンチマークにおけるパフォーマンスを評価しました。その結果、最適な設定（OpenAIのo1-previewとAIDEフレームワークの組み合わせ）では、16.9％のコンペティションでKaggleの銅メダルレベルに達していることが明らかになりました。さらに、AIエージェントのリソース拡張の様々な形態や、事前学習データの汚染の影響についても研究しました。MLE-benchのベンチマークコードはオープンソース化されており、AIエージェントの機械学習エンジニアリング能力に関する今後の研究を促進するものです。

SWE-bench Verifiedは、OpenAIが公開した、人間による検証済みのSWE-benchサブセットです。現実世界のソフトウェア問題に対するAIモデルの解決能力をより信頼性高く評価することを目的としています。コードリポジトリと問題の説明を提供することで、AIが記述された問題に対する修正プログラムを生成するよう促します。このツールは、モデルがソフトウェアエンジニアリングタスクを自律的に実行する能力の評価精度を高めるために開発され、OpenAI準備フレームワークの中リスクレベルの重要な構成要素です。

タートルベンチマークは、『タートルスープ』ゲームをベースにした、不正行為が不可能な新しいベンチマークです。大規模言語モデル（LLM）の論理的推論能力とコンテキスト理解能力の評価に重点を置いています。背景知識を必要としないことで客観的で公平なテスト結果を提供し、定量化可能な結果を持ち、リアルユーザーが作成した問題を使用することでモデルの「ゲーム化」を防ぎます。

プロンプトレポートは、生成AI（GenAI）のプロンプト技術に特化した体系的な調査レポートです。人材と機械の協調によって、複数のデータベースから4797件の記録を処理し、関連論文1565件を抽出し作成されました。本レポートでは、テキストベースの技術58種類を紹介するとともに、マルチモーダルおよび多言語技術の広範な集合体を補足しています。本レポートの目的は、理解しやすく実装しやすいプロンプト技術のカタログを提供すること、そしてプロンプト拡張としてのエージェント、出力評価、安全性とセキュリティを促進するプロンプト設計手法のレビューです。さらに、2つのケーススタディにおいてプロンプト技術を実践的に適用しています。

Open LLM Leaderboardは、Hugging Faceが提供する、様々な大規模言語モデルの性能を提示し比較するためのプラットフォームです。開発者、研究者、企業は、このプラットフォームを通じて、特定のタスクにおける様々なモデルの性能を確認し、自身のニーズに最適なモデルを選択することができます。

OpenCompass 2.0は、大規模言語モデルのパフォーマンス評価に特化したプラットフォームです。複数のクローズドソースデータセットを用いて多角的な評価を行い、モデル全体の平均スコアと専門スキルスコアを提供します。リアルタイムでランキングを更新することで、開発者や研究者は言語、知識、推論、数学、プログラミングなどの分野における様々なモデルのパフォーマンスを把握できます。

MMStarは、大規模視覚言語モデルのマルチモーダル能力を評価することを目的としたベンチマークセットです。厳選された1500個の視覚言語サンプルを含み、6つのコア能力と18の細分化された次元を網羅しています。各サンプルは、人間のレビューを経て、視覚的依存性を確保し、データ漏洩を最小限に抑え、高度なマルチモーダル能力を必要とする問題に焦点を当てています。従来の精度指標に加えて、MMStarはデータ漏洩とマルチモーダル訓練による実際のパフォーマンス向上を測定するための2つの新しい指標を提案しています。研究者はMMStarを使用して、複数のタスクにおける視覚言語モデルのマルチモーダル能力を評価し、新しい指標を活用してモデルに潜む潜在的な問題を発見することができます。

本ツールは、最新の独自開発およびオープンソースのMLLMを定性的研究することにより、テキスト、コード、画像、動画の4つのモダリティから、その汎化能力、信頼性、因果推論能力を評価し、MLLMの透明性を高めることを目的としています。これらの属性は、様々な下流アプリケーションを支えるMLLMの信頼性を定義する上で重要な要素であると考えています。具体的には、クローズドソースのGPT-4とGemini、ならびに6つのオープンソースLLMおよびMLLMを評価しました。全体として、230個の手動設計された事例を評価し、定性的な結果は12個のスコア（モダリティ4つ×属性3つ）に要約されています。合計で14の経験的知見を明らかにし、独自開発とオープンソースのMLLMの能力と限界を理解し、より信頼性の高い多様なモダリティの下流アプリケーションをサポートすることに役立てます。