# モデル評価

Arthur Engineは、AI/MLワークロードの監視とガバナンスを目的としたツールであり、一般的なオープンソース技術とフレームワークを活用しています。エンタープライズ版は、パフォーマンスの向上と、カスタマイズ可能なエンタープライズレベルの保護メカニズムや指標などの追加機能を提供し、組織におけるAIの可能性を最大限に引き出します。モデルの有効な評価と最適化を行い、データの安全とコンプライアンスを確保します。

RagaAI Catalystは、AIの可観測性、監視、評価に焦点を当てたプラットフォームであり、開発者や企業がAI開発プロセスを最適化するのに役立ちます。可視化された追跡データから実行グラフまで、ユーザーフレンドリーなダッシュボードを提供し、高度なデバッグとパフォーマンス向上をサポートします。本プラットフォームは安全性と信頼性を重視しており、RagaAI Guardrailsを通じてコンテキストが正確なLLM応答を確保し、ハルシネーションのリスクを軽減します。さらに、RagaAI Catalystはカスタム評価ロジックをサポートし、特定のユースケースの包括的なテストニーズを満たします。そのオープンソースの特性は、企業に透明性と柔軟性を提供し、AI開発において効率性、安全性、拡張性を求める企業や開発者に適しています。

Vectara社が開発したオープンソースプロジェクトで、大型言語モデル（LLM）が短い文書を要約する際の幻覚発生率を評価します。Vectara社のHughes幻覚評価モデル（HHEM-2.1）を用いて、モデルの出力における幻覚を検出することでランキングを算出します。より信頼性の高いLLMの研究開発に重要なツールであり、開発者はモデルの精度を理解し改善することができます。

ZeroBenchは、大規模マルチモーダルモデル（LMMs）の視覚理解能力を評価するために設計されたベンチマークです。100個の厳選された、厳格に審査された複雑な問題と、334個のサブ問題を通して、現在のモデルの限界に挑戦します。本ベンチマークは、既存のビジュアルベンチマークの不足を補い、より挑戦的で質の高い評価ツールを提供することを目指しています。ZeroBenchの主な利点は、その高難易度、軽量性、多様性、高品質であり、モデルのパフォーマンスを効果的に区別することができます。さらに、詳細なサブ問題評価を提供し、研究者がモデルの推論能力をより深く理解するのに役立ちます。

SWE-Lancerは、OpenAIが開発したベンチマークであり、最先端の言語モデルが現実世界のオープンソースソフトウェアエンジニアリングタスクにおいてどのようなパフォーマンスを発揮するかを評価することを目的としています。50ドルのバグ修正から32,000ドルの機能実装まで、様々な独立したエンジニアリングタスクや、技術的な実装方法を選択するなどのマネジメントタスクが含まれています。モデルのパフォーマンスを貨幣価値にマッピングすることで、SWE-LancerはAIモデル開発の経済的影響に関する新たな視点を与え、関連研究の発展を促進します。

FlagEvalは、大規模言語モデルとマルチモーダルモデルの評価に特化したモデル評価プラットフォームです。公正かつ透明性の高い環境を提供し、様々なモデルを同一基準で比較することで、研究者や開発者がモデルの性能を理解し、人工知能技術の発展を促進します。本プラットフォームは、対話型モデル、ビジョン言語モデルなど、多様なモデルタイプに対応し、オープンソースモデルとクローズドソースモデルの両方の評価をサポートしています。また、K12教科試験や金融クオンツ取引評価などの専門的な評価も提供しています。

「Cheating LLM Benchmarks」は、いわゆる「ゼロモデル」を構築することで、自動言語モデル（LLM）のベンチマークにおける不正行為を調査することを目的とした研究プロジェクトです。本プロジェクトでは、実験を通じて、単純なゼロモデルでさえこれらのベンチマークで高い勝率を達成できることを発見しました。これは、既存のベンチマークの有効性と信頼性に疑問を投げかけるものです。この研究は、現在の言語モデルの限界を理解し、ベンチマーク手法を改良するために重要な意味を持ちます。

Anthropic Consoleは、AIアプリケーション開発を支援するプラットフォームです。内蔵のプロンプトジェネレーター、テストケースジェネレーター、モデル応答評価ツールにより、開発者は高品質のプロンプトを迅速に生成し、AIモデルの応答をテストおよび最適化できます。Claude 3.5 Sonnetモデルを活用することで、開発プロセスを簡素化し、AIアプリケーションの出力品質を向上させます。

FiddleCubeは、データサイエンス分野に特化した製品です。ユーザーデータから迅速に問答ペアを生成し、大規模言語モデル（LLM）の評価を支援します。正確なゴールドデータセットを提供し、様々な質問タイプに対応、さらに指標に基づいたデータ精度の評価が可能です。さらに、FiddleCubeは診断ツールを提供し、パフォーマンスの低いクエリを特定して改善することを支援します。

Frontier Safety Frameworkは、Google DeepMindが提案する、将来的なAI能力が深刻な被害をもたらす可能性のある状況を積極的に特定し、それらのリスクを検知?軽減するためのメカニズムを構築するためのプロトコルです。このフレームワークは、優れたエージェント能力や複雑なネットワーク能力など、モデルレベルの強力な能力に焦点を当てています。これは、人間の価値観と社会目標に従ってモデルを訓練するアライメント研究、およびGoogleの既存のAI責任と安全に関する実践を補完することを目的としています。

ImagenHubは、あらゆる条件付き画像生成モデルの推論と評価を標準化するワンストップライブラリです。本プロジェクトでは、まず7つの重要なタスクを定義し、高品質な評価データセットを作成しました。次に、公平な比較を保証するための統一的な推論パイプラインを構築しました。第三に、意味的一貫性と知覚品質という2つの人的評価指標を設計し、生成された画像を評価するための包括的なガイドラインを作成しました。提案された指標に基づいてモデルの出力を評価するために、専門家の評価者を訓練しました。この人的評価では、76%のモデルにおいて高い評価者間の一致性が達成されました。約30個のモデルを包括的に評価した結果、3つの重要な発見が得られました。(1)テキスト誘導型画像生成と主題誘導型画像生成を除き、既存モデルのパフォーマンスは一般的に不十分であり、74%のモデルの総合スコアが0.5を下回りました。(2)発表済みの論文の記述を検証したところ、83%の記述が正しいことが分かりました。(3)主題誘導型画像生成を除き、既存の自動評価指標のスピアマンの順位相関係数は0.2を超えるものがありませんでした。今後は、新たに公開されるモデルの評価を継続し、ランキングを更新することで、条件付き画像生成分野の進歩を追跡していきます。

Vision ArenaはHugging Faceが開発したオープンソースプラットフォームで、様々なコンピュータビジョンモデルの効果をテスト?比較するために利用されます。ユーザーフレンドリーなインターフェースにより、画像をアップロードして様々なモデルで処理し、結果の質を直感的に比較することができます。主要な画像分類、物体検出、セマンティックセグメンテーションモデルなどをプリインストールしており、カスタムモデルにも対応しています。オープンソースかつ無料で使用でき、複数のモデルを並行してテストできる点が大きな利点であり、モデル効果の評価と選択に役立ちます。コンピュータビジョン研究者、アルゴリズムエンジニアなどに最適で、コンピュータビジョンモデルの実験と調整を加速させることができます。

phixtral-2x2_8は、2つのmicrosoft/phi-2モデルを組み合わせた、初の混合専門家モデルです。mistralai/Mixtral-8x7B-v0.1アーキテクチャを参考に設計されており、個々の専門家モデルを上回る性能を示します。AGIEval、GPT4All、TruthfulQA、Bigbenchなど、複数の評価指標において優れた結果を達成しています。カスタム版のmergekitライブラリ（mixtralブランチ）と特定の設定を使用しています。ユーザーは、Colabノートブック上で、無料のT4 GPUを用いて、4bit精度でPhixtralを実行できます。モデルサイズは4.46Bパラメーター、テンソル型はF16です。

Algomaxは、LLMとRAGモデルの評価を簡素化し、プロンプト開発を最適化し、直感的なダッシュボードを通じて定性的指標に関する独自の洞察を提供します。当社の評価エンジンはLLMを正確に評価し、広範なテストを通じて信頼性を確保しています。このプラットフォームは包括的な定性的および定量的指標を提供することで、モデルの挙動をより深く理解し、具体的な改善提案を行うのに役立ちます。Algomaxは幅広い用途があり、あらゆる業界や分野で使用できます。

Manot洞察管理プラットフォームは、コンピュータビジョンモデルのパフォーマンスを正確に特定し改善します。製品マネージャーとエンジニアに実行可能なインサイトを提供することで、コンピュータビジョンモデルが失敗する原因を特定できるようにします。